Subject Year : T0293/Neuro Computing : 2009 Backprogation Meeting 5 2 Konsep Dasar BP • • Solusi dari keterbatasan single-layer network Penemuan algoritma BP merupakan kebangkitan kembali paradigma “ neural computing “. Nama-nama scientist yang memberi kontribusi terhadap pengembangan BP • – – – Rumelhart, Hinton dan Williams (1986) Parker (1982) Werbos (1974) 3 Konfigurasi Networks (BP) • Model Neuron O1 W1 W2 OUTET O2 On OUT = 1 / ( 1 + e -NET ) F Wn NET NET = O1 W1 + O2 W2 + ... + On Wn = O W i i OUT = F ( NET ) Artificial Neuron with Activation Function 4 Activation Function OUT 0.5 0 NET OUT = F(NET)1 / ( 1 + e -NET ) F’ (NET) = OUT = OUT (1-OUT) NET Sigmoidal Activation Function Ada beberapa fungsi yang dapat digunakan; Algoritma BP memerlukan fungsi yang bersifat ‘differentiable’ 5 Model Multilayer Networks • Model berikut adalah contoh multilayer networks yang sesuai untuk diterapkan dengan algoritma BP 6 INPUT LAYER HIDDEN LAYER j INPUT LAYER OUT k W11 1 TARGET1 W12 ERROR1 OUT W22 2 TARGET2 ERROR2 OUT W2m W3m n TARGETn ERRORn Two-Layer Backpropagation Network 7 Network Training Langkah-langkah Training 1. 2. 3. 4. 5. Pilih “ training pair “ ( berikutnya ); aplikasikan vektor input ke dalam network Hitung output dari networks. Hitung error antara “ actual output “ dengan ‘target output’. Sesuaikan bobot dengan cara meminimumkan error. Ulangi 1 sampai dengan 4 untuk setiap vektor dalam ‘ training set ’. 8 Forward Pass O=F(XW) dimana O adalah vektor output. Vektor output dari suatu layer merupakan vektor input dari layer berikutnya. Dengan demikian perhitungan output akhir dari networks dilakukan perhitungan dengan rumus di atas pada setiap layer 9 Reverse Pass Penyesuaian bobot pada ‘ output layer ’ : Wpq,k Wpq,k (n+1) = OUT (1-OUT) (Target-OUT) = q,k OUTp,j = Wpq,k (n) + Wpq,k 10 dimana Wpq,k (n) = nilai bobot dari neuron p pada ‘hidden layer’ ke neuron q pada ‘output layer’ pada langkah ke-n; subscript k menunjukkan bahwa bobot berkaitan dengan ‘destination layer’ Wpq,k (n+1) = nilai bobot pada langkah ke n+1 q,k OUTp,,j = nilai untuk neuron q pada ‘output layer’ ke k = nilai OUT untuk neuron p pada ‘hidden layer’ j Catatan: Penyesuaian bobot pada hidden layer p,,j = OUTp,,j (1- OUTp,,j) (q,k Wpq,k) 11
© Copyright 2024 Paperzz
