Back-Propagation Pertemuan 5

10
1 Back-Propagation Pertemuan 5 Matakuliah : T0293/Neuro Computing Tahun : 2005

description

Back-Propagation Pertemuan 5. Matakuliah: T0293/Neuro Computing Tahun: 2005. Konsep Dasar BP Solusi dari keterbatasan single-layer network Penemuan algoritma BP merupakan kebangkitan kembali paradigma “ neural computing “. - PowerPoint PPT Presentation

Transcript of Back-Propagation Pertemuan 5

Page 1: Back-Propagation  Pertemuan 5

1

Back-Propagation Pertemuan 5

Matakuliah : T0293/Neuro Computing

Tahun : 2005

Page 2: Back-Propagation  Pertemuan 5

2

Konsep Dasar BP

• Solusi dari keterbatasan single-layer network• Penemuan algoritma BP merupakan kebangkitan

kembali paradigma “ neural computing “.• Nama-nama scientist yang memberi kontribusi

terhadap pengembangan BP – Rumelhart, Hinton dan Williams (1986)– Parker (1982)– Werbos (1974)

Page 3: Back-Propagation  Pertemuan 5

3

Konfigurasi Networks (BP) • Model Neuron

Artificial Neuron with Activation Function

F

NET

OUTET

OUT = 1 / ( 1 + e -

NET )

NET = O1 W1 + O2 W2 + ... + On Wn = Oi Wi

OUT = F ( NET )

W1

W2

Wn

O1

O2

On

Page 4: Back-Propagation  Pertemuan 5

4

Activation Function

Sigmoidal Activation Function

Ada beberapa fungsi yang dapat digunakan; Algoritma BP memerlukan fungsi yang bersifat ‘differentiable’

0 NET

OUT

OUT = F(NET)1 / ( 1 + e -NET )

F’ (NET) = OUT = OUT (1-OUT) NET

0.5

Page 5: Back-Propagation  Pertemuan 5

5

Model Multilayer Networks

• Model berikut adalah contoh multilayer networks yang sesuai untuk diterapkan dengan algoritma BP

Page 6: Back-Propagation  Pertemuan 5

6

INPUTLAYER

INPUTLAYER k

TARGET1

TARGET2

TARGETn

OUTn

OUT2

OUT1

W11

W22

W3m

W2m

W12

ERROR1

ERROR2

ERRORn

HIDDENLAYER j

Two-Layer Backpropagation Network

Page 7: Back-Propagation  Pertemuan 5

7

Network Training

Langkah-langkah Training 1. Pilih “ training pair “ ( berikutnya ); aplikasikan

vektor input ke dalam network2. Hitung output dari networks.3. Hitung error antara “ actual output “ dengan

‘target output’.4. Sesuaikan bobot dengan cara meminimumkan

error.5. Ulangi 1 sampai dengan 4 untuk setiap vektor

dalam ‘ training set ’.

Page 8: Back-Propagation  Pertemuan 5

8

Forward Pass

O = F ( X W ) dimana O adalah vektor output.

Vektor output dari suatu layer merupakan vektor input dari layer berikutnya. Dengan demikian perhitungan output akhir dari networks dilakukan perhitungan dengan rumus di atas pada setiap layer

Page 9: Back-Propagation  Pertemuan 5

9

Reverse Pass

Penyesuaian bobot pada ‘ output layer ’ :

= OUT (1-OUT) (Target-OUT) Wpq,k = q,k OUTp,j

Wpq,k (n+1) = Wpq,k (n) + Wpq,k

Page 10: Back-Propagation  Pertemuan 5

10

dimana

Wpq,k (n) = nilai bobot dari neuron p pada ‘hidden layer’ ke

neuron q pada ‘output layer’ pada langkah ke-n;

subscript k menunjukkan bahwa bobot berkaitan

dengan ‘destination layer’

Wpq,k (n+1) = nilai bobot pada langkah ke n+1

q,k = nilai untuk neuron q pada ‘output layer’ ke k

OUTp,,j = nilai OUT untuk neuron p pada ‘hidden layer’ j

 

Catatan:

Penyesuaian bobot pada hidden layer

p,,j = OUTp,,j (1- OUTp,,j) (q,k Wpq,k)