7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
1/24
1
Architecture Net, SimpleNeural Net
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
2/24
2
Materi
1. Perceptron
2. ADALINE
3. MADALINE
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
3/24
3
Perceptron
Perceptron lebih powerful dari Hebb
Pembelajaran perceptron mampu menemukankonvergensi terhadap bobot yang benar
Fungsi aktivasi :
Update bobot
= learning rate
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
4/24
4
Arsitektur Perceptron
Output : vektor biner
Goal : klasifikasi setiap input ke dalam kelas +1 atau -1
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
5/24
5
Algoritma Perceptron
Inisialisasi bobot dan bias (w=b=0) dan 0 <
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
6/24
6
Fungsi AND (biner input & bipolar target)
Inisialisasi: = 1, w=b=0, = 0.2
Epoch = 1
Epoch = 2
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
7/24
7
Fungsi AND (bipolar input & target)
Inisialisasi: = 1, w=b==0
Epoch = 1
Epoch = 2
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
8/24
Latihan
8
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
9/24
Arsitektur Pengenalan 7 Huruf
9
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
10/24
ADALINE (Adaptive Linear Neuron)
Biasanya menggunakan bipolar dan bias
Random bobot awal dengan bilangan kecil
Dilatih menggunakan aturan delta/LMS dengan
meminimalkan MSE antara fungsi aktivasi dantarget
Fungsi aktivasi : identitas / linier
Update bobot
= learning rate10
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
11/24
11
Arsitektur ADALINE
Output : vektor biner
Goal : klasifikasi setiap input ke dalam kelas +1 atau -1
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
12/24
12
Algoritma Training ADALINE
Inisialisasi bobot Biasanya digunakan nilai random yang kecil
Inisialisasi learning rate () Biasanya digunakan nilai yang relatif kecil, yaitu 0.1
Jika nilai terlalu besar, proses learning tidak mencapai konvergen
Jika nilai terlalu kecil, proses learning akan berjalan sangat lambat
Secara praktis, nilai learning rate ditentukan antara 0.1 n 1.0,dimana n adalah jumlah input unit
Ulangi sampai sesuai kondisi kriteria berhenti
Untuk setiap pasangan s:t, lakukan
Set aktivasi input xi= si Hitung
Update bobot dan bias
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
13/24
13
Algoritma Testing ADALINE
Inisialisasi bobot Dapatkan bobot dari proses learning
Untuk setiap bipolar input pada vektor x
Set aktivasi dari input unit ke x
Hitung nilai jaringan dari input ke output
Terapkan fungsi aktivasi
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
14/24
14
Fungsi AND (biner input & bipolar target)
ADALINE didesain untuk menemukan bobot yang bertujuanmeminimalkan total error
net input to output target
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
15/24
MADALINE (Many Adaptive Linear Neuron)
Konsep ADALINE yang menggunakan jaringanmultilayer
Arsitektur MADALINE tergantung padakombinasi ADALINE yang digunakan MADALINE dengan 1 hidden layer (terdiri dari 2
hidden unit ADALINE) dan 1 output unit ADALINE
Fungsi aktivasi untuk hidden dan output layer:
15
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
16/24
16
Arsitektur MADALINE
Y merupakan fungsi nonlinier dari input vektor (x1dan x2)
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
17/24
17
Algoritma Training MADALINEMRI (Widrow dan Hoff)
Inisialisasi bobot
v1 =1
2, 2 =
1
2, 3 =
1
2
Bobot yang lain menggunakan bilangan random yang kecil
nilai learning rate ditentukan antara 0.1 n 1.0
Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x
Hitung masukan jaringan ke setiap hidden unit
Tentukan output dari setiap hidden unit
zin1 = 1 + 111 + 221
zin2 = 2 + 112 + 221
1 = ()
2 = ()
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
18/24
18
Untuk setiap bipolar input pada vektor x Tentukan keluaran dari jaringan
Hitung error dan update bobot, jika t=y maka bobot tidak di-update Jika t=1, update bobot pada Zj
Jika t=-1, update bobot pada semua unit Zk yang punya input positif
yin
= b3 + z1v1 + z2v2
y = f yin
bJ(new) = bJ(old) + (1 zinJ)
wiJ new = wiJ old + 1 zinJ xi
bk(new) = bk(old) + (1 zink)
wik(new) = wik(old) + 1 zink xi
Algoritma Training MADALINEMRI (Widrow dan Hoff)
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
19/24
19
Algoritma Training MADALINEMRII (Widrow, Winter dan Baxter)
Inisialisasi bobot
v1 =1
2, 2 =
1
2, 3 =
1
2
Bobot yang lain menggunakan bilangan random yang kecil
nilai learning rate ditentukan antara 0.1 n 1.0
Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x
Hitung masukan jaringan ke setiap hidden unit
Tentukan output dari setiap hidden unit
zin1 = 1 + 111 + 221
zin2 = 2 + 112 + 221
1 = ()
2 = ()
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
20/24
20
Untuk setiap bipolar input pada vektor x
Tentukan keluaran dari jaringan
Hitung error dan update bobot, jika tymaka laukanupdate bobot untuk setiap hidden unit dengan inputmendekati 0 Ubah keluaran unit (dari +1 menjadi 1, atau sebaliknya)
Hitung kembali respon dari jaringan. Jika kesalahan berkurang:
Sesuaikan bobot pada unit ini (gunakan nilai keluaran yang barusebagai target dan lakukan aturan Delta)
yin
= b3 + z1v1 + z2v2
y = f yin
Algoritma Training MADALINEMRII (Widrow, Winter dan Baxter
bJ(new) = bJ(old) + (1 zinJ)
wiJ new = wiJ old + 1 zinJ xi
bk(new) = bk(old) + (1 zink)
wik(new) = wik(old) + 1 zink xi
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
21/24
21
Algoritma Testing MADALINE
Inisialisasi bobot Dapatkan bobot dari proses learning
Untuk setiap bipolar input pada vektor x
Set aktivasi dari input unit ke x
Hitung nilai jaringan dari input ke output
Terapkan fungsi aktivasi
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
22/24
Contoh Aplikasifungsi Xor
Inisialisasi Bobot dg random, learning rate = 0.5
22
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
23/24
Contoh Aplikasifungsi Xor
23
7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE
24/24
Contoh Aplikasifungsi Xor
24