IntelijensiIntelijensi BuatanBuatanIntelijensiIntelijensi BuatanBuatan

Dian Wirdasari, S.Si.,M.Kom

IntelijensiIntelijensi BuatanBuatanIntelijensiIntelijensi BuatanBuatan

Dian Wirdasari, S.Si.,M.Kom

Materi-7 Jaringan Syaraf Tiruan

� Dianalogikan dengan neuropsikologi

(neurophysiologi) pada otak manusia.

� Dalam JST, neuron adalah bagian terkecil dari JST

yg berfungsi sbg elemen pemroses.yg berfungsi sbg elemen pemroses.

� Dapat dinyatakan sbg prosesor sederhana dari

sistem JST.

� Dikenal dgn sebutan perceptron atau Adaline.

� Dalam JST, neuron bekerja dgn mengumpulkansinyal dari neuron yg terhubung sebelumnya danmemprosesnya untuk menjadi masukan bagineuron berikutnya.Neuron tersusun dari komponen-komponen sbb:� Neuron tersusun dari komponen-komponen sbb:� Sekumpulan penghubung (synapses) atau connection link

yg dikarakterkan dgn sebuah pembobot (weight connection)

� Sebuah penjumlah (summing/adder) utk menjumlahkansemua sinyal masukannya.

� Sebuah fungsi aktivasi (activation function)

� Model dari sebuah neuron

� Jaringan syaraf tiruan menggunakan model

matematis. X = X0.W0 + X1.W1 + X2.W2 + … + Xn.Wn

Y = f(X), dengan f adalah fungsi aktivasi

� Pada JST, neuron-neuron akan dikumpulkan dalam

lapisan lapisan yang disebut dengan layers

� Neuron dalam satu lapisan akan dihubungkan

dengan neuron pada lapisan lainnyadengan neuron pada lapisan lainnya

� Kadang muncul juga layer tersembunyi (hidden

layer)

� Informasi tersebut bisa dirambatkan secara forward

ataupun backward

� Lapisan Masukan (input layer): titik pada lapisan ini

berfungsi utk menampung dan menyebarkan sinyal

yg ada ke lapisan berikutnya

� Lapisan tersembunyi (hidden layer): lapisan ini� Lapisan tersembunyi (hidden layer): lapisan ini

berada diantara lapisan masukan dan lapisan

keluaran. Lapisan ini berfungsi mengolah sinyal yg

ada dalam bentuk fungsi transformasi neuron

� Lapisan keluaran (output layer): sbg lapisan

keluaran hasil operasi JST

� Single Layer� Hanya memiliki satu

lapisan dengan bobot-bobot terhubung.

� Langsung menerima� Langsung menerimainput danmengolahnya menjadioutput tanpamenggunakan hidden layer

� Multi Layer� Memiliki satu atau lebih

lapisan yg terletak diantaralapisan input dan lapisanoutputoutput

� Dapat menyelesaikanmasalah yang lebihkompleks karena lebihakurat

� Fungsi pembelajarannyalebih rumit

� Kompetitive Model / Recurrent Model� Hubungan antar neuron

tidak diperlihatkan secaralangsung pada arsitekturlangsung pada arsitektur

� Hubungan antar neuron dapat digambarkansebagai jaring yang rumit

� Fungsi undak (step) biner (hard limit)

� Jaringan dgn lapisan tunggal sering

menggunakan fungsi undak untuk mengkonversi

input dari suatu variabel yang bernilai kontinu keinput dari suatu variabel yang bernilai kontinu ke

suatu output biner.

� Fungsi hard limit dirumuskan sbb:

� Fungsi undak biner dengan threshold

� Fungsi undak biner dgn menggunakan nilai

ambang (threshold) θ (theta).

� Disebut juga fungsi nilai ambang atau fungsi� Disebut juga fungsi nilai ambang atau fungsi

Heaviside

� Dirumuskan sbb:

θθθθ

� Fungsi bipolar

� Hampir sama dengan fungsi undak biner, hanya

saja output yg dihasilkan berupa 1, 0 atau -1.

� Disebut juga fungsi Symmetric Hard Limit.� Disebut juga fungsi Symmetric Hard Limit.

� Dirumuskan sbb:

� Fungsi bipolar dengan threshold

� Fungsi bipolar yg menggunakan nilai ambang

� Fungsi yang menghasilkan output berupa 1, 0

atau -1atau -1

� Dirumuskan sbb:

� Fungsi Linier (identitas)

� Memiliki nilai output yg sama dengan nilai input.

� Dirumuskan sbb:

Y = X

� Fungsi Sigmoid Biner

� Digunakan untuk jaringan syaraf yg dilatih dgn

menggunakan metode backpropagation.

� Memiliki nilai pada range 0 sampai 1.� Memiliki nilai pada range 0 sampai 1.

1

Y = f(X) = ------------

1 + e-X

� Fungsi Sigmoid Bipolar

� Output dari fungsi ini memiliki range antara 1 sampai -1

1 - e-X

Y = f(X) = -------------

1 + e-X

� Sistem JST sebagai sebuah graf pembobot berarah

(graph directed weighted) yg neuronnya dinyatakan

sbg titik dan arah pembobotnya dinyatakan sbg

penghubung antar neuron.penghubung antar neuron.

� Berdasarkan struktur sambungan dan aliran

pengolahan sinyal, JST dibedakan menjadi:

� Jaringan Maju (feed forward architecture)

� Jaringan Berulang (recurrent architecture)

� Jaringan Maju

� Tidak mempunyai loop

� Dapat berupa lapisan tunggal (single layer perceptron)

atau lapisan jamak (multilayer perceptron)atau lapisan jamak (multilayer perceptron)

� Contoh jaringan maju lapisan tunggal sbb:

X1

X2

X3

factv

W

ai

� Jaringan Berulang

� Memiliki loop atau lingkaran umpan balik (feedback loop),

lapisan output akan memberi input lagi bagi lapisan input

� Antara lain pd jaringan Hopfield, Kohonen dan kompetitif.� Antara lain pd jaringan Hopfield, Kohonen dan kompetitif.

W aiZ-1

Z-1

Z-1

Lingkaran umpan

balik dinyatakan

dgn suatu elemen

tunda (unit delay

element) yg

dinotasikan dgn Z-1

� JST disusun utk mampu mengenali dan meniru pola

pemetaan dari pasangan sinyal masukan ke sinyal

keluaran yg diinginkan.

� Parameter JST dpt ditentukan dgn melatih atau� Parameter JST dpt ditentukan dgn melatih atau

mengajari JST tsb dgn pola masukan keluaran yg

telah benar dgn mengikuti aturan pembelajaran.

� Aturan pembelajaran dapat dibagi 2 yaitu:

� Aturan Terbimbing/terawasi (supervised learning rule)

� Aturan Tidak Terbimbing/tdk terawasi (unsupervised

learning rule).

� Supervised Learning (Pembelajaran Terawasi)� Kumpulan input berusaha membentuk target

output yang sudah diketahui sebelumnya

� Perbedaan antara output yang masih salahdengan output yang diharapkan harus sekecil

� Perbedaan antara output yang masih salahdengan output yang diharapkan harus sekecilmungkin

� Biasanya lebih baik daripada unsupervised

� Kelemahan: pertumbuhan waktu dihitung secaraeksponensial, data bnyk berarti semakin lambat

� Terdapat 2 fase yaitu:� Fase pembelajaran▪ Tujuan utk meminimalkan index performance jaringan

▪ Selanjutnya digunakan utk memperbaharui parameter2 JSTJST

▪ Bila parameter2 JST sudah ditemukan maka JST dptdioperasikan secara mandiri tanpa pembimbing

▪ Jika nilai pembimbing adalah Otc dan keluaran JST adalah O, maka diagram blok fase pembelajaranterbimbing adalah sbb:

� Fase pelaksanaan

Environment TeacherX Otc

Learning

System ∑O

e

Gambar Blok Pembelajaran Terbimbing

� Proses pembelajaran pada JST pada dasarnyamenghasilkan suatu nilai yang mempengaruhi nilaibobot w secara terus menerus selama prosesberlangsung.

� Metode Pembelajaran / Pelatihan sbb:� Metode Pembelajaran / Pelatihan sbb:▪ Hebbian

▪ Perceptron

▪ Delta

▪ BackPropagation

▪ Hetero Associative Memory

▪ Bidirectional Associative Memory

▪ Learning vector Quantization

� HebbRule

Metode pembelajaran yang paling sederhana,

pembelajaran dilakukan dengan cara memperbaiki

nilai bobot sedemikian rupa sehingga jika ada 2 nilai bobot sedemikian rupa sehingga jika ada 2

neuron yang terhubung dan keduanya dalam

kondisi“on”pada saat yang sama, maka bobot

antara keduanya dinaikkan

� Perception

Biasanya digunakan untuk mengklasifikasikan suatu

tipe pola tertentu yang sering dikenal dengan

pemisahan secara linear.pemisahan secara linear.

Algoritma yang digunakan akan mengatur

parameter-parameter bebasnya melalui proses

pembelajaran

� Delta Rule

Mengubah bobot yang menghubungkan antara

jaringan input ke unit output dengan nilai target.

� Backpropagation� Backpropagation

Algoritma pembelajaran yang terawasi dan

biasanya digunakan oleh perception dengan banyak

lapisan untuk mengubah bobt-bobot yang

terhubung dengan neuron-neuron yang ada pada

lapisan tersembunyi

� Hetero Associative Memory

Jaringan yang bobot-bobotnya ditentukan

sedemikian rupa sehingga jaringan tersebut dapat

menyimpan kumpulan pola.menyimpan kumpulan pola.

� Bidirectional Associative Memory

Model jaringan syaraf yang memiliki 2 lapisan dan

terhubung penuh dari satu lapisan ke lapisan

lainnya. Pada jaringan ini dimungkinkan adanya

hubungan timbal balik antara lapisan input dan

lapisan output.

� Learning vector Quantization

Suatu metode untuk melakukan pembelajaran pada

lapisan kompetitif yang terawasi. Suatu lapisan

kompetitif akan secara otomatis belajar untukkompetitif akan secara otomatis belajar untuk

mengklasifikasikan vektor-vektor input. Kelas-kelas

yang didapatkan sebagai hasil hanya tergantung

pada jarak antara vektor-vektor input

� Unsupervised Learning� Tidak memerlukan target output

� Tujuannya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data ataucontoh2 pelatihan, biasanya ke dalam suatuyang serupa tanpa menggunakan data ataucontoh2 pelatihan, biasanya ke dalam suatukategori/kelompok2 tertentu

� Hibrida Learning� Gabungan antara unsupervised dan supervised

� Pertama kali diperkenalkan oleh Prof. Teuvo

Kohonen tahun 1982.

� Suatu lapisan yang berisi neuron-neuron akan

menyusun dirinya sendiri berdasarkan input menyusun dirinya sendiri berdasarkan input

nilai tertentu dalam suatu kelompok yang

dikenal dengan istilah cluster

� Selama proses penyusunan diri, cluster yang

memiliki vektor bobot paling cocok dengan

pola input akan terpilih sebagai pemenang

� Proses pembelajaran JST berupa pemberian

variabel bebas n data masukan X1, X2…Xn dan

keluaran berupa n data yang diharapkan d1, d2,…dn

(variabel tak bebas) sehingga data diumpankan(variabel tak bebas) sehingga data diumpankan

kepada JST yang merupakan himpunan data

D = {(X1, d1), (X2, d2),….(Xn, dn)}

� Hubungan antara data X dan d ditulis :

d = g(x) + ε

g(x) = fungsi dengan variabel x

ε = adalah nilai kesalahan (error)

� Dengan mengabaikan variabel ε maka

persamaan menjadi d = g(x) fungsi ini disebut

dengan model regresi dimana fungsi g(x)

secara statistik ditulis :secara statistik ditulis :

g(x) = E[d I x ]

Secara statistik diartikan sebagai kejadian

bersyarat dimana terjadinya d bila diberi x.

� Bila nilai ε tidak nol, model regresinya diasumsikan :

1. Kemungkinan terjadinya ε untuk tiap x adalah nol.

E[ε I x ] = 0

2. ε Tidak terkoreksi dengan fungsi g(x)

E[εg(x) ] = 0E[εg(x) ] = 0

� Model regresi dalam aplikasi JST menghubungkan masukan

x dengan target d melalui bobot w, yang mana bobot w

diperbaharui melalui proses pembelajaran berdasarkan

pasangan variabel {(X1, d1), (X2,d2),….(Xn, dn)}

� Model Regresi

� Model Tipikal Jaringan Syaraf Tiruan

Pembelajaran yang diterapkan kepada jaringan

syaraf tiruan melibatkan tiga komponen :

1. Lingkungan berupa vektor x dengan distribusi P(x)

tidak diketahui.tidak diketahui.

2. Referensi : Berupa nilai vektor target d untuk tiap

vektor masukan x, pasangan vektor d dan x

dihubungkan oleh fungsi g() yang juga tidak

diketahui. d = g(x)

3. Algoritma : Memetakan masukkan ke keluaran dalam bentuk

fungsi :

O = F(x,W) dimana O = nilai keluaran sebenarnya sebagai

hasil tanggapan terhadap parameter x, sedangkan w adalah

bobot jaringan syaraf (w dapat dikatakan berupabobot jaringan syaraf (w dapat dikatakan berupa

pengetahuan hasil proses pembelajaran).

Model Paradigma Pembelajaran terawasi

� Fungsi aktivasi biner� Besar bobotnya sama� Memiliki threshold yang sama

Contoh buat fungsi logika “and”, input X1 dan X2, danY = 1 jikadan hanya jika inputan 1, dengan bobot=1 dan fungsi aktivasi: dan hanya jika inputan 1, dengan bobot=1 dan fungsi aktivasi:

Y= 1 jika net >=2, Y=0 jika net < 2Apakah jaringan tsb mampu mengenali pola target?

X1 X2 Y1 1 11 0 00 1 00 0 0

X1 X2 net Y= 1 jika net >=2, Y=0 jika net < 2

1 1 1.1+1.1=2 1

1 0 1.1+0.1=1 0

0 1 0.1+1.1=1 0

X11

0 1 0.1+1.1=1 0

0 0 0.1+0.1=0 0

Ternyata BERHASIL mengenali pola

X2

Y2

1

Buat fungsi logika “OR”, input X1 dan X2, dan output Y, dengan bobotW1=W2=1 dengan fungsi aktivasiY= 1 jika net >=1, 0 jika net < 11 jika net >=1, 0 jika net < 1

X1 X2 net Y= 1 jika net >=1, 0 jika net < 1

1 1 1.1+1.1=2 1

1 0 1.1+0.1=1 1

0 1 0.1+1.1=1 10 1 0.1+1.1=1 1

0 0 0.1+0.1=0 0

Ternyata BERHASIL mengenali pola

Buat fungsi logika “X1 and not(X2)”, input X1 dan X2, dan output Y, dengan bobot W1=2 dan W2=-1 dengan fungsi aktivasiY= 1 jika net dengan fungsi aktivasiY= 1 jika net >=2, Y=0 jika net < 2

IntelijensiIntelijensi BuatanBuatanIntelijensiIntelijensi BuatanBuatan

Dian Wirdasari, S.Si.,M.KomSee you next week……..!

� Nama : Dian Wirdasari� Email :

dianws@yahoo.com, dianws@gmail.comdianws@gmail.com

� Website : http://dianws.webs.com

� Ym: dianws� Facebook:

http://www.facebook.com/dianws