Post on 02-Mar-2016
description
PENGENALAN POLA 2.1
BAYESIAN DECISION THEORYT. INFORMATIKA FMIPA UNIVERSITAS UDAYANA
SEMESTER GANJIL- 2013
Agus Muliantara (muliantara@cs.unud.ac.id)
Mengapa harus Probabilitas
Uncertainty/ ketidakteraturan
Contoh
Jika ada ikan yang ditangkap di perairan samudara
atlantik, maka ikan tersebut lebih mirip ikan salmon
dibandingkan ikan sea-bass
2
Materi Kuliah
Peluang suatu kejadian
Beberapa Hukum peluang
Peluang bersyarat
Peluang Total
Teorema Bayes
3
Peluang suatu kejadian
Peluang
sebuah bilangan yang menyatakan seberapa
mungkinkah suatu peristiwa akan muncul saat
percobaan acak dilakukan
Ruang sampel /sample space (S)
Himpunan semua peristiwa yang mungkin terjadi
4
Ruang sampel dan pemetaannya ke fungsi distribusi
peluang
5
Beberapa Hukum peluang
Ai kumpulan kejadian dalam ruang sample S
Nilai peluang adalah tak negatif
Keseluruhan ruang sampel memiliki nilai peluang 1
Untuk 2 peristiwa berbeda dan tak beririsan dalamsuatu ruang sampel, peluang gabungan penjumlahan peluang masing-masing peristiwa
6
7
Peluang Bersyarat8
Peluang munculnya 2,4,6 setelah munculnya 1,2,3,4,5 adalah (2/6) / (5/6) = 2/5
Jika A dan B dua peristiwa dalam ruang sampel S
Peluang peristiwa A jika diketahui peristiwa B munculdidefinisikan sebagai peluang bersyarat
Peluang bersyarat P(A|B) dibaca sebagai
Peluang terjadinya A bila kejadian B sudah diketahuiterjadi
Peluang A dengan syarat B
9
Konsep peluang bersyarat dalam diagram Venn
Mula-mula peristiwa B adalah sebesar lingkaran yang diarsir pada gambar 1
Bukti baru A terjadi memberikan efek bahwa ruangsampel S (seluruh kotak) tereduksi menjadi A (lingkarantebal gambar 2) dan peristiwa B menciut menjadi AB
Gambar 1 Gambar 2
10
B A B A
Peluang Total
Misalkan B1, B2, , BN adalah peristiwa yang saling bebas
(mutually exclusive) yang gabungannya sama dengan ruang
sampel S. Himpunan ini bernama partisi dari S
Maka semua peristiwa dalam S dapat dinyatakan sebagai
11
Karena B1, B2, ., BN saling bebas maka
Dan
maka
12
= | ()
Contoh Peluang Total
My mood can take one of two values
Happy, Sad
The weather can take one of three values
Rainy, Sunny, Cloudy
We can compute P(Happy) and P(Sad) as follows:
P(Happy) =P(Happy/Rainy)+P(Happy/Sunny)+P(Happy/Cloudy)
P(Sad) =P(Sad/Rainy)+P(Sad/Sunny)+P(Sad/Cloudy)
13
TEOREMA BAYES
Jika suatu peristiwa A terjadi, berapakah peluang
terjadinya peristiwa B?
Dengan memakai definisi peluang bersyarat dan
teorema peluang total maka akan diperoleh
14
15
Peluang terjadinya peristiwa B Jika peristiwa A terjadi
Peluang termasuk Kategori B Jika fitur A diketahui
Contoh Teorema Bayes (1)
Sakit dan gejala
dimana
( / ) ( )( / )
( )
P Symptom Disease P DiseaseP Disease Symptom
P Symptom
( ) ( / ) ( )
( / ) ( )
P Symptom P Symptom Disease P Disease
P Symptom Disease P Disease
16
Contoh Teorema Bayes (2)
Contoh : sea bass & salmon
Kondisi alami acak
Kemungkinan penangkapan sama
P(1) = P(2) (uniform priors)
P(1) + P( 2) = 1 (exclusivity and exhaustivity)
17
Aturan Keputusan dengan hanya informasi awal
Putuskan 1 if P(1) > P(2) kalau tidak putuskan 2
Menggunakan informasi kelas kondisional
P(x | 1) and P(x | 2) menunjukkan perbedaan sinarantara sea bass dan salmon
P(x | 1) kemungkinan tingkat sinar pada ikan sea bass
18
KK19
Bentuk alternatif untuk menentukan
keputusan menggunakan teorema Bayes:
Dimana untuk 2 variabel,
Posterior = (Likelihood x Prior) / Evidence
2
1
)()|()(j
j
jj PxPxP
20
21
22
Keputusan diberikan kemungkinan posterior x adalah observasiyang mana:
Bila P(1 | x) > P(2 | x) , maka kondisi(state) yang benar = 1Bila P(1 | x) < P(2 | x) , maka kondisi yang benar = 2
Kemungkinan kesalahan
P(error | x) = P(1 | x) bila diputuskan 2P(error | x) = P(2 | x) bila diputuskan 1
23
Minimisasi kemungkinan kesalahan
Putuskan 1 if P(1 | x) > P(2 | x);
kalau tidak putuskan 2
Jadi:
P(error | x) = min [P(1 | x), P(2 | x)]
(Keputusan Bayes)
Bayes untuk KLASIFIKASI 0/1
Input: x = [x1,x2]T ,Output: C {0,1}
Prediksi:
lainnya 0
)|0()|1( bila 1pilih
atau
lainnya 0
50)|1( bila 1pilih
2121
21
C
C
C
C
,xxCP ,xxCP
. ,xxCP
24
Aturan Bayes (Bayes rule)
untuk klasifikasi 0/125
CCC
| |
1|1|0
00|11|
110
CC
CCCC
CC
Teori Keputusan Bayesian
26
Misalkan {1, 2,, c} menyatakan himpunan dari c kategori dan {1, 2,, a} menyatakan himpunan dariaksi2 yang dimungkinkan
Misalkan (i | j) adalah kerugian yang terjadi untukmengambil aksi i bila kondisi yang seharusnya adalah j ,maka resiko keseluruhan:
R = Sum of all R(i | x) , i = 1,,a
dengan
cj
j
jjii xPxR1
)|()|()|(
Pilih aksi i yang menghasilkan R(i | x) minimum
27
Untuk klasifikasi 2 kategori:
1 untuk memutuskan1,
2 untuk 2 dan ij = (i | j)
Kerugian yang terjadi bila memutuskan i kalau kondisisebenarnya adalah j disebut resiko kondisional:
R(1 | x) = 11P(1 | x) + 12P(2 | x)
R(2 | x) = 21P(1 | x) + 22P(2 | x)
28
Bila R(1 | x) < R(2 | x) keputusan 1 diambil
Hal ini ekuivalen dengan putuskan 1 bila:
(21- 11) P(x | 1) P(1) > (12- 22) P(x | 2) P(2)
dan putuskan2 bila sebaliknya
)(
)(.
)|(
)|(
1
2
1121
2212
2
1
P
P
xP
xP
Ambil aksi 1 atau putuskan 1 ,kalau tidakambil aksi 2 atau putuskan 2
Likelihood ratio:
bila,
Klasifikasi minimum error rate
29
cjiji
jiji ,...,1,
1
0),(
Fungsi kerugian zero-one:
1
1
)|(1)|(
)|()|()|(
j
ij
cj
j
jjii
xPxP
xPxR
Sehingga kerugian kondisional menjadi
Contoh Nave Bayes Classifier30
31
CCC
| |
CCC
| |
32
Tugas33
Tugas membuat program Bayes (1 minggu)
Tugas membuat resume dari paper yang dipilih (2
minggu)
TERIMA KASIH