Klasifikasi Linear Discriminant Analysis - Afif Supianto...
23
Pengenalan Pola PTIIK - 2014 Klasifikasi – Linear Discriminant Analysis
Transcript of Klasifikasi Linear Discriminant Analysis - Afif Supianto...
Pengenalan Pola
PTIIK - 2014
Klasifikasi – Linear Discriminant Analysis
Course Contents
Analisis Diskriminan 1
Linear Classification 2
Linear Discriminant Analysis (LDA) 3
Studi Kasus dan Latihan 4
Analisis Diskriminan
Salah satu teknik statistik yang dapat
digunakan pada hubungan dependensi
dari suatu variabel
Suatu teknik analisis multivariate yang
digunakan untuk mengklasifikasi suatu
objek ke dalam dua kelompok atau lebih
berdasarkan variabel independennya
Analisis Diskriminan
Pengelompokkan pada analisis diskriminan
bersifat mutually exclusive dan exhaustive
mutually exclusive yaitu jika suatu objek
telah masuk pada salah satu kelompok maka
tidak dapat menjadi anggota dari kelompok
yang lain
exhaustive yaitu menyeluruh berdasarkan
sejumlah variabel penjelas berupa data
kuantitatif / continue
Linear Classification
Suatu bentuk klasifikasi yang bertujuan untuk menemukan batas-batas keputusan (decision boundaries) di dalam ruang fitur (input) secara linier
R1 R2
R3 R4
X1
X2
Batas-batas keputusan linier pada ruang input 2D
Linear Classification
Terdapat sebuah fungsi diskriminan k(x)
untuk setiap class k
Aturan klasifikasi :
Ingat bahwa fungsi loss 0-1 menyebabkan
aturan klasifikasi menjadi :
Jadi, dapat digunakan sebagai
pengganti dari k(x)
)}(maxarg:{ xkxR jj
k
)}|(maxarg:{ xXjGPkxRj
k
)|( XkGP
Linear Discriminant Analysis
Esensi : meminimalkan error pada Bayes
Classifier
Jika diasumsikan kepadatan class kondisional
berdistribusi Gaussian Multivariate dan
memiliki kovarians yang sama untuk setiap
class, maka :
dimana:
K
l
ll
kk
xf
xfxXkG
1
)(
)()|Pr(
))()(2
1exp(
||)2(
1)( 1
2/12/ k
T
kpk xxxf
Σ
Σ
Fungsi Diskriminan :
Aturan klasifikasi :
Ekuivalen dengan :
Linear Discriminant Analysis
)(maxarg)(ˆ xxG kk
)|Pr(maxarg)(ˆ xXkGxGk
)ln(2
1 11
i
T
ii
T
kii pCxCf
Contoh LDA
LDA mampu menghindari masking
Studi Kasus :
Pabrik "ABC" menghasilkan Chip Ring dengan
kualitas yang sangat mahal dan tinggi. Kualitas
tersebut diukur dalam ukuran kelengkungan dan
diameter. Hasil kontrol kualitas oleh para ahli
diberikan dalam tabel di bawah ini.
Curvature Diameter Quality Control Result
2.95 6.63 Passed
2.53 7.79 Passed
3.57 5.65 Passed
3.57 5.45 Passed
3.16 4.46 Not passed
2.58 6.22 Not passed
2.16 3.52 Not passed
Sebagai seorang konsultan pabrik, Anda
mendapatkan tugas untuk mengatur kriteria
pengendalian kualitas secara otomatis.
Kemudian, manajer pabrik juga ingin menguji
kriteria pada jenis baru dari chip ring yang
bahkan para ahli berpendapat berbeda antara
satu sama lain.
chip ring baru tersebut memiliki kelengkungan
2.81 dan diameter 5,46.
Solusi
Ketika kita merencanakan fitur, kita dapat
melihat bahwa data tersebut secara linear
terpisah. Kita bisa menarik garis untuk
memisahkan dua kelompok.
Masalahnya adalah untuk menemukan garis dan
memutarnya sedemikian rupa untuk
memaksimalkan jarak antara kelompok dan
untuk meminimalkan jarak dalam kelompok.
X = fitur (atau variabel independent) dari semua
data.
Setiap baris merepresentasikan satu objek
Setiap kolom merepresentasikan satu fitur
Y = class (atau variabel dependent) dari semua
data.
Setiap baris merepresentasikan satu objek dan hanya
memiliki satu kolom
x= y=
2.95
2.35
3.57
3.16
2.58
2.16
3.27
6.63
7.79
5.65
5.47
4.46
6.22
3.52
1
1
1
1
2
2
2
Xk = data dari baris ke-k, x3 = [3.57 5.65]
g = jumlah class pada y, g=2
Xi = fitur untuk class ke i .
Dilakukan pemisahan x kedalam class berdasarkan
jumlah class pada y.
X1= X2 =
47.5
65.5
79.7
63.6
16.3
57.3
53.2
95.2
52.3
22.6
46.4
27.3
16.2
58.2
Hitung μi = mean features dari group i dan μ =
mean global
Hitung (Mean Corrected) : (xi minus mean
global)
x i0
Hitung matrik Kovarian group I
C1 = C2 =
c i (x i
0)T x i0
ni
349.1192.0
192.0166.0
142.2
286.0
286.0
259.0
Mengumpulkan matriks kovarians per kelompok
ke dalam satu nilai. Hal ini dihitung untuk setiap
entri dalam matriks menggunakan formula :
Dalam kasus ini:
4/7*0.166 + 3/7*0.259 = 0.206
4/7*(-0.192) + 3/7*(-0.286) = -0.233 dan
4/7*1.349 + 3/7*2.142 = 1.689
C(r,s) 1
nnic i(r,s)
i1
g
Matriks kovarians
C =
Matriks inversnya
C-1 =
689.1
233.0
233.0
206.0
701.0
791.0
791.0
745.5
P = prior probability vector
P = =
Fungsi Diskriminan :
Tentukan class dari object k ke dalam class i
yang memiliki nilai fi maksimum
0.571
0.429
4 /7
3/7
)ln(2
1 11
i
T
ii
T
kii pCxCf
Hasil
Tugas
Tambahkan metode LDA pada aplikasi pengenalan pola
dari data UCI yang kalian kerjakan sebelumnya
Munculkan keluaran sesuai dengan tahapan-tahapan
penyelesaian:
Sheet4 / Form4 Covarians, Prior, Fungsi Diskriminan,
dan Hasil Klasifikasi
