KLASIFIKASI & PENGENALAN POLA

Pertemuan 4

1

CLASSIFIER BERDASAR TEORI BAYES

Minimum Distance Classifiers

Minimum distance classifiers melakukan klasifikasi berdasarkan jarak terpendek.

Ada dua jenis yang dibahas: 1. The Euclidean Distance Classifier

2. The Mahalanobis Distance Classifier

2

The Euclidean Distance Classifier

Classifier Bayesian Optimal (dibahas pada pertemuan yang sebelumnya) dapat disederhanakan menggunakan asumsi-asumsi berikut:

◦ Semua kelas mempunyai probabilitas yang sama (equiprobable)

◦ Semua data dalam semua kelas mempunyai distribusi normal atau Gaussian

◦ Semua kelas mempunyai matriks kovarians yang sama

◦ Matriks kovarians berbentuk matriks diagonal dan semua elemen diagonalnya sama besar, yaitu S = 2 I dengan I adalah matriks identitas

3

Dengan asumsi-asumsi di atas, maka Classifier Bayesian

Optimal menjadi sama dengan classifier jarak Euclidean

(Euclidean Distance Classifier), yaitu suatu pola x akan

dimasukkan ke dalam kelas i jika

dengan S adl matriks kovarians dan mi adl rerata kelas i.

Jika jumlah kelas lebih dari dua maka kelas suatu

pola/data ditentukan oleh jarak yang terpendek (minimum)

4

The Euclidean Distance Classifier

ji

T

ii mxmxmxmx )()( ji

Dari formula yang digunakan untuk classifier jarak

Euclidean di atas, terlihat bahwa ada kemiripan dengan

classifier berdasar teori Bayes yang telah dipelajari pada

pertemuan sebelumnya. Perbedaan yang juga berarti

penyederhanaan diakibatkan oleh karena semua kelas

yang ada mempunyai probabilitas priori yang sama besar

(equiprobable) dan matriks kovarian yang sama untuk

semua kelas dan berbentuk matriks diagonal.

5

The Euclidean Distance Classifier

The Mahalanobis Distance Classifier

Jika asumsi terakhir pada classifier jarak Euclidean tidak terpenuhi atau dengan kata lain matriks kovarians tidak berbentuk matriks diagonal dan semua elemen diagonalnya tidak sama besar, maka jenis classifier disebut dengan classifier jarak Mahalanobis (Mahalanobis Distance Classifier)

Classifier jarak Mahalanobis menyatakan bahwa suatu pola x akan dimasukkan ke dalam kelas i jika

6

)()()()( 11

j

T

ji

T

i mxSmxmxSmx ji

Norma & Jarak Euclidean

Norm atau panjang Euclidean suatu vektor

u = (u1,u2,..,un) didefinisikan sebagai:

Jarak Euclidean antara 2 vektor u = (u1,u2,..,un) dan v = (v1,v2,..,vn) didefinisikan sebagai:

7

22

2

2

1

2/1 ...).( nuuuuuu

22

22

2

11 )(...)()(),( nn vuvuvuvuvude

Contoh 1

Terdapat pekerjaan klasifikasi dengan 2 kelas dalam ruang 3 dimensi.

Kedua kelas dimodelkan dengan distribusi Gaussian. Rerata kelas 1

adalah m1 = [0 0 0]T dan rerata kelas 2 adalah m2 = [0.5 0.5 0.5]T.

Kedua kelas mempunyai probabilitas yang sama dan matriks kovarian

untuk kedua kelas adalah sama sbb:

Jika terdapat pola x = [0.1 0.5 0.1]T, maka klasifikasikan pola tsb

menggunakan:

◦ classifier jarak Euclidean

◦ classifier jarak Mahalanobis

8

2.001.001.0

01.02.001.0

01.001.08.0

21 SS

Penyelesaian

Klasifikasi menggunakan jarak euclidean

Dari soal diketahui:

9

1.0

5.0

1.0

2.001.001.0

01.02.001.0

01.001.08.0

5.0)()(

5.0

5.0

5.0

0

0

0

21

2121

xSS

PPmm

10

5196.0

27.0

27.0

1.0

5.0

1.0

1.05.01.0

)()(

)()(

1

11

2

1

111

mx

mxmxmx

mxmxmx

T

T

Jarak euclidean ke kelas 1

11

5657.0

32.0

32.0

4.0

0

4.0

4.004.0

)()(

)()(

2

22

2

2

222

mx

mxmxmx

mxmxmx

T

T

Jarak euclidean ke kelas 2

Jarak vektor x ke kelas 1 lebih pendek daripada jarak

vektor x ke kelas 2, atau

0,5196 < 0,5657

sehingga vektor x masuk ke kelas 1

Dengan cara yang sama, maka klasifikasi dapat dilakukan

menggunakan classifier jarak mahalanobis.

12

21 mxmx

13

)()(

)()(

1

1

1

2

1

1

1

11

mxSmxd

mxSmxd

T

T

Klasifikasi menggunakan jarak mahalanobis

Jarak mahalanobis ke kelas 1

Dalam hal ini kita perlu menghitung invers

matriks kovarians S terlebih dahulu.

Invers matriks kovarians:

Jarak mahalanobis ke kelas 1

14

0154.52478.00596.0

2478.00154.50596.0

0596.00596.02515.11S

1334.1

2846.1

1.0

5.0

1.0

1.05.01.0 1

1

Sd

Jarak mahalanobis ke kelas 2

Jadi, menggunakan classifier jarak mahalanobis vektor x

masuk ke kelas yang mana?

Berikan penjelasan tentang hasil klasifikasi menggunakan

euclidean dan mahalanobis di atas.

15

9918.0

9836.0

4.0

0

4.0

4.004.0 1

2

Sd

Notes

Untuk kepentingan programming maka baik rerata kelas

maupun data dapat dibentuk menjadi satu matriks.

◦ Misal ada 2 kelas 2 rerata dibentuk matriks rerata 3x2 sbb:

m = [m1 m2]

◦ Misal ada 3 data yang akan diklasifikasikan dapat dibentuk

matriks data 3x3 sbb:

x = [x1 x2 x3]

16

Tugas 1 Anda

Buatlah m file untuk mengerjakan soal contoh di

atas, cobalah juga membuat fungsi untuk

menghitung jarak euclidean dan mahalanobis

sehingga dapat menyederhanakan program

utama yang anda buat.

17

Tugas 2 Anda

No.data Kelas 1 Kelas 2

Posisi x Posisi y Posisi x Posisi y

1 1 1,5 13 12

2 1,2 2 9 11

3 2 0,5 12 10,8

4 0,5 1,3 11 12,5

5 2 1 10 14

6 3 1.4 9 9

7 4 0,5 10,1 13

8 0,8 3 13 11,7

9 2 4 10,9 9,1

10 1,6 3 11,2 12,2

Sigma 18.1 18.2 109.2 115.3

Rerata 1.81 1.82 10.92 11.53

18

Terdapat data pada tabel berikut yang terdiri dari dua kelas yaitu kelas 1 (1) dan kelas 2 (2). Diketahui bahwa probabilitas priori kedua kelas adalah sama besar atau P(1)=P(2)=0,5.

Tugas 2 Anda (lanj.)

Maka rerata kelas 1 (m1) dan rerata kelas 2 (m2)

m1 = [1.81 1.82]T

m2 = [10.92 11.53]T

Klasifikasikanlah data d11 = [5 4]T menggunakan Euclidean distance classifier.

Klasifikasikanlah data d11 = [5 4]T menggunakan Mahalanobis distance classifier jika diketahui

19

0796.243282.21

3282.211943.2221 SS

Referensi

An Introduction to Pattern Recognition: A Matlab Approach,

2010, Sergios Theodoris, Elseivier Inc.

20