PENGENALAN WAJAH MENGGUNAKAN METODE TWO-DIMENSIONAL

LINEAR DISCRIMINANT ANALYSIS & SUPPORT VECTOR MACHINE

Oleh :Fitri Damayanti

Dosen Pembimbing :Dr. Agus Zainal Arifin S.Kom, M.Kom

Rully Soelaiman S.Kom, M.Kom

LATAR BELAKANG

• Pengenalan wajah dewasa ini menjadi salah satu bidang yg banyak diteliti & juga dikembangkan oleh para pakar pattern recognition, karena semakin luasnya penggunaan teknik identifikasi wajah dalam aplikasi yang digunakan oleh masyarakat.

• Pengenalan wajah terdiri dari 2 proses :- Ekstraksi fitur : mendapatkan ciri2 pembeda. - Klasifikasi : klasifikasi wajah yg akan dikenali.

M Turk & A Pentland, 1991 : PCA pengenalan wajah.• Memproyeksikan data pada arah yang memiliki

variasi terbesar, yang ditunjukkan oleh vektor eigen yang bersesuaian dengan nilai eigen terbesar dari matriks kovarian.

• Melakukan reduksi dimensi dengan melakukan transformasi linier dari suatu ruang berdimensi tinggi kedalam ruang berdimensi rendah.

- : kurang optimal dalam pemisahan antar kelas.

LATAR BELAKANG

LATAR BELAKANG

Cheng dkk, 1991 : LDA pengenalan wajah. • Menemukan subruang linier yang memaksimalkan

perpisahan antar kelas menurut JF, dengan cara meminimalkan jarak matriks sebaran within-class Sw dan memaksimalkan jarak matriks sebaran between-class Sb.

- : menyebabkan SSS problem.

LATAR BELAKANG

Belheumeur dkk, 1997 : Fisherfaces pengenalan wajah.• Menggabungkan PCA & LDA. • PCA utk mereduksi dimensi• LDA utk mendekatkan citra dalam satu kelas dan

memisahkan sejauh mungkin jarak antar kelas .

- : mengakibatkan kehilangan beberapa informasi diskriminan pada saat proses reduksi dimensi PCA.

LATAR BELAKANG

Yang dkk, 2004 : 2DPCA pengenalan wajah• Citra wajah dalam matriks 2D tidak perlu lagi

ditransformasikan kedalam bentuk vektor 1D.• Dari matriks citra asli langsung didapatkan

matriks kovariannya.

- : Basis PCA, hanya bagus untuk representasi data tetapi tidak bagus untuk diskriminan data.

LATAR BELAKANG

TDLDA : menghitung secara langsung matrik within class scatter dari matrik citra tanpa transformasi citra ke vektor, sehingga dapat menghilangkan singular problem dalam matrik within-class scatter

LATAR BELAKANG

• Algoritma KNN tidak memperhatikan distribusi dari data hanya berdasarkan jarak data baru itu ke beberapa data / tetangga terdekatnya.

• Algoritma SVM memperhatikan distribusi data sehingga berusaha untuk menemukan fungsi pemisah yang optimal yang bisa memisahkan dua set data dari dua kelas yang berbeda.

hyperplanexi.w+b = 0

Kelas 2

Kelas 1

xi.w+b = -1

xi.w+b = +1

-b/w

m Support vector

PERUMUSAN MASALAH

Bagaimana menerapkan TDLDA sebagai ekstraksi fitur untuk mengatasi masalah matrik sebaran within class Sw singular, sehingga citra wajah dapat terekstraksi dengan baik.

Bagaimana menerapkan pengklasifikasi Support Vector Machine (SVM) untuk permasalahan pengenalan wajah.

TUJUAN DAN MANFAAT

• Penelitian ini mempunyai tujuan melakukan pengenalan wajah dengan mengintegrasikan Two-Dimensional LDA sebagai ekstraksi fitur dan Support Vector Machine (SVM) sebagai pengklasifikasi.

• Manfaat penelitian ini diharapkan dapat dikembangkan lebih jauh untuk permasalahan information security yang berbasis biometrik.

DESAIN SISTEM

Memasukkan basis data pelatihan

Ekstraksi fitur TDLDA

Pengklasifikasi SVM

Memasukkan data pengujian

Ekstraksi fitur data pengujian

Pengklasifikasi SVM

Hasil identifikasi (pengenalan)

Proses Pelatihan Proses Pengujian

Data hyperplane

Teknik proyeksi citra secara langsung, matriks citra wajah 2D tidak perlu ditransformasikan kedalam vektor.

Menemukan subruang linier yang memaksimalkan perpisahan antar kelas menurut JF, dengan cara meminimalkan jarak matriks sebaran within-class Sw dan memaksimalkan jarak matriks sebaran between-class Sb

Metode ekstraksi fitur yang bertujuan untuk menemukan matriks transformasi optimal L dan R sehingga citra asli Ai dirubah kedalam ruang citra dimensi rendah menjadi Bi = LT Ai R.

Algoritma TDLDA

Algoritma TDLDA

1. Matriks data pelatihan :

2. Rata2 kelas :

3. Rata2 global :

rcnrnrn

cnnn

cnnn

AAA

AAA

AAA

)(2)(1)(

2)(22)(21)(

1)(12)(11)(

...

............

...

...

An =

∑ Π∈=

iXi

i Xn

M1

∑ ∑= Π∈

k

i X iX

1n

1M =

Mulai

Matriks data pelatihan A, k,

ni, n

Hitung nilai rata -rata kelas

Hitung nilai rata -rata global

Rata-rata kelas & rata-rata

global

Selesai

Algoritma TDLDA

1. Menentukan nilai dan . Nilai ≤ r dan ≤ c.

2. Menetapkan matriks transformasi R ukuran (c, )3. Mengitung matriks between class scatter R (r,r)

4. Menghitung matriks within class scatter R (r,r)

5. Menghitung eigenvec & eigenval (S )-1(S ) dgn SVD6. Ambil sebanyak eigenvector dari langkah 5 sebagai

matriks transformasi baris (L). L = [ , ..., ], (r x )

1 2 1 2

Ti

Tk

iii MMRRMMn )()(

1

−−∑=

,)()(1

Ti

Ti

k

i x

MXRRMXi

−−∑ ∑= Π∈

2

Rb

RWS =

S =Rb

RW

L1φ L

1φ1

1

Matriks data pelatihan A, rata2

kelas, rata2 global, ni, n, k, l 1 dan l 2

Tentukan matriks R

Hitung danRwS R

bS

Hitung eigenvec & eigenval dgn SVD1)( −R

wS )( RbS

Tentukan l 1 eigenvector sebagai matriks proyeksi

baris (L)

L

Selesai

Mulai

Lb

LW

)()(1

MMLLMMn iTT

k

iii −−∑

=

),()(1

iTT

i

k

i x

MXLLMXi

−−∑ ∑= Π∈

S =

2

Lb

R1φ 2

R

2φ

LW

1. Mengitung matriks between class scatter L (c,c)

2. Menghitung matriks within class scatter L (c,c)

3. Menghitung eigenvec & eigenval (S )- 1 (S ) dgn SVD4. Ambil sebanyak eigenvector dari langkah 3 sebagai

matriks transformasi kolom (R). R = [ , ..., ], (r x )

S =

Algoritma TDLDA Matriks data pelatihan A, rata2 kelas, rata2 global, ni, n, k, l 2, dan L

Hitung dan

Hitung eigenvec & eigenval dgn SVD

Tentukan l 2 eigenvector sebagai matriks proyeksi

kolom (R)

R

Selesai

LwS L

bS

1)( −LwS )( L

bS

Mulai

1. Hitung matriks fitur ekstraksi adalah Bi=LTAiR , ukuran matriksnya ( x )

2. Output : matriks fitur ektraksi Bi, matriks transformasi baris L, dan matriks transformasi kolom R.

Algoritma TDLDAMulai

Matriks data pelatihan A , L ,

R

Hitung fitur ekstraksi B = LT * A * R

L, R dan B

Selesai

1 2

Algoritma SVM

Pengklasifikasian SVM untuk multiclass One Against All akan membangun sejumlah k SVM biner (k adalah jumlah kelas).

Hasil ekstraksi fitur mempunyai distribusi tdk linier, diselesaikan dengan kernel.

Menemukan sejumlah support vector dengan cara menghitung nilai , …, (N : jml data pelatihan) untuk mendapatkan bidang pemisah terbaik menggunakan QP.

1α Nα

1. Tentukan Input (Z) dan Target (Y) sebagai pasangan pelatihan dari dua kelas.

2. Hitung Kernel Gaussian K(Z,Zi) = exp

3. Hitung Matriks Hessian H = K(Z,Zi) * Y * YT.

4. Tetapkan c=1000 dan epsilon= 1x10-7.

5. Tetapkan vektor e sebagai vektor satuan yang memiliki dimensi sama dengan dimensi Y.

6. Hitung solusi quadratic programming:

min dimana dan αααα TT eHL −=

2

1)(

0=αTy c≤≤ α0

Input : matriks Z dan Y

Mulai

Hitung :Fungsi Kernel

Hitung :Matriks H

Tentukan nilai c dan epsilon

Tetapkan Vektor e = vektor satuan

Nilai w, x, b

Selesai

Hitung :solusi Quadratic Programming dari L

Algoritma SVM

))2(

||(

2

2

σiZZ −−

Algoritma SVM

Proses pengujian atau klasifikasi dilakukan juga pada setiap SVM biner menggunakan nilai w, b, dan xi yang dihasilkan pada proses pelatihan di setiap SVM biner.

Fungsi keputusan yang mempunyai nilai maksimal, menunjukkan bahwa data xd merupakan anggota dari kelas fungsi keputusan tersebut.

1. Input : vektor T (data pengujian), vektor w, x, b, dan k (jumlah kelas).

2. Hitung Kernel Gaussian K(T,xi) = exp

3. Hitung

4. Ulangi langkah 2 dan 3 untuk i = 2 sampai k.

5. Tentukan nilai fi yang paling maksimal.

6. Kelas i dengan fi terbesar adalah kelas dari vektor T.

))2(

||(

2

2

σixT −−

iiii bwxTKf += ),(

Input : T,w,x,b dan k

Mulai

Hitung :Kernel K(T,xi)

Hitung : fi =K(T,xi).wi+bi

Indeks i,dengan fi terbesar (kelas

dari T)

Selesai

i = i+1

i =k

Cari fi maksimal

ya

tidak

Algoritma SVM

DATA UJI COBA

Basis data wajah yang digunakan untuk uji coba : Basis data ORL

40 orang dgn 10 variasi yg berbeda

Basis data YALE

15 orang dgn 11 variasi yg berbeda

DATA UJI COBA

Basis data wajah yang digunakan untuk uji coba : Basis data BERN

28 orang dgn 10 variasi yg berbeda

SKENARIO UJI COBA

Pengambilan data citra wajah sebagai data pelatihan tidak terurut tetapi bervariasi.

Jumlah data pelatihan juga bervariasi yaitu diambil sebanyak 3 data pelatihan, 4 data pelatihan, dan 5 data pelatihan untuk masing-masing subyek (kelas).

Pada pengujian dipakai dimensi proyeksi baris (p)

dari 10 sampai 20, dan dimensi proyeksi kolom (q) dari 10 sampai 20.

HASIL UJI COBA

Database Prosentase Pengenalan

Uji 3 Uji 4 Uji 5

ORL 92,14 % 94,58 % 97,00 %

Yale 91,67 % 97,14 % 98,89 %

Bern 82,65 % 92,26 % 95,71 %

Hasil uji coba menggunakan TDLDA - KNN

HASIL UJI COBA

Database Prosentase Pengenalan

Uji 3 Uji 4 Uji 5

ORL 92,86 % 96,67 % 97,50 %

Yale 95,00 % 99,05 % 100,00 %

Bern 84,18 % 94,05 % 97,14 %

Hasil uji coba menggunakan TDLDA - SVM

HASIL UJI COBA

Variasi Prosentase Pengenalan

Pengujian TDLDA- SVM

TDLDA- KNN

2DPCA* Fisher-Face**

Uji ORL 3 92,86 % 92,14 % 91,80 % 84,50 %

Uji ORL 4 96,67 % 94,58 % 95,00 % 91,46 %

Uji ORL 5 97,50 % 97,00 % 96,00 % 95,15 %

Perbandingan hasil uji coba dengan database ORL

Ket : * diperoleh dari sumber (Yang J, 2004) ** diperoleh dari sumber (Liang Z, 2008)

HASIL UJI COBA

75,00

80,00

85,00

90,00

95,00

100,00

ORL3 ORL4 ORL5

Jumlah Data Pelatihan Per Kelas

Pro

sen

tase

Pen

gen

alan

2DLDA+SVM

2DLDA+K-NN

2DPCA

Fisherface

KESIMPULAN

Pada basis data ORL uji 3 akurasi pengenalannya mencapai 92,86%, pada uji 4 akurasi pengenalannya 96,67%, sedangkan pada uji 5 akurasi pengenalannya 97,50%.

Pada basis data Yale uji 3 akurasi pengenalannya mencapai 95,00%, pada uji 4 akurasi pengenalannya 99,05%, sedangkan pada uji 5 akurasi pengenalannya 100%.

Pada basis data Bern uji 3 akurasi pengenalannya mencapai 84,18%, pada uji 4 akurasi pengenalannya 94,05%, sedangkan pada uji 5 akurasi pengenalannya 97,14%.

KESIMPULAN

Metoda TDLDA - SVM mampu menunjukkan akurasi pengenalan yang optimal dibandingkan dengan metoda lainnya (TDLDA - KNN, 2DPCA, Fisherface).

Terdapat tiga variabel penting yang mempengaruhi tingkat keberhasilan pengenalan, yaitu variasi urutan dari sampel pelatihan per kelas yang digunakan, jumlah sampel pelatihan per kelas yang digunakan, dan jumlah dimensi proyeksi.

SARAN

Pada metode ekstraksi fitur ditambah dengan fungsi kernel, supaya dapat menyelesaikan permasalahn data nonlinear.

Sebagai pembanding dapat digunakan metode klasifikasi lainnya.

Pada penelitian berikutnya disarankan ada penambahan proses deteksi wajah sehingga sistem ini dapat dikembangkan menjadi sistem pengenalan wajah secara Real Time.

PENGENALAN BENAR

PENGENALAN SALAH

DAFTAR PUSTAKA Burges, J.C. (1998), A Toturial on Support Vector Machines for Pattern

Recognition, Data Mining and Knowledge Discovery, 2(2):955-974. Duda R, Hart P, and Stork D. (2000). “Pattern Clasiffication”, Second edition.

J. Wiley and Sons, Inc. Hsu, Chih-Wei, Chih-Jen Lin. (2002) A Comparison of Methods for Multi-

class Support Vector Machines. IEEE Transactions on Neural Networks, Vol. 13, No. 2, hal. 415-425.

J.P. Yvon (2001), SVM-KM tools (monqp),------------------------------------ Kong H, Wang L, Teoh E.K, Wang J.G, Venkateswarlu R.(2005) “ A

framework of 2D Fisher discriminant analysis : application to face recognition with small number of training samples”, In : IEEE Conf. CVPR.

Liang Z, Li Y, Shi P. (2008) “A note on two-dimensional linear discriminant analysis”, Pattern Recogn. 2122-2128.

Nugroho, Anto Satriyo., Witarto, Budi Arief, Handoko, Dwi., (2003), Support Vector Machine – Teori dan Aplikasinya Dalam Bioinformatika, Kuliah Umum Ilmu Komputer.com, http://ilmukomputer.com.

DAFTAR PUSTAKA P. N. Belhumeur, J. P. Hespanha, D. J. Kriegman. (1997), “Eigenfaces vs

Fisherfaces Recognition Using Class Specific Linear Projection”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 19, no 7, pp 711 – 720.

Quan-xue-Gao, Lei Zhang, David Zhang. (2008), “ Face Recognition Using FLDA With Single Training Image Per Person”, Applied Mathematics and Computation 205 726-734.

Soelaiman, Rully (2003). Sistem Pengenalan Wajah Dengan Penerapan Algoritma Genetika pada Optimasi Basis Eigenface dan Proyeksi Fisherfac, Tesis, Universitas Indonesia, Jakarta

The University of Bern (2008), Bern Database (Oktober 2008), http://vision.ai.uiuc.edu/mhyang/face-detection-survey.html#face-database.

The Yale Face Database, Yale Database (Oktober 2008), http://cvc.yale.edu/projects/yalefaces/yalefaces.html

Olivetti Research Laboratorium (2008), ORL Database (Oktober 2008), http://people.cs.uchicago.edu/~dinoj/vis/orl/

Yang J, Zhang D. Frangi A.F, Yang J.Y. (2004), “Two-dimensional pca : a new approach to appearance-based face representation and recognition”, IEEE Trans. Pattern Anal. Amch. Intell. 26(1) 131-137.

TERIMA KASIH