PengenalanPengenalan BahasaBahasa IsyaratIsyarat Indonesia Indonesia BerbasisBerbasis Sensor Sensor FlexFlex dan dan AccelerometerAccelerometerMenggunakanMenggunakan Dynamic Time WarpingDynamic Time Warping

Mohammad Iqbal Mohammad Iqbal

2209 205 024

Surabaya, Surabaya, 7 7 JuliJuli 20112011

Pembimbing:

Prof. Dr. Ir. Mauridhi Hery Purnomo, M.Eng

Dr. I Ketut Eddy Purnama, ST, MT

Presentasi Ujian TesisPresentasi Ujian Tesis

BAHASA ISYARATBAHASA ISYARAT

• Bahasa Isyarat:– Umum bagi kaum tuna rungu– Asing bagi masyarakat– Perlu perantara penerjemah

antara kaum tuna rungu danantara kaum tuna rungu danmasyarakat untukberkomunikasi

• Seorang penerjemah• Piranti penerjemah

(seperangkat alat)�Penelitian Bahasa Isyarat

Kategori:� Komputer Visi� Sensor

KomponenKomponen PembedaPembeda MaknaMakna SIBISIBI

• SIBI = Sistem Isyarat Bahasa Indonesia• Komponen Penentu (Pembeda) Makna

– Penampil � tekukan jari-jari: menggengam, membuka, …– Posisi � telapak tangan: hadap depan, atas, serong, …– Tempat– Arah– Frekuensi

Jenis Isyarat SIBIJenis Isyarat SIBI

• Jenis isyarat– Isyarat pokok

� kata dasar

– Isyarat tambahan � imbuhan� imbuhan

– Isyarat bentukan� gabungan isyarat

– Abjad jari� digunakan untuk mengeja

huruf/angka

ContohContoh IsyaratIsyarat KataKata

agama

arah gerak

(1) kamus SIBI (2) Video i-CHAT (http://i-chat.web.id)

(1) (2)

PenelitianPenelitian SIBISIBI

• Khusus SIBI– Penelitian oleh Evita [2]

• Berdasarkan data sensor flex � jari, pergelangan lengan, siku, bahu

• Metoda JST (Jaring Saraf Tiruan)• Dataset: 72 isyarat kata statis SIBI• Dataset: 72 isyarat kata statis SIBI• Hasil:

– 83,18% untuk 22 kata (hanya menggunakan senor fingers+wrist )– 49,58% untuk 72 kata (menggunakan semua sensor)

TentangTentang PenelitianPenelitian IniIni

• Untuk memperbaiki kinerja (akurasi):• Skenario:

1. Menambahkan sensor jenis lain � accelerometer 3 axis � akselarasi telapak tangan

2. Membandingkan 2 metode dan 5 ekstraksi ciri untuk 2. Membandingkan 2 metode dan 5 ekstraksi ciri untuk medapatkan akurasi yang optimal• Membandingkan 2 metode classier (pengenalan):

� DTW dan Euclidean Distance• Membandingkan 5 ekstraksi ciri yang mengintegrasikan

pendekatan statistik, histogram dan kuantisasi

SistemSistem PengenalanPengenalan BahasaBahasa IsyaratIsyarat

• Desain sistem

AkusisiAkusisi DataData

• Piranti Akusisi Data

Data SensorData Sensor

raw data dari sensor• tekukan jari jempol (c1) • tekukan jari telunjuk (c2) • tekukan jari tengah (c3) • tekukan jari kelingking (c4) • tekukan jari manis (c5)

Tabel 1. Contoh data sekuensial isyarat kata ‘kami’

KOLOMc1 c2 c3 c4 c5 c6 c7 c8 c9

r1 003 002 011 008 013 135 119 131 127r2 003 002 011 008 013 134 108 135 127r3 003 002 010 008 013 128 104 139 127r4 003 002 010 008 013 130 102 139 127

• data counter akselarasi pada sumbu x (c6) • data counter akselarasi pada sumbu y (c7) • data counter akselarasi pada sumbu z (c8) • data counter referensi (c9)

BA

RIS

r4 003 002 010 008 013 130 102 139 127r5 003 002 010 008 013 127 103 135 127r6 003 002 010 008 013 126 101 132 127r7 003 002 010 008 013 134 101 136 127r8 003 002 010 008 013 130 100 137 127r9 002 002 010 007 013 133 104 141 127

r10 002 002 010 007 012 129 107 145 127r11 002 002 010 007 012 130 107 143 127r12 002 002 010 007 012 130 111 142 127r13 003 002 009 006 010 130 120 141 127r14 002 002 007 006 009 144 122 140 127r15 002 002 006 005 008 153 132 138 127r16 002 002 006 005 008 157 142 136 127r17 002 002 006 005 007 145 156 133 127

Panjang data (n )= Jumlah baris = 17

EkstraksiEkstraksi CiriCiri

– Histogram – Nilai rata-rata (mean)

�rata-rata tekukan jari selama gerak isyarat

∑=n

iXn

u1

– Nilai simpangan baku (standard deviation)� perubahan tekukan jari selama gerak isyarat

∑=i

in 1

∑=

−=n

ii XX

ns

1

2)(1

EkstraksiEkstraksi CiriCiri

• Akselarasi Telapak Tangan– nilai akselarasi aktual (a )

a = (c – reff) * 0.0022 * 16 c = data sensor c6;c7;c8 reff = data sensor c9

– kuantisasiakselerasi (a) kuantisasi (k)

a > 2g 16

g < a ≤ 2g 10 < k ≤ 15

0 < a ≤ g 1 < k ≤ 10

a = 0 k = 0

-g ≤ a < 0 -10 ≤ k < 0

-2g ≤ a < -g -15 ≤ k < -10

a < -2g -16

EkstraksiEkstraksi CiriCiri AA

panjang data = (10*5)+(17*3) = 101

EkstraksiEkstraksi CiriCiri BB

panjang data = (5+5)+(3+3) = 16

EkstraksiEkstraksi CiriCiri CC

panjang data = (n*5)+(n*3) = n*8

EkstraksiEkstraksi CiriCiri DD

panjang data = (n*5)+(3+3) = (n*5)+6

EkstraksiEkstraksi CiriCiri EE

panjang data = (5+5)+(n*3) = 10+(n*3)

Euclidean DistanceEuclidean Distance

• Misal, dua sekuensial, P dan Q, dengan panjang data samayaitu n, maka

∑=

−=n

iiiEuclidean qpQPd

1

2)(),(=i 1

DTW (DTW (Dynamic Time WarpingDynamic Time Warping))

• Misal, dua sekuensial, Q dan C, denganpanjang masing-masing n dan m

Q = q1, q2, ..., qi, ..., qn

C = c1, c2, ..., cj, ...., cm

• Warping path (W)W = w , w , ..., w , ..., wW = w1, w2, ..., wk, ..., wK

dimana: max(m,n) ≤ K < m+n – 1

• Path (D(i,j))D(i,j) = d(qi,cj) +min{D(i-1,j-1),D(i-1,j),D(i,j-1)}dengan d(qi,cj) = (qi– cj)2

• Warping cost (DTW(Q,C))

DTW(Q,C) = min

∑ =

K

k kw1

DTW DTW vsvs EuclideanEuclidean

• Panjang data sama • Panjang data berbeda

PengujianPengujian

• Data Uji– Isyarat kata SIBI yang diisyaratkan dengan satu tangan

yaitu tangan kanan– Jumlah kelas = 50 (isyarat kata)– Jumlah sampel per kelas 20, terbagi atas

• 10 sampel untuk template• 10 sampel untuk testing• 10 sampel untuk testing

• Peranti– Netbook Acer Aspire 3810T dengan spesifikasi Intel

Core2Solo 1,4GHz FSB 800MHz, RAM 2GB DDR3 danGraphic Card Intel GMA 4500MHD

– Sistem operasi: Windows XP Professional SP2

• Tool– Delphi versi 7.0 untuk proses akusisi data,– Matlab versi 7.0 untuk komputasi proses pengenalannya

HasilHasil PengujianPengujian

Hasil Pengujian I

HasilHasil PengujianPengujian

Hasil Pengujian II

HasilHasil PengujianPengujian

• Hasil perbandingan– DTW: Akurasi terbesar 99,6%– Euclidean: Waktu testing terkecil 7,797 detik

No Metode dan Ekstraksi Ciri yang digunakan Akurasi (%) Waktu Testing (detik)

1 Euclidean Distance dan Ekstraksi Ciri A 91.8 8.0311 Euclidean Distance dan Ekstraksi Ciri A 91.8 8.031

2 Euclidean Distance dan Ekstraksi Ciri B 97.6 7.797

3 DTW dan Ekstraksi Ciri A 67.4 523.7

4 DTW dan Ekstraksi Ciri B 95.8 25.39

5 DTW dan Ekstraksi Ciri C 96.6 428.23

6 DTW dan Ekstraksi Ciri D 87.2 203.16

7 DTW dan Ekstraksi Ciri E 99.6 109.33

HasilHasil PengujianPengujianPerbandingan DTW vs Euclidean Distance

HasilHasil PengujianPengujianPerbandingan DTW vs Euclidean Distance

HasilHasil PengujianPengujian

• Fluktuasi sensitivitas– Penambahan jumlah sampel untuk data template tidak selalu

memperbesar sensitivitas– Sistem pengenal mengenali sampel baru yang ditambahkan sebagai

sampel template yang paling mirip dengan sampel testing.

Isyarat KataJumlah Sampel per Kelas Data Template

1 2 3 4 5 6 7 8 9 10

Sen

siti

vita

s

belum * 90 90 100 90 100 100 100 100 100 100

harus * 100 80 100 100 100 100 100 100 100 100

lusa * 80 100 100 90 90 90 90 100 100 100

maaf * 60 40 40 90 100 100 100 100 100 100

pakai * 80 80 90 90 80 80 100 100 100 100

teh * 90 90 80 100 100 100 100 100 100 100

yang * 70 90 90 80 80 80 100 100 100 100

HasilHasil PengujianPengujian

• Isyarat kata tidak dapat dikenali

Isyarat Kata Jumlah Sampel per Kelas Data Template

1 2 3 4 5 6 7 8 9 10

Sen

siti

vita

s

pandai ** 80 80 80 90 90 90 90 90 90 90

– Pandai [034_pandai_019.ibi] � dikenali salah sebagai selesai [038_selesai_004.ibi]

– Senang [039_senang_020.ibi]� dikenali salah sebagai sopan [041_sopan_005.ibi]

Sen

siti

vita

s

senang ** 50 70 80 80 80 80 80 90 90 90

HasilHasil PengujianPengujian

• Isyarat Kata “Pandai” &“Selesai”

HasilHasil PengujianPengujian

• Isyarat Kata “Senang” & “Sopan”

Hasil PengujianHasil Pengujian

• Menghitung akurasi rata-rata– Metode validasi: 3-fold cross validation– Akurasi rata-rata terbesar 95,6%

HasilHasil PengujianPengujian

• Online testing– Video testing: 1 2

KESIMPULANKESIMPULAN

1. Metode Dynamic Time Warping (DTW) dengan ekstraksi ciri menggunakan pendekatan statistik dan kuantisasi menghasilkan akurasi yang paling besar pada pengujian perbandingan metode pengenal dan ekstraksi ciri. Akurasi rata-rata terbesar yang diperoleh adalah 95,6% dengan menggunakan teknik validasi 3-adalah 95,6% dengan menggunakan teknik validasi 3-fold cross validation.

2. DTW kurang cocok digunakan untuk mendapatkan tingkat kemiripin dua data sekuensial dengan panjang data sama, jika urutan data pada data sekuensial mempunyai nilai yang sudah ditentukan sebelumnya. Metode yang lebih cocok digunakan adalah Euclidean Distance.

3. .