IMPLEMENTASI METODE SCALE INVARIANT FEATURE … · implementasikan pada MATLAB R2012a. Batasan...

34
LOGO IMPLEMENTASI METODE SCALE INVARIANT FEATURE TRANSFORM DAN METODE CAMSHIFT PADA PENJEJAKAN OBJEK BERGERAK Oleh : Shanty Eka Agustina (1207.1000.24) Jurusan Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Teknologi Sepuluh Nopember Surabaya Dosen Pembimbing: Dr . Imam Mukhlas, S.si, MT

Transcript of IMPLEMENTASI METODE SCALE INVARIANT FEATURE … · implementasikan pada MATLAB R2012a. Batasan...

LOGO

IMPLEMENTASI METODE SCALE INVARIANT FEATURE TRANSFORM DAN METODE CAMSHIFT

PADA PENJEJAKAN OBJEK BERGERAK

Oleh :Shanty Eka Agustina (1207.1000.24)

Jurusan MatematikaFakultas Matematika dan Ilmu Pengetahuan Alam

Institut Teknologi Sepuluh Nopember Surabaya

Dosen Pembimbing: Dr . Imam Mukhlas, S.si, MT

LOGO

DASAR TEORI

ANALISIS SISTEM DAN PERANCANGAN PERANGKAT LUNAK

IMPLEMENTASI SISTEM

PENGUJIAN DAN ANALISIS PERANGKAT LUNAK

PENDAHULUAN

PENUTUP

LOGOPENDAHULUAN

Sistem Penjejakan Objek Bergerak

Latar Belakang

LOGO

Kelebihan : 1. memiliki kemampuan

melakukan adaptasi atau penyesuaian terhadap distribusi probabilitas warna yang selalu berubah tiap pergantian frame dari video.

Alasan:distribusi probabilitas warnayang selalu berubah tiappergantian frame dari video

LOGO

1

• Bagaimana mengaplikasikan metode scale invariant feature transform untuk mendeteksi dan mendeskripsikan fitur –fitur lokal yang terdapat dalam data video.

2

• Bagaimana mengaplikasikan metode camshift untuk mendeteksi objek bergerak dalam data video.

3

• Bagaimana sistem yang telah dibuat dapat menjejaki gerakan dari objek yang telah ditentukan.

Rumusan Masalah

PENDAHULUAN(LANJUTAN)

LOGO

Data video yang akan diamati sebelumnya telah tersimpan dalam penyimpanan komputer.

Objek yang akan diamati ditentukan oleh user dengan ketentuan hanya satu kesatuan objek bergerak saja.

Penjejakan objek bergerak dengan metode scale invariant feature transform dan metode camshift di implementasikan pada MATLAB R2012a

Batasan Masalah

PENDAHULUAN(LANJUTAN)

LOGO

Mengaplikasikan metode scale invariant feature transformuntuk mendeteksi dan mendeskripsikan fitur- fitur lokal dari citra pada data video

Mengaplikasikan metode camshift untuk mendeteksi objek bergerak dalam data video.

Mengaplikasikan sistem yang telah dibuat agar dapat menjejaki gerakan dari objek yang telah ditentukan oleh user.

Tujuan

PENDAHULUAN(LANJUTAN)

LOGO

1Dapat memudahkan pengamat dalam melakukan proses pengamatan objek bergerak pada suatu data video.

2Dihasilkan suatu aplikasi penjejakan objek bergerak pada video yang mampu melakukan penjejakan suatu objek bergerak.

Manfaat

PENDAHULUAN(LANJUTAN)

LOGO

DASAR TEORI

ANALISIS SISTEM DAN PERANCANGAN PERANGKAT LUNAK

IMPLEMENTASI SISTEM

PENGUJIAN DAN ANALISIS PERANGKAT LUNAK

PENDAHULUAN

PENUTUP

LOGODASAR TEORI

Citra DigitalCitra adalah kumpulan gambar yang

secara keseluruhan merekam suatuadegan melalui media indra visual.Citradapat dideskripsikan sebagai data dalamdua dimensi dalam bentuk matriks. Citradigital adalah citra dua dimensi yangdapat dipresentasikan dengan fungsiintensitas cahaya yang mana X dan Ymenyatakan koordinat spasial.

LOGO

Penjejakan Objek BergerakPenjejakan Objek Bergerak(Obyek Tracking)adalah proses mencari lokasi dari objek yang akan diamati dari suatu data video untuk setiap satu satuan frame dalam data video tersebut.

Penjejakan objek bergerak berdasarkan gerakan objek

Penjejakan objek bergerak berdasarkan pengenalan objek.

Metode yang sering digunakan : 1.Kalman filter2.extended Kalman filter3.Particle filter

Metode yang sering digunakan : 1.SIFT2.RANSAC3.Mean Shift4.Camshift

DASAR TEORI (LANJUTAN)

LOGO

Cara Kerja Algoritma SIFTCara Kerja Algoritma SIFT adalah sebagai berikut:1. Gaussian dan Difference of Gaussian Scale Space

Scale Space

agar didapatkan fitur-fitur yang stabil (invarian) terhadap berbagai

kemungkinan perubahan terhadap skala citra.

Tujuan

Fungsi Gausian

Pembangun Scale Space

Gaussian Scale Space

Difference Of Gaussian

Cara Pembentukannya

cara mensubstraksi dua citra Gaussian Scale Space yang

berdekatan(D(x,y,σ)) = L(x,y,kσ)-L(x,y,σ)

Rumus

DASAR TEORI (LANJUTAN)

LOGO

Keterangan – L(x,y,kσ) adalah konvolusi dari citra asli I(x,y) dengan Gaussian filter G(x,y,σ) pada skala kσ dengan k = √2. – L(x,y,σ) adalah konvolusi dari citra asli I(x,y) dengan Gaussian filter G(x,y,σ) pada skala σ2. Deteksi Ekstremum

Deteksi Ekstremum

membandingkan nilai setiap piksel pada DoG Scale spacedengan delapan piksel yang

berada di sekelilingnya dan 9 piksel yang bersesuaian pada citra DoG sebelumnya dan setelahnya.

Cara Pembentukannya

Jika nilai piksel yang dimaksud lebih besar atau lebih kecil daripada nilai-nilai piksel

pembandingnya maka koordinat piksel tersebut ditandai sebagai

ekstremum

Kriteria Deteksi Ekstremum

DASAR TEORI (LANJUTAN)

LOGO

Titik-titik Ekstremum

Lokalisasi dengan akurasi

subpiksel ekspansi Taylor orde kedua

Posisi Ekstrema

Menghitung Nilai Keypoint Pada Ekstrema

Jika nilai D(z)tidak melebihi suatu nilai threshold ( 0.03) maka keypoint tersebut

dihilangkan dan tidak dipakai lagi.

Alat Pembantu

Kriteria Keypoint

DASAR TEORI (LANJUTAN)

LOGO Penetapan Orientasi Keypoint (Orientation assignment)

Penetapan Orientasi Keypoint

untuk mendapatkan sifat invarian

terhadap rotasi objek

Tujuan

citra Gaussian smooth L yang memiliki skala paling dekat dengan skala keypoint

Gradien MagnitudeOrientasi

Histogram Orientasi

Puncak Histogram Orientasi =

Orientasi Dominan

Alat Pembentuk

Dicari

Dibentuk

Dicari

LOGO

Penentuan Deskriptor Lokal Proses terakhir adalah menghitung vektor deskriptor.

Deskriptor dihitung untuk masing-masing keypoint, langkahini dilakukan pada gambar yang paling dekat dengan skalauntuk skala keypoint. Pertama membuat orientasi dengan 4x4piksel dengan 8 bin untuk tiap masing-masingnya.

Histogram ini dihitung dari magnitude dan nilai orientasi darisampel dalam wilayah 16x16 disekitar keypoint. Magnitudedihitung dengan fungsi Gaussian dengan σ sama dengan satusetengah lebar deskriptor. Kemudian deskriptor menjadi vektordari semua nilai histogram ini. Karena 4x4= 16 histogramdengan masing-masing memiliki 8bin, maka vektor memiliki128 elemen.

DASAR TEORI (LANJUTAN)

LOGO

Algoritma MeanshiftLangkah-langkah dari algoritma Mean Shift adalah sebagai berikut: Step 1 : Ukuran search window yang sudah ditentukan.Step 2 : Lokasi awal search window yang sudah ditentukan. Step 3 : Hitung daerah mean dalam search window.Step 4 : Posisikan search window ke tengah daerah mean seperti

dihitung pada step (3). Step 5 : Ulangi step (3) dan (4) hingga konvergen (atau hingga

pergeseran daerah mean kurang dari threshold / batas yang ditentukan).

DASAR TEORI (LANJUTAN)

LOGO

Algoritma CamshiftSecara umum algoritma camshift meliputi step-step sebagai berikut:Step 1 : Tentukan ukuran awal search window. Step 2 : Tentukan lokasi awal dari search window. Step 3 : Tentukan daerah kalkulasi (calculation region) pada bagian tengah search window dengan ukuran lebih besar dari search window. Step 4 : Frame citra video dikonversi ke dalam sistem warna HSV (Hue, Saturation,Value), dan dilakukan color histogram lookup dalam calculation region yang akan menghasilkan citra distribusi probabilitas warna. Step 5 : Lakukan algoritma Mean Shift seperti di atas (satu atau banyak iterasi) dengan input berupa ukuran dan lokasi search window serta citra distribusi probabilitas warna, simpan zeroth moment. Step 6 : Set nilai x, y, z yang diperoleh dari step (5).Step 7 : Nilai x, y dipakai untuk set titik tengah search window, (2*area1/2). Untuk set ukuran window. Ulangi step(3) untuk setiap pergantian frame citra video.

DASAR TEORI (LANJUTAN)

LOGO

DASAR TEORI

ANALISIS SISTEM DAN PERANCANGAN PERANGKAT LUNAK

IMPLEMENTASI SISTEM

PENGUJIAN DAN ANALISIS PERANGKAT LUNAK

PENDAHULUAN

PENUTUP

LOGOPerancangan Perangkat Lunak

Software

Program Utama:Penjejakan Objek Bergerak dengan

SIFT

Program Utama:Penjejakan Objek Bergerak dengan

Camshift

LOGOFLOWCHART PENJEJAKAN OBJEK BERGERAK dengan SIFT

Mulai

Data Video

Non Realtime

Menampilkan data video yang telah tersimpan di direktori

Konversi video ke frame

Ekstrasi fitur-fitur lokal dalam citra uji dengan algoritma SIFT

Ekstrasi fitur pencocokan keypoint

Tentukan ROI dari objek

Video hasil tracking

Selesai

Penjejakan objek bergerak

Update posisi baru dari objek

LOGOFLOWCHART PENJEJAKAN OBJEK BERGERAK dengan CAMSHIFTMulai

Data Video

Non Realtime

Menampilkan data video yang telah tersimpan di direktori

Tentukan ROI dari objek yang akan diamati

Update posisi baru dari objek

Penjejakan Objek Bergerak dengan Camshift

Video Hasil Tracking

Selesai

LOGOUji Coba Program UJI COBA PROGRAM

Data Uji CobaNo Nama Video Video1 Redcup.avi

2 bola.avi

3 cangkir.avi

LOGO

Uji coba pendeteksian fitur keypointTotal citra .jpg ada 100 citra.jpg untuk dataset redcup.avi yaitu 1.jpg

sampai dengan 100.jpg.Sedangkan total citra .jpg ada 80.jpg untuk dataset bola.avi yaitu bola1.jpg sampai dengan bola80.jpg. Dan untuk dataset cangkir.avi ada 40 citra yaitu cangkir1.jpg sampai cangkir40.jpg.

No

Citra Uji Jumlah Fitur KeypointYang Terdeteksi

1 Redcup1.jpg Jumlah Fitur yang terdeteksi 395 keypoint

2 Redcup2.jpg Jumlah Fitur yang terdeteksi 422 keypoint

3 Redcup3.jpg Jumlah Fitur yang terdeteksi 393 keypoint

4 Redcup4.jpg Jumlah Fitur yang terdeteksi 389 keypoint

Untuk dataset Redcup.avi

LOGO

No

Citra Uji Jumlah Fitur KeypointYang Terdeteksi

1 Bola1.jpg Jumlah Fitur yang terdeteksi 193 keypoint

2 Bola2.jpg Jumlah Fitur yang terdeteksi 208 keypoint

3 Bola3.jpg Jumlah Fitur yang terdeteksi 211 keypoint

4 Bola4.jpg Jumlah Fitur yang terdeteksi 240 keypoint

No

Citra Uji Jumlah Fitur KeypointYang Terdeteksi

1 Cangkir1.jpg Jumlah Fitur yang terdeteksi 273 keypoint

2 Cangkir2.jpg Jumlah Fitur yang terdeteksi 328 keypoint

3 Cangkir3.jpg Jumlah Fitur yang terdeteksi 301 keypoint

4 Cangkir4.jpg Jumlah Fitur yang terdeteksi 339 keypoint

Untuk dataset Bola.avi

Untuk dataset cangkir.avi

LOGO

Uji coba ekstrak fitur pencocokan keypoint beserta penjejakan objek bergeraknya

Deteksi fitur match redcup1.jpg dengan redcup2.jpg Deteksi fitur match redcup3.jpg dengan redcup4.jpg

LOGO

Deteksi fitur match bola1.jpg dengan bola2.jpg Deteksi fitur match bola3.jpg dengan bola4.jpg

Deteksi fitur match cangkir1.jpg dengan cangkir2.jpg Deteksi fitur match cangkir3.jpg dengan cangkir4.jpg

LOGO

Hasil Tracking Algoritma SIFT untuk dataset redcup.avi

LOGO

Untuk dataset bola.avi

Untuk dataset cangkir.avi

LOGO

•Uji coba penjejakan (tracking) objek bergerak.Input : - Data video penyimpanan direktori

- Indeks frame awal sampai dengan indeks frame akhir- Koordinat dari ROI

Proses: Proses penjejakan objek bergerakOutput :- Koordinat titik pusat dari ROI sesuai dengan hasil

penjejakan objek bergerak- Nilai zeroth moment untuk x dan y, Jumlah iterasi untuk setiap proses penjejakan

LOGO

Untuk dataset bola.avi

Untuk dataset cangkir.avi

LOGOKESIMPULAN DAN SARAN

Dari hasil uji coba diatas menunjukkan bahwa waktu komputasi dari algoritmaSIFT lebih efisien dibandingkan dengan algoritma Camshift. Akan tetapi, hasilpenjejakan yang dilakukan oleh algoritma Camshift lebih baik dibandingkandengan algoritma SIFT.

SaranSaran yang dapat diberikan dalam pengembangan tugas akhir ini antara lainadalah:•Sebagai pengembangan program, dapat dibuat program penjejakan objekbergerak dengan pengambilan citra secara real time .

LOGODAFTAR PUSTAKA

Exner David and Bruns Erich,”Fast and robust camshift tracking,” in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 2010.

M. Isard and A. Blake, “Condensation - Conditional density propagation for visual tracking,” Intl. J. of Computer Vision, vol. 29, no. 1, 1998.

Pratama, Rangga Yudha, 2005, “Rancang Bangun Perangkat Lunak Untuk Deteksi Objek Bergerak Menggunakan Motion Tracking dan Short Message Services”, Tugas Akhir, Jurusan Matematika ITS.

R. Rosales and S. Sclaroff, “3D trajectory recovery for tracking multiple objects and trajectory guided recognition of actions,” in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Fort Collins, CO, 1999, pp. 117–123.

Y. Boykov and D. Huttenlocher, “Adaptive Bayesian recognition in tracking rigid objects,” in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Hilton Head, SC, 2000, pp. 697–704.

Y. Rui and Y. Chen, “Better proposal distributions: Object tracking using unscented particle filter,” in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Kauai, Hawaii, volume II, 2001, pp. 786–793

LOGO

Chaoyang Zhu, 2011, “ Video Object Tracking using SIFT and Mean Shift”, Thesis, Department of Signals and Systems Chalmers University Of Technology.

Susanto,2008,” Pengembangan Perangkat Lunak Penjejakan Objek Bergerak Menggunakan Metode Mean Shift” Tugas Akhir, Jurusan Matematika ITS.

Lowe, D.G., “Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2, pp. 91-110, 2004.

G. R. Bradski. Computer video face tracking for use in a perceptual user interface. Intel Technology Journal, Q2 1998.

D. Comaniciu, V. Ramesh, “Real-Time Tracking of Non-Rigid Objects using Mean Shift”, IEEE CVPR, 2000.