DATA MINING LANJUT

Langkah Kerja Klasifikasi Data Otomotif Menggunakan SVM Light

Proyek

Disusun Oleh:

FITRA RIYANDA

1208107010079

JURUSAN INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SYIAH KUALA DARUSSALAM, BANDA ACEH

JUNI, 2013

Langkah Kerja Dalam prosedur penelitian dari tahapan melakukan klasifkasi dataset

menggunakan SMV Light tampak pada chart berikut:

crawling cleaning

SVM Learn

SVM Classify SVM Classify

Dataset

Web

Dataset Positif

Dataset Negatif

Testing Set (+)

Training Set (+)

Training Set (-)

Testing Set (-)

Kamus (+)

Fitur

Model

Hasil

Kamus (-)

3.1 Pengambilan Data Sample

Pengambilan data sample masing-masing data untuk melakukan fitur baik

dataset positif maupun dataset negatif dilakukan dengan mengcrawling data

dokumen menggunakan Swish-E. Dari metode crawling data menggunakan Swish-e

perlu dilakukan beberapa tahapan seperti melakukan installasi pada linux dan

kemudian membangun beberapa program untuk melakukan eksekusi perintah,

didalam program ini dapat diberikan berupa alamat url yang dituju juga memfilter

jenis data yang ingin di crawled. Dari program itu penulis memfilter beberapa file

umum yang berhubungan dengan html web seperti gambar dan sebagainya yang

termuat dalam web tersebut. Setelah filtrasi dilakukan, kemudian ditentukan berapa

banyak file yang ingin dicraw, misalkan kita memberikan batasan sebanyak 1000 file.

Maka proses ini aku dilakukan dengan mengcrawling 1000 file apabila dalam

direktori dari web tersebut memiliki file lebih dari 1000 file. Tetapi apabila lebih

sedikit dari 1000 file, maka data akan tercrawled sebanyak yang di miliki dalam

direktori tersebut.

Setelah program selesai dibuat, maka proses crawling dimulai dengan

menggunakan script swish-e -S prog -c crawling_web.conf dan kemudian secara

otomatis dari program crawling_web.conf yang memberikan pengalamatan kepada

file spider.pl yang terdapat pada direktori Swish-e. Proses crawling dengan

menggunakan metode ini membutuhkan waktu yang sangat lama tergantung

banyaknya permintaan crawling data maupun kecepatan koneksi. Setelah dilakukan

crawling data dari berbagai situs yang membahas topik untuk data positif dan data

negatif masing-masing sebanyak 12 ribu untuk data dokumen positif dan 10 ribu

untuk data dokumen kemudian dipisahkan masing-masing direktori positif dan

direktori negatif.

3.2 Membersihkan Data Dokumen

Setelah seluruh file yang diinginkan selesai di crawling, tahap selajutnya

yaitu melakukan cleaning data menggunakan script extraccontent.pl. Data crawling

yang telah diletakan dalam masing-masing direktori positif dan negatif kemudian

dijalankan script extrac content. Berikut potongan program untuk melakukan proses

cleaning dokumen: #Mengambil Judul Dokumen if( $html =~ /<title.*?>(.*?)<\/title>/){ my $title = $1; $title = clean_str($title); print "<title>$title\t$fileout</title>\n"; print OUT "<title>$title</title>\n"; } #Mengambil isi conten Dokumen $extractor->extract($html); my $content = $extractor->as_text; $content = clean_str($content); print OUT "<content>$content</content>\n"; close OUT;

Data yang telah di-clean dalam program tersebut dimasukkan dalam sebuah

folder yang berisikan semua file yang telah dibersihkan untuk masing-masing data

cleaned dari dataset positif dan negatif. Dari seluruh script html yang terdapat dalam

file tersebut hanya mengambil title dan isi dari content saja.

3.3 Membagi Dataset Menjadi Data Training dan Testing

Dari hasil cleaned untuk masing-masing dataset positif dan negatif tersebut,

barulah dipisahkan menjadi data trainingset sebanyak 75% ( ± 10 ribu file) dan

selebihnya dimasukkan ke data testingset sebanyak 25% dari ± 12 ribu file dataset

positif dan juga untuk dataset negatif sebanyak ± 10 ribu file dipisahkan menjadi

data trainingset sebanyak 75% ( ± 7500 file) dan selebihnya dimasukkan ke data

testingset sebanyak 25%.

3.4 Membangun Kamus Bigrams dan Threshold

Setelah seluruh data selesai di bersihkan dan dipisahkan menjadi data

trainingset dan data testingset untuk masing-masing dataset positif dan negatif,

barulah dilakukan proses penggabungan seluruh file data trainingset untuk masing-

masing dataset positif dan negatif menjadi kedalam satu file. Apabila seluruh file

yang telah dibersihkan tetapi tidak dilakukan penggabungan terhadap keseluruhan,

maka dalam proses pembangunan kamus 1 kata, 2 kata dan 3 kata tiap masing-masing

dataset akan tersimpan dan tertimpa oleh data file yang terakhir. Oleh karena itu

seluruh data yang telah dibersihkan kemudian digabungkan kedalam satu file untuk

masing-masing data training positif dan negatif. Setelah dilakukan penggabungan

masing-masing dataset, barulah dilakukan proses pembangunan kamus untuk data

trainingset positif dan negatif. Dalam proses ini dibangun kamus yang sering muncul

dengan frekuensi tertentu dan tidak termasuk stopword yang merupakan kata-kata

pendukung yang tidak dapat dipakai untuk membangun kamus. Stopword ini

berfungsi memfilter kata-kata yang sering muncul dalam conten dan tidak ikut

dimasukkan kedalam kamus menggunakan program perl one-grams.pl, two-grams.pl

dan tree-grams.pl. Dengan menggunakan paket Lingua∷En∷Bigram dapat dilakukan

perintah tersebut untuk melakukan proses pembangunan kamus dan

membandingkannya dengan kata-kata yang terdapat dalam stopword.txt. Apabila

kata-kata yang didapat dan terdapat juga dalam stopword.txt, maka kata-kata tersebut

tidak akan diambil dan tidak dimasukkan kedalam sebuah penampung dan tertulis

dalam sebuah file out tersebut. Langkah tersebut dilakukan terhadap kedua dataset

yaitu data trainingset positif dan data trainingset negatif.

Hasil Dari Kamus Training Set

Berikut hasil dari 1 kata :

Berikut hasil dari 2 kata :

Berikut hasil dari 3 kata :

Setelah pembangunan kamus yang memiliki jumlah banyak kata yang

muncul dari masing-masing kelompok kamus bigrams, kemudian dilakukan

perhitungan nilai frekuensi tiap-tiap kamus dimana frekuensi didapatkan dari jumlah

kata dibagi dengan jumlah kata yang paling banyak muncul. Dari ini dapat diperoleh

data dengan nilai antara 0 sampai 1 untuk tiap frekuensinya. Dari nilai frekkuensi

masing-masing kamus bigrams positif dan negatif dilakukan normalisasi dengan

membandingkan dan melakukan eliminasi observasi untuk rasio. Banyaknya rasio

dengan threshold dilakukan dengan dua jenis sebagai perbandingan yaitu sebesar 45%

dan 50%. Untuk melakukan hal tersebut, data trainingset kamus negatif dibutuhkan

sebagai pembanding untuk data trainingset pada kamus positif.

Untuk melakukan normalisasi, tahapan untuk diteliti menggunakan dua

metode yaitu melakukan eliminasi observasi langsung dari kelompok bigrams (satu

kata, dua kata dan tiga kata) untuk masing-masing kamus positif dan kamus negatif.

Metode kedua yaitu dengan melakukan penggabungan kamus masing-masing

kelompok bigrams (satu kata, dua kata dan tiga kata) sehingga terbentuk masing-

masing kamus positif dan negatif yang sudah digabungkan untuk masing-masing

rasio 45% dan 50%. Berikut merupakan potongan program dari proses melakukan

normalisasi: foreach $key (keys %minus) { if(defined $plus{$key}){ if($plus{$key}>$minus{$key}){ $score = $minus{$key}/$plus{$key}; if($score>0.5){ delete $plus{$key}; delete $minus{$key}; } elsif($score<0.5){ delete $minus{$key}; } } elsif($$plus{$key}<$minus{$key}){ $score = $plus{$key}/$minus{$key}; if($score>0.5){ delete $plus{$key}; delete $minus{$key}; } elsif($score<0.5){ delete $plus{$key}; } } } }

Teknik dalam eliminasi observasi untuk kamus positif dan negatif dalam

metode kelompok bigrams (satu kata, dua kata dan tiga kata) dengan rasio 45%

dilakukan dengan cara eliminasi kata dimana antara salah satu atau kedua kelompok

kamus positif dan negatif saat dibagi menghasilkan frekuensi lebih besar dari 0.45

atau 45%, maka kedua kata dari masing-masing kelompok pada kamus positif

maupun negatif akan dihapus. Dalam kasus lain, apabila salah satu frekuensi pada

kata pada masing-masing kamus positif dan negatif bernilai lebih sedikit atau lebih

kecil dari 0.45 atau 45%, maka salah satu yang memiliki frekuensi yang terkecil akan

di eliminasi.

Dari hasil normalisasi kedua kata memiliki frekuensi yang lebih besar dari 0.45 atau 45% dari hasil bagi uji=0.005967/0.05783=0.103181, sehingga kata “uji” pada kamus positif di eliminasi.

Teknik dalam eliminasi observasi untuk kamus positif dan negatif dalam metode kelompok bigrams (satu kata, dua kata dan tiga kata) dengan rasio 50% dilakukan dengan cara eliminasi kata dimana antara salah satu atau kedua kelompok kamus positif dan negatif saat dibagi menghasilkan frekuensi lebih besar dari 0.5 atau 50%, maka kedua kata dari masing-masing kelompok pada kamus positif maupun negatif akan dihapus. Dalam kasus lain, apabila salah satu frekuensi pada kata pada masing-masing kamus positif dan negatif bernilai lebih sedikit atau lebih kecil dari 0.5 atau 50%, maka salah satu yang memiliki frekuensi yang terkecil akan di eliminasi.

Dalam kasus ini, kedua kata memiliki frekuensi yang lebih besar dari 0.5 atau 50% dari hasil bagi calon=0.005967/0.01107=0.5388869, sehingga nilai “calon” pada kedua kamus di eliminasi.

3.5 Membangun Fitur, Model dan Pengujian

Untuk tahapan pembangunan fitur, diperlukan kamus akhir positif dan

negatif dari masing-masing kamus yang telah dinormalisasi dan diperlukan juga data

trainingset positif juga data trainingset negatif.

Setelah proses pembangunan selesai, maka dengan menggunakan SVM

Learning dan dengan fitur yang telah dibangun, dapat dilakukan pembangunan model

dari fitur tersebut.

Setelah model telah dibangun, tahapan selanjutnya dengan mengklasifikasi

data testingset dari dataset positif dan dataset negatif dengan menggunakan SVM

Classify sehingga menghasilkan output dugaan dari model yang telah dibangun.

Dari output tersebut dapat diketahui dugaan dari klasifikasi dataset tersebut,

apabila bernilai ≥ 0, maka dataset dugaan bernilai positif, apabila sebaliknya maka

dataset diduga bernilai negative.