J U R U S A N T E K N I K I N F O R M A T I K A

F A K U L T A S T E K N I K

U N I V E R S I T A S M U H A M M A D I Y A H M A L A N G

2 0 1 4

KLASTERISASI BUKU BERBAHASA INDONESIA

DENGAN MENGIMPLEMENTASIKAN METODE TEXT MINING DAN ALGORITMA

ARTIFICIAL BEE COLONY K-MEANS

Oleh: Abdurrahman

201010370311397

Dosen Pembimbing: Yufis Azhar, M.Kom

Ali S. Kholimi, S.Kom

Pendahuluan

Latar Belakang

Data Minig dibagi menjadi 3 yaitu Klasifikasi, Klasterisasi dan Asosiasi.

Clustering : pengelompokkan data kedalam beberapa klas sehingga data dalam satu klas memiliki tingkat kemiripan yang maksimum dan data antar klaster memiliki kemiripan yang minimum (Theodoridis, 2006).

K-Means (KM): salah satu meode pengelompokan data nonhierarki (sekatan) yang berusaha mempartisi data yang ada kedalam dua atau lebih kelompok(Eko Prasetyo, 2012).

Terdapat kekurangan pada K-Means, yaitu pada inisial centroid awal.

Artificial Bee Colony (ABC) Karaboga (2005) suatu algoritma yang mengadopsi perilaku mencari makan dari koloni lebah madu.

Pendahuluan

ABC : algoritma dengan solusi global yang memiliki kualitas yang lebih baik dibandingkan dengan GA, PSO, Differential Evolution (DE), dan Evolution Strategies (ES) (Karaboga, 2009)

Dalam penelitian ini akan diusulkan sebuah algoritma baru yaitu hibridasi antara ABC dan KM.

ABC-KM ini diharapkan mampu mengoptimalkan posisi titik pusat klaster yang mengarah pada solusi global optimal.

Rumusan Masalah

Bagaimana menerapkan metode preprosesing text mining dalam kata-kata berbahasa Indonesia?

Bagaimana mentransformasi sinopsis buku menjadi sebuah data numerik?

Bagaimana menerapkan metode Term Frequency Inverse Document Frequency (TF-IDF) untuk pembobotan?

Bagaimana menerapkan aloritma Artificial Bee Colony K-Means untuk melakukan klasterisasi?

Bagaimana membandingkan hasil klaster antara algoritma Basic K-Means dengan algoritma Artificial Bee Colony K-Means?

Batasan Masalah

Kata kunci yang digunakan diambil dari beberapa kata dalam sinopsis buku yang di klaster.

Sinopsis buku menggunakan kata baku dalam bahasa Indonesia sebagai data yang akan diolah.

Sample data diambil dari sinopsis pada www.gramedia.com

Tujuan

Melakukan klasterisasi buku menggunakan algoritma Artificial Bee Colony K-Means.

Text Mining TF-IDF

K-Means (KM)

Ada 2 tipe Pengklasteran data (Tan, 2006) • Partisi : Klaster dibentuk dengan

membagi objek/data kedalam non-overlapping subset (klaster).

• Hirarki : Klaster dibentuk melalui pembentukan klaster bersarang (nested cluster) yang diimplemen-tasikan dalam bentuk tree (pohon).

K-Means : temasuk kedalam tipe partisi.

Artificial Bee Colony (ABC)

ABC Dervis Karaboga (2005)

Dalam ABC, Bee Koloni dibagi 3 :

Employed bee (lebah pekerja)

Onlooker bee (lebah penunggu sarang)

Scouts (lebah penjelajah)

Posisi sumber makanan possible solution

Nilai fitness jumlah nektar

Jumlah employed bee = Jumlah lebah onlooker = Jumlah cluster

ABC (Cont.)

ABC-KM

ABC-KM (Cont.)

Nama Keterangan

K Jumlah klaster

Limit Batas jumlah iterasi untuk abandoned food source

MCN Jumlah iterasi maksimum pada ABC

SN Jumlah solusi pada ABC

MaxGen1 Jumlah iterasi maksimum fase lebah pada ABC-KM

MaxGen2 Jumlah iterasi maksimum fase KM pada ABC-KM

MaxGenABCKM Jumlah iterasi maksimum metode ABC-KM

MaxPerulangan Jumlah perulangan uji coba

Ilustrasi Menggunakan Contoh Kasus

Text Mining

Case Folding

Text Mining (Cont.)

Tokenizing

Text Mining (Cont.)

Filtering

Text Mining (Cont.)

Stemming

Pembobotan TF-IDF

Menghitung frekuensi kata dari setiap dokumen (TF)

Pembobotan TF-IDF (Cont.)

Membuat file index

Pembobotan TF-IDF (Cont.)

Membuat model ruang vektor

Pembobotan TF-IDF (Cont.)

Menghitung inverse document frequency (IDF)

𝐼𝐷𝐹 𝑤𝑜𝑟𝑑 = 𝑙𝑜𝑔𝑡𝑑

𝑑𝑓

𝐼𝐷𝐹 𝑝𝑟𝑒𝑠𝑖𝑑𝑒𝑛 = 𝑙𝑜𝑔𝑡𝑑

𝑑𝑓

= 𝑙𝑜𝑔5

1

= 0.69897

𝐶𝑜𝑛𝑡𝑜𝑕 ∶

Pembobotan TF-IDF (Cont.)

Menghitung bobot dari setiap kata (TF*IDF)

𝑤 𝑤𝑜𝑟𝑑𝑖 = 𝑇𝐹(𝑤𝑜𝑟𝑑𝑖)𝑋(𝐼𝐷𝐹𝑖)

𝐶𝑜𝑛𝑡𝑜𝑕 ∶

𝑤 𝑐𝑎𝑛𝑡𝑖𝑘 = 0.39794𝑋2

= 0.79588

Pembobotan TF-IDF (Cont.)

Normalkan semua dokumen ke panjang unit

𝑤 𝑖𝑛𝑑𝑜𝑛𝑒𝑠𝑖𝑎 =0.79588

02 + 02 + 02 + 02 + 02 + 02 + 02 +

02 + 02 + 02 + 02 + 0.795882+

0.698972 + 0.698972 + 02 + 02 + 02 +

02 + 02 + 0.698972 + 0.698972 +

0.698972 + 02 + 02 + 02 + 02 + 02

= 0.45377

𝑤 𝑤𝑜𝑟𝑑𝑖 =𝑤(𝑤𝑜𝑟𝑑𝑖)

𝑤2 𝑤𝑜𝑟𝑑1 + 𝑤2 𝑤𝑜𝑟𝑑2 +⋯+𝑤

2(𝑤𝑜𝑟𝑑𝑛)

𝐶𝑜𝑛𝑡𝑜𝑕 ∶

Pembobotan TF-IDF (Cont.)

Hasil Normalisasi

Pembobotan TF-IDF (Cont.)

Bobot akhir kata

ABC-KM

Tentukan jumlah klaster dan inisialisasikan populasi : Dalam percobaan ini, data akan di bagi menjadi dua klas.

Pilih titik pusat awal lebah pekerja secara random : Untuk menginisialisasikan titik pusat centroid dari dokumen, maka akan dipilih secara acak yaitu dokumen 1 dan 5.

ABC-KM (Cont.)

Update titik pusat lebah pekerja dengan tahapan update pada metode ABC (Fase Lebah Pekerja).

𝑥𝑖,𝑗, 𝑖 = 1…𝑆𝑁, 𝑗 = 1…𝐷

𝑆𝑁 = 5

𝐷 = 27

𝑖 = *1,2+

𝑘 = *1,2+

𝑗 = *1,2,3,4,5+

Dimana nilai dari 𝑖 ≠ 𝑘

𝑣𝑖𝑗 = 𝑥𝑖𝑗 + ∅𝑖𝑗(𝑥𝑖𝑗 − 𝑥𝑘𝑗)

𝑣1,1 = 𝑥1,1 + ∅1,1 𝑥1,1 − 𝑥2,1

= 0.33333 + 0.32645 0.33333 − 0 = 0.44214

Contoh :

ABC-KM (Cont.)

Update titik pusat lebah pekerja dengan tahapan update pada metode ABC (Fase Lebah Penunggu).

𝑐𝑙 = 𝑚 𝑐𝑙 𝑥𝑖 𝑤(𝑥𝑖)𝑥𝑖𝑛𝑖=1

𝑚(𝑐𝑙|𝑥𝑖)𝑤(𝑥𝑖)𝑛𝑖=1

𝑓𝑖= ||𝑥𝑖 − 𝑐𝑙||

2

𝑛

𝑖=1

𝑓𝑖𝑡𝑖=1

1 + 𝑓𝑖

𝑝𝑖 =𝑓𝑖𝑡𝑖

𝑓𝑖𝑡𝑛

𝑆𝑁𝑛=1

𝑝1 =𝑓𝑖𝑡1

𝑓𝑖𝑡1+ 𝑓𝑖𝑡

2+ 𝑓𝑖𝑡

3+⋯+ 𝑓𝑖𝑡

27

𝐶𝑜𝑛𝑡𝑜𝑕 ∶

=0.91427

24.01966

= 0.03806

ABC-KM (Cont.)

Update titik pusat lebah pekerja dengan tahapan update pada metode ABC (Fase Lebah Pengintai).

𝑥𝑖𝑗= 𝑥𝑚𝑖𝑛𝑗+ 𝑟𝑎𝑛𝑑 0,1 𝑥𝑚𝑎𝑥

𝑗− 𝑥𝑚𝑖𝑛𝑗

𝐶𝑜𝑛𝑡𝑜𝑕 ∶

𝑥1𝑗= 𝑥𝑚𝑖𝑛𝑗+ 𝑟𝑎𝑛𝑑 0,1 𝑥𝑚𝑎𝑥

𝑗− 𝑥𝑚𝑖𝑛𝑗

𝑥1 = 0.03315 + 0.23454 0.04163 − 0.03315

= 0.0362

ABC-KM (Cont.)

Tentukan titik pusat terbaik dari seluruh lebah : Jika sumber makanan baru mempunyai netkar yang sama atau lebih baik, maka sumber makanan yang lama akan di buang, jika tidak maka sumber makanan yang lama akan tetap dipertahankan (Greedy Selection).

Update titik pusat dengan tahapan K-Means : Mengambil titik pusat dari lebah untuk dijadikan titik pusat dan dilakukan peng-update-tan sampai titik pusat tidak berubah.

ABC-KM (Cont.)

Jadikan titik pusat K-Means sebagai titik pusat ABC-KM

𝑑 𝑑𝑜𝑘𝑢𝑚𝑒𝑛 1,2 =

0.03806 − 0 2 + 0.03639 − 0 2 + 0.04102 − 0 2 +

0.03757 − 0 2 + 0.04163 − 0 2 + 0.04114 − 0 2 +

0.03315 − 0 2 + 0.03939 − 0 2 + 0.04162 − 0 2 +

0.04075 − 0.46383 2 + 0.04161 − 0.46383 2 +

0.04160 − 0.26407 2 + 0.03949 − 0.26407 2 +

0.03886 − 0.46383 2 + 0.03817 − 0.46383 2 +

0.04019 − 0 2 + 0.04019 − 0 2 + 0.04019 − 0 2 +

0.04019 − 0 2 + 0.04019 − 0 2 + 0.04019 − 0 2 +

0.04019 − 0 2 + 0.04019 − 0 2 + 0.04019 − 0 2 +

0.04019 − 0 2 + 0.04019 − 0 2 + 0.04019 − 0 2

𝑑(𝑥, 𝑦) = |𝑦𝑖 − 𝑥𝑖|2

𝑛

𝑖=1

𝐶𝑜𝑛𝑡𝑜𝑕 ∶

ABC-KM (Cont.)

Tetapkan keanggotaan tiap data

Dokumen C1 C2

D1 1 0

D2 0 1

D3 1 0

D4 1 0

D5 0 1

Hasil Uji Coba Sistem yang Telah di Bangun

J U R U S A N T E K N I K I N F O R M A T I K A

F A K U L T A S T E K N I K

U N I V E R S I T A S M U H A M M A D I Y A H M A L A N G

2 0 1 4

Oleh: Abdurrahman

201010370311397

Dosen Pembimbing: Yufis Azhar, M.Kom

Ali S. Kholimi, S.Kom

Metode Uji Coba

Precision =𝑇𝑃

𝑇𝑃+𝐹𝑃

Recall = 𝑇𝑃

𝑇𝑃+𝐹𝑁

F-Measure =2 𝑥 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑥 𝑅𝑒𝑐𝑎𝑙𝑙

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙

Classterication Positive Clasterication Negative

Actual Pisitive TP FN

Actual Negative FP TN

Hasil Uji Coba Grafik Perbandingan Precision

79.00%

80.00%

81.00%

82.00%

83.00%

84.00%

85.00%

86.00%

87.00%

88.00%

89.00%

Percobaan 1 Percobaan 2 Percobaan 3 Percobaan 4 Percobaan 5 Rata-Rata

K-Means

ABC K-Means

Hasil Uji Coba Grafik Perbandingan Recall

0%

5%

10%

15%

20%

25%

30%

35%

40%

Percobaan 1 Percobaan 2 Percobaan 3 Percobaan 4 Percobaan 5 Rata-Rata

K-Means

ABC K-Means

Hasil Uji Coba Grafik Perbandingan F-measure

0.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

Percobaan 1 Percobaan 2 Percobaan 3 Percobaan 4 Percobaan 5 Rata-Rata

K-Means

ABC K-Means

Kesimpulan

Artificial Bee Colony mampu mengatasi masalah local optimal pada algoritma Basic K-means sehingga algoritma Basic K-Means dapat keluar dari masalah tersebut dan menjadi global optimal.

Algoritma ABC-KM mamupu mengklaster lebih baik : precision ABC K-Means lebih baik 2.08%, recall ABC K-Means lebih baik 11.24% dan F-Measure ABC K-Means lebih baik 14.04%.

Saran

Penentuan Jumlah Klaster Masih Manual

Klasterisasi Data Masih Statis

Tidak Adanya Metode Korelasi (Similarity)

TERIMAKASIH