Data Mining- Bab 5 Analisis Asosiasi.PDF

BAB 5 ANALISIS ASOSIASI Pendahuluan

Analisis asosiasi (association analysis) berguna untuk mengungkap hubungan yang menarik yang tersembunyi dalam dataset besar. Hubungan yang terungkap tersebut dapat direpresentasikan dalam bentuk aturan asosiasi (association rules) atau himpunan item yang sering muncul (sets of frequent items).

Tabel 5.1 Contoh transaksi belanja TID Item 1 {Bread, Milk} 2 {Bread, Diapers, Beer, Eggs} 3 {Milk, Diapers, Beer, Cola} 4 {Bread, Milk, Diapers, Beer} 5 {Bread, Milk, Diapers, Cola}

Sebagai contoh, berikut ini merupakan aturan yang dapat di-ekstrak dari

dataset yang transaksi belanja (market basket transaction) pada Tabel 5.1. {Diapers} {Beer}

Aturan di atas menunjukkan terdapat hubungan yang kuat antara penjualan diapers dengan beer, karena banyak pembeli yang membeli diapers juga membeli beer.

Selain data transaksi belanja, analisis asosiasi juga dapat diterapkan pada domain masalah lainnya seperti bioinformatika, diagnosis medis, Web Mining, dan analisis data scientifik. Meskipun teknik-teknik yang disajikan di sini secara umum dapat diterapkan ke berbagai dataset yang lebih luas, namun untuk mengilustasikan analisis asosiasi dalam modul ini hanya menggunakan data transaksi belanja. 5.1 Definisi Masalah Pada bagian ini akan dilihat kembali terminologi yang digunakan dalam analisis asosiasi dan menyatakan pekerjaan asosiasi secara formal.

Binary Representation. Data transaksi belanja dapat dinyatakan dalam format biner seperti ditunjukkan pada Tabel 5.2, dimana setiap baris menunjukkan transaksi dan masing-masing kolom menunjukkan item. Item dapat diperlakukan seperti variabel biner yang bernilai 1 jika item tersebut terdapat dalam transaksi dan 0 jika selainnya.

Itemset. Ditetapkan I= {i1,i2, ., id} merupakan himpunan semua item dalam data transaksi belanja dan T = {t1,t2, ., tN} merupakan himpunan semua transaksi. Setiap transaksi ti mengandung subset item yang dipilih dari I. Dalam analisis asosiasi, koleksi nol atau lebih item disebut itemset. Jika itemset berisi k item, maka disebut k-itemset. Contoh, {Beer, Diapers, Milk} adalah 3-itemset. Set null atau kosong adalah itemset yang tidak berisi item.

Modul Kuliah Data Mining 88

Tabel 5.2 Representasi biner data transaksi belanja

Transaction Width didefinisikan sebagai jumlah item yang terdapat dalam

sebuah transaksi. Transaksi tj dikatakan mengandung itemset X jika X merupakan subset dari tj. Contoh , pada transaksi kedua dalam Tabel 5.2 mengandung itemset {Bread, Diapers} namun tidak mengandung itemset {Bread, Milk}.

Support Count adalah jumlah transaksi yang mengandung itemset tertentu. Secara matematik support count (X) dinyatakan sebagai

|}Tt,tX|t{|)X( iii = , Dimana simbol |.| menyatakan jumlah elemen dalam set. Dalam data pada Tabel 2, support count untuk {Beer, Diapers, Milk} adalah dua (2) karena hanya dua transakasi yang mengandung ketiga item tersebut.

Aturan Asosiasi (Association Rule) adalah ekspresi implikasi yang dinyatakan dalam bentuk X Y, dimana X dan Y adalah itemset terpisah (disjoint) yaitu X Y= . Kekuatan aturan asosiasi dapat diikur dengan support dan confidence. Support menentukan seberapa sering aturan tersebut diterapkan dalam dataset, sedangkan Confidence menentukan frekuensi item dalam Y muncul dalam transaksi yang mengandung X. Defini formal dari keduanya adalah

Support, N

)YX()YX(s = ;

Confidence,X

)YX()YX(c = Contoh 5.1:

Perhatikan aturan {Milk, Diapers} {Beer}. Karena support count untuk {Milk, Diapers, Beer} adalah 2 dan jumlah total transaksi adalah 5, maka support bagi aturan tersebut adalah 2/5 = 0.4. Confidence didapat dengan membagi support count untuk {Milk, Diapers, Beer} dengan support count untuk {Milk, Diapers}, yaitu 2/3 = 0.67

Formulasi Masalah Association Rule Mining. Permasalahan association rule dapat dinyatakan secara formal sebagai berikut

Definisi 5.1: (Association Rule Discovery) Diberikan sebuah himpunan transaksi T, cari semua aturan yang memiliki support minsup dan confidence minconf dimana minsup dan minconf merupakan nilai ambang (treshold) bagi support dan confidence.


Jika dilakukan secara brute-force, maka total aturan yang mungkin di-ekstrak dari dataset yang berisi d item adalah R= 3d 2d+1 + 1, sehingga pendekatan brute-force tidak mungkin dilakukan. Strategi yang sering diambil untuk menyelesaikan permasalahan association rule discovery adalah dengan memecah masalah tersebut ke dalam dua pekerjaan utama, yaitu

1.1. Pembangkitan Frequent Itemset, bertujuan untuk mencari semua itemset yang memenuhi nilai ambang minsup. Itemset ini disebut frequent itemset.

1.2. Pembangkitan Aturan, bertujuan untuk meng-ekstrak seluruh aturan yang memiliki confidence tinggi dari frequent itemset yang telah ditemukan pada pekerjaan sebelumnya. Aturan yang memiliki confidence tinggi disebut strong rules.

Secara umum pekerjaan pembangkitan frequent itemset memerlukan sumberdaya komputasi yang lebih besar dibanding pekerjaan pembangkitan aturan.

5.2 Pembangkitan Frequent Itemset Misal terdapat itemset I = {a,b,c,d,e} daftar seluruh itemset yang mungkin dibentuk dari itemset I dapat dilihat pada Gambar 5.1.

Gambar 5.1 Itemset Lattice

Umumnya, sebuah dataset yang mengandung k item dapat membangkitkan 2k-1 frequent itemset. Karena pada banyak aplikasi ukuran k sangat besar, maka ruang pencarian itemset yang perlu dijelajahi membesar secara eksponensial. Jika mengunakan pendekatan brute-force, maka kita harus menghitung support count untuk seluruh candidate itemset dalam struktur lattice seperti diperlihatkan pada Gambar 5.2.


Gambar 5.2 Menghitung support bagi candidate itemset.

Dalam Gambar 5.2 terlihat jika candidate itemset terdapat dalam transaksi, maka nilai support count-nya akan dinaikkan. Sebagai contoh, support untuk {Bread, Milk} dinaikkan tiga kali karena itemset tersebut terkandung dalam transaksi 1, 4 dan 5. Pendekatan ini sangat mahal karena memerlukan pembandingan sebesar O(NMw), dimana N adalah jumlah transaksi, M = 2k-1 adalah jumlah candidate itemset, dan w adalah transaction width maksimum. Ada beberapa beberapa cara untuk mengurangi kompleksitas komputasi dalam pembangkitan frequent itemset, yaitu 1. Mengurangi jumlah candidate itemset (M). Prinsip apriori, akan dijelaskan

kemudian, merupakan cara yang efektif untuk menghilangkan beberapa candidate itemset tanpa perlu menghitung nilai support-nya.

2. Mengurangi jumlah pembandingan. Daripada mencocokkan setiap candidate itemset dengan setiap transaksi, kita dapat mengurangi jumlah pembandingan dengan menggunakan struktur data lanjut, baik untuk menyimpan candidate itemset atau untuk melakukan kompresi dataset.

5.2.1 Prinsip Apriori Penggunaan support untuk memangkas (pruning) candidate itemset dilakukan dengan mengikuti prinsip berikut

Teorema 5.1: (Prinsip Apriori)

Jika sebuah itemset sering muncul, maka seluruh subset dari itemset tersebut juga harus sering muncul (If an itemset is frequent, then all of the subsets must also be frequent). Contoh 5.2:

Pada struktur lattice di Gambar 5.3 misal {c,d,e} adalah frequent itemset, maka seluruh subset dari {c,d,e}- yaitu node yang abu-abu, juga harus sering muncul (frequent). Sebaliknya jika itemset {a,b} jarang muncul (infrequent), maka seluruh superset-nya juga harus jarang muncul sehingga dapat dipangkas (Gambar 5.4).

Strategi pemotongan ruang pencarian yang berdasarkan pada ukuran support disebut support-based pruning. Dalam strategi ini nilai support untuk itemst tidak pernah melebihi support subset-nya, sifat ini dikenal sebagai anti-monotone.


Gambar 5.3 Jika {c,d,e} frequent maka seluruh subset-nya juga harus frequent.

Gambar 5.4 Jika {a,b} infrequent maka seluruh supersetnya juga infrequent.

Definisi 5.2: (Monotonicity Property). Ditetapkan I adalah sebuah set item, dan J=2I adalah pangkat dari I. Ukuran f bersifat monoton (atau upward closed) jika

)Y(f)X(f)YX(:JY,X , yang bermakna jika X adalah subset dari Y, maka f(X) harus tidak melebihi f(Y). Sebaliknya f bersifat anti-monoton (atau downward closed) jika

)X(f)Y(f)YX(:JY,X , yang bermakna jika X adalah subset dari Y, maka f(Y) harus tidak melebihi f(X).


5.2.2 Pembangkitan Frequent Itemset dalam Algoritma Apriori Apriori merupakan algoritma association rule mining pertama yang mempelopori pengunaan pemangkasan itemset berdasarkan nilai support (support-based pruning) untuk secara sistematis mengendalikan pertumbuhan candidate itemset yang tumbuh secara eksponensial. Gambar 5.5 memberikan ilustrasi pembangkitan frequent itemset dalam algoritma Apriori untuk transaksi yang terdapat di Tabel 5.1.

Gambar 5.5 Pembangkitan frequent itemset menggunakan program Apriori

(Treshold 60 % atau support count = 3)

Awalnya, setiap item dianggap sebagai candidate 1-itemset. Setelah menghitung support untuk setiap item maka candidate itemset {Cola} dan {Eggs} dibuang karena kemunculan itemset tersebut lebih sedikit dari tiga. Pada iterasi berikutnya, candidate 2-itemset dibangkitkan hanya dengan menggunakan frequent 1-itemset karena prinsip Apriori menjamin bahwa seluruh superset dari infrequent 1-itemset pastilah juga infrequent. Karena hanya ada

empat frequent 1-itemset, maka jumlah candidate 2-itemset adalah = 6.

24

Dua dari enam candidate 2-itemset yaitu {Beer, Bread} dan {Beer, Milk} ternyata setelah dihitung nilai support-nya ternyata infrequent. Karena yang tersisa hanya empat kandidat, maka digunakan untuk membangkitkan candidate 3-itemset. Tingkat ke-efektif-an strategi pemangkasan Apriori dapat ditunjukkan dengan menghitung jumlah candidate itemset yang dihasilkan. Strategi brute-force untuk mencacah seluruh itemset (sampai ukuran 3) menghasilkan kandidat sebanyak


412015636

26

16 =++=

+

+

Dengan prinsip Apriori, jumlah kandidat yang dihasilkan berkurang menjadi

13166124

16 =++=+

+

Pseudocode untuk membangkitkan frequent itemset sebagai bagian dari algoritma Apriori disajikan dalam Algoritma 5.1.

Algoritma 5.1. Pembangkitan Frequent Itemset dalam algoritma Apriori

Ditetapkan Ck menunjukkan candidate k-itemset dan Fk menunjukkan frequent k-itemset.

Algoritma ini pada awalnya menghitung support untuk setiap item. Hasil tahap ini adalah frequent 1-itemset F1 (Langkah 1 dan 2).

Berikutnya, algoritma secara iteratif akan membangkitkan candidate k-itemset baru menggunakan frequent (k-1)itemset yang ditemukan pada iterasi sebelumnya. (Langkah 5). Pembangkitan candidate itemset dilakukan menggunakan fungsi apriori-gen yang akan dijelaskan pada Bagian 2.3

Untuk menghitung support dari kandidat, algoritma perlu membaca kembali dataset (Langkah 6-10). Fungsi subset digunakan untuk menentukan semua candidate itemset dalam Ck yang terkandung dalam setiap transaksi t. Implementasi dari fungsi ini akan dibahas pada Bagian 2.4

Setelah menghitung support bagi candidate itemset maka algoritma akan menghilangkan semua candidate itemset dengan nilai support count kurang dari minsup (Langkah 12)

Algoritma berhenti ketika tidak ada lagi frequent itemset baru yang dihasilkan, yaitu Fk = (Langkah 13)

5.2.3 Candidate Generation dan Prunning Fungsi apriori-gen yang ditunjukkan dalam Langkah 5 pada Algoritma 1 membangkitkan candidate itemset dengan melakukan dua operasi berikut:


1. Candidate Generation. Operasi ini membangkitkan candidate k-itemset baru berdasarkan frequent (k-1)itemset yang ditemukan pada iterasi sebelumnya

2. Candidate Pruning. Operasi ini menghilangkan beberapa candidate k-itemset menggunakan strategi pemangkasan berdasarkan nilai support.

Sebagai ilustrasi operasi pemangkasan kandidat, perhatikan candidate k-itemset X={i1,i2,.,ik}. Algoritma harus menentukan apakah seluruh subset X-{ij}

frequent. Jika satu diantara subset tersebut infrequent, maka X segera dipangkas. Pendekatan ini secara efektif mengurangi jumlah candidate itemset yang dipertimbangkan selama penghitungan support. Kompleksitas operasi ini adalah O(k) untuk setiap candidate k-itemset. Namun seperti ditunjukkan kemudian, kita tidak perlu memeriksa seluruh k subset dari candidate itemset. Jika m dari k subset telah digunakan untuk membangkitkan kandidat, kita hanya perlu memeriksa sisa k-m subset selama pemangkasan kandidat.

),....,2,1( kj =

Secara prinsip, terdapat beberapa cara untuk membangkitkan candidate itemset. Berikut ini adalah persyaratan bagi prosedur pembangkitan kandidat secara efektif:

1. Prosedur harus menghindari membangkitkan terlalu banyak kandidat yang tidak perlu. Candidate itemset dinyatakan tidak perlu jika paling tidak satu subset-nya infrequent.

2. Prosedur hraus menjamin bahwa himpunan kandidat adalah lengkap, yaitu tidak ada frequent itemset yang tertinggal. Untuk menjamin kelengkapan, himpunan candidate itemset harus memasukkan himpunan semua frequent itemset, yaitu kk CFk :

3. Prosedur seharusnya tidak membangkitkan candidate itemset yang sama lebih dari sekali. Sebagai contoh, candidate itemset {a,b,c,d} dapat dibangkitkan dalam beberapa cara dengan menggabung {a,b,c} dengan {d},{b,d} dengan {a,c}, {c} dengan {a,b,d} dan sebagainya. Pembangkitan kandidat yang duplikat menyebabkan pemborosan sumberdaya komputasi dan tidak efisien.

Berikutnya, akan dijelaskan beberapa prosedur pembangkitan kandidat, termasuk yang digunakan dalam fungsi apriori-gen. 1. Metode Brute-Force

Metode Brute-Force mempertimbangkan semua k-itemset sebagai kandidat potensial dan kemudian menerapkan pemangkasan kandidat untuk menghilangkan kandidat yang tidak perlu (Gambar 5.6). Jumlah candidate

itemset yang dibangkitkan pada level k adalah dimana d adalah total

jumlah item. Meskipun metode ini terlihat sederhana, namun proses pemangkasan kandidat akan memerlukan sumberdaya komputasi yang besar karena banyaknya itemset yang harus diperiksa. Komputasi yang diperlukan untuk setiap kandidat adalah O(k), sehingga kompleksitas keseluruhan dari

metode ini adalah .

kd

( )11

2 =

=

dd

kdO

kd

kO


Gambar 5.6 Metode brute-force untuk membangkitkan candidate 3-itemset

2. Fk-1 F1 Method Metode alternatif untuk membangkitkan kandidat adalah dengan memperluas masing-masing frequent (k-1)itemset dengan frequent itemset lainnya. Gambar 5.7 merupakan ilustrasi bagaimana frequent 2-itemset seperti {Beer, Diaper} dapat ditambah dengan frequent item seperti Bread untuk menghasilkan frequent 3-itemset { Beer, Diaper, Bread}. Metode ini akan menghasilkan ( 11 FFO k ) candidate k-itemset, dimana jF adalah jumlah frequent j-itemset. Kompleksitas keseluruhan tahap ini adalah ( )11 FFkO kk .

Gambar 5.7 Metode Fk-1 F1

Prosedur ini lengkap karena setiap frequent k-itemset tersusun dari frequent (k-1)itemset dan frequent 1-itemset. Dengan demikian, semua frequent k-itemset merupakan bagian dari candidate k-itemset yang dibangkitkan oleh prosedur ini. Pendekatan ini, bagaimanapun, tidak mencegah candidate itemset yang sama dibangkitkan lebih dari sekali. Contoh {Bread, Diapers, Milk}


dapat dibangkitkan dengan menggabung {Bread, Diapers} dengan {Milk}, {Bread, Milk} dengan {Diapers}, atau {Diapers,Milk} dengan {Bread}. Salah satu cara untuk menghindari pembangkitan kandidat yang duplikat adalah dengan memastikan bahwa item-item dalam setiap frequent itemset disusun berurut berdasarkan aturan perkamusan (lexicographic). Setiap frequent (k-1)itemset X kemudian diperluas dengan frequent item yang secara leksikal lebih besar dari item di dalam X. Contoh, itemset {Bread, Diapers} dapat ditambah dengan {Milk} karena Milk secara leksikal lebih besar dari Bread dan Diapers. Namun, kita seharusnya tidak menambahkan {Diapers, Milk} dengan {Bread} tidak juga {Bread,Milk} dengan {Diapers} karena melanggar kondisi urutan leksikal.

Meskipun prosedur ini merupakan perbaikan yang mendasar dari metode brute-force, namun metode ini masih menghasilkan sejumlah besar kandidat yang tidak perlu. Contoh, candidate itemset yang diperoleh dengan menggabungkan {Beer, Diapers} dengan {Milk} tidak diperlukan karena salah satu subset-nya yaitu {Beer, Milk} infrequent. Terdapat beberapa heuristics untuk mengurangi jumlah kandidat yang tidak perlu. Misalnya, diperhatikan bahwa, setiap candidate k-itemset yang lolos dari tahap pemangkasan, setiap item dalam kandidat tersebut harus terkandung paling tidak dalam k-1 buah frequent (k-1)itemset. Selainnya, kandidat tersebut dapat dijamin infrequent. Contoh, {Beer, Diapers, Milk} dapat terus menjadi candidate 3-itemset hanya jika setiap item dalam kandidat, termasuk Beer, terdapat paling tidak dalam dua frequent 2-itemset. Karena hanya satu frequent 2-itemset yang mengandung Beer, maka semua candidate itemset yang melibatkan Beer haruslah infrequent.

3. Fk-1 Fk-1 Method Prosedur pembangkitan kandidat dalam fungsi apriori-gen menggabungkan sepasang frequent (k-1)itemset hanya jika k-2 item pertama-nya identik. Misalkan A={a1,a2,.ak-1} dan B={b1,b2,..,bk-1} adalah sepasang frequent (k-1)itemset. A dan B digabung jika memenuhi kondisi berikut

ai = bi (untuk i=1,2,..,k-2) dan ak-1 bk-1. Dalam Gambar 5.8 frequent itemset {Bread, Diapers} dan {Bread, Milk} digabung untuk membentuk candidate 3-itemset {Bread, Diapers, Milk}. Algoritma tidak menggabungkan {Beer, Diapers} dengan {Diapers, Milk} karena item pertama dalam kedua itemset berbeda. Sebenarnya, jika {Beer, Diapers, Milk} merupakan kandidat yang akan bertahan, itemset tersebut dapat diperoleh dengan menggabungkan {Beer, Diapers} dengan {Beer, Milk}. Contoh di atas memberikan ilustrasi sifat kelengkapan dari prosedur pembangkitan kandidat dan keunggulan menggunakan urutan leksikal untuk menghindari kandidat yang duplikat. Bagaimanapun, karena setiap kandidat diperoleh dengan menggabungkan sepasang frequent (k-1)itemset, maka perlu dilakukan langkah tambahan dalam pemangkasan kandidat untuk memastikan bahwa k-2 subset yang tersisa adalah frequent.


Gambar 5.8 Metode Fk-1 x Fk-1

5.2.4 Support Counting Penghitungan nilai support count (Support counting) adalah proses menentukan frekuensi kejadian bagi setiap candidate itemset yang bertahan dari tahap pemangkasan kandidat dalam fungsi apriori-gen. Penghitungan support count di-implementasikan dalam langkah 6 sampai 11 dari Algoritma 1. Satu pendekatan untuk melakukan penghitungan support count adalah dengan membandingkan masing-masing transaksi dengan setiap candidate itemset (Gambar 2) dan memperbarui support count dari kandidat yang terdapat dalam transaksi. Pendekatan ini memerlukan sumberdaya komputasi yang besar, terutama jika jumlah transaksi dan kandidat besar.

Pendekatan alternatif adalah dengan menghitung itemset yang terkandung dalam setiap transaksi dan menggunakannya untuk memperbarui support count dari candidate itemset masing-masing. Sebagai ilustrasi, terdapat transaksi t yang

mengandung lima item {1,2,3,5,6}. Terdapat =10 itemset berukuran 3 dalam

transaksi ini. Beberapa itemset mungkin berhubungan dengan candidate 3-itemset yang sedang diperiksa, dalam kasus ini support count dinaikkan.Subset lainnya dari t yang tidak berhubungan dengan kandidat manapun dapat diabaikan.

35

Gambar 5.9 memperlihatkan cara sistematis untuk mencacah 3-itemset yang terkandung dalam t. Diasumsikan bahwa masing-masing item diurutkan menaik secara leksikal. Sebagai ilustrasi, diberikan t = {1,2,3,5,6}, seluruh 3-itemset yang terkandung dalam t harus diawali dengan item 1,2, atau 3. Tidak mungkin membentuk 3-itemset yang diawali dengan 5 atau 6, karena hanya terdapat dua item dalam yang diawali dengan 5 atau 6, karena hanya terdapat dua item dalam t yang label-nya lebih besar atau sama dengan 5. Jumlah cara untuk menentukan item pertama dari 3-itemset di-ilustrasikan oleh struktur prefix Level 1 dalam Gambar 5.9. Sebagai contoh, 1 2 3 5 6 menyatakan 3-itemset yang diawali dengan 1, dan diikuti oleh dua item selanjutnya yang dipilih dari himpunan {2 3 5 6}.

Setelah menetapkan item pertama, stuktur prefix Level 2 merepresentasikan banyaknya cara untuk memilih item kedua. Sebagai contoh, 1 2 3 5 6 merujuk


itemset yang diawali dengan prefix {1 2} dan diikuti oleh item 3,5 atau 6. Akhirnya, struktur prefix Level 3 menyatakan set lengkap 3-itemset dalam t. Sebagai contoh, 3-itemset yang dimulai dengan prefix {1 2} adalah {1,2,3}, {1,2,5} dan {1,2,6}, sedangkan yang dimulai dengan prefix {2 3} adalah {2,3,5} dan {2,3,6}.

Gambar 5.9 Penghitungan subset dengan tiga item dari transaksi t.

Struktur prefix yang ditampilkan dalam Gambar 9 menunjukkan bagaimana itemset dalam transaksi dalam dicacah secara sistematis, yaitu dengan menentukan item satu per satu, dari item paling kiri ke item paling kanan. Namun kita tetap perlu menentukan apakah masing-masing 3-itemset yang tercacah berhubungan dengan candidate itemset yang ada. Jika 3-itemset tercacah cock dengan sebuah candidate itemset maka support count untuk kandidat tersebut dinaikkan. Operasi pencocokan ini dalam dilakukan secara efisien menggunakan struktur hash tree.

5.3 Pembangkitan Aturan Bagian ini menjelaskan bagaimana meng-ekstrak aturan asosiasi (association rule) dari frequent itemset yang diberikan. Setiap frequent k-itemset Y, dapat menghasilkan sampai dengan 2k-2 aturan asosiasi, dengan mengabaikan aturan yang memiliki anteseden atau konsekuen kosong ( Y atau Y ). Aturan asosiasi dapat di-ekstrak dengan membagi itemset Y ke dalam dua sub-set yang tidak kosong, yaitu X dan (Y-X), sehingga X Y-X memenuhi nilai ambang confidence. Perlu dicatat bahwa semua aturan harus telah memenuhi nilai ambang support karena aturan tersebut dibangkitkan dari frequent itemset. Contoh 5.3: Ditetapkan X={1,2,3} merupakan frequent itemset. Terdapat enam kandidat aturan asosiasi yang dapat dibangkitkan dari X yaitu : {1,2}{3}, {1,3}{2}, {2,3}{1}, {1}{2,3}, {2}{1,3}, dan {3}{1,2}. Karena setiap support


kandidat aturan asosiasi di atas sama dengan support bagi X, maka aturan di atas pastilah memenuhi support treshold. Menghitung confidence bagi aturan asosiasi tidak memerlukan pembacaan dataset lagi. Perhatikan aturan {1,2}{3}, yang dibangkitkan dari frequent itemset X={1,2,3}. Confidence bagi aturan ini adalah ({1,2,3})/ ({1,2}). Karena {1,2,3} frequent, sifat anti-monoton bagi support menjamin bahwa {1,2} juga frequent. Karena support count bagi kedua itemset telah ditemukan selama kegiatan pembangkitan itemset, maka tidak perlu lagi membaca seluruh dataset. 5.4 Pemangkasan berdasarkan Confidence Tidak seperti pengukuran support, confidence tidak memiliki sifat monoton. Sebagai contoh, confidence aturan X Y dapat lebih besar, lebih kecil atau sama dengan confidence aturan dimana dan . Meskipun demikian, jika kita membandingkan aturan-aturan yang dibangkitkan dari frequent itemset Y yang sama, maka teorema berikut berlaku bagi ukuran confidence Teorema 5.2:

Jika aturan X Y-X tidak memenuhi nilai ambang confidence, maka aturan X Y-X, dimana X adalah subset dari X, pastilah juga tidak memenuhi nilai ambang confidence.

5.5 Pembangkitan Aturan dalam Algoritma Apriori Algoritma Apriori menggunakan pendekatan level-wise untuk membangkitkan aturan asosiasi, dimana masing-masing level berhubungan dengan jumlah item yang menjadi konsekuen aturan.

Awalnya, seluruh aturan dengan confidence tinggi yang hanya memiliki satu item pada sisi konsekuen, di-ekstrak. Aturan ini nanti akan digunakan untuk membangkitkan aturan kandidat yang baru. Sebagai contoh, jika {acd}{b} dan {abd} {c} merupakam aturan dengan confidence tinggi, maka aturan kandidat {ad}{bc} dibangkitkan dengan menggabungkan konsekuen dari kedua aturan. Gambar 10 memperlihatkan struktur lattice untuk aturan asosiasi yang dibangkitkan dari frequent itemset {a,b,c,d}. Jika sembarang node dalam lattice memiliki confidence rendah, maka menurut Teorema 2, seluruh subgraph yang terentang oleh node tersebut dapat langsung dipangkas. Sebagai contoh, jika confidence untuk {bcd} {a} rendah. Seluruh aturan yang mengandung item a dalam konsekuen-nya, termasuk {cd}{ab}, {bd}{ac}, {bc}{ad} dan {d}{abc} dapat dihilangkan. Pseucode untuk pembangkitan aturan asosiasi dapat dilihat pada Algoritma 5.2 dan 5.3. Perhatikan kesamaan antara prosedur ap-genrules pada Algoritma 5.3 dengan prosedur apriori-gen untuk membangkitkan frequent itemset pada Algoritma 5.1. Perbedaannya adalah, kita tidak perlu melakukan pembacaan ulang seluruh dataset untuk menghitung confidence dari aturan kandidat. Tentu saja, kita menentukan confidence untuk setiap aturan berdasarkan support count yang telah dihitung selama pembangkitan frequent itemset.


Gambar 5.10 Pemangkasan aturan asosiasi menggunakan ukuran confidence.

Algoritma 5.2. Pembangkitan aturan dalam Algoritma Apriori

Algoritma 5.3. Prosedur ap-genrules(fk,Hm)

5.6 Contoh : Congressional Voting Records Bagian ini menunjukkan hasil penerapan analisis asosiasi pada data voting anggota Kongres Amerika (Congressional Voting Records). Setiap transaksi berisi informasi tentang afiliasi partai (Partai Republik atau Partai Demokrat) dari anggota kongres dan catatan pilihan voting yang dilakukan oleh masing-masing anggota (ada 16 isu utama). Terdapat 435 transaksi dan 34 item dalam dataset. Himpunan item dapat dilihat pada Tabel 5.3.


Tabel 5.3 Atribut biner dari Congressional Voting Record USA tahun 1984

Algoritma Apriori diterapkan pada dataset dengan minsup = 30% dan minconf = 90%. Beberapa aturan dengan confidence tinggi yang berhasil di-ekstrak oleh algoritma disajikan pada Tabel 5.4.

Tabel 5.4 Aturan asosiasi yang di-ekstrak dari Congressional Voting Record USA tahun 1984

5.7 Evaluasi Pola Asosiasi Algoritma analisis asosiasi memiliki potensi untuk membangkitkan pola (pattern) dalam jumlah besar. Sebagai contoh, meskipun dataset pada Tabel 1 hanya berisi enam item, dataset tersebut dapat menghasilkan ribuan aturan asosiasi pada nilai support dan confidence tertentu. Dengan ukuran dan dimensi basisdata yang mungkin sangat besar, mungkin diperoleh ribuan atau jutaan pola yang kebanyakan tidak menarik. Menyaring pola untuk mengidentifikasi pola yang paling menarik bukanlah pekerjaan yang sederhana karena pola yang tidak menarik bagi seseorang mungkin menjadi menarik bagi orang lain (one persons trash might be another persons treasure). Karena itu perlu ada kriteria yang diterima secara umum untuk menguji kualitas dari pola asosiasi.

5.7.1 Argumen Statistik Kriteria pertama yang dapat ditetapkan adalah argumen statistik. Pola yang melibatkan himpunan item yang saling independen (mutually independent) atau mencakup sangat sedikit transaksi dianggap tidak menarik karena mungkin menangkap hubungan yang semu dalam data. Pola seperti itu dapat dihilangkan dengan menerapkan ukuran kemenarikan objektif (objective interestingness measure). Ukuran kemenarikan objektif menggunakan statistik yang diturunkan dari data untuk menentukan apakah sebuah pola menarik. Contoh ukuran kemenarikan objektif adalah support, confidence dan correlation. Beberapa


ukuran simetrik bagi itemset {A,B} dapat dilihat pada Tabel 5.5. Sedangkan contoh ukuran asimetrik bagi aturan AB dapat dilihat pada Tabel 5.6.

Tabel 5.5 Contoh symmetric objective measures bagi itemset {A,B}

Tabel 5.6 Contoh asymetric objective measures bagi aturan AB

5.7.2 Argumen Subjektif Kriteria kedua yang dapat ditetapkan adalah argumen subjektif. Pola secara subjektif dianggap tidak menarik kecuali aturan tersebut mengungkap informasi yang tidak terduga (unexpected information) tentang data, atau memberikan pengetahuan yang berguna sehingga memicu tindakan yang menguntungkan. Contoh, aturan {Butter}{Bread} mungkin tidak menarik, meskipun memiliki nilai support dan confidence yang tinggi, karena pola tersebut terlihat umum. Pada sisi lain, aturan {Diapers}{Beer} menarik karena hubungan tersebut tidak terduga dan dapat meningkatkan penjualan silang (cross-selling). Menyertakan pengetahuan subjektif dalam evaluasi pola merupakan tugas yang sukar karena memerlukan sejumlah informasi dari ahli bidang yang bersangkutan.

Berikut adalah beberapa pendekatan untuk menyertakan pengetahuan subjektif dalam pekerjaan pencarian pola

4. Visualisasi. Pendekatan ini memerlukan lingkungan yang user-frienly untuk memudahkan domain expert memeriksa pola yang ditemukan.

5. Template-based approach. Pendekatan ini mengijinkan pengguna untuk membatasi jenis pola yang di-ekstrak oleh algoritma data mining. Daripada melaportkan seluruh aturan yang di-ekstrak, hanya aturan yang memenuhi template yang telah ditentukan oleh pengguna yang disajikan ke pengguna.


6. Subjective interestingness measure. Ukuran subjektif didefinisikan berdasarkan domain information seperti hirarki konsep atau profit margin dari item. Ukuran ini kemudian dapat digunakan untuk menyaring pola yang umum dan non-actionable.

5.6 Topik Riset Topik riset dalam data mining terus berkembang. Topik isu untuk pola asosiasi dapat dilihat pada Gambar 5.11.

Gambar 5.11 Topik riset dalam mining association pattern

Penutup Soal Latihan Tugas Individu Jawablah pertanyaan berikut secara singkat dan jelas.

1. Apa yang dimaksud dengan confidence dan support dalam teknik asosiasi. 2. Berikan contoh sebuah aturan asosiasi dari data set transaksi swalayan yang

memenuhi kondisi berikut:

a. Sebuah aturan yang memiliki support yang tinggi dan confidence yang tinggi

b. Sebuah aturan yang memiliki support yang tinggi dan confidence yang rendah

c. Sebuah aturan yang memiliki support yang rendah dan confidence yang tinggi


d. Sebuah aturan yang memiliki support yang rendah dan confidence yang rendah

Jelaskan apakah aturan-aturan demikian dapat dinyatakan sebagai aturan yang menarik.

Tugas Kelompok 1. Sebuah basis data terdiri dari 5 transaksi, sebagai berikut

TID Item_yang_dibeli T100 {Mie, Susu, Mentega, Roti, Saus, Kecap} T200 {Kopi, Susu, Mentega, Roti, Saus, Kecap} T300 {Mie, Gula, Roti, Saus } T400 {Mie, Sirup, Snack, Roti, Kecap} T500 {Snack, Susu, Susu, Roti, Air Mineral, Saus}

Misalkan min_sup = 60% dan min_conf = 80%. Tentukan semua frequent itemset dengan menggunakan algoritme Apriori. 2. Diberikan data set transaksi berikut:

a. Hitunglah support untuk itemset {e}, {b,d}, dan {b, d, e}. b. Berdasarkan hasil dari point a, hitunglah confidence untuk aturan asosiasi

{b, d} {e} dan {e} {b, d}.

3. Perhatikan frequent 3-itemset: {1, 2, 3}, {1, 2, 4}, {1, 2, 5}, {1, 3, 4}, {1, 3, 5}, {2, 3, 4}, {2, 3, 5}, {3, 4, 5}

Asumsikan bahwa hanya terdapat lima aitem dalam data set.

a. Tentukan semua 4-itemset kandidat yang diperoleh dengan prosedur generasi kandidat dengan mengunakan strategi penggabungan Fk-1 F1.

b. Tentukan semua 4-itemset kandidat yang diperoleh dengan prosedur generasi kandidat dalam Apriori.


Data Mining- Bab 5 Analisis Asosiasi.PDF

Documents

Transcript of Data Mining- Bab 5 Analisis Asosiasi.PDF