Modul Praktikum 5 - Klasifikasi I (Fix)

UNIVERSITAS ISLAM INDONESIA FM-UII-AA-FKA-07/R0

MATERI PRAKTIKUM

Fakultas : Teknologi Industri Pertemuan ke : 13 Jurusan/Program Studi : Teknik Industri Modul ke : 5 Kode Mata Kuliah : 52213604 Jumlah Halaman : 18 Nama Mata Kuliah : Analisis Keputusan dan Data Mining Mulai berlaku : 2015


MATERI PRAKTIKUM


PERTEMUAN KE-13

KLASIFIKASI I

1. Tujuan Praktikum

1) Mahasiswa mempunyai pengetahuan dan kemampuan dasar mengenai metode

pencarian pengetahuan / pola data dari sejumlah data dengan menggunakan teknik

klasifikasi.

2) Mahasiswa mampu menyelesaikan kasus klasifikasi data dengan menerapkan teknik

klasifikasi.

3) Mahasiswa mampu memahami konsep dan menerapkan salah satu algoritma klasifikasi

yaitu decision tree.

2. Definisi Klasifikasi

Klasifikasi merupakan proses untuk menemukan sekumpulan model yang menjelaskan dan

membedakan kelas-kelas data, sehingga model tersebut dapat digunakan untuk memprediksi

nilai suatu kelas yang belum diketahui pada sebuah objek.

Gambar 1. Klasifikasi sebagai suatu tugas memetakan atribut x ke dalam label kelas y

Klasifikasi adalah proses untuk menempatkan objek tertentu (konsep) dalam satu set

kategori, berdasarkan sifat masing-masing objek (konsep) (Gorunescu, 2011). Klasifikasi

tergolong dalam supervised methods.

Supervised methods adalah metode yang berusaha untuk menemukan hubungan antara

atribut input (variabel independen) dan atribut target / kelas (variabel dependen). Hubungan

ditemukan diwakili dalam struktur yang disebut sebagai model. Biasanya model


MATERI PRAKTIKUM


menggambarkan dan menjelaskan fenomena yang tersembunyi dalam dataset dan dapat

digunakan untuk memprediksi nilai atribut target mengetahui nilai-nilai atribut masukan

(Maimon, 2010).

Proses klasifikasi didasarkan pada empat komponen dasar (Gorunescu, 2011) :

1) Kelas (class) atau label kelas yaitu variabel dependen dari model yang merupakan variabel

kategori yang menjelaskan sebuah 'label' pada objek setelah proses klasifikasi. Contoh :

loyalitas pelanggan (label : loyal / tidak loyal), kelas bintang (galaksi), dll.

2) Prediktor (predictor) atau atribut (attribute) yaitu variabel independen dari model yang

diwakili oleh karakteristik (atribut) dari data yang akan diklasifikasikan dan berdasarkan

klasifikasi yang dibuat. Contoh prediktor tersebut adalah: merokok, konsumsi alkohol,

tekanan darah, frekuensi pembelian, status perkawinan, dan kecepatan angin, musim, dll.

3) Training set atau dataset latihan (training dataset) yaitu merupakan kumpulan data yang

berisi nilai-nilai atau record untuk dua komponen sebelumnya (kelas dan prediktor /

atribut) dapat berupa variabel kontinyu maupun kategoris, dan digunakan untuk 'pelatihan'

atau pembangunan model untuk menyesuaikan dengan kelasnya berdasarkan prediktor

yang tersedia. Contoh set tersebut adalah: kelompok pasien diidentifikasi pada kasus

serangan jantung berdasarkan faktor-faktor yang mempengaruhinya, kelompok pelanggan

dari supermarket, dll.

4) Dataset pengujian (testing dataset) yaitu berisi data baru yang akan diklasifikasikan oleh

model klasifikasi (classifier) dan untuk mengukur tingkat akurasi klasifikasi (kinerja

model) sehingga performansi model klasifikasi dapat dievaluasi.

Model dalam klasifikasi antara lain yaitu (Bertalya, 2009) :

1) Pemodelan Deskriptif

Sebagai alat penggambaran yang bersifat menjelaskan untuk membedakan objek-objek

dari kelas yang berbeda.

2) Pemodelan Prediktif

Pemodelan prediktif digunakan untuk memprediksi label kelas untuk record yang belum

diketahui.


MATERI PRAKTIKUM


3. Penerapan Klasifikasi

Klasifikasi dapat diaplikasikan dalam beberapa bidang antara lain kesehatan, perbankan, ritel,

dll. Masing-masing memiliki atribut yang sesuai dengan kasus masing-masing. Misalnya

dalam ritel, kasus yang biasanya digunakan adalah pemberian diskon/bonus.

4. Tahapan Klasifikasi

Tahapan dalam klasifikasi antara lain adalah :

1) Preprocessing Data

Tahap awal yang dilakukan sebelum proses klasifikasi adalah melakukan preprocessing

data, terdapat beberapa langkah preprocessing data, yaitu :

a) Data Cleaning

Data cleaning merupakan suatu pemrosesan terhadap data untuk menghilangkan noise dan

penanganan terhadap missing value pada suatu record.

b) Transformasi Data

Pada data dapat dilakukan generalisasi menjadi data dengan level yang lebih tinggi.

Misalnya dengan melakukan diskretisasi terhadap atribut degan nilai kontinyu.

Pembelajaran terhadap data hasil generalisasi dapat mengurangi kompleksitas

pembelajaran yang harus dilakukan karena ukuran data yang harus diproses lebih kecil.

2) Pembuatan Model Dalam Klasifikasi

Klasifikasi dapat digunakan untuk memprediksi nama atau nilai kelas dari suatu obyek

data. Proses klasifikasi data dapat dibedakan dalam 2 tahap, yaitu :

a) Pembelajaran / Pembangunan Model

Tiap tiap record pada data latih (training set) dianalisis berdasarkan nilai nilai

atributnya, dengan menggunakan suatu algoritma klasifikasi untuk mendapatkan model.


MATERI PRAKTIKUM


Gambar 2. Learning : Training data.

Sebagai contoh, pada gambar 2. menjelaskan tahap awal proses klasifikasi yaitu

mendapatkan model klasifikasi (classifier) dari data latihan (training data)

menggunakan algoritma klasifikasi. Atribut label kelas adalah Tenured, dan Learned

Model atau classifier di gambarkan pada blok aturan klasifikasi.

b) Klasifikasi

Pada tahap ini, data uji (test set) digunakan untuk mengetahui tingkat akurasi dari

model yang dihasilkan. Jika tingkat akurasi yang diperoleh sesuai dengan nilai yang

ditentukan, maka model tersebut dapat digunakan untuk mengklasifikasikan record

pada data yang baru.

Gambar 3. Classification: Test data.

Pada gambar 3., data uji (test set) digunakan untuk mengetahui tingkat akurasi dari

model yang dihasilkan (classifier). Jika keakuratan tersebut dianggap dapat diterima,

maka aturan itu dapat diaplikasikan untuk mengklasifikasikan data records yang baru.


MATERI PRAKTIKUM


5. Asumsi Dalam Klasifikasi

Pembuatan model menguraikan sebuah set dari penentuan kelas-kelas sebagai:

1. Setiap record diasumsikan sudah mempunyai kelas yang dikenal seperti ditentukan oleh

label kelas atribut,

2. Kumpulan record yang digunakan untuk membuat model disebut kumpulan pelatihan

(training set),

3. Model direpresentasikan sebagai classification rules, decision tree atau formula

matematis.

Penggunaan model menguraikan pengklasifikasian masa yang akan datang atau obyek yang

belum diketahui, yaitu taksiran keakuratan dari model yang terdiri dari:

1. Label yang telah diketahui dari contoh tes dibandingkan dengan hasil klasifikasi dari

model,

2. Nilai keakuratan adalah prosentase dari kumpulan contoh tes yang diklasifikasikan secara

tepat oleh model,

3. Kumpulan tes tidak terikat pada kumpulan pelatihan,

4. Jika akurasi diterima, model dapat digunakan untuk mengklasifikasikan data record yang

label kelasnya belum diketahui.

Untuk mengevaluasi performansi sebuah model yang dibangun oleh algoritma klasifikasi,

dapat dilakukan dengan menghitung jumlah dari test record yang diprediksi secara benar

(akurasi) dan salah (error rate) oleh model tersebut. Akurasi dan error rate didefinisikan

sebagai berikut.

Algoritma klasifikasi adalah dapat menemukan model yang mempunyai akurasi yang tinggi

atau error rate yang rendah ketika model diterapkan pada test set.


MATERI PRAKTIKUM


6. Algoritma Klasifikasi

Pada teknik klasifikasi terdapat beberapa algoritma klasifikasi yang dapat digunakan, antara

lain: pohon keputusan (decision tree), rule based, neural network, support vector machine,

naive bayes, rough set, dan nearest neighbour.

7. Algoritma Decision Tree

Salah satu metode teknik klasifikasi data mining yang umum digunakan adalah decision tree.

Decision tree adalah struktur flowchart yang menyerupai tree (pohon), dimana setiap simpul

internal menandakan suatu tes pada atribut, setiap cabang merepresentasikan hasil tes, dan

simpul daun merepresentasikan kelas atau distribusi kelas. Alur pada decision tree di telusuri

dari simpul akar ke simpul daun yang memegang prediksi kelas untuk contoh tersebut.

Decision tree mudah untuk dikonversi ke aturan klasifikasi. Teknik pohon keputusan lebih

mudah digunakan, karena beberapa alasan:

a) Dibandingkan dengan classifier JST atau bayesian, sebuah pohon keputusan mudah

diinterpretasi/ ditangani oleh manusia.

b) Sementara training JST dapat menghabiskan banyak waktu dan ribuan iterasi, pohon

keputusan efisien dan sesuai untuk himpunan data besar.

c) Algoritma dengan pohon keputusan tidak memerlukan informasi tambahan selain yang

terkandung dalam training data (yaitu, pengetahuan domain dari distribusi-distribusi pada

data atau kelas-kelas).

d) Pohon keputusan menunjukkan akurasi klasifikasi yang baik dibandingkan dengan teknik-

teknik yang lainnya.

1) Konsep Decision Tree

Mengubah data menjadi pohon keputusan (decision tree) dan aturan-aturan keputusan

(rule).

Gambar 4. Konsep Decision Tree


MATERI PRAKTIKUM


2) Tipe Simpul Pada Tree

Tree mempunyai 3 tipe simpul, yaitu:

1. Simpul akar dimana tidak ada masukan edge dan 0 atau lebih keluaran edge (tepi),

2. Simpul internal, masing-masing 1 masukan edge dan 2 atau lebih edge keluaran,

3. Simpul daun atau simpul akhir, masing-masing 1 masukan edge dan tidak ada edge

keluaran.

Pada decision tree setiap simpul daun menandai label kelas. Simpul yang bukan

simpul akhir terdiri dari akar dan simpul internal yang terdiri dari kondisi tes atribut pada

sebagian record yang mempunyai karakteristik yang berbeda. Simpul akar dan simpul

internal ditandai dengan bentuk oval dan simpul daun ditandai dengan bentuk segi empat.

Gambar 5. Decision tree untuk masalah klasifikasi

3) Konsep Data Dalam Decision Tree

a) Data dinyatakan dalam bentuk tabel dengan atribut dan record.

b) Atribut menyatakan suatu parameter yang dibuat sebagai kriteria dalam pembentukan

tree. Misalkan untuk menentukan main tenis, kriteria yang diperhatikan adalah cuaca,

angin dan temperatur. Salah satu atribut merupakan atribut yang menyatakan data solusi

per-item data yang disebut dengan target atribut.

c) Atribut memiliki nilai-nilai yang dinamakan dengan instance. Misalkan atribut cuaca

mempunyai instance berupa cerah, berawan dan hujan.


MATERI PRAKTIKUM


Gambar 6. Contoh data untuk Decision Tree

4) Proses Dalam Decision Tree

a) Proses Mengubah Data Menjadi Tree

Gambar 7. Mengubah Data Menjadi Tree

b) Ukuran untuk Memilih Split Terbaik

Dalam membangun sebuah decision tree secara top-down (dari atas ke bawah), tahap

awal yang dilakukan adalah mengevaluasi semua atribut yang ada menggunakan suatu

ukuran statistik (yang banyak digunakan adalah information gain) untuk mengukur

efektifitas suatu atribut dalam mengklasifikasikan suatu kumpulan sampel data. Atribut

yang diletakkan pada root node adalah atribut yang memiliki information gain terbesar.

Semua atribut adalah bersifat kategori yang bernilai diskrit. Atribut dengan nilai

continuous harus didiskritkan (Zalilia, 2007). Terlebih dahulu kita harus mencari nilai


MATERI PRAKTIKUM


informasi dari data yang merupakan nilai yang diperlukan untuk mengklasifikasikan

keputusan akhir. Secara matematis dapat dirumuskan dengan:

c) Entropy

Entropy (S) adalah jumlah bit yang diperkirakan dibutuhkan untuk dapat mengekstrak

suatu kelas (+ atau -) dari sejumlah data acak pada ruang sample S.

Entropy bisa dikatakan sebagai kebutuhan bit untuk menyatakan suatu kelas. Semakin

kecil nilai Entropy maka semakin baik untuk digunakan dalam mengekstraksi suatu

kelas.

Entropi adalah suatu parameter untuk mengukur heterogenitas dari suatu data. Panjang

kode untuk menyatakan informasi secara optimal adalah p2log bits untuk messages

yang mempunyai probabilitas p.

Untuk menghitung information gain, terlebih dahulu kita harus memahami suatu

ukuran lain yang disebut Entropy. Entropy biasa digunakan sebagai sautu parameter

untuk mengukur heterogenitas (keberagaman) dari suatu kumpulan sampel data. Jika

kumpulan sampel data semakin heterogen, maka semakin besar nilai entropy. Secara

matematis, nilai entropy masing-masing instance dirumuskan sebagai berikut:

Keterangan :

S = ruang (data) sample yang digunakan untuk training.

P(+) = jumlah yang bersolusi positif (mendukung) pada data sample untuk kriteria

tertentu.

P(-) = jumlah yang bersolusi negatif (tidak mendukung) pada data sample untuk

kriteria tertentu.


MATERI PRAKTIKUM


Sedangkan untuk nilai entropy masing-masing atribut dirumuskan dengan:

d) Information Gain

Setelah mendapatkan nilai entropy untuk suatu kumpulan sampel data, maka dapat

diukuer efektifitas suatu atribut dalam mengklasifikasikan data. Ukuran efektifitas ini

disebut Information Gain. Secara matematis, information gain dari suatu atribut,

dituliskan sebagai berikut:

Dengan kata lain, Gain (A) adalah reduksi yang diharapkan dalam entropy yang

disebabkan oleh pengetahuan nilai pada atribut A. Algoritma menghitung information

gain pada setiap atribut. Atribut dengan nilai gain terbesar dipilih sebagai tes atribut

(simpul akar). Simpul A dibuat dan dilabelkan dengan atribut, cabang dibuat untuk

setiap nilai atribut.

Klasifikasi pada umumnya digunakan untuk kasus-kasus pada kelas-kelas

keputusan yang bernilai diskrit dengan keputusan seperti diterima = ya atau tidak.

Namun jika kita menemukan kasus yang mempunyai nilai keputusan kontinyu cara

untuk menyelesaikannya adalah dengan mengubah nilai-nilai kontinyu menjadi nilai-

nilai diskrit dengan cara mempartisi nilai kontinyu ke dalam interval-interval bernilai

diskrit.

Tabel 1. Contoh Data penerimaan karyawan dengan atribut IPK bernilai kontinyu


MATERI PRAKTIKUM


Untuk menyelesaikannya kita misal atribut IPK kita ubah menjadi 3 nilai diskrit

dengan membentuk interval bagus=[3,00-4,00], cukup=[2,75-3,00] lalu kembali

dengan melanjutkan langkah-langkah selanjutnya.

e) Mengubah Tree Menjadi Rules

Tahap terakhir dalam algoritma decision tree adalah mengubah tree menjadi rules

seperti pada gambar di bawah ini.

Gambar 8. Mengubah Tree Menjadi Rules

Sebagai contoh, terdapat sebuah kasus seseorang menentukan akan main tenis di

lapangan atau tidak berdasarkan faktor cuaca dan angin, maka berdasarkan tree yang

terbentuk dapat diubah menjadi beberapa rule seperti gambar di bawah ini.


MATERI PRAKTIKUM


Gambar 9. Mengubah Tree Menjadi Rules

5) Contoh Kasus Decision Tree

a) Menentukan Node Terpilih

Dari data sampel ditentukan node terpilih, yaitu dengan menghitung nilai entropy

masing-masing atribut. (jumlah beli, harga, dan keadaan barang).

Catatan Node terpilih adalah kriteria dengan Information Gain yang paling besar.

Entropy untuk harga:


MATERI PRAKTIKUM


Nilai Informasi untuk data tersebut adalah:

Information Gain (I) =0.9183-0.36 =0.558296

Dengan menggunakan cara yang sama nilai entropy atribut yang lain adalah sebagai

berikut:

Tabel 2. Nilai Entropy untuk Jumlah Beli dan keadaan Barang

Terpilih atribut HARGA sebagai node awal karena memiliki information gain

terbesar.

b) Menyusun Tree Awal

Gambar 10. Tree Awal yang Terbentuk


MATERI PRAKTIKUM


Node berikutnya dapat dipilih pada bagian yang mempunyai nilai + dan -, pada contoh

di atas hanya harga = sedang yang mempunyai nilai + dan , maka semuanya pasti

mempunyai internal node. Untuk menyusun internal node lakukan satu-persatu.

c) Internal Node untuk harga = sedang

Tabel 3. Internal Node Harga Sedang


MATERI PRAKTIKUM


d) Menyusun Tree Lanjutan

Gambar 11. Tree Lanjutan 1

Gambar 12. Tree Lanjutan 2


MATERI PRAKTIKUM


e) Hasil Tree Akhir

Gambar 13. Tree Akhir

f) Mengubah Tree Menjadi Rule

Rule yang terbentuk dari hasil tree akhir adalah sebagai berikut:

R1: IF Harga = mahal THEN diskon = ya

R2: IF Harga = murah THEN diskon = tidak

R3: IF Harga = sedang dan Jumlah Beli = sedikit THEN diskon = tidak

R4: IF Harga = sedang dan Jumlah Beli = banyak dan Keadaan Barang = cacat

THEN diskon = ya

R5: IF Harga = sedang dan Jumlah Beli = banyak dan Keadaan Barang=baik

THEN diskon = tidak


MATERI PRAKTIKUM


g) Menghitung Akurasi dan Error

Hasil Prediksi pada training set adalah sebagai berikut:

Tabel 4. Hasil Model Klasifikasi dan Prediksi

Keterangan:

Warna kuning menunjukkan ketidaksesuaian atau tingkat error

Tingkat error = 3/18 *100% = 16.67 %.

Sedangkan untuk akurasi adalah sebesar = 15/18*100% = 83.33 %.


MATERI PRAKTIKUM


REFERENSI

Bertalya. 2009. Konsep Data Mining. Jakarta: Universitas Gunadarma.

Florin Gorunescu. 2011. Data Mining : Concept, Model and Techniques. Berlin : Springer.

Oded Maimon dan Lior Rokach. 2010. Data Mining and Knowledge Discovery Handbook.

London : Springer.


MATERI PRAKTIKUM


Modul Praktikum 5 - Klasifikasi I (Fix)

Documents

Transcript of Modul Praktikum 5 - Klasifikasi I (Fix)