1. Pengantar Data Mining

download 1. Pengantar Data Mining

of 52

  • date post

    18-Jul-2015
  • Category

    Documents

  • view

    153
  • download

    0

Embed Size (px)

Transcript of 1. Pengantar Data Mining

Konsep dan Teknik Data Mining

Edward Purba

Pengantar DM

1/52

Pengantar Data Mining (DM)Motivasi Mengapa? Apa? Aplikasi Proses KDD Tinjauan DM Isu UtamaEdward Purba

Pengantar DM

2/52

Motivasi: Kebutuhan Merupakan Sumber Penemuan Problem ledakan data Tool koleksi data otomatis dan perkembangan teknologi database menyebabkan banyak sekali data yang bisa dikumpulkan di dalam database, data warehouse, dan alat peyimpanan informasi lainnya, untuk dianalisa

Kita berkubang data tetapi kelaparan pengetahuan!Edward Purba

Pengantar DM

3/52

Motivasi: Kebutuhan Merupakan Sumber Penemuan Solusi: Penggudangan data dan penambangan data (Data warehousing and data mining) Data warehousing dan on-line analytical processing (OLAP) Penyaringan pengetahuan yang menarik (kaidah, keberaturan, pola, kendala) dari data dalam database yang besarEdward Purba

Pengantar DM

4/52

Komputer Tahun 1940-an (ENIAC)

Edward Purba

Pengantar DM

5/52

Personal Home Network Tahun 2000-anFile Edit Locate500

View

H elp

400

E D C B A

Storage

300

200

100

0

1

2

3

4

5

6

7

Network Traffic

Mount 431 7437 1950 79% / 02 631963 47358 H elp 93% /us

Storage

Storage Storage Storage

Storage

Storage

InternetStorage

Edward Purba

Pengantar DM

6/52

Evolusi atau Perkembangan Teknologi Database 1960an: Koleksi data, pembuatan data, IMS dan network DBMS 1970an: Model data relasional dan implementasi DBMS relasional 1980an: RDBMS, model data lanjut (extendedrelational, OO, deduktif, dsb.) DBMS berorientasi aplikasi(spasial, saintifik, teknik, dsb.) 1990an 2000an: Data mining dan data warehousing, database multimedia, teknologi WebEdward Purba

Pengantar DM

7/52

Apa Itu Data Mining? Pada dasarnya: Perolehan pengetahuan dari data Ekstraksi informasi atau pola yang menarik (tidak sepele, implisit, tak-diketahui sebelumnya, mungkin bermanfaat) dari data didalam database yang besar" Seringkali hanya: Memberitahu sesuatu yang menarik dari data ini", Menguraikan data ini" Penyelidikan: analisa data semi-otomatis atas sekumpulan data yang besarEdward Purba

Pengantar DM

8/52

Apa Itu Data Mining? Istilah yang rada baku:

Data mining Biasanya DM adalah salah satu proses KDD Knowledge discovery in databases (KDD) Istilah umum yang meliputi, preprocessing data, DM, dan postprocessing Istilah yang tidak terlalu sering digunakan: Ekstraksi pengetahuan, arkeologi data, pengerukan data, penuaian informasi, analisa data/pola Publisitas terbaru: Kecerdasan bisnis, manajemen pengetahuanEdward Purba

Pengantar DM

9/52

Mengapa Data Mining? Ketersediaan data dalam jumlah yang sangat besar: Tool koleksi data otomatis dan perkembangan teknologi database menyebabkan banyak sekali data yang bisa dikumpulkan di dalam database, data warehouse, dan alat peyimpanan informasi lainnya Pemeriksaan data manual adalah membosankan dan terkadang tidak masuk akalEdward Purba

Pengantar DM

10/52

Apa Manfaat Dari DM?Meningkatkan pengetahuan agar bisa membuat keputusan berdasarkan:

MarketingMisal, pengaruh pada marketing Peran dan pengaruh DM yang bertumbuh pesat dan masih bertumbuh! Tetapi DM tidaklah sekedar marketing...Edward PurbaDatabase Marketing

Data Warehousing

KDD & Data Mining

Pengantar DM

11/52

Potensi Aplikasi? Analisis database dan dukungan keputusan: Analisis dan manajemen pasar Target pasar, manajemen relasi customer (CRM), analisis keranjang pasar, penjualan silang, segmentasi pasar Analisis dan manajemen resiko Peramalan, tindakan mempertahankan customer, peningkatan asuransi, kontrol kualitas, analisis kompetitif Deteksi dan manajemen kecuranganEdward Purba

Pengantar DM

12/52

Potensi Aplikasi? Aplikasi lain: Text mining (news group, email, dokumen) dan Web mining Stream data mining Analisis DNA dan bio data

Edward Purba

Pengantar DM

13/52

Analisis dan Manajemen Pasar Dari mana data berasal? Transaksi kartu kredit, loyalty cards, kupon discount, keluhan customer, kajian lifestyle publik

Target Pasar Mendapatkan kelompok model customer yang berbagi karakteristik yang sama: minat, tingkat pendapatan, kebiasaan belanja, dsb. Menentukan pola pembelian customer berdasarkan waktu

Analisis lintas pasar Asosiasi/korelasi antara penjualan produk & taksiran berdasarkan asosiasi demikianEdward Purba

Pengantar DM

14/52

Analisis dan Manajemen Pasar Profil customer Tipe customer apa membeli produk apa (pengelompokan atau klasifikasi)

Analisa kebutuhan customer Mengenali produk terbaik untuk customer berbeda Meramalkan faktor apa yang akan memikat customer baru

Penyediaan rangkuman informasi Rangkuman laporan multidimensi Rangkuman informasi statistik (kecenderungan data terpusat dan variasi)Edward Purba

Pengantar DM

15/52

Analisis dan Manajemen Resiko Perusahaan Perencanaan keuangan dan evaluasi aset Analisis dan peramalan cash flow

Analisis ganti rugi yang mungkin untuk mengevaluasi aset Analisis cross-sectional dan time series (financialratio, analisa trend, dsb.) Perencanaan sumberdaya Merangkum dan membandingkan sumberdaya dan pengeluaranEdward Purba

Pengantar DM

16/52

Analisis dan Manajemen Resiko Perusahaan Kompetisi Memantau pesaing dan arah pasar

Mengelompokkan customer kedalam kelas dan prosedur harga berbasis kelas Menetapkan strategi harga dalam suatu pasar dengan kompetitif tinggi

Edward Purba

Pengantar DM

17/52

Aplikasi Lain Olah raga IBM Advanced Scout menganalisa statistik (shots blocked, assists, dan fouls) pertandingan NBA untuk mendapatkan keuntungan kompetitif bagi New York Knicks dan Miami Heats Astronomi Observatory JPL dan Palomar menemukan 22 quasars dengan bantuan data mining Internet Web Surf-Aid IBM Surf-Aid menerapkan algoritma data mining untuk akses logs halaman Web yang terkait dengan pasar dalam upaya mendapatkan kesukaan dan perilaku customer, mengenalisa efektifitas pemasaran Web, perbaikan situs Web organisasi, dsb.Edward Purba

Pengantar DM

18/52

Contoh (1) Anda seorang manajer marketing untuk perusahaan telepon cellular: Pelanggan menerima sebuah telepon gratis (nilai 1.5 juta) dengan kontrak satu tahun; anda memberikan suatu komisi penjualan sebesar 2.5 juta per kontrak

Problem: Turnover (setelah kontrak berakhir) adalah 25% Memberikan suatu telepon baru ke setiap orang yang kontraknya habis sangatlah mahal Membawa kembali customer setelah keluar adalah juga sukar dan mahalPengantar DM19/52

Edward Purba

Contoh (1) Tiga bulan sebelum suatu kontrak berakhir, cari tahu customer mana yang akan keluar: Jika anda ingin mempertahankan customer yang diduga akan keluar, tawarkan customer tersebut suatu telepon baru

Yippee! I won't leave!

Edward Purba

Pengantar DM

20/52

Contoh (2) Anda seorang petugas asuransi dan anda harus mendefinisikan suatu pembayaran bulanan yang pantas untuk seorang pemuda berusia 18 tahun yang membeli sebuah Ferrari apa yang anda akan lakukan?

Oh, yes! I love my Ferrari!

Edward Purba

Pengantar DM

21/52

Contoh (2) Kaji seluruh data customer dan data kompensasi pembayaran sebelumnya Kaji peluang penyebab kecelakaan paling banyak berdasarkan dugaan

Kelamin pengendara (pria/wanita) dan usia Model dan usia mobil, tempat tinggal

dsb. Jika peluang kecelakaan lebih besar dari rata-rata, aturlah pembayaran bulanan yang sesuai!Edward Purba

Pengantar DM

22/52

Contoh (3) Anda berada diluar negeri dan seseorang mencuri atau menggandakan kartu kredit atau telepon mobile anda Perusahaan kartu kredit Menggunakan data histori untuk membangun model prilaku penipuan dan gunakan data mining untuk membantu didalam mengenali kejadian yang mirip Perusahaan telepon Menganalisis pola yang menyimpang dari suatu kebiasaan yang diharapkan (tujuan, durasi, dsb.)Edward Purba

Pengantar DM

23/52

Contoh (4) Log pengaksesan Web bisa dianalisis untuk Excellent surfing experience!

Mendapatkan apa kesukaan customer

Memperbaiki situs Web organisasi

Demikian pula Seluruh jenis analisis log informasi Adaptasi antarmuka/layanan user

Edward Purba

Pengantar DM

24/52

Data Mining: Suatu Proses KDD Data mininginti dari proses penemuan pengetahuanEvaluasi Pola

Data Mining

Task-relevant Data Data Warehouse Pembersihan Data Integrasi Data Databases Edward Purba Pemilihan

Pengantar DM

25/52

Langkah-Langkah dari Proses KDD (1)Pemahaman domainPembuatan suatu data set target Pembersihan/preprocessing data Reduksi/proyeksi data Pemilihan tugas DMEdward Purba

Pengantar DM

26/52

Langkah-Langkah dari Proses KDD (2)Pemilihan Algoritma DMData mining: Pencarian Evaluasi pola Penyajian pengetahuan Penggunaan pengetahuan yang diperolehEdward Purba

Pengantar DM

27/52

Ciri Khas Proses KDDSeleksi Berdasarkan waktu Database Operasional Eval. of interestingness Raw data

Input data

Preprocessing

Data mining

Postprocessing

Hasil-Hasil

1

Bersih Benar Fokus

2

3Pola berguna yg terpilih 28/52

Utilisasi

Edward Purba

Pengantar DM

UtilisasiPeningkatan potensi untuk mendukung keputusan bisnis

Pembuatan keputusanPenyajian Data T