BAB 12KNOWLEDGE & DATA ENGINEERING

EKA WARDI NINGSIHE1E1 07 064PROG.STUDI TEKNIK INFORMATIKA2010

SISTEM PENUNJANG KEPUTUSAN

Pendahuluan

Data: kumpulan kode alfanumerik.Fakta: data yang terbukti kebenarannya.Informasi: data yang memiliki nilai tambah.Knowledge/pengetahuan: informasi yang terorganisir

Data Engineering(DE, rekayasa data),menangani masalahmasalah terstruktur yang langsung bisa dikoneksikan dari datayang diketahui.

Knowledge Engineering(KE, rekayasa pengetahuan), menanganimasalah-masalah yang semi dan tak terstruktur.Informasi yang diketahuitidak bisa dikoneksikan secara langsung namun membutuhkanknowledge.

Sehingga tujuan dari keduanya disebut dengan Knowledge and DataEngineering (KDE).

Masalah terstruktur

Basis data (BD) sendiri sudah punya value (nilai), sehingga dapat diekstrakslangsung.Tapi pada kelas enterprise (yang melibatkan data multidimensi), data normalisasi yang akan diproyeksikan ke data multimedia membutuhkan tools OLAP. Maka dari sini lahirlah Data Warehousing (DW). Jadi DW lahir dari masalah-masalah yang terstruktur, bukan yang semi atau tak terstruktur.

Masalah semi dan tak terstruktur

Knowledge memodelkan sebab akibat, maka membutuhkan proses inferencing. Tidak ada hubungan kuantitatif antara masukan dengan keputusan yang dihasilkan. Kalau hubungan kualitatif pasti selalu ada hubungannya.Fokus pada basis pengetahuan. Metodologi yang dikembangkan di atas knowledge ini disebut dengan knowledge engineering.Yang namanya engineering (rekayasa) optimasi.

DiagramBerikut ini disajikan diagram hubungan dari bidang-bidang di KDE:

Database (DB -konvensional, relasional-)

Metodologi pengarsipan data

*Mewakili sebagian dari dunia nyata*Saling berhubungan dan tersusun*Memiliki tujuan tertentu*Tabel, yang memiliki record dan field. Dimana field memiliki tipe tertentu*Terdiri dari baris dan kolom -> relasional*Relasi*Data*DBMS

3 operasi dasar :1. Data Entry -> add, edit, delete2. Data Organisation -> search3. Report Generation

Database (DB -konvensional, relasional-)

Data Warehousing (DW)Terdapat 2 istilah yang berkenaan dengannya:MetodologiTeknologi

Berarti metodologi/teknologi yangmentransformasikan datatransaksionalmenjadi data multidimensi.

Tahapannya:Memilih antara skema: Star atau Snowflake atau gabungan keduanyaMewujudkan dimensi-dimensiMembentuk cube/kubus, dimana di dalamnya terdapat teknik Pivoting yang akan divisualisasi melalui software OLAPTeroptimasi untuk analisis (query)Terupdate secara periodikTerupdate secara batch, on-lineEksplorasi data

Database (DB -konvensional, relasional-)

Tahapannya ;Denormalisasi kata kunci DWQuery lebih cepat, karena tabelnya lebih sedikitBanyak data yang redundanAnalisisBaru desain, belum aplikasi. Kalau aplikasi misal: OLAP dan Data MiningMenyimpan pertanyaan Who dan What untuk data di masa laluMenyimpan data dalam repositoryDi saat SQL sudah tak bisa menyelesaikan persoalan

Fokus pada pengambilan keputusan, sedang pada DB fokus pada transaksionalDari DB -> DW, datanya menjadi data multidimensionalData martLaporanAnalisisOperasi:1. Transformasia. Sintaktikb. Semantik2. Data Cleaning, yaitu meminimalkan kesalahan atau informasi yang hilang.

O L T P

Pemrosesan berorientasi pada transaksional yang memiliki penekananpada normalisasi dan minimisasi redundansi serta penangananreferential integrity constraints.

Relational :Cepat dalam pemodelannyaTak ada redundansiYang penting konsisten

Fokus:Teknologi basis data RDBMS (misal: instance dan databasenya)

O L T PData dari DB (Data Base) dan dapat memberikan umpan balik secara onlineTransaksi sederhana dan pada bagian kecilTerupdate secara realtime/online. Contoh: Informic onlineTerupdate secara otomatis dan lebih seringTabel-tabel ternormalisasiSumber data untuk Data Mining dan OLAPSejenis dengan Data Warehousing

Tabelnya kecil, terpisah-pisah. Sedangkan untuk Data Warehousing tabel tunggal yang sudahDioptimasiRedundansinya sedikitQuery relatif lebih lambatOperasionalTak mendukung multidimensi, dimana hal itu didukung oleh OLAPBertumpu pada database relasional terdistribusiPengaturan aplikasi yang berorientasi transaksiBeberapa layer

O L T PAda 4 layer :1. Data tier2. Business Logic tier3. Presentation tier4. Client- Merancang data model- Normalisasi data

Data Mining (DM)Bagian dari pengenalan pola (pattern recognition) yang merupakan metodologi yang mengekstraksipengetahuan dari seperangkat informasi

Beberapa hal penting dalam Data Mining :

DenormalisasiMembolehkan redundansiSegera mendapatkan data dengan cepat dalam hal waktu dan cepat dalam hal pendapatan/pengembalian nilai (value)Untuk masalah yang semi terstruktur dan yang tak terstruktur (kalau yang terstruktur menggunakan OLAPQuery-nya bebas, jadi tak ada pembatasan dalam hal query untuk mendapatkan informasi yang diinginkan.Evaluasi

Signifikasi hasil terhadap cost/biaya yang dikeluarkanAsosiasiSequence analysisClassificationClusteringForecastingDigunakan pada bidang Matematika, Cybernetics, Algoritma Genetika, dan CustomerRelationship Management (CRM)

Eksploitasi data, langkahnya:

1. Data selection ||DW2. Cleaning||3. Mining|| DM4. Evaluation||

- How To, bagaimana memperlakukan data agar memuaskan customer.- Pola -> relasi -> model -> keputusan.Pola juga berasal dari data.- Prediksi eksplisit

4 operasi penting:

1. Predictive modeling -> pembelajaran.2. Database segmentation > clustering.3. Link analysis -> hubungan antar record.4. Deviation detection -> memperkuat kebenaran

Aplikasi DM yang efektif:1. Identifikasi masalah

2. Persiapan data:

- Gathering pengumpulan data.- Penilaian masalah.- Penggabungan data & validasi.- Pemilihan data.- Transformasi data.

3. Membangun sebuah model- Evaluasi dan interpretasi.- Validasi eksternal

4. Penggunaan model.

5. Pengawasan.- Masuk bagian pengenalan pola (pattern recognition).- Data berasal dari database umum, misal: peta.

OLAP

Merupakan teknik visualisasi dan pemodelan pada data multidimensi.Seperti ES(Expert System) yang mampu memberikan analisis. Membutuhkan pakar dalambidang pengembangan tertentu.Sedangkan data multidimensi itu sendiri berasal dari DataWarehousing.Perbedaannya dengan Data Mining:Untuk masalah yang semi terstruktur dan yang tak terstruktur menggunakan Data MiningUntuk masalah yang terstruktur menggunakan OLAPRDBMS dulunya tak mendukung OLAP, tapi sekarang mendukung; misal: OracleCepatAnalisisSharedMultidimensionalInformatif

Kalau Query tradisional:AND dan OR banyakSQL 92 tidak mendukung lagi perkembangan yang terjadiTime series dan fungsi statistik, sedikit atau tak didukungPondasi dari aplikasi bisnisTepat waktu (online), sehingga diharapkan pengambilan keputusan lebih efektif dan efisienUpdate lebih jarangAkses bagian yang signifikanQuery lebih kompleksTampilan multidimensional dataKemampuan perhitungan intensifKecerdasan pengaturan waktu Sistem Analis + Manajer + Eksekutif data. Dilakukan dengan cepat, dan mempunyai What-If Analysis

Information Retrieval (IR)

Bagian dari Data Mining yang fokusnya pada dokumen teks atau hypertext dengan pelbagai macam formatnya.Dokumen text bisa multiformat: Excell, Web, PDF, PS, Word, DBF, MDB, dan lain-lain.Tindakan: text indexing, analisis masalah, analisis relevansi.Proses pada data: identifikasi teks, memisahkan bagian-bagian dari teks.Punya kaitan dengan Search.Mempelajari cara mencari data dari teks.

Sistem Pendukung Keputusan

Metodologi untuk memodelkan persoalan keputusanKemampuan dan jangkauan manajer bisa meningkat.Agar berhasil:- Sederhana- Kuat- Mudah dikontrol- Adaptif- Lengkap- KomunikatifSistem interaktif berbasis komputer.

Mengambil, menyimpulkan, menganalisis: keputusan (data)Model keputusan -> strategi SPK- Terstruktur OLAP (melibatkan: data)- Semi terstruktur -> ESTak terstruktur -> DM (melibatkan: knowledge; yaitu knowledge discovery, knowledge exploitation)Keuntungan:Mampu mencari jawaban dari masalah yang kompleks.Waktunya cepat.Strategi berbeda pada konfigurasi berbeda.