Data WarehouseBusiness Intelligence

Hendrik

Arsitektur BI

Fragmentasi sistem informasi secara vertical

Menghasilkan pengembangan sistem operasional yang berbasis aplikasi (pengguna)

Problem: Manajemen Data pada Perusahaan Besar

Sales Administration Finance Manufacturing ...

Sales PlanningStock Mngmt

...

Suppliers

...Debt Mngmt

Num. Control

...Inventory

Mengumpulkan dan menggabungkan informasi Menyediakan sudut pandang yang terintegrasi,

antaramuka pengguna yang seragam Mendukung berbagi pakai

Goal: Penyatuan Akses ke Data

Integration System

WorldWideWeb

Digital Libraries Scientific Databases

PersonalDatabases

Pendekatan Tradisional (Query-Driven/ Lazy/ on-demand approach)

Pendekatan Warehousing

Solusi

Pendekatan Tradisional

Source SourceSource. . .

Integration System

. . .

Metadata

Clients

Wrapper WrapperWrapper

Kelemahan◦ Delay saat pemrosesan query

Sumber informasi yang lambat atau tidak tersedia Proses integrasi dan penyaringan data yang

kompleks◦ Untuk penggunaan yang sangat intens,

berpotensi tidak efisien dan mahal◦ Adanya kompetisi pemrosesan pada sumber data

Pendekatan Tradisional

Pendekatan Warehousing

DataWarehouse

Clients

Source SourceSource. . .

Extractor/Monitor

Integration System

. . .

Metadata

Extractor/Monitor

Extractor/Monitor

Informasi terintegrasi di awal

Tersimpan pada gudang data (WH) untuk query dan analisis langsung

Kinerja query yang tinggi Tidak saling mengganggu saat pemrosesan

pada sumber data◦ Query kompleks dilakukan pada DW◦ OLTP dilakukan pada sumber informasi

Informasi digandakan pada DW◦ Dapat digunakan untuk memodifikasi,

mendokumentasi, merangkum dan merestruktutisasi data.

◦ Dapat menyimpan informasi historis Banyak digunakan pada dunia industri

Pendekatan Warehousing

Pendekatan Query-driven tetap lebih baik dalam kasus◦ Perubahan informasi yang sangat cepat◦ Perubahan sumber informasi yang sangat cepat◦ Klien dengan kebutuhan yang sulit diprediksi

“A data warehouse is simply a single, complete, and consistent store of data obtained from a variety of sources and made available to end users in a way they can understand and use it in a business context.” -- Barry Devlin, IBM Consultant

Definisi DataWarehouse (DW)-sudut pandang praktisi

Berorientasi subjek Terintegrasi Runtun waktu (time series) Tak berubah (non volatile)

Karakteristik DataWarehouse (DW)

Data disimpan dan dikategorisasikan berdasarkan subjek bisnis.

Data diorganisir sedemikian rupa sehingga semua elemen data berelasi dengan kejadian atau objek dunia nyata yang dihubungkan bersama

Menyediakan pandangan menyeluruh terhadap data

Karakteristik - Berorientasi Subjek

Aplikasi vs berorientasi subjek

Mengambil data dari berbagai sumber data Disajikan dalam format yang konsisten Menangani konflik nama dan satuan

Karakteristik - Terintegrasi

OLTP Applications

Savings

Currentaccounts

Loans

Data Warehouse

Customer

Digunakan untuk keperluan analisis trend, deviasi, peramalan, perbandingan, …

Waktu: harian, mingguan, bulanan

Karakteristik – Runtun Waktu

Data tidak untuk diubah (read-only)

Karakteristik – Tak Berubah

Insert UpdateDelete

Read Read

Operational Warehouse

Load

Perubahan dianggap sebagai data baru

Karakteristik – Tak Berubah

Warehouse Database

First time load

Refresh

Refresh

Refresh

Operational Database

Data Operasional vs DWProperty

ResponseTime

Operations

Nature of Data

Data Organization

Size

Data Source

Activities

Operational

Sub seconds to seconds

DML

30-60 days

Applications

Small to large

Operational, Internal

Processes

Data Warehouse

Seconds to hours

Snapshots over time

Subject, time

Large to very large

Operational, Internal,External

Analysis

Primarily read only

Meningkatkan produktivitas knowledge worker

mendukung semua kebutuhan data pembuat keputusan

Menyediakan akses ke data kritis yang senantiasa siap

Memisahkan basisdata operasi dengan ad-hoc processing

Menyediakan rangkuman informasi bagi level manajemen tingkat tinggi

Menyediakan kemampuan drill-down

Keuntungan

Organisasi yang ….◦ Memiliki data pada berbagai macam

sistem/aplikasi◦ Menggunakan pendekatan manajemen berbasis

informasi◦ Besar, memiliki pelanggan dengan lokasi yang

terpisah atau berbeda-beda◦ Memiliki data yang sama namun dengen

representasi yang berbeda pada berbagai sistem yang berbeda pula

Sesuai untuk……

Data detil kini Detil data lampau Data terangkum tingkat rendah Data terangkum tingkat tinggi Metadata

◦ Merupakan direktori terkait apa yang ada di DW, panduan pemetaan data dari data operasional ke bentuk DW, aturan yang digunakan untuk perangkuman (summarization)

Struktur DW

Bagian dari DW yang berisi data yang relevan untuk fungsi bisnis tertentu (fokus pada 1 subjek)◦ Dependent DM : Subset DW◦ Independent DM: DW kecil (mis: untuk 1

departemen/unit bisnis)

Memerlukan detil data level rendah

Data Mart

DW vs DM

DataWarehouse

DataMart

Dependent Data Mart

MarketingSales

FinanceHuman Resources

Marketing

Marketing

Marketing

External Data

DataWarehouse

OperationalSystems

Flat Files

Data Marts

Independent Data Mart

OperationalSystems

External Data

Sale or Marketing

Flat Files

Arsitektur

Metadata respository Serves

Extract Clean

Transform Load

Refresh OLAP

Data Warehouse

External Data Sources

Operational Databases

Visualisation

Data Mining

Data Mart Centric Virtual Federated Hub-and-Spoke DW Enterprise DW

Arsitektur Integrasi Data

Data Mart Centric (1)

Plus◦ Secara organisasi dan teknis mudah dibangun

Minus◦ Tidak ada sudut pandang enterprise◦ Redundansi biaya data◦ Biaya ETL dan operasional tinggi

Data Mart Centric (2)

Virtual Federated (1)

Plus◦ Tidak perlu platform tersendiri

Minus◦ Cocok hanya untuk volume rendah◦ Kompleksitas tinggi◦ Perlu bandwith besar◦ Masalah pada metadata

Virtual Federated (2)

Hub and Spoke DW (1)

Plus◦ Kustomisasi UI dan laporan mudah

Minus◦ Tantangan pada sudut pandang enterprise◦ Redundan biaya data◦ Biaya operasi tinggi◦ Data terlambat

Hub and Spoke DW (2)

Enterprise DW (1)

Plus◦ Menyediakan sudut pandang enterprise◦ Konsistensi data tinggi◦ Data dapat dipakai ulang (reusable)

Minus◦ Perlu visi, komitmen dan kepemimpinan

enterprise

Enterprise DW (2)

Inmon Model (pendekatan EDW)◦ Top-Down◦ Adaptasi dari basisdata relasional untuk

keperluan enterprise

Kimball Model (pendekatan DM)◦ Bottom-Up◦ “Plan Big, Build Small”

Pengembangan DW

InMon vs Kimball Model (1)

InMon vs Kimball Model (2)