By : Feris Thia

PT. Putera Handal Indotama

Pentingnya Data Warehouse dalam Dunia Bisnis

Agenda

Apa itu Data Warehouse ?

Pemanfaatan Data Warehouse oleh Stakeholder Perusahaan /

Business Entity.

Apa saja proses di dalam Data Warehouse ?

Aplikasi ETL (Extract, Transform and Load).

Kaitan Data Warehouse dengan Multi Dimensional Modelling

dan Business Intelligence.

Titik-titik krusial dalam Implementasi Data Warehouse.

DATA WAREHOUSEINTRODUCTION

Apa itu Data Warehouse ?

Data warehouse adalah “replikasi” data yang berisi :

data mentah (= sumber).

konsolidasi data dari berbagai sumber.

summary / aggregate data.

data yang sudah ditransformasikan.

metadata.

data bersih dan berkualitas tinggi.

Tujuan :

Reporting

Sumber data subsistem (Data Mart )

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Kenapa Data Warehouse ?

ADAPTASI PERKEMBANGAN BISNIS !

Proses bisnis yang selalu berubahCEPAT.

Kecepatan proses bisnis tidak diikutioleh kemampuan adaptasi sistem IT.

Untuk itu dibutuhkan satu sistem adhoc / temporary untuk adaptasi bisnis.

Perlu data hasil konsolidasi outputdari sistem ad hoc dan sistemberjalan.

Data Warehouse adalah solusinya.

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Kenapa Data Warehouse ?

INTEGRASI DATA !

Data / aset informasi bisnis tersebardimana-mana : Data customer ada di dua sistem

Data target penjualan ada di spreadsheetmasing-masing komputer staff

Transaksi PO kepada supplier ada di sistemaplikasi desktop Access masing-masingstaff

dll

Diperlukan sentralisasi & sinkronisasiterhadap data-data tersebut.

Data Warehouse adalah solusinya.

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Kenapa Data Warehouse ?

PERFORMA SISTEM REPORTING !

Kecepatan pembacaan analisisseringkali dari data historis yangsudah sangat besar

Diperlukan agregasi dan summarydata

Data Warehouse adalah solusinya.

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

DATA WAREHOUSE =

INFORMATION ASSET LIBERATION !

PEMANFAATAN DALAM BISNISDATA WAREHOUSE

Data Warehouse sebagai Aset

Data yang lebih reliable dengan kualitas tinggi

Akses informasi yang lebih cepat

Memiliki view terhadap bisnis secara keseluruhan

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Manfaat dalam Bisnis

Dapat mengerti pelanggan dengan lebih baik

Memperbaiki kampanye iklan / marketing

Meningkatkan pelayanan pelanggan

Memperkecil Resiko

Membuat perencanaan bisnis yang lebih baik

Membuat keputusan dengan lebih cepat

dll

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Stakeholder Data Warehouse

Manajemen dan Direksi

Memiliki pandangan terhadap keseluruhan bisnis.

Divisi / Unit Bisnis

Memiliki data yang lebih lengkap dan cepat dalam menganalisa perilaku operasional subjek dari masing-masing unit

Contoh subjek : pelanggan (marketing), karyawan (hrd), produk (riset), dll.

Divisi IT / IS

Memiliki produktivitas yang lebih baik dalam mengejar perkembangan bisnis dengan sistem terkomputerisasi.

Meningkatkan pemanfaatan teknologi secara lebih baik terutama database.

Memecah proses yang kompleks dari suatu view database relasional.

ETL (EXTRACT, TRANSFORMATION & LOAD)

ETL

Proses di Data Warehouse

Data Integration & Extraction

Optimization and Staging (I/O Balance)

Cleansing Data

Normal Distribution

Pyramid View

Rules

Aggregating Data

Validation / Test Case

Audit Trail

Retain Historical References (Slowly Changing Dimension)

etc

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

ETL (Extract, Transform & Load) Tools

Aplikasi yang dirancang khusus untuk mengintegrasikan, mengolah dan menyimpan data dengan berbagai keperluan dan media.

Ciri-ciri :

Batch Processing

I/O Optimization Capabilities

Kaya akan modul pengolahan data

Error handling

dll

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

ETL (Extract, Transform & Load) Tools

Contoh Produk :

Pentaho Data Integration (Kettle)

Microsoft SQL Server Integration Service (SSIS)

Informatica

IBM Data Stage

Talend

dll

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Microsoft SQL Server Integration Services

http://daxguy.blogspot.com/2010/03/dynamics-ax-2009-bulk-data-insert-using.html

Pentaho Data Integration

Pentaho Data Integration : Sources

Kenapa ETL ?

Produktivitas yang tinggi !

Meningkatkan efektivitas dan efisiensi divisi IT :

Fokus akan integrasi dan pengolahan data !

Dibandingkan ke kompleksitas algoritma menggunakan scripting / programming language umum.

Dirancang untuk mampu menangani I/O balancing sehingga meningkatkan kinerja pengolahan data.

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Extract

What information do you need ?

What data sources to extract ?

What is the extraction strategy ?

How do we detect CHANGE ?

How to link everything ?

etc

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Transform

Change the portion of data structure and value

Do we need to discretize data ?

Do we need to split them ? Join them ? Union them ?

Data Cleansing ?

etc

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Load

What portions of data need to be loaded ?

Do we need a staging ?

What destinations are supported ?

How is the performance ?

etc

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Simple Demo

Scenario

Email Registration List

Extracting information

Further treatment need

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

DATA WAREHOUSE AND BUSINESS INTELLIGENCE (BI)

DATA WAREHOUSE

Data Warehouse & BI !

Data hasil dari proses :

pengambilan (extract)

pembersihan (clean)

penyesuaian data (conform)

dari struktur OLTP -> OLAP

Multi Dimensional Modelling !

Ralph Kimball

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Apa itu OLTP ?

OLTP = OnLine Transaction Processing

Aplikasi yang dirancang khusus untuk menangani operasional sehari-hari

Bersifat mission critical

Biasanya meliputi aplikasi seperti :

ERP : Enterprise Resource Planning

CRM : Customer Relationship Management

SCM : Supply Chain Management

dll

Contoh : SAP

Microsoft Axapta / Dynamics

G.O.L.D.

dll

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Apa itu OLAP ?

OnLine Analytical Processing

Aplikasi yang dirancang khusus untuk laporan analisis dan merupakan komponen penting Business Intelligence (BI)

Skema database berbeda dengan skema database OLTP

Objek dari OLAP adalah Cube dimana kita bisa memandang data dari berbagai dimension cube !

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Apa itu OLAP ?

Database OLAP biasanya adalah suatu data warehouse

Tipe : ROLAP, MOLAP dan HOLAP

Contoh Produk OLAP :

Microsoft SQL Server Analysis Service (MSAS)

Pentaho Analysis (Mondrian)

PALO

Dan lain-lain

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Kenapa OLAP dan Bukan SQL ?

Aplikasi analisa yang baik membutuhkan kemampuan query data ke sistem koordinat posisi row / column secara dinamis. Contoh : Excel

SQL hanya mengenal pengembalian row set dari data dan tidak mengenal sistem koordinat axis.

Oleh sebab itu SQL sangat bergantung pada subquery atau temporary table.

.

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Kenapa OLAP dan Bukan SQL ?

OLAP menjawab kebutuhan tersebut dengan query khusus : MDX (Multi Dimensional Expression) !

Contoh perhitungan kompleks yang akan sulit dilakukan SQL :

Perhitungan year to date penjualan bulan ini dengan perhitungan pada bulan yang sama tahun sebelumnya

Menghitung rasio kontribusi dari penjualan bulan ini terhadap kuartal terkait dan rasio terhadap keseluruhan tahun

dll

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

Contoh OLAP : Mondrian + JPivot

MULTI DIMENSIONAL MODELLINGDATA WAREHOUSE

Multi Dimensional Modelling

Fact Table and Dimension Table

Star Schema

Snowflake Schema

OLTP / Database Transaksional

Star Schema

Snowflake Schema

Related Terms

Fact and Dimension Table

Star and Snowflake Schema

Aggregates

Slowly Changing Dimension (SCD)

Change Data Capture (CDC)

Late Arrival Data

Junk Dimensions

etc

Notes :

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

____________________

TANTANGAN DI DATA WAREHOUSEDATA WAREHOUSE

Titik-titik Krusial Data Warehouse

Change Data Capture

What and when source had changed ?

Near Real Time Extraction

Scalability of the data

Change extraction

Data Validation

How to validate ? What scenario ?

Comparing to what system ?

Which is correct ?

Titik-titik Krusial Data Warehouse

Technologies

Scalability

Integrity

Performance

High Productivity

Human Resources

Knowledge Competency on Business Process and nature of data

Operational Skill

KOMUNITAS / USER GROUP

Komunitas

User Group

Pentaho User Group Indonesia

http://groups.google.com/group/pentaho-id

Indo-BI User Group

http://groups.google.com/group/indo-bi

SQL Server BI

http://groups.google.com/group/sqlserver-bi

Project

http://www.sampledata.org

http://contoh-database.googlecode.com

http://sampledata.googlecode.com

TERIMA KASIH