Pentingnya Data Warehouse dalam Dunia Bisnis

By : Feris Thia

PT. Putera Handal Indotama

Agenda

Apa itu Data Warehouse ?

Pemanfaatan Data Warehouse oleh Stakeholder Perusahaan /

Business Entity.

Apa saja proses di dalam Data Warehouse ?

Aplikasi ETL (Extract, Transform and Load).

Kaitan Data Warehouse dengan Multi Dimensional Modelling

dan Business Intelligence.

Titik-titik krusial dalam Implementasi Data Warehouse.

DATA WAREHOUSEINTRODUCTION

Apa itu Data Warehouse ?

Data warehouse adalah “replikasi” data yang berisi :

data mentah (= sumber).

konsolidasi data dari berbagai sumber.

summary / aggregate data.

data yang sudah ditransformasikan.

metadata.

data bersih dan berkualitas tinggi.

Tujuan :

Reporting

Sumber data subsistem (Data Mart )

Notes :

____________________

Kenapa Data Warehouse ?

ADAPTASI PERKEMBANGAN BISNIS !

Proses bisnis yang selalu berubahCEPAT.

Kecepatan proses bisnis tidak diikutioleh kemampuan adaptasi sistem IT.

Untuk itu dibutuhkan satu sistem adhoc / temporary untuk adaptasi bisnis.

Perlu data hasil konsolidasi outputdari sistem ad hoc dan sistemberjalan.

Data Warehouse adalah solusinya.

Notes :

____________________

INTEGRASI DATA !

Data / aset informasi bisnis tersebardimana-mana : Data customer ada di dua sistem

Data target penjualan ada di spreadsheetmasing-masing komputer staff

Transaksi PO kepada supplier ada di sistemaplikasi desktop Access masing-masingstaff

Diperlukan sentralisasi & sinkronisasiterhadap data-data tersebut.

Notes :

____________________

PERFORMA SISTEM REPORTING !

Kecepatan pembacaan analisisseringkali dari data historis yangsudah sangat besar

Diperlukan agregasi dan summarydata

Notes :

____________________

DATA WAREHOUSE =

INFORMATION ASSET LIBERATION !

PEMANFAATAN DALAM BISNISDATA WAREHOUSE

Data Warehouse sebagai Aset

Data yang lebih reliable dengan kualitas tinggi

Akses informasi yang lebih cepat

Memiliki view terhadap bisnis secara keseluruhan

Notes :

____________________

Manfaat dalam Bisnis

Dapat mengerti pelanggan dengan lebih baik

Memperbaiki kampanye iklan / marketing

Meningkatkan pelayanan pelanggan

Memperkecil Resiko

Membuat perencanaan bisnis yang lebih baik

Membuat keputusan dengan lebih cepat

Notes :

____________________

Stakeholder Data Warehouse

Manajemen dan Direksi

Memiliki pandangan terhadap keseluruhan bisnis.

Divisi / Unit Bisnis

Memiliki data yang lebih lengkap dan cepat dalam menganalisa perilaku operasional subjek dari masing-masing unit

Contoh subjek : pelanggan (marketing), karyawan (hrd), produk (riset), dll.

Divisi IT / IS

Memiliki produktivitas yang lebih baik dalam mengejar perkembangan bisnis dengan sistem terkomputerisasi.

Meningkatkan pemanfaatan teknologi secara lebih baik terutama database.

Memecah proses yang kompleks dari suatu view database relasional.

ETL (EXTRACT, TRANSFORMATION & LOAD)

Proses di Data Warehouse

Data Integration & Extraction

Optimization and Staging (I/O Balance)

Cleansing Data

Normal Distribution

Pyramid View

Aggregating Data

Validation / Test Case

Audit Trail

Retain Historical References (Slowly Changing Dimension)

Notes :

____________________

ETL (Extract, Transform & Load) Tools

Aplikasi yang dirancang khusus untuk mengintegrasikan, mengolah dan menyimpan data dengan berbagai keperluan dan media.

Ciri-ciri :

Batch Processing

I/O Optimization Capabilities

Kaya akan modul pengolahan data

Error handling

Notes :

____________________

ETL (Extract, Transform & Load) Tools

Contoh Produk :

Pentaho Data Integration (Kettle)

Microsoft SQL Server Integration Service (SSIS)

Informatica

IBM Data Stage

Talend

Notes :

____________________

Microsoft SQL Server Integration Services

http://daxguy.blogspot.com/2010/03/dynamics-ax-2009-bulk-data-insert-using.html

Pentaho Data Integration

Pentaho Data Integration : Sources

Kenapa ETL ?

Produktivitas yang tinggi !

Meningkatkan efektivitas dan efisiensi divisi IT :

Fokus akan integrasi dan pengolahan data !

Dibandingkan ke kompleksitas algoritma menggunakan scripting / programming language umum.

Dirancang untuk mampu menangani I/O balancing sehingga meningkatkan kinerja pengolahan data.

Notes :

____________________

Extract

What information do you need ?

What data sources to extract ?

What is the extraction strategy ?

How do we detect CHANGE ?

How to link everything ?

Notes :

____________________

Transform

Change the portion of data structure and value

Do we need to discretize data ?

Do we need to split them ? Join them ? Union them ?

Data Cleansing ?

Notes :

____________________

What portions of data need to be loaded ?

Do we need a staging ?

What destinations are supported ?

How is the performance ?

Notes :

____________________

Simple Demo

Scenario

Email Registration List

Extracting information

Further treatment need

Notes :

____________________

DATA WAREHOUSE AND BUSINESS INTELLIGENCE (BI)

DATA WAREHOUSE

Data Warehouse & BI !

Data hasil dari proses :

pengambilan (extract)

pembersihan (clean)

penyesuaian data (conform)

dari struktur OLTP -> OLAP

Multi Dimensional Modelling !

Ralph Kimball

Notes :

____________________

Apa itu OLTP ?

OLTP = OnLine Transaction Processing

Aplikasi yang dirancang khusus untuk menangani operasional sehari-hari

Bersifat mission critical

Biasanya meliputi aplikasi seperti :

ERP : Enterprise Resource Planning

CRM : Customer Relationship Management

SCM : Supply Chain Management

Contoh : SAP

Microsoft Axapta / Dynamics

G.O.L.D.

Notes :

____________________

Apa itu OLAP ?

OnLine Analytical Processing

Aplikasi yang dirancang khusus untuk laporan analisis dan merupakan komponen penting Business Intelligence (BI)

Skema database berbeda dengan skema database OLTP

Objek dari OLAP adalah Cube dimana kita bisa memandang data dari berbagai dimension cube !

Notes :

____________________

Apa itu OLAP ?

Database OLAP biasanya adalah suatu data warehouse

Tipe : ROLAP, MOLAP dan HOLAP

Contoh Produk OLAP :

Microsoft SQL Server Analysis Service (MSAS)

Pentaho Analysis (Mondrian)

Dan lain-lain

Notes :

____________________

Kenapa OLAP dan Bukan SQL ?

Aplikasi analisa yang baik membutuhkan kemampuan query data ke sistem koordinat posisi row / column secara dinamis. Contoh : Excel

SQL hanya mengenal pengembalian row set dari data dan tidak mengenal sistem koordinat axis.

Oleh sebab itu SQL sangat bergantung pada subquery atau temporary table.

Notes :

____________________

Kenapa OLAP dan Bukan SQL ?

OLAP menjawab kebutuhan tersebut dengan query khusus : MDX (Multi Dimensional Expression) !

Contoh perhitungan kompleks yang akan sulit dilakukan SQL :

Perhitungan year to date penjualan bulan ini dengan perhitungan pada bulan yang sama tahun sebelumnya

Menghitung rasio kontribusi dari penjualan bulan ini terhadap kuartal terkait dan rasio terhadap keseluruhan tahun

Notes :

____________________

Contoh OLAP : Mondrian + JPivot

MULTI DIMENSIONAL MODELLINGDATA WAREHOUSE

Multi Dimensional Modelling

Fact Table and Dimension Table

Star Schema

Snowflake Schema

OLTP / Database Transaksional

Star Schema

Snowflake Schema

Related Terms

Fact and Dimension Table

Star and Snowflake Schema

Aggregates

Slowly Changing Dimension (SCD)

Change Data Capture (CDC)

Late Arrival Data

Junk Dimensions

Notes :

____________________

TANTANGAN DI DATA WAREHOUSEDATA WAREHOUSE

Titik-titik Krusial Data Warehouse

Change Data Capture

What and when source had changed ?

Near Real Time Extraction

Scalability of the data

Change extraction

Data Validation

How to validate ? What scenario ?

Comparing to what system ?

Which is correct ?

Titik-titik Krusial Data Warehouse

Technologies

Scalability

Integrity

Performance

High Productivity

Human Resources

Knowledge Competency on Business Process and nature of data

Operational Skill

KOMUNITAS / USER GROUP

Komunitas

User Group

Pentaho User Group Indonesia

http://groups.google.com/group/pentaho-id

Indo-BI User Group

http://groups.google.com/group/indo-bi

SQL Server BI

http://groups.google.com/group/sqlserver-bi

Project

http://www.sampledata.org

http://contoh-database.googlecode.com

http://sampledata.googlecode.com

TERIMA KASIH

Pentingnya Data Warehouse dalam Dunia Bisnis

Technology

Transcript of Pentingnya Data Warehouse dalam Dunia Bisnis

Pengertian Etika Bisnis Dan Pentingnya Etika Di Dunia Modern

Presentasi warehouse manajemen

Proposal Pembangunan Sistem Warehouse Management System (WMS) · PDF fileCV Perdana Sistematika ERP 3 3 Warehouse Management System 1. Pengertian Warehouse Management System (WMS)

Data Warehouse Pentaho

7 BAB II LANDASAN TEORI 2.1 Data Warehouse Data warehouse ...

DUNIA AKUI PERAN NELAYAN DAN STRATEGISNYA … fileMata dunia kembali melihat pentingnya ikan sebagai ... negara, khususnya negara-negara berkembang, ... daya perikanan di Norwegia

Intelligent Warehouse Management System

Pentingnya Market Value Seseorang Untuk Menghadapi Persaingan Di Dunia Internasional

Data Mining & Data Warehouse

Lean Warehouse

Pt14 Data Warehouse

PAPER Data Warehouse

Warehouse management kelompok 3

Warehouse management ,ByJEMRIF ELIANTO

DW-6. INFRASTRUKTUR WAREHOUSE - FIRDAUS … · Server Open System Server UNIX ... Hal inilah yang merupakan ... Data Warehouse Management Membantu administrasi data warehouse di dalam

Warehouse gudang

Perencanaan Kebutuhan Warehouse (Excelogic Consulting)

Perancangan Data Warehouse Bagian I

Chemical Safety Warehouse 020608

core.ac.uk · diperlukan dan dilakukan dalam dunia bisnis tetapi juga dalam dunia pendidikan. Demikian pentingnya pengukuran kinerja dalam pengelolaan Perguruan Tinggi atau dunia