11

DATA WAREHOUSE (2DATA WAREHOUSE (2ndnd))

ALDA RAHARJA, S.KomALDA RAHARJA, S.Kom

22

Acknowledgments Acknowledgments Abdul KadirAbdul KadirS. Sudarshan (Comp. Science and S. Sudarshan (Comp. Science and Engineering Dept, IIT, Bombay)Engineering Dept, IIT, Bombay)Anindya Datta (Georgia Anindya Datta (Georgia Institute of Technology)Institute of Technology)DR. R. SeshadriDR. R. Seshadri

33

OverviewOverview

Part 1 : Review data, Part 1 : Review data, informasi informasi Part 2 : Pengenalan Data Part 2 : Pengenalan Data WarehouseWarehousePart 3 : Karakteristik Data Part 3 : Karakteristik Data WarehousWarehous

44

Part 1: OverviewPart 1: Overview

55

Data WarehouseData WarehouseData warehouseData warehouse adalah basis data yang menyimpan adalah basis data yang menyimpan data sekarang dan data masa lalu yang berasal data sekarang dan data masa lalu yang berasal dari berbagai sistem operasional dan sumber dari berbagai sistem operasional dan sumber yang lain (sumber eksternal) yang menjadi yang lain (sumber eksternal) yang menjadi perhatian penting bagi manajemen dalam perhatian penting bagi manajemen dalam organisasi dan ditujukan untuk keperluan organisasi dan ditujukan untuk keperluan analisis dan pelaporan manajemen dalam rangka analisis dan pelaporan manajemen dalam rangka pengambilan keputusanpengambilan keputusanData warehouseData warehouse digunakan untuk mendukung digunakan untuk mendukung pengambilan keputusan, bukan untuk pengambilan keputusan, bukan untuk melaksanakan pemrosesan transaksimelaksanakan pemrosesan transaksiData warehouseData warehouse hanya berisi informasi-informasi hanya berisi informasi-informasi yang relevan bagi kebutuhan pemakai yang yang relevan bagi kebutuhan pemakai yang dipakai untuk pengambilan keputusandipakai untuk pengambilan keputusan

66

Perbedaan DW dan OLTPPerbedaan DW dan OLTPOLTPOLTP Data WarehouseData Warehouse

Menangani data saat iniMenangani data saat ini Data bisa saja disimpan Data bisa saja disimpan

pada beberapa platformpada beberapa platform Data diorganisasikan Data diorganisasikan

berdasarkan fungsi atau berdasarkan fungsi atau operasi seperti operasi seperti penjualan, produksi, dan penjualan, produksi, dan pemrosesan pesananpemrosesan pesanan

Pemrosesan bersifat Pemrosesan bersifat berulangberulang

Untuk mendukung keputusan Untuk mendukung keputusan harian (operasional)harian (operasional)

Melayani banyak pemakai Melayani banyak pemakai operasionaloperasional

Berorientasi pada Berorientasi pada transaksitransaksi

Lebih cenderung Lebih cenderung menangani data masa menangani data masa lalulalu

Data disimpan dalam Data disimpan dalam satu platformsatu platform

Data diorganisasikan Data diorganisasikan menutut subjek seperti menutut subjek seperti pelkanggan atau produkpelkanggan atau produk

Pemrosesan sewaktu-Pemrosesan sewaktu-waktu, tak terstruktur, waktu, tak terstruktur, dan bersifat heuristikdan bersifat heuristik

Untuk mendukung Untuk mendukung keputusan yang keputusan yang strategisstrategis

Untuk mendukung pemakai Untuk mendukung pemakai manajerial yang manajerial yang berjumlah relatif berjumlah relatif sedikitsedikit

Berorientasi pada Berorientasi pada analisisanalisis

77

Sumber Data untuk DWSumber Data untuk DW1.1. Data operasional dalam organisasi, Data operasional dalam organisasi,

misalnya basis data pelanggan dan produk, misalnya basis data pelanggan dan produk, dan dan

2.2. Sumber eksternal yang diperoleh misalnya Sumber eksternal yang diperoleh misalnya melalui Internet, basis data komersial, melalui Internet, basis data komersial, basis data pemasok atau pelangganbasis data pemasok atau pelanggan

Berbagai data yang berasal dari sumber Berbagai data yang berasal dari sumber digabungkan dan diproses lebih lanjut digabungkan dan diproses lebih lanjut oleh manajer oleh manajer data warehousedata warehouse dan disimpan dan disimpan dalam basis data tersendiri. dalam basis data tersendiri. Selanjutnya, perangkat lunak seperti OLAP Selanjutnya, perangkat lunak seperti OLAP dan dan data miningdata mining dapat digunakan oleh dapat digunakan oleh pemakai untuk mengakses pemakai untuk mengakses data warehousedata warehouse

88

Prinsip Data WarehousePrinsip Data Warehouse

99

Part 2: Data Warehouse Part 2: Data Warehouse ArchitectureArchitecture

1010

Data Warehouse Data Warehouse ArchitectureArchitecture

1111

Part 3: Part 3: Multidimensional Data Multidimensional Data

ModelModel

1212

DW and OLAP as DW and OLAP as Multidimensional Data Multidimensional Data

ModelModelData warehouse dan OLAP didasarkan Data warehouse dan OLAP didasarkan pada multidimensional data model. pada multidimensional data model. Model ini merepresentasikan data Model ini merepresentasikan data dalam bentuk data cube, data dalam bentuk data cube, data dimodelkan dan ditampilkan sebagai dimodelkan dan ditampilkan sebagai multiple dimension.multiple dimension.Data cube ini didasarkan pada Data cube ini didasarkan pada dimensions table dan facts table.dimensions table dan facts table.

1313

Multidimensional Data Multidimensional Data ModelModel

Multidimensional yang Multidimensional yang berarti bahwa berarti bahwa terdapat terdapat banyak banyak lapisan kolom dan lapisan kolom dan barisbaris (Ini berbeda (Ini berbeda dengan tabel pada dengan tabel pada model relasional yang model relasional yang hanya berdimensi dua)hanya berdimensi dua) Berdasarkan susunan Berdasarkan susunan data seperti itu, data seperti itu, amatlah mudah untuk amatlah mudah untuk memperoleh jawaban memperoleh jawaban atas pertanyaan atas pertanyaan seperti: seperti: ““Berapakah Berapakah jumlah produk 1 jumlah produk 1 terjual di Jawa terjual di Jawa Tengah pada tahun n-Tengah pada tahun n-3?3?””

1414

Fact TableFact Table

Merepresentasikan proses bisnis, yaitu Merepresentasikan proses bisnis, yaitu model proses bisnis sebagai bentuk model proses bisnis sebagai bentuk (artifact) pada data model.(artifact) pada data model.Mengandung elemen Mengandung elemen ‘‘pengukuranpengukuran’’ atau atau metrik atau fakta pada bisnis proses.metrik atau fakta pada bisnis proses. ““jumlah penjualan bulananjumlah penjualan bulanan”” pada proses pada proses bisnis Penjualan. bisnis Penjualan.

dlldllTerdapat foreign key untuk tabel Terdapat foreign key untuk tabel dimensi.dimensi.Berisi ribuan kolomBerisi ribuan kolom

1515

Dimension TablesDimension TablesMerepresentasikan Merepresentasikan who, what, where, when who, what, where, when andand how how of sebuah pengukuran/artifact.of sebuah pengukuran/artifact.Merepresentasikan entities yang real, Merepresentasikan entities yang real, bukan proses bisnis.bukan proses bisnis.Memberikan konteks pengukuran (subject)Memberikan konteks pengukuran (subject)Sebagai contoh : Sebagai contoh : Pada tabel fakta Penjualan. Pada tabel fakta Penjualan. Karakteristik dari pengukuran Karakteristik dari pengukuran ‘‘jumlah jumlah penjualan bulananpenjualan bulanan’’ bisa terdiri dari bisa terdiri dari lokasi (lokasi (WhereWhere), waktu (), waktu (WhenWhen), produk ), produk yang terjual (yang terjual (WhatWhat). ).

1616

Dimension TablesDimension TablesAtribut pada tabel dimensi merupakan kolom-kolom Atribut pada tabel dimensi merupakan kolom-kolom yang ada pada tabel dimensi.yang ada pada tabel dimensi.Pada tabel dimensi lokasi, atribut bisa merupakan Pada tabel dimensi lokasi, atribut bisa merupakan Kode Pos, kota, kode negara, negara, dll. Secara Kode Pos, kota, kode negara, negara, dll. Secara umum, atribut pada tabel dimensi digunakan untuk umum, atribut pada tabel dimensi digunakan untuk pelaporan dengan menggunakan batasan kueri, contoh pelaporan dengan menggunakan batasan kueri, contoh where Country='USA'. where Country='USA'. Atribut pada tabel dimensi juga Atribut pada tabel dimensi juga mengandung satu atau beberapa hierarchical mengandung satu atau beberapa hierarchical relationships. relationships. Sebelum mendesain data warehouse, harus ditentukan Sebelum mendesain data warehouse, harus ditentukan dulu mengandung elemen apa saja data warehouse yang dulu mengandung elemen apa saja data warehouse yang akan dibuat. Misalkan jika ingin membuat data akan dibuat. Misalkan jika ingin membuat data warehouse yang mengandung warehouse yang mengandung ““jumlah penjualan bulananjumlah penjualan bulanan”” yang melibatkan semua lokasi, waktu, dan produk, yang melibatkan semua lokasi, waktu, dan produk, maka dimensinya adalah :maka dimensinya adalah :LokasiLokasiWaktuWaktuProductProduct

1717

3D data cube, according to 3D data cube, according to the dimension time, the dimension time,

location, itemlocation, item

1818

Warehouse Database Warehouse Database SchemaSchema

Bukan ER DiagramBukan ER DiagramDesign harus mencerminkan Design harus mencerminkan multidimensional viewmultidimensional view Star SchemaStar Schema Snowflake SchemaSnowflake Schema Fact Constellation SchemaFact Constellation Schema

1919

Example of a Star SchemaExample of a Star Schema

Order NoOrder NoOrder DateOrder Date

Customer NoCustomer NoCustomer Customer NameNameCustomer Customer AddressAddressCityCity

SalespersonIDSalespersonIDSalespersonNaSalespersonNamemeCityCityQuotaQuota

OrderNOOrderNOSalespersonIDSalespersonIDCustomerNOCustomerNOProdNoProdNoDateKeyDateKeyCityNameCityNameQuantityQuantityTotal Price

ProductNOProductNOProdNameProdNameProdDescrProdDescrCategoryCategoryCategoryDescriptiCategoryDescriptiononUnitPriceUnitPrice

DateKeyDateKeyDateDate

CityNameCityNameStateStateCountryCountry

OrderOrder

CustomerCustomer

SalespersSalespersonon

CityCity

DateDate

ProductProduct

Fact Fact TableTable

2020

2121

Star SchemaStar SchemaModel dimana data warehouse Model dimana data warehouse terdiri dari satu tabel pusat terdiri dari satu tabel pusat yang besar (tabel fakta).yang besar (tabel fakta).Ada satu table untuk tiap Ada satu table untuk tiap dimensidimensiPada star schema, satu dimensi Pada star schema, satu dimensi diwakili oleh satu tabel dan diwakili oleh satu tabel dan masing-masing tabel diwakili masing-masing tabel diwakili oleh beberapa atribut.oleh beberapa atribut.

2222

Example of a Snowflake Example of a Snowflake SchemaSchema

Order NoOrder NoOrder DateOrder Date

Customer NoCustomer NoCustomer Customer NameNameCustomer Customer AddressAddressCityCity

SalespersonIDSalespersonIDSalespersonNaSalespersonNamemeCityCityQuotaQuota

OrderNOOrderNOSalespersonIDSalespersonIDCustomerNOCustomerNOProdNoProdNoDateKeyDateKeyCityNameCityNameQuantityQuantityTotal Price

ProductNOProductNOProdNameProdNameProdDescrProdDescrCategoryCategoryCategoryCategoryUnitPriceUnitPrice

DateKeyDateKeyDateDateMonthMonth

CityNameCityNameStateStateCountryCountry

OrderOrder

CustomerCustomer

SalespersSalespersonon

CityCity

DateDate

ProductProduct

Fact Fact TableTable

CategoryNaCategoryNamemeCategoryDeCategoryDescrscr

MonthMonthYearYear YearYear

StateNameStateNameCountryCountry

CategoryCategory

StateState

MonthMonthYearYear

2323

Snowflake SchemaSnowflake Schema

2424

Snowflake SchemaSnowflake SchemaAda mekanisme normalisasi tabel Ada mekanisme normalisasi tabel dimensidimensiMudah untuk dimaintainMudah untuk dimaintainButuh kapasitas penyimpanan yang Butuh kapasitas penyimpanan yang relatif lebih kecilrelatif lebih kecilEfektifitas browsing/select data Efektifitas browsing/select data berkurang karena harus melibatkan berkurang karena harus melibatkan banyak kueri dari berbagai macam banyak kueri dari berbagai macam tabeltabel

2525

Fact ConstellationFact Constellation

2626

Fact ConstellationFact ConstellationFact ConstellationFact Constellation Ada beberapa tabel fakta yang Ada beberapa tabel fakta yang digunakan bersama-sama (share) digunakan bersama-sama (share) beberapa tabel dimensi.beberapa tabel dimensi.

Dapat berupa kumpulan skema starDapat berupa kumpulan skema star

2727

Data WarehouseData WarehouseData warehouseData warehouse dapat dibangun sendiri dapat dibangun sendiri dengan menggunakan perangkat dengan menggunakan perangkat pengembangan aplikasi ataupun dengan pengembangan aplikasi ataupun dengan menggunakan perangkat lunak khusus menggunakan perangkat lunak khusus yang ditujukan untuk menangani hal iniyang ditujukan untuk menangani hal iniBeberapa contoh perangkat lunak yang Beberapa contoh perangkat lunak yang digunakan untuk administrasi dan digunakan untuk administrasi dan manajemen manajemen data warehousedata warehouse:: HP Intelligent Warehouse (Hewlett HP Intelligent Warehouse (Hewlett Packard)Packard)

FlowMark (IBM)FlowMark (IBM) SourcePoint (Software AG)SourcePoint (Software AG)

2828

Petunjuk Membangun DWPetunjuk Membangun DWMenentukan misi dan sasaran bisnis bagi Menentukan misi dan sasaran bisnis bagi pembentukan pembentukan data warehousedata warehouseMengidentifikasi data dari basis data Mengidentifikasi data dari basis data operasional dan sumber lain yang diperlukan operasional dan sumber lain yang diperlukan bagi bagi data warehousedata warehouseMenentukan item-item data dalam perusahaan Menentukan item-item data dalam perusahaan dengan melakukan standarisasi penamaan data dengan melakukan standarisasi penamaan data dan maknanyadan maknanyaMerancang basis data untuk Merancang basis data untuk data warehousedata warehouseMembangun kebijakan dalam mengarsipkan data Membangun kebijakan dalam mengarsipkan data lama sehingga ruang penyimpanan tak menjadi lama sehingga ruang penyimpanan tak menjadi terlalu besar dan agar pengambilan terlalu besar dan agar pengambilan keputusan tidak menjadi terlalu lamban.keputusan tidak menjadi terlalu lamban.Menarik data produksi (operasional) dan Menarik data produksi (operasional) dan meletakkan ke basis data milik meletakkan ke basis data milik data warehousedata warehouse

2929

Data MartData MartBagian dari Bagian dari data warehousedata warehouse yang mendukung yang mendukung kebutuhan pada tingkat departemen atau kebutuhan pada tingkat departemen atau fungsi bisnis tertentu dalam perusahaan. fungsi bisnis tertentu dalam perusahaan. Karakteristik yang membedakan data mart dan Karakteristik yang membedakan data mart dan data warehousedata warehouse adalah sebagai berikut adalah sebagai berikut (Connolly, Begg, Strachan 1999).(Connolly, Begg, Strachan 1999).

Data mart memfokuskan hanya pada kebutuhan-Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.departemen atau fungsi bisnis.

Data mart biasanya tidak mengandung data Data mart biasanya tidak mengandung data operasional yang rinci seperti pada operasional yang rinci seperti pada data warehousedata warehouse..

Data mart hanya mengandung sedikit informasi Data mart hanya mengandung sedikit informasi dibandingkan dengan dibandingkan dengan data warehousedata warehouse. Data mart lebih . Data mart lebih mudah dipahami dan dinavigasi.mudah dipahami dan dinavigasi.

3030

Contoh Software Data Contoh Software Data MartMart

SmartMart (IBM)SmartMart (IBM)Visual Warehouse (IBM)Visual Warehouse (IBM)PowerMart (Informatica)PowerMart (Informatica)

3131

OLAPOLAPOnLine Analytical ProcessingOnLine Analytical ProcessingSuatu jenis pemrosesan yang Suatu jenis pemrosesan yang memanipulasi dan menganalisa memanipulasi dan menganalisa data bervolume besar dari data bervolume besar dari berbagai perspektif berbagai perspektif (multidimensi). OLAP seringkali (multidimensi). OLAP seringkali disebut disebut analisis data analisis data multidimensimultidimensi. .

3232

OLAP (Lanjutan…)OLAP (Lanjutan…)Data multidimensi adalah data Data multidimensi adalah data yang dapat dimodelkan sebagai yang dapat dimodelkan sebagai atribut dimensi dan atribut atribut dimensi dan atribut ukuranukuranContoh atribut dimensi adalah Contoh atribut dimensi adalah nama barang dan warna barang, nama barang dan warna barang, sedangkan contoh atribut ukuran sedangkan contoh atribut ukuran adalah jumlah barangadalah jumlah barang

3333

OLAP : Contoh Data 2 OLAP : Contoh Data 2 DimensiDimensi

3434

Kemampuan OLAPKemampuan OLAPKonsolidasiKonsolidasi (roll up) melibatkan (roll up) melibatkan pengelompokan data. Sebagai contoh kantor-pengelompokan data. Sebagai contoh kantor-kantor cabang dapat dikelompokkan menurut kantor cabang dapat dikelompokkan menurut kota atau bahkan propinsi. Transaksi kota atau bahkan propinsi. Transaksi penjualan dapat ditinjau menurut tahun, penjualan dapat ditinjau menurut tahun, triwulan, bulan, dan sebagainya. Kadangkala triwulan, bulan, dan sebagainya. Kadangkala istilah istilah rolluprollup digunakan untuk menyatakan digunakan untuk menyatakan konsolidasikonsolidasiDrill-downDrill-down adalah suatu bentuk yang merupakan adalah suatu bentuk yang merupakan kebalikan dari konsolidasi, yang kebalikan dari konsolidasi, yang memungkinkan data yang ringkas dijabarkan memungkinkan data yang ringkas dijabarkan menjadi data yang lebih detailmenjadi data yang lebih detailSlicing and dicingSlicing and dicing (atau dikenal dengan istilah (atau dikenal dengan istilah pivoting) menjabarkan pada kemampuan untuk pivoting) menjabarkan pada kemampuan untuk melihat data dari berbagai sudut pandangmelihat data dari berbagai sudut pandang

3535

Contoh Tabel PivotingContoh Tabel Pivoting

3636

Hierarki Dimensi untuk Hierarki Dimensi untuk Drill-downDrill-down

3737

Software OLAPSoftware OLAPExpress Server (Oracle)Express Server (Oracle)PowerPlay (Cognos Software)PowerPlay (Cognos Software)Metacube (Informix/Stanford Metacube (Informix/Stanford Technology Group)Technology Group)HighGate Project (Sybase)HighGate Project (Sybase)