Chapter 31

Bab 31

Data Warehousing Konsep

Transparansi

© Pearson Education Limited 1995 2005

September 98

1

Bab Nama

2

Bab 31 - Tujuan

Bagaimana data warehousing berkembang.

Konsep-konsep utama dan manfaat yang terkait dengan data warehousing.

Bagaimana proses transaksi secara online (OLTP) sistem berbeda dari data warehousing.

Masalah yang terkait dengan data warehousing.


3

Bab 31 - Tujuan

Arsitektur dan komponen utama dari data warehouse.

Mengalir informasi penting atau proses dari data warehouse.

Alat utama dan teknologi yang terkait dengan data warehousing.


4

Bab 31 - Tujuan

Isu yang terkait dengan integrasi data warehouse dan pentingnya pengelolaan metadata.

Konsep data mart dan alasan utama untuk menerapkan data mart.

Keuntungan dan kerugian dari data mart.


5

Bab 31 - Tujuan

Isu-isu utama yang terkait dengan pengembangan dan pengelolaan data mart.

Bagaimana Oracle mendukung persyaratan data warehousing.


6

Evolusi Data Warehousing

Sejak 1970-an, organisasi memperoleh keunggulan kompetitif melalui sistem yang

mengotomatisasi proses bisnis untuk menawarkan layanan yang lebih efisien dan hemat biaya

kepada pelanggan.

Hal ini mengakibatkan akumulasi jumlah data dalam database operasional tumbuh.


7


Organisasi sekarang fokus pada cara untuk menggunakan data operasional untuk

mendukung pengambilan keputusan, sebagai sarana untuk mendapatkan keunggulan kompetitif.

Namun, sistem operasional tidak pernah dirancang untuk mendukung kegiatan bisnis

tersebut.

Bisnis biasanya memiliki banyak sistem operasional dengan definisi tumpang tindih dan

kadang-kadang bertentangan.


8


Organisasi perlu mengubah arsip mereka data menjadi sumber pengetahuan, sehingga

terintegrasi / view konsolidasi data tunggal organisasi disajikan kepada pengguna.

Sebuah gudang data dianggap solusi untuk memenuhi persyaratan sistem mampu

mendukung pengambilan keputusan, menerima data dari berbagai sumber data operasional.


9

Data Warehousing Konsep

Sebuah subjek berorientasi, terintegrasi, time-variant, dan koleksi non-volatile data untuk

mendukung proses pengambilan keputusan manajemen (Inmon, 1993).


10

Data-subjek berorientasi

Gudang ini diselenggarakan di sekitar mata pelajaran utama dari perusahaan (misalnya

pelanggan, produk, dan penjualan) daripada area aplikasi utama (misalnya faktur pelanggan,

kontrol stok, dan penjualan produk).

Hal ini tercermin dalam kebutuhan untuk menyimpan data pendukung keputusan bukan

data aplikasi berorientasi.


11

Data yang terintegrasi

Data warehouse mengintegrasikan data aplikasi berorientasi perusahaan dari sistem

sumber yang berbeda, yang sering kali berisi data yang tidak konsisten.

Sumber data yang terintegrasi harus dibuat konsisten untuk menyajikan pandangan

terpadu dari data ke pengguna.


12

Waktu-varian data

Data di gudang hanya akurat dan valid pada beberapa titik waktu atau atas beberapa

interval waktu.

Waktu-varians juga ditampilkan dalam waktu yang lama bahwa data yang dipegang,

asosiasi implisit atau eksplisit dari waktu dengan semua data, dan fakta bahwa data merupakan

serangkaian snapshot.


13

Non-volatile data

Data di gudang tidak diperbarui secara real-time tetapi di-refresh dari sistem operasional

secara teratur.

Data baru selalu ditambahkan sebagai suplemen untuk database, bukan pengganti.


14

Data Webhouse

Web merupakan sumber besar dari data perilaku sebagai individu berinteraksi melalui

browser Web mereka dengan situs Web remote. Data yang dihasilkan oleh perilaku ini disebut

clickstream.

Sebuah webhouse data data warehouse terdistribusi tanpa repositori data sentral yang

diimplementasikan melalui Web untuk memanfaatkan data yang clickstream.


15

Manfaat Data Warehousing

Potensi investasi yang tinggi

Keunggulan kompetitif

Peningkatan produktivitas pengambil keputusan perusahaan


16

Perbandingan OLTP Sistem dan Data Warehousing


17

Gudang Data Query

Jenis-jenis pertanyaan yang data warehouse diharapkan untuk menjawab rentang dari

yang relatif sederhana untuk yang sangat kompleks dan tergantung pada jenis alat akses

pengguna akhir digunakan.

Alat akses pengguna akhir meliputi:

Alat pelaporan, query, dan pengembangan aplikasi

Sistem informasi eksekutif (EIS)

Alat OLAP

Alat data mining


18

Contoh data Khas Pertanyaan Gudang

Apa total pendapatan untuk Skotlandia pada kuartal ketiga tahun 2004?

Apa total pendapatan untuk penjualan properti untuk setiap jenis properti di Inggris pada

tahun 2003?

Apakah tiga daerah yang paling populer di setiap kota untuk menyewa properti di tahun

2004 dan bagaimana hal ini dibandingkan dengan angka-angka untuk dua tahun sebelumnya?

Apa pendapatan bulanan untuk penjualan properti di setiap kantor cabang, dibandingkan

dengan angka sebelum 12-bulanan bergulir?

Apa yang akan menjadi efek pada penjualan properti di berbagai daerah Inggris jika

biaya hukum naik sebesar 3,5% dan pajak pemerintah turun sebesar 1,5% untuk properti lebih £

100.000?

Jenis properti dijual seharga harga di atas harga jual rata-rata untuk properti di kota-kota

utama Inggris dan bagaimana berkorelasi ini untuk demografis data?

Apa hubungan antara pendapatan total tahunan yang dihasilkan oleh masing-masing

kantor cabang dan jumlah staf penjualan ditugaskan untuk setiap kantor cabang?


19

Masalah Data Warehousing

Meremehkan sumber daya untuk loading data

Masalah tersembunyi dengan sistem sumber

Data yang dibutuhkan tidak ditangkap

Peningkatan tuntutan pengguna akhir

Data homogenisasi


20

Masalah Data Warehousing

Permintaan tinggi untuk sumber daya

Data kepemilikan

Pemeliharaan yang tinggi

Proyek durasi panjang

Kompleksitas integrasi


21

Arsitektur khas dari Data Warehouse


22

Operasional Sumber Data

Mainframe generasi pertama hirarkis dan jaringan database.

Departemen file sistem kepatutan (misalnya VSAM, RMS) dan DBMS relasional

(misalnya Informix, Oracle).

Workstation pribadi dan server.

Sistem eksternal seperti internet, database yang tersedia secara komersial, atau database

terkait dengan pemasok atau pelanggan sebuah organisasi.


23

Operational Data Store (ODS)

Sebuah repositori data operasional saat ini dan terintegrasi yang digunakan untuk analisis.

Sering terstruktur dan disertakan dengan data dalam cara yang sama seperti data

warehouse.

Dapat bertindak hanya sebagai area pementasan untuk data yang akan dipindahkan ke

gudang.

Sering dibuat ketika sistem operasional warisan yang ditemukan tidak mampu mencapai

persyaratan pelaporan.

Menyediakan pengguna dengan penggunaan kemudahan dari database relasional, namun

tetap jauh dari fungsi pendukung keputusan dari data warehouse.


24

Beban Manajer

Melakukan semua operasi yang berhubungan dengan ekstraksi dan pemuatan data ke

dalam gudang.

Ukuran dan kompleksitas akan bervariasi antara gudang data dan dapat dibangun

menggunakan kombinasi penjual alat loading data dan program yang dibangun.


25

Manajer gudang

Melakukan semua operasi yang berhubungan dengan pengelolaan data di gudang.

Dibangun menggunakan alat manajemen data vendor dan program yang dibangun.


26

Manajer gudang

Operasi yang dilakukan meliputi

Analisis data untuk memastikan konsistensi.

Transformasi dan penggabungan sumber data dari penyimpanan sementara ke

dalam tabel data warehouse.

Penciptaan indeks dan pandangan tentang tabel dasar.

Generasi denormalizations, (jika perlu).

Generasi agregasi, (jika perlu).

Backing-up dan pengarsipan data.


27

Manajer gudang

Dalam beberapa kasus, juga menghasilkan profil query untuk menentukan indeks dan

agregasi yang tepat.

Profil query dapat dihasilkan untuk setiap pengguna, kelompok pengguna, atau data

warehouse dan didasarkan pada informasi yang menjelaskan karakteristik query seperti

frekuensi, tabel target (s), dan ukuran hasil set.


28

Permintaan Manajer

Melakukan semua operasi yang berhubungan dengan pengelolaan permintaan pengguna.

Biasanya dibangun menggunakan vendor yang pengguna akhir alat akses data, alat

monitoring data warehouse, fasilitas database, dan program yang dibangun.

Kompleksitas ditentukan oleh fasilitas yang disediakan oleh alat akses pengguna akhir

dan database.


29

Permintaan Manajer

Operasi yang dilakukan oleh komponen ini termasuk mengarahkan query ke tabel yang

tepat dan penjadwalan eksekusi query.

Dalam beberapa kasus, manajer permintaan juga menghasilkan profil query untuk

memungkinkan manajer gudang untuk menentukan indeks dan agregasi yang tepat.


30

Rinci data

Menyimpan semua data rinci dalam skema database.

Dalam kebanyakan kasus, data rinci tidak disimpan online tapi dikumpulkan ke tingkat

berikutnya detail.

Secara teratur, data rinci ditambahkan ke gudang untuk melengkapi data agregat.


31

Ringan dan sangat Disarikan data

Menyimpan semua data yang telah ditentukan ringan dan sangat dikumpulkan dihasilkan

oleh manajer gudang.

Transien karena akan mengubah pada subjek on-menerus untuk merespon perubahan

profil query.


32

Ringan dan sangat Disarikan data

Tujuan dari ringkasan informasi adalah untuk mempercepat kinerja query.

Menghilangkan kebutuhan untuk terus melakukan operasi Ringkasan (seperti semacam

atau kelompok oleh) dalam menjawab pertanyaan pengguna.

Data Ringkasan diperbarui terus menerus sebagai data baru dimuat ke dalam gudang.


33

Arsip / Backup data

Toko rinci dan diringkas data untuk keperluan pengarsipan dan backup.

Mungkin diperlukan untuk data ringkasan secara online backup jika data ini disimpan di

luar periode retensi untuk data rinci.

Data yang ditransfer ke arsip penyimpanan seperti pita magnetik atau optical disk.


34

Metadata

Daerah ini dari toko gudang semua metadata (data tentang data) definisi yang digunakan

oleh semua proses di gudang.


35

Metadata

Digunakan untuk berbagai tujuan

Ekstraksi dan pemuatan proses - metadata digunakan untuk memetakan sumber

data untuk pandangan umum dari informasi dalam gudang.

Proses manajemen gudang - metadata digunakan untuk mengotomatisasi produksi

tabel ringkasan.

Proses manajemen permintaan - metadata digunakan untuk mengarahkan query ke

sumber data yang paling tepat.


36

Metadata

Struktur metadata akan berbeda antara setiap proses, karena tujuannya adalah berbeda.

Ini berarti bahwa beberapa salinan dari metadata yang menjelaskan item data yang sama

diadakan dalam data warehouse.

Kebanyakan alat vendor untuk manajemen copy dan akses data pengguna akhir

menggunakan versi mereka sendiri dari metadata.


37

Metadata

Alat manajemen copy menggunakan metadata untuk memahami aturan pemetaan untuk

diterapkan dalam rangka untuk mengkonversi data sumber menjadi bentuk yang umum.

Alat akses pengguna akhir menggunakan metadata untuk memahami bagaimana

membangun query.

Pengelolaan metadata dalam gudang data adalah tugas yang sangat kompleks yang tidak

boleh diremehkan.


38

Pengguna akhir Akses Alat

Tujuan utama dari data warehouse adalah untuk memberikan informasi kepada pengguna

bisnis untuk pengambilan keputusan strategis.

Pengguna ini berinteraksi dengan gudang menggunakan alat akses pengguna akhir.

Data warehouse efisien harus mendukung ad hoc dan analisis rutin.


39

Pengguna akhir Akses Alat

Kinerja tinggi dicapai dengan pra-perencanaan persyaratan untuk bergabung,

penjumlahan, dan laporan berkala oleh pengguna akhir (jika memungkinkan).

Ada lima kelompok utama dari alat akses

Pelaporan data dan alat query

Alat pengembangan aplikasi

Sistem informasi eksekutif (EIS) alat

Online analytical processing (OLAP) tools

Alat data mining


40

Gudang Data Arus Informasi


41


Inflow - Proses yang terkait dengan ekstraksi, pembersihan, dan pemuatan data dari

sistem sumber ke dalam gudang data.

Upflow - Proses yang terkait dengan menambahkan nilai data dalam gudang melalui

meringkas, kemasan, dan distribusi data.


42


Downflow - Proses yang terkait dengan pengarsipan dan backing-up / recovery data di

gudang.

Outflow - Proses yang terkait dengan membuat data tersedia untuk pengguna akhir.

Metaflow - Proses yang terkait dengan pengelolaan metadata.


43

Alat Data Warehousing dan Teknologi

Membangun data warehouse merupakan tugas yang kompleks karena tidak ada vendor

yang menyediakan 'end-to-end' set alat.

Mengharuskan bahwa data warehouse dibangun menggunakan beberapa produk dari

vendor yang berbeda.

Memastikan bahwa produk ini bekerja sama dengan baik dan terintegrasi merupakan

tantangan utama.


44

Ekstraksi, Cleansing, dan Transformasi Alat

Tugas menangkap data dari sistem sumber, membersihkan dan mengubahnya, dan

memuat hasil ke sistem target dapat dilakukan baik oleh produk yang terpisah, atau dengan

solusi terintegrasi.

Solusi terpadu mencakup

Kode Generator

Database Data Replikasi Alat

Mesin Transformasi dinamis


45

Persyaratan Data Warehouse DBMS

Kinerja beban

Pengolahan beban

Manajemen kualitas data

Kinerja query

Terabyte skalabilitas

Skalabilitas pengguna massa

Jaringan data warehouse

Administrasi gudang

Analisis dimensi terpadu

Fungsi permintaan canggih


46

Data Warehouse database Paralel Teknologi

Bertujuan untuk memecahkan masalah keputusan-dukungan menggunakan beberapa

node bekerja pada masalah yang sama.

Melakukan banyak operasi database secara bersamaan, membelah tugas individu menjadi

bagian-bagian yang lebih kecil sehingga tugas dapat tersebar di beberapa prosesor.

DBMS paralel harus mampu menjalankan query paralel, paralel loading data, tabel

scanning, dan pengarsipan data, dan cadangan.


47

Data Warehouse database Paralel Teknologi

Dua arsitektur hardware paralel utama termasuk

Symmetric Multi-processing (SMP)

Massively Pengolahan Paralel (MPP)

SMP - Satu set prosesor ketat ditambah yang berbagi memori dan disk storage.

MPP - Satu set prosesor longgar digabungkan, masing-masing memiliki memori dan disk

storage sendiri.


48

Gudang Data Metadata

Metadata digunakan untuk berbagai keperluan dan pengelolaan metadata merupakan isu

penting dalam mencapai sebuah gudang data terintegrasi.

Tujuan utama dari metadata adalah untuk menunjukkan jalur kembali ke tempat data

mulai, sehingga administrator gudang mengetahui sejarah dari setiap item dalam gudang.

Masalahnya adalah bahwa metadata memiliki beberapa fungsi dalam data warehouse.

Transformasi data dan pemuatan

Manajemen data warehouse

Generasi permintaan


49


Masalahnya adalah bahwa metadata memiliki beberapa fungsi dalam data warehouse.

Transformasi data dan pemuatan

Manajemen data warehouse

Generasi permintaan

Berbagai alat data warehouse menghasilkan dan menggunakan metadata mereka

sendiri. Tantangan utama adalah untuk mensinkronkan berbagai jenis metadata.


50


Dua organisasi industri: Meta data Koalisi (MDC) dan Object Management Group

(OMG) telah bergabung untuk mengusulkan satu standar untuk metadata dan pemodelan data

pergudangan yang disebut Common Gudang Metamodel (CWM).

Memungkinkan pengguna untuk bertukar metadata antara produk yang berbeda dari

vendor yang berbeda secara bebas.


51

Administrasi dan Manajemen Alat

Pemantauan loading data dari berbagai sumber.

Kualitas data dan integritas cek.

Mengelola dan memperbarui metadata.

Pemantauan kinerja database untuk memastikan waktu respon query yang efisien dan

pemanfaatan sumber daya.

Audit penggunaan data warehouse untuk memberikan informasi pengguna tolak.


52

Administrasi dan Manajemen Alat

Replikasi, subsetting, dan mendistribusikan data.

Mempertahankan manajemen penyimpanan data yang efisien.

Membersihkan data.

Pengarsipan dan backing-up data.

Melaksanakan pemulihan setelah kegagalan.

Manajemen keamanan.


53

Khas Data Warehouse dan Data Mart Arsitektur


54

Data Mart

Sebuah subset dari data warehouse yang mendukung kebutuhan dari departemen tertentu

atau fungsi bisnis.

Karakteristik termasuk

Berfokus pada hanya persyaratan satu departemen atau fungsi bisnis.

Biasanya tidak mengandung data operasional yang rinci seperti gudang data.

Lebih mudah dipahami dan dinavigasi.


55

Alasan untuk Membuat Mart data

Untuk memberikan pengguna akses ke data yang mereka butuhkan untuk menganalisis

paling sering.

Untuk menyediakan data dalam bentuk yang sesuai dengan pandangan kolektif dari data

oleh sekelompok pengguna di daerah fungsi departemen atau bisnis.

Untuk meningkatkan waktu respon pengguna akhir karena pengurangan volume data

yang akan diakses.


56


Untuk menyediakan data tepat terstruktur sebagai didikte oleh kebutuhan alat akses

pengguna akhir.

Membangun data mart lebih sederhana dibandingkan dengan membangun data

warehouse perusahaan.

Biaya pelaksanaan data mart biasanya kurang dari yang dibutuhkan untuk membangun

sebuah gudang data.


57


Para pengguna potensial dari data mart lebih jelas dan dapat lebih mudah ditargetkan

untuk memperoleh dukungan untuk proyek Data mart daripada proyek data warehouse

perusahaan.


58

Data Marts Isu

Data mart fungsi

Data ukuran mart

Kinerja beban data mart

Pengguna mengakses data dalam beberapa data mart

Data mart Internet / Intranet akses

Administrasi data mart

Data instalasi mart


Chapter 31

Documents

Transcript of Chapter 31