Bab 31
Data Warehousing Konsep
Transparansi
© Pearson Education Limited 1995 2005
September 98
1
Bab Nama
2
Bab 31 - Tujuan
Bagaimana data warehousing berkembang.
Konsep-konsep utama dan manfaat yang terkait dengan data warehousing.
Bagaimana proses transaksi secara online (OLTP) sistem berbeda dari data warehousing.
Masalah yang terkait dengan data warehousing.
© Pearson Education Limited 1995 2005
3
Bab 31 - Tujuan
Arsitektur dan komponen utama dari data warehouse.
Mengalir informasi penting atau proses dari data warehouse.
Alat utama dan teknologi yang terkait dengan data warehousing.
© Pearson Education Limited 1995 2005
4
Bab 31 - Tujuan
Isu yang terkait dengan integrasi data warehouse dan pentingnya pengelolaan metadata.
Konsep data mart dan alasan utama untuk menerapkan data mart.
Keuntungan dan kerugian dari data mart.
© Pearson Education Limited 1995 2005
5
Bab 31 - Tujuan
Isu-isu utama yang terkait dengan pengembangan dan pengelolaan data mart.
Bagaimana Oracle mendukung persyaratan data warehousing.
© Pearson Education Limited 1995 2005
6
Evolusi Data Warehousing
Sejak 1970-an, organisasi memperoleh keunggulan kompetitif melalui sistem yang
mengotomatisasi proses bisnis untuk menawarkan layanan yang lebih efisien dan hemat biaya
kepada pelanggan.
Hal ini mengakibatkan akumulasi jumlah data dalam database operasional tumbuh.
© Pearson Education Limited 1995 2005
7
Evolusi Data Warehousing
Organisasi sekarang fokus pada cara untuk menggunakan data operasional untuk
mendukung pengambilan keputusan, sebagai sarana untuk mendapatkan keunggulan kompetitif.
Namun, sistem operasional tidak pernah dirancang untuk mendukung kegiatan bisnis
tersebut.
Bisnis biasanya memiliki banyak sistem operasional dengan definisi tumpang tindih dan
kadang-kadang bertentangan.
© Pearson Education Limited 1995 2005
8
Evolusi Data Warehousing
Organisasi perlu mengubah arsip mereka data menjadi sumber pengetahuan, sehingga
terintegrasi / view konsolidasi data tunggal organisasi disajikan kepada pengguna.
Sebuah gudang data dianggap solusi untuk memenuhi persyaratan sistem mampu
mendukung pengambilan keputusan, menerima data dari berbagai sumber data operasional.
© Pearson Education Limited 1995 2005
9
Data Warehousing Konsep
Sebuah subjek berorientasi, terintegrasi, time-variant, dan koleksi non-volatile data untuk
mendukung proses pengambilan keputusan manajemen (Inmon, 1993).
© Pearson Education Limited 1995 2005
10
Data-subjek berorientasi
Gudang ini diselenggarakan di sekitar mata pelajaran utama dari perusahaan (misalnya
pelanggan, produk, dan penjualan) daripada area aplikasi utama (misalnya faktur pelanggan,
kontrol stok, dan penjualan produk).
Hal ini tercermin dalam kebutuhan untuk menyimpan data pendukung keputusan bukan
data aplikasi berorientasi.
© Pearson Education Limited 1995 2005
11
Data yang terintegrasi
Data warehouse mengintegrasikan data aplikasi berorientasi perusahaan dari sistem
sumber yang berbeda, yang sering kali berisi data yang tidak konsisten.
Sumber data yang terintegrasi harus dibuat konsisten untuk menyajikan pandangan
terpadu dari data ke pengguna.
© Pearson Education Limited 1995 2005
12
Waktu-varian data
Data di gudang hanya akurat dan valid pada beberapa titik waktu atau atas beberapa
interval waktu.
Waktu-varians juga ditampilkan dalam waktu yang lama bahwa data yang dipegang,
asosiasi implisit atau eksplisit dari waktu dengan semua data, dan fakta bahwa data merupakan
serangkaian snapshot.
© Pearson Education Limited 1995 2005
13
Non-volatile data
Data di gudang tidak diperbarui secara real-time tetapi di-refresh dari sistem operasional
secara teratur.
Data baru selalu ditambahkan sebagai suplemen untuk database, bukan pengganti.
© Pearson Education Limited 1995 2005
14
Data Webhouse
Web merupakan sumber besar dari data perilaku sebagai individu berinteraksi melalui
browser Web mereka dengan situs Web remote. Data yang dihasilkan oleh perilaku ini disebut
clickstream.
Sebuah webhouse data data warehouse terdistribusi tanpa repositori data sentral yang
diimplementasikan melalui Web untuk memanfaatkan data yang clickstream.
© Pearson Education Limited 1995 2005
15
Manfaat Data Warehousing
Potensi investasi yang tinggi
Keunggulan kompetitif
Peningkatan produktivitas pengambil keputusan perusahaan
© Pearson Education Limited 1995 2005
16
Perbandingan OLTP Sistem dan Data Warehousing
© Pearson Education Limited 1995 2005
17
Gudang Data Query
Jenis-jenis pertanyaan yang data warehouse diharapkan untuk menjawab rentang dari
yang relatif sederhana untuk yang sangat kompleks dan tergantung pada jenis alat akses
pengguna akhir digunakan.
Alat akses pengguna akhir meliputi:
Alat pelaporan, query, dan pengembangan aplikasi
Sistem informasi eksekutif (EIS)
Alat OLAP
Alat data mining
© Pearson Education Limited 1995 2005
18
Contoh data Khas Pertanyaan Gudang
Apa total pendapatan untuk Skotlandia pada kuartal ketiga tahun 2004?
Apa total pendapatan untuk penjualan properti untuk setiap jenis properti di Inggris pada
tahun 2003?
Apakah tiga daerah yang paling populer di setiap kota untuk menyewa properti di tahun
2004 dan bagaimana hal ini dibandingkan dengan angka-angka untuk dua tahun sebelumnya?
Apa pendapatan bulanan untuk penjualan properti di setiap kantor cabang, dibandingkan
dengan angka sebelum 12-bulanan bergulir?
Apa yang akan menjadi efek pada penjualan properti di berbagai daerah Inggris jika
biaya hukum naik sebesar 3,5% dan pajak pemerintah turun sebesar 1,5% untuk properti lebih £
100.000?
Jenis properti dijual seharga harga di atas harga jual rata-rata untuk properti di kota-kota
utama Inggris dan bagaimana berkorelasi ini untuk demografis data?
Apa hubungan antara pendapatan total tahunan yang dihasilkan oleh masing-masing
kantor cabang dan jumlah staf penjualan ditugaskan untuk setiap kantor cabang?
© Pearson Education Limited 1995 2005
19
Masalah Data Warehousing
Meremehkan sumber daya untuk loading data
Masalah tersembunyi dengan sistem sumber
Data yang dibutuhkan tidak ditangkap
Peningkatan tuntutan pengguna akhir
Data homogenisasi
© Pearson Education Limited 1995 2005
20
Masalah Data Warehousing
Permintaan tinggi untuk sumber daya
Data kepemilikan
Pemeliharaan yang tinggi
Proyek durasi panjang
Kompleksitas integrasi
© Pearson Education Limited 1995 2005
21
Arsitektur khas dari Data Warehouse
© Pearson Education Limited 1995 2005
22
Operasional Sumber Data
Mainframe generasi pertama hirarkis dan jaringan database.
Departemen file sistem kepatutan (misalnya VSAM, RMS) dan DBMS relasional
(misalnya Informix, Oracle).
Workstation pribadi dan server.
Sistem eksternal seperti internet, database yang tersedia secara komersial, atau database
terkait dengan pemasok atau pelanggan sebuah organisasi.
© Pearson Education Limited 1995 2005
23
Operational Data Store (ODS)
Sebuah repositori data operasional saat ini dan terintegrasi yang digunakan untuk analisis.
Sering terstruktur dan disertakan dengan data dalam cara yang sama seperti data
warehouse.
Dapat bertindak hanya sebagai area pementasan untuk data yang akan dipindahkan ke
gudang.
Sering dibuat ketika sistem operasional warisan yang ditemukan tidak mampu mencapai
persyaratan pelaporan.
Menyediakan pengguna dengan penggunaan kemudahan dari database relasional, namun
tetap jauh dari fungsi pendukung keputusan dari data warehouse.
© Pearson Education Limited 1995 2005
24
Beban Manajer
Melakukan semua operasi yang berhubungan dengan ekstraksi dan pemuatan data ke
dalam gudang.
Ukuran dan kompleksitas akan bervariasi antara gudang data dan dapat dibangun
menggunakan kombinasi penjual alat loading data dan program yang dibangun.
© Pearson Education Limited 1995 2005
25
Manajer gudang
Melakukan semua operasi yang berhubungan dengan pengelolaan data di gudang.
Dibangun menggunakan alat manajemen data vendor dan program yang dibangun.
© Pearson Education Limited 1995 2005
26
Manajer gudang
Operasi yang dilakukan meliputi
Analisis data untuk memastikan konsistensi.
Transformasi dan penggabungan sumber data dari penyimpanan sementara ke
dalam tabel data warehouse.
Penciptaan indeks dan pandangan tentang tabel dasar.
Generasi denormalizations, (jika perlu).
Generasi agregasi, (jika perlu).
Backing-up dan pengarsipan data.
© Pearson Education Limited 1995 2005
27
Manajer gudang
Dalam beberapa kasus, juga menghasilkan profil query untuk menentukan indeks dan
agregasi yang tepat.
Profil query dapat dihasilkan untuk setiap pengguna, kelompok pengguna, atau data
warehouse dan didasarkan pada informasi yang menjelaskan karakteristik query seperti
frekuensi, tabel target (s), dan ukuran hasil set.
© Pearson Education Limited 1995 2005
28
Permintaan Manajer
Melakukan semua operasi yang berhubungan dengan pengelolaan permintaan pengguna.
Biasanya dibangun menggunakan vendor yang pengguna akhir alat akses data, alat
monitoring data warehouse, fasilitas database, dan program yang dibangun.
Kompleksitas ditentukan oleh fasilitas yang disediakan oleh alat akses pengguna akhir
dan database.
© Pearson Education Limited 1995 2005
29
Permintaan Manajer
Operasi yang dilakukan oleh komponen ini termasuk mengarahkan query ke tabel yang
tepat dan penjadwalan eksekusi query.
Dalam beberapa kasus, manajer permintaan juga menghasilkan profil query untuk
memungkinkan manajer gudang untuk menentukan indeks dan agregasi yang tepat.
© Pearson Education Limited 1995 2005
30
Rinci data
Menyimpan semua data rinci dalam skema database.
Dalam kebanyakan kasus, data rinci tidak disimpan online tapi dikumpulkan ke tingkat
berikutnya detail.
Secara teratur, data rinci ditambahkan ke gudang untuk melengkapi data agregat.
© Pearson Education Limited 1995 2005
31
Ringan dan sangat Disarikan data
Menyimpan semua data yang telah ditentukan ringan dan sangat dikumpulkan dihasilkan
oleh manajer gudang.
Transien karena akan mengubah pada subjek on-menerus untuk merespon perubahan
profil query.
© Pearson Education Limited 1995 2005
32
Ringan dan sangat Disarikan data
Tujuan dari ringkasan informasi adalah untuk mempercepat kinerja query.
Menghilangkan kebutuhan untuk terus melakukan operasi Ringkasan (seperti semacam
atau kelompok oleh) dalam menjawab pertanyaan pengguna.
Data Ringkasan diperbarui terus menerus sebagai data baru dimuat ke dalam gudang.
© Pearson Education Limited 1995 2005
33
Arsip / Backup data
Toko rinci dan diringkas data untuk keperluan pengarsipan dan backup.
Mungkin diperlukan untuk data ringkasan secara online backup jika data ini disimpan di
luar periode retensi untuk data rinci.
Data yang ditransfer ke arsip penyimpanan seperti pita magnetik atau optical disk.
© Pearson Education Limited 1995 2005
34
Metadata
Daerah ini dari toko gudang semua metadata (data tentang data) definisi yang digunakan
oleh semua proses di gudang.
© Pearson Education Limited 1995 2005
35
Metadata
Digunakan untuk berbagai tujuan
Ekstraksi dan pemuatan proses - metadata digunakan untuk memetakan sumber
data untuk pandangan umum dari informasi dalam gudang.
Proses manajemen gudang - metadata digunakan untuk mengotomatisasi produksi
tabel ringkasan.
Proses manajemen permintaan - metadata digunakan untuk mengarahkan query ke
sumber data yang paling tepat.
© Pearson Education Limited 1995 2005
36
Metadata
Struktur metadata akan berbeda antara setiap proses, karena tujuannya adalah berbeda.
Ini berarti bahwa beberapa salinan dari metadata yang menjelaskan item data yang sama
diadakan dalam data warehouse.
Kebanyakan alat vendor untuk manajemen copy dan akses data pengguna akhir
menggunakan versi mereka sendiri dari metadata.
© Pearson Education Limited 1995 2005
37
Metadata
Alat manajemen copy menggunakan metadata untuk memahami aturan pemetaan untuk
diterapkan dalam rangka untuk mengkonversi data sumber menjadi bentuk yang umum.
Alat akses pengguna akhir menggunakan metadata untuk memahami bagaimana
membangun query.
Pengelolaan metadata dalam gudang data adalah tugas yang sangat kompleks yang tidak
boleh diremehkan.
© Pearson Education Limited 1995 2005
38
Pengguna akhir Akses Alat
Tujuan utama dari data warehouse adalah untuk memberikan informasi kepada pengguna
bisnis untuk pengambilan keputusan strategis.
Pengguna ini berinteraksi dengan gudang menggunakan alat akses pengguna akhir.
Data warehouse efisien harus mendukung ad hoc dan analisis rutin.
© Pearson Education Limited 1995 2005
39
Pengguna akhir Akses Alat
Kinerja tinggi dicapai dengan pra-perencanaan persyaratan untuk bergabung,
penjumlahan, dan laporan berkala oleh pengguna akhir (jika memungkinkan).
Ada lima kelompok utama dari alat akses
Pelaporan data dan alat query
Alat pengembangan aplikasi
Sistem informasi eksekutif (EIS) alat
Online analytical processing (OLAP) tools
Alat data mining
© Pearson Education Limited 1995 2005
40
Gudang Data Arus Informasi
© Pearson Education Limited 1995 2005
41
Gudang Data Arus Informasi
Inflow - Proses yang terkait dengan ekstraksi, pembersihan, dan pemuatan data dari
sistem sumber ke dalam gudang data.
Upflow - Proses yang terkait dengan menambahkan nilai data dalam gudang melalui
meringkas, kemasan, dan distribusi data.
© Pearson Education Limited 1995 2005
42
Gudang Data Arus Informasi
Downflow - Proses yang terkait dengan pengarsipan dan backing-up / recovery data di
gudang.
Outflow - Proses yang terkait dengan membuat data tersedia untuk pengguna akhir.
Metaflow - Proses yang terkait dengan pengelolaan metadata.
© Pearson Education Limited 1995 2005
43
Alat Data Warehousing dan Teknologi
Membangun data warehouse merupakan tugas yang kompleks karena tidak ada vendor
yang menyediakan 'end-to-end' set alat.
Mengharuskan bahwa data warehouse dibangun menggunakan beberapa produk dari
vendor yang berbeda.
Memastikan bahwa produk ini bekerja sama dengan baik dan terintegrasi merupakan
tantangan utama.
© Pearson Education Limited 1995 2005
44
Ekstraksi, Cleansing, dan Transformasi Alat
Tugas menangkap data dari sistem sumber, membersihkan dan mengubahnya, dan
memuat hasil ke sistem target dapat dilakukan baik oleh produk yang terpisah, atau dengan
solusi terintegrasi.
Solusi terpadu mencakup
Kode Generator
Database Data Replikasi Alat
Mesin Transformasi dinamis
© Pearson Education Limited 1995 2005
45
Persyaratan Data Warehouse DBMS
Kinerja beban
Pengolahan beban
Manajemen kualitas data
Kinerja query
Terabyte skalabilitas
Skalabilitas pengguna massa
Jaringan data warehouse
Administrasi gudang
Analisis dimensi terpadu
Fungsi permintaan canggih
© Pearson Education Limited 1995 2005
46
Data Warehouse database Paralel Teknologi
Bertujuan untuk memecahkan masalah keputusan-dukungan menggunakan beberapa
node bekerja pada masalah yang sama.
Melakukan banyak operasi database secara bersamaan, membelah tugas individu menjadi
bagian-bagian yang lebih kecil sehingga tugas dapat tersebar di beberapa prosesor.
DBMS paralel harus mampu menjalankan query paralel, paralel loading data, tabel
scanning, dan pengarsipan data, dan cadangan.
© Pearson Education Limited 1995 2005
47
Data Warehouse database Paralel Teknologi
Dua arsitektur hardware paralel utama termasuk
Symmetric Multi-processing (SMP)
Massively Pengolahan Paralel (MPP)
SMP - Satu set prosesor ketat ditambah yang berbagi memori dan disk storage.
MPP - Satu set prosesor longgar digabungkan, masing-masing memiliki memori dan disk
storage sendiri.
© Pearson Education Limited 1995 2005
48
Gudang Data Metadata
Metadata digunakan untuk berbagai keperluan dan pengelolaan metadata merupakan isu
penting dalam mencapai sebuah gudang data terintegrasi.
Tujuan utama dari metadata adalah untuk menunjukkan jalur kembali ke tempat data
mulai, sehingga administrator gudang mengetahui sejarah dari setiap item dalam gudang.
Masalahnya adalah bahwa metadata memiliki beberapa fungsi dalam data warehouse.
Transformasi data dan pemuatan
Manajemen data warehouse
Generasi permintaan
© Pearson Education Limited 1995 2005
49
Gudang Data Metadata
Masalahnya adalah bahwa metadata memiliki beberapa fungsi dalam data warehouse.
Transformasi data dan pemuatan
Manajemen data warehouse
Generasi permintaan
Berbagai alat data warehouse menghasilkan dan menggunakan metadata mereka
sendiri. Tantangan utama adalah untuk mensinkronkan berbagai jenis metadata.
© Pearson Education Limited 1995 2005
50
Gudang Data Metadata
Dua organisasi industri: Meta data Koalisi (MDC) dan Object Management Group
(OMG) telah bergabung untuk mengusulkan satu standar untuk metadata dan pemodelan data
pergudangan yang disebut Common Gudang Metamodel (CWM).
Memungkinkan pengguna untuk bertukar metadata antara produk yang berbeda dari
vendor yang berbeda secara bebas.
© Pearson Education Limited 1995 2005
51
Administrasi dan Manajemen Alat
Pemantauan loading data dari berbagai sumber.
Kualitas data dan integritas cek.
Mengelola dan memperbarui metadata.
Pemantauan kinerja database untuk memastikan waktu respon query yang efisien dan
pemanfaatan sumber daya.
Audit penggunaan data warehouse untuk memberikan informasi pengguna tolak.
© Pearson Education Limited 1995 2005
52
Administrasi dan Manajemen Alat
Replikasi, subsetting, dan mendistribusikan data.
Mempertahankan manajemen penyimpanan data yang efisien.
Membersihkan data.
Pengarsipan dan backing-up data.
Melaksanakan pemulihan setelah kegagalan.
Manajemen keamanan.
© Pearson Education Limited 1995 2005
53
Khas Data Warehouse dan Data Mart Arsitektur
© Pearson Education Limited 1995 2005
54
Data Mart
Sebuah subset dari data warehouse yang mendukung kebutuhan dari departemen tertentu
atau fungsi bisnis.
Karakteristik termasuk
Berfokus pada hanya persyaratan satu departemen atau fungsi bisnis.
Biasanya tidak mengandung data operasional yang rinci seperti gudang data.
Lebih mudah dipahami dan dinavigasi.
© Pearson Education Limited 1995 2005
55
Alasan untuk Membuat Mart data
Untuk memberikan pengguna akses ke data yang mereka butuhkan untuk menganalisis
paling sering.
Untuk menyediakan data dalam bentuk yang sesuai dengan pandangan kolektif dari data
oleh sekelompok pengguna di daerah fungsi departemen atau bisnis.
Untuk meningkatkan waktu respon pengguna akhir karena pengurangan volume data
yang akan diakses.
© Pearson Education Limited 1995 2005
56
Alasan untuk Membuat Mart data
Untuk menyediakan data tepat terstruktur sebagai didikte oleh kebutuhan alat akses
pengguna akhir.
Membangun data mart lebih sederhana dibandingkan dengan membangun data
warehouse perusahaan.
Biaya pelaksanaan data mart biasanya kurang dari yang dibutuhkan untuk membangun
sebuah gudang data.
© Pearson Education Limited 1995 2005
57
Alasan untuk Membuat Mart data
Para pengguna potensial dari data mart lebih jelas dan dapat lebih mudah ditargetkan
untuk memperoleh dukungan untuk proyek Data mart daripada proyek data warehouse
perusahaan.
© Pearson Education Limited 1995 2005
58
Data Marts Isu
Data mart fungsi
Data ukuran mart
Kinerja beban data mart
Pengguna mengakses data dalam beberapa data mart
Data mart Internet / Intranet akses
Administrasi data mart
Data instalasi mart
© Pearson Education Limited 1995 2005