Apatar – ETL’s   tool

3 Jan

IntroductionApatar adalah salah satu tool untuk melakukan proses ETL ( Extracticion, Transformation, and Loading). Proses ETL kita lakukan ketika kita akan

1. Memindahkan data dari 1 data source ke penyimpanan lain2. Mengintegrasikan data dari banyak data source ke 1 penyimpanan

Proses ETL ini merupakan salah satu stage penting dalam proses datawarehouse, dimana dalam tahap ini berfungsi untuk mengintegrasikan data dari berbagai data source ke database datawarehouse (DW). Data yang telah terkumpul di DW bisa di sajikan menggunakan OLAP, data mining, ataupun bentuk report lainnya sesuai kebutuhan data yang akan di sajikan.

Apatar bisa di dapatkan di : http://apatar.com/download.html

Apatar adalah aplikasi Open Source. Skema /Rancangan ETL dalam Apatar di sebut Datamap

Tahapan Setting Datamap / ETL1. Menentukan sumber data / Connectors2. Menentukan Target / Connector3. Menentukan Operation / Proses yang di lakukan

Skenario Contoh PenggunaanDalam skenario, kita memiliki datasource dengan struktur database (PDM) tampak pada gambar berikut

Dari sumber data tersebut, mau di pindahkan ke sebuah database untuk keperluan pengolahan datawarehouse dengan struktur tabel seperti berikut:

Tahapan perpindahankan adalah

1. Memindahkan data tabel proyek2. Memindahkan data tabel jns_tag3. Memindahkan data tabel gvendor ke vendor4. Memindahkan data tabel chbaru + phbaru ke fact_hutang

Penyiapan Sumber Data / Data Source / ConnectorsAdalah sumber data di mana data awal berasal atau data tujuan kita pindahkan. Langkah penyiapan

1. Buka Apatar, Create New DataMap ( asumsi nya kita akan membuat datamap baru, jika sudah pernah membuat, pilih “Load DataMap”)

2. Di bagian “connetors”, pilih DMBS sumber data. Apatar men-support berbagai macam sumber data. Dalam kasus kita, kita menggunakan “MS Acces”, Klik “MS Access”, dan Drag ke dalam datamap seperti pada gambar berikut:

3. Arahkan Kursor ke MsAccess, klik kanan, pilih “Configure”, seperti gambar berikut

4. Akan muncul Form. Di bagian file, pilih file msAccess sumber. Inputkan Username dan password, dan klik Next, seperti pada gambar berikut

5. Akan muncul tabel yang ada di dalam database yang telah kita pilih. Pertama kali kita akan memindahkan tabel proyek, pilih proyek dan klik next seperti pada gambar berikut

6. Akan muncul Mode Insert, Update, dan Delete. Mode ini menentukan perlakukan ke target nya nanti. Kita pilih Update, dan kita klik Primary Key dari tabel yang

telah kita pilih, Kemudian klik Finish seperti pada gambar berikut

7. Lakukan langkah no 2 s/d no 6 untuk tabel Jenis tagihan, gvendor, chbaru, phbaru, sehingga menghasilkan datamap seperti pada gambar berikut

Penyiapan Datasource TargetPenyiapan datasource target sama dengan penyiapan sumber data. Lakukan langkah 1 s/d 6 seperti di atas dengan mengacu ke file database tujuan. Datasource target di arahkan ke tabel proyek, jns_tag, vendor, dan fact_hutang. Hasil data map tampak pada gambar berikut

Setup Operation / TransformationLangkah berikutnya adalah langkah untuk menentukan transformasi atau perpindahan data dari data sumber ke tujuan. Langkah berikut adalah transformasi langsung jika kolom sumber dan kolom target sama persis.

1. Dari datasource sumber proyek, Beri Link dengan cara klik kiri di bagian warna merah – tahan, drag ke warna hijau di datasource proyek target, sehingga tampak pada gambar berikut

2. Lakukan hal yang sama untuk jtagihan.3. Utk gvendor ke vendor ada perbedaan karena kolom yang akan di pindahkan tidak

sama. Buka tab operation, drag “transform” ke antara gvendor dan vendor. Beri

Link, sehingga tampak seperti berikut

4. Double klik transform, akan muncul window. Drag kolom sumber yang akan di pindahkan, dan drag kolom target tujuan, dan buat link. Jika sudah, klik OK seperti gambar berikut

5. Lakukan hal yang sama untuk chbaru dan phbaru, sehingga tampak seperti berikut

Selanjutnya kita bisa me-Run datamap yang telah kita desain. Klik menu File, Run. Cara lain, kita bisa me run per Link yang kita buat, dengan cara arahkan kursor ke datasource, klik kanan, pilih Run and Preview