Hadoop setting - arumprimandari.files.wordpress.com · VIRTUAL MACHINE Virtual machine (VM) dalam...
Transcript of Hadoop setting - arumprimandari.files.wordpress.com · VIRTUAL MACHINE Virtual machine (VM) dalam...
HADOOP SETTING Arum Handini Primandari
PERSIAPAN
Pastikan setting virtualization technology laptop ENABLE
Buka setting bios: Restart laptop
Masuk ke setting bios pada saat laptop booting. Catatan: setiap merk laptop memiliki kunci masuk bios yang berbeda-beda, googling terlebih dahulu, contoh: tekanF2 pada dell ketika booting (logo dell muncul)
Cari setting untuk virtualization , arahkan pada“ENABLE”. Terkadang, virtualization berada di menu “option” atau menu tersendiri.
VIRTUAL MACHINE
Virtual machine (VM) dalam komputasimerupakan tiruan dari system computer yang dapat menjalankan program yang samaseperti computer biasa.
Kegunaan VM:
Mencoba suatu software baru. Apabila terjadikerusakan VM karena software tersebut, maka tidakakan mempengaruhi komputer aslinya.
Menjalankan software yang tidak disupport oleh OS dari komputer asli.
Terdapat beberapa pilihan virtual machine
yang dapat digunakan, seperti vmware atau
virtualbox (dari Oracle)
INSTALL VIRTUAL MACHINE
Atau vmware player: https://my.vmware.com/en/web/vmware/free#desktop_end_user_computing/vmware_workstation_player/14_0
Install vmware
INSTALL VIRTUAL MACHINE
Download virtualbox oracle: https://www.virtualbox.org/
Install virtualbox
CLOUDERA QUICKSTARTS
CDH: Cloudera Distribution
for Hadoop
https://www.cloudera.com/downloads/quickstart_v
ms/5-13.html
Pilih platform:
vmware/virtualbox
MENGAKSES HADOOP
Untuk mengakses Hadoop, client dapatmenggunakan browser, mobaxterm, atau putty.
Misalkan, client (yang menggunakan OS Windows) ingin mengakses file di VM-Linux. Untuk keperluan tersebut, client membutuhkanmobaxterm.
Lakukan installasi mobaxterm. Contoh: gunakanMobaXterm_Installer_v10.5
Mobaxterm
Klik session untuk membuat sesi
koneksi baru.
MOBAXTERM
Klik SSH untuk membuat koneksidengan protocol SSH.
Untuk terhubung dengan VM-Linux, kita membutuhkan nomor IP.
Mendapatkan IP dari VM-Linux:
Pada panel cloudera-quicstart, klikicon terminal
Ketikkan perintah: ifconfig
Nomor IP akan muncul pada “inetaddr”
Copy nomor IP tersebut, kemudianpastekan pada mobaxterm bagianRemote host. Gunakan username: Specify username: cloudera.
MOBAXTERM
Untuk memulai, ketikkan password: cloudera.
Dengan begitu, mobaxterm siap digunakan.
Gunakan perintah berikut pada terminal mobaxterm: 𝑙𝑙 digunakan untuk melihat direktori yang berada di
dalam linux
𝑚𝑘𝑑𝑖𝑟 digunakan untuk membuat direktori baru
Selain mengakses Linux, mobaxtermdigunakan untuk mengakses Hadoop: ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 digunakan untuk mengakses HDFS
(Hadoop Distributed File System)
ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑙𝑠 /𝑢𝑠𝑒𝑟 digunakan untukmemunculkan user dibawah Hadoop
ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑚𝑘𝑑𝑖𝑟 /𝑑𝑖𝑟 digunakan untukmembuat direktori.
Contoh: ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑚𝑘𝑑𝑖𝑟 /user/cloudera/contoh
ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑐𝑜𝑝𝑦𝐹𝑟𝑜𝑚𝐿𝑜𝑐𝑎𝑙 digunakan untukmeng-copy file dari local Linux ke dalam hdfs
MOBAXTERM
Contoh:
Buat folder “projects” dibawahfolder /home/cloudera/Documents
Upload file “Adult.csv” ke dalamfolder tersebut. Gunakan icon “upload to this current folder” untukmengambil file dari folder di OS Windows
MOBAXTERM
Buat folder dengan nama “contoh” dalam hdfs
Pastikan bahwa folder tersebut telah ada
Copy file “Adult.csv” dari Linux, ke dalam hdfs
ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 −𝑚𝑘𝑑𝑖𝑟 /user/cloudera/contoh
ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑙𝑠 /user/cloudera
ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑐𝑜𝑝𝑦𝐹𝑟𝑜𝑚𝐿𝑜𝑐𝑎𝑙/home/cloudera/Documents/projects/Adult.csv hdfs://localhost/user/cloudera/contoh/Adult.csv
HUE
Selain menggunakan terminal, mengakses dan menjalankan hdfsdapat dilakukan denganmenggunakan user interface HUE (Hadoop User Experience)
Gunakan:
Username: cloudera
Password: cloudera
HUE
Klik icon tersebut yaitu File browser dalam HUE.
Folder “contoh” dan data “Adult.csv” berada di bawah/user/cloudera.
METASTORE TABLE
Data yang akan diolah (query) menggunakan tools yang tersediadalam Hadoop, diubah ke dalammetastore table terlebih dahulu.
Langkah-langkah: Klik “Data Browser”, kemudian pilih
“Metastore Table”, klik “default” (tempatpenyimpanan table)
Klik icon “create a new table from file” (icon kertas dengan tanda plus)
Isikan nama table name, input file (pilihlokasi tempat menyimpan file)
METASTORE TABLE
Ikuti setiap step. Pada step 3: define Columns, perhatikan:
Nama kolomnya
Tipe data kolom:
Klik “create table” jika sudah selesai.
TIPE DATA INTEGER
QUERY
Untuk melakukan query, dapatdigunakan tools Hadoop “Hive” maupun“Impala” (https://www.dezyre.com/article/impala-vs-hive-difference-between-sql-on-hadoop-components/180)
Pada “Query Editor” pilih “Hive”
Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.
(https://www.tutorialspoint.com/hive/hive_introduction.htm)
QUERY
Gunakan data: Adult
Lakukan query, contoh: tampilkansemua kolom pada table adult, dimanaage lebih dari 25
BERTUKAR FILE ANTARA OS
Untuk keperluan bertukar file antara OS Windows dengan VM-Linux, selain menggunakan mobaxtermdapat pula melalaui beberapa cara: Drag and drop dari Windows ke Linux
Pada versi lama cloudera-quickstarts, bertukar file cukup drag dari Windows ke folder di Linux
Pada versi baru cloudera-quickstart, bertukar file dengan drag and drop perlu disetel terlebih dahulu.
sharing folder antara kedua OS.