Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

33
Mengenal Cloud Computing, Big Data, dan Open Source Rusmanto Maryanto Ketua Sekolah Tinggi Teknologi Terpadu Nurul Fikri School of Open Source Technology

Transcript of Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Page 1: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Mengenal Cloud Computing, Big Data, dan Open Source

Rusmanto MaryantoKetua Sekolah Tinggi Teknologi Terpadu Nurul Fikri

School of Open Source Technology

Page 2: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Intro...

http://rattanasak.jigsawoffice.com/upload/editor-pic/images/web3_3.jpg

Page 3: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Intro... Lowongan Kerja Baru

● 1996 Internet > banyak lowongan kerja bidang komputer dan informatika yang mensyaratkan kemampuan sistem operasi Linux (system & networking), web server Apache, pemrograman PHP/Java, database MySQL/PostgreSQL, dll.

● 2006 Mobile & Cloud > Virtualisasi, Clustering, analisis data, Business Intelligence, dll.

● 2016 Big Data > Hadoop, NoSQL, HBase, dll.

Page 4: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Intro... Istilah Pembuka

● Virtualization (Virtualisasi): Cara menjalankan komputer “maya” (guest) pada komputer “asli” (host). Contoh: sebuah komputer menjalankan sistem operasi Linux, lalu menjalankan program mesin virtual untuk menjalankan sistem operasi lain (Linux, Windows, dll.)

● Clustering: Membuat kluster beberapa komputer digabung dalam jaringan menjadi “satu” komputer.

● Distributed & Paralel Computing: menjalankan sebuah proses (misal penyimpanan dan pengolahan data) pada banyak komputer dalam suatu cluster.

Page 5: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Apa itu Big Data?

● Big Data: istilah untuk data sangat besar dan kompleks yang tidak dapat dikelola (capture, store, manage, analyze) dengan software dan tool pemrograman database konvensional.

● Tidak cukup dengan SQL biasa saja (Relational Database Management System), sehingga butuh teknologi baru/tambahan NoSQL (Not only SQL).

● Tidak hanya berisi data berstruktur/relational tapi juga (mayoritas) tidak berstruktur (unstructured).

Page 6: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Sumber: http://vijjam.blogspot.com

Page 7: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

3V, 4V, atau 5V?

● Volume: Ukuran data sangat besar dari sisi jumlah yang mencapai Milyaran Terra Byte = trilyunan GB.

● Velocity: Kecepatan data sangat besar dari sisi kemunculan dan perubahan.

● Variety: Variasi jenis/tipe data sangat banyak, unstructured dan multi-structured.

● Value: Nilai yang dihasilkan juga sangat besar, dari sisi manfaat dalam bentuk uang maupun non uang.

● Veracity: Kebenaran dan keakuratan informasi yang tidak mudah dipastikan, misal salah ketik di Twitter.

Page 8: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Big Volume

Volume bertambah secara eksponensial. Saat ini 2015: 4,8 Zetta Bytes = 4.800 Peta Bytes = 4,8 juta Exa Bytes = 4,8 milyar Terra Bytes = 4,8 trilyun Giga Bytes. *)

*) Sumber: wipro.com

Page 9: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Big Velocity

Pertambahan (2011):

- Twitter 7 TB/hari

- Facebook 10 TB/hari

Sumber: bigdatauniversity.com

Sumber: wipro.com

Page 10: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Big Variety

Sumber: wipro.com

Page 11: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Big Value

Sumber: wipro.com

Page 12: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Apa Sumber Big Data?

Sebagian besar (80%, IBM) adalah unstructured data:● Lebih dari 5 milyar telepon selular mengirim data

sms, sekitar 1 milyar di antaranya berupa smartphone yang mengirim dan mengunduh berbagai jenis data seperti web blog, buku, email, chat, gambar, foto, video, gps, dsb.

● Lebih dari 6 milyar peralatan terhubung ke internet, a.l. server, pc, laptop, tablet, hp, peralatan kesehatan, satelit, jam tangan, sensor otomotif, dan Internet of Things lainnya.

Page 13: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Apa Sumber Big Data?

Beberapa jenis aplikasi ini penyumbang Big Data:● Aplikasi web biasa, e-commerce, dll.● Rekaman pembelian berbagai peralatan kantor dan

transaksi lain di toko-toko, dll. ● Transaksi perbankan, kartu kredit, dll.● Jejaring sosial: teks, gambar, suara, video, dll. ● Streaming: audio dan video

Page 14: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Big Data dan Cloud

Mengelola Big Data tidak harus dengan komputer super, tidak harus menggunakan komputer fisik, dan tidak harus mensetup sistem sendiri, karena ada penyedia Cloud.● Cloud Computing (komputasi awan): istilah bisnis

penyewaan server dan/atau software di internet untuk menghemat biaya pengadaan dan perawatan ICT.

● Virtualisasi dan Clustering merupakan teknologi lama yang dipakai untuk Cloud Computing dan Big Data.

● Big Data dapat disediakan dengan Cloud dalam bentuk SaaS, PaaS, IaaS, atau kombinasi dua atau ketiganya.

Page 15: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Cloud SaaS, Software as a Service

● SaaS menyediakan software aplikasi di internet (penyedia sistem cloud). Berbeda dengan perangkat lunak tradisional yang disediakan di komputer masing-masing, perangkat lunak SaaS terdapat di dalam jaringan dan hanya dipasang ketika digunakan.

● Contoh SaaS: gmail.com, docs.google.com, SugarCRM, Zimbra, FengOffice, dll.

● SaaS khusus Big Data: Jkool www.jkoolcloud.com, dll.

Page 16: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Cloud PaaS: Platform as a Service

● PaaS menyewakan sistem (SW dan HW) berupa platform untuk pengembangan aplikasi. PaaS menyediakan semua software yang dibutuhkan, seperti tool pemrograman dan database, termasuk untuk testing, deployment, dll.

● Contoh: App Inventor untuk membuat aplikasi Android dengan web (ai2.appinventor.mit.edu), OpenShift (RedHat) yang mendukung php, java, python, ruby, dll., Google Apps Engine, Amazon Web Services, Cloud Foundry, dll.

Page 17: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

IaaS: Infrastructure as a Service

● IaaS menyewakan infrastruktur dalam bentuk komputer (virtual server, dns server, mail server, dll.), akses jaringan, penyimpanan (SAN: Storage Arena Network / NAS: Network-Attached Storage), cluster Big Data, dll.

● Contoh OSS: CloudStack, OpenStack, Eucalyptus, Proxmox (Linux distribution), OwnCloud, dll.

● Penyedia server: Amazon EC2, Ubuntu EC, Amazon Cloud Drive, Infinys (www.isi.co.id), dll.

● Free IaaS: Drive.google.com, Dropbox, dll.

Page 18: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Cluster Big Data dalam Cloud

Server atau PC atau RaspBerry Pi

Sumber: http://vijjam.blogspot.com

Page 19: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Google, Pioner Big Data

● GFS (Google File System): Sistem (penyimpanan) file terdistribusi. Penyimpanan tidak dalam sebuah harddisk dalam sebuah komputer, tapi dalam banyak tempat penyimpanan secara menyebar (distributed), clustering.

● MapReduce: Pemrograman khusus untuk database terdistribusi, melalui sistem cluster, ribuan komputer.

● BigTable: sistem database Google, mendukung sistem file terdistribusi dan cocok untuk data tidak terstruktur yang diproses secara tumpukan (Batch Processing), bukan interaktif atau real-time.

Page 20: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Hadoop, Open Source Big Data

● HDFS (Hadoop Distributed File System): Seperti GFS, sistem (penyimpanan) file terdistribusi. Penyimpanan tidak dalam sebuah harddisk dalam sebuah komputer, tapi dalam banyak tempat penyimpanan secara menyebar (distributed file system), dan clustering.

● Hadoop MapReduce: Pemrograman khusus untuk database terdistribusi, melalui sistem cluster, ribuan komputer.

● Hadoop Base (HBase): seperti Google BigTable.

Page 21: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Potensi Ekonomi Big Data

Sumber: wipro.com

Page 22: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Potensi Ekonomi Big Data

● Industri kesehatan Amerika akan menghasilkan tambahan US$ 300 billion (Rp 3.300 trilyun) per tahun, lebih besar dari APBN Negara RI.

● Pemerintah Eropa menghemat US$ 149 billion (Rp 1.650 trilyun) per tahun.

● Kenaikan revenue Rp 1.000 trilyun utk operator dan manfaat Rp 7.000 trilyun utk pengguna.

● Kenaikan laba operasional retailer (USA) 60%.Sumber: McKinsey Global Institute (2011).

Page 23: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Big Data di berbagai Perusahaan

● Amazon: mengelola big data terkait pelayanan pelanggan, menjual jasa cloud untuk big data, seperti Amazon MapReduce dan Amazon EC2 Hadoop cluster.

● IBM: big data bertambah 2,5 exabyte per hari. Setahun Rp 13 trilyun pemasukan dari Big Data, a.l. mengolah big data untuk mengurangi kemacetan di Lyon Perancis.

● GE: memprediksi delay/kerusakan pesawat, dll.● Detik.com, solusi247.com, Facebook, Google, Twitter,

Yahoo, dll.

Page 24: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Ribuan Komputer Yahoo

Sumber: http://vijjam.blogspot.com

Page 25: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Open Source di Big Data & Cloud (1)

Contoh produk populer dan Open Source: ● Sistem operasi Linux CentOS, Ubuntu, BlankOn, dll.● Framework pengembangan: Apache Hadoop dengan

MapReduce, dll.● Database NoSQL: Apache Cassandra, Apache HBase,

MongoDB, dll.● Tool dan Bahasa Pemrograman: Eclipse, Java, Hive,

Pig, Python, R, dll.

Page 26: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Open Source di Big Data & Cloud (2)

Produk Cloud untuk Big Data:● Google Big Query, Google Compute Engine

(Hadoop, Hive, Pig), Amazon Web Services MapReduce, Yahoo Genome, dll.

Produk Hasil Modifikasi:● Cloudera Enterprise (Hadoop for Enterprise), IBM

Watson Foundations (Hadoop), IBM InfoSphere Streams, dll.

Page 27: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Contoh Aplikasi Cloud & Big Data

● Waze.com: data kecepatan kendaraan, kecelakaan, polisi, lampu merah, map chat, spbu, dll.

● Kontribusi pasif pengguna: data diambil dari perangkat mobile (hp, tablet, head unit, dll.)

● Kontribusi aktif pengguna: macet, kecelakaan, polisi, jalan baru, jalan rusak, dll.

Page 28: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Peluang Bisnis/Kerja di Dunia

● 2011: Di Amerika saja butuh 190.000 tenaga ahli baru di bidang Big Data.

● 2018: Diproyeksikan Amerika butuh 490.000 tenaga ahli baru di bidang Big Data.

● Lowongan kerja di seluruh dunia untuk Big Data pada 2015 sekitar 4,4 juta orang.

Sumber: McKinsey Global Institute (2011).

Page 29: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Peluang Bisnis/Kerja di Indonesia

● Peluang perusahaan dan pemerintahan membutuhkan TI untuk Big Data, dengan pilihan hemat memilih produk Open Source seperti Linux, berbagai produk Apache, pemrograman Java, dll. Sehingga kebutuhan SDM Open Source, Cloud, dan Big Data meningkat.

● Peluang menggunakan Cloud Computing bertambah besar karena kebutuhan Big Data, lebih murah dan mudah dalam perawatan, ditambah lagi semakin banyak jumlah smartphone/tablet (di atas 250 juta).

Page 30: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Anda akan Mulai dari Mana?

● Big Data, Cloud Computing, dan teknologi terbaru, termasuk produk-produk Open Source yang belum banyak diberikan di lembaga pendidikan formal, padahal dunia industri dan pemerintah memakainya.

● Mahasiswa dapat memulai belajar di luar kuliah, misal dengan bergabung ke komunitas ICT seperti Klub Studi Linux, KPLI (Kelompok Pengguna Linux Indonesia), Komunitas BlankOn, Asosiasi Open Source Indonesia, dan lain-lain. Contoh penyedia Free E-learning: Bigdatauniversity.com.

Page 31: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Developer Tidak hanya Programmer

● Pengembang Cloud dan Big Data tidak hanya programmer, tidak harus lulusan S1 ilmu komputer.

● Perlu ahli sistem operasi, jaringan, dan database untuk mengelola infrastruktur dan aplikasi.

● Perlu tenaga kesenian (art) atau multimedia yang menangani desain antara muka (UI dan UX), termasuk suara dan video.

● Perlu penulis dokumentasi yang baik untuk buku panduan/manual, help, buku pelajaran/kuliah, dll.

● Perlu tenaga manajemen proyek, marketing, dll.

Page 32: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Bidang yang Perlu Mahasiswa

● Sistem operasi Linux dengan berbagai software untuk jaringan, virtualisasi, clustering, cloud. Prodi: TI/SI/SK

● Aplikasi untuk Cloud: web Apache, database MySQL, pemrograman PHP, Java, Framework PHP/Java, dan paket-paket sistem informasi. Prodi: TI/SI/SK

● Aplikasi untuk Big Data: Apache Hadoop, Cassandra, MongoDB, Hive, Pig, Python, R, dll. Prodi: TI/SI/SK

● Linux untuk Internet of Things: smartphone, tablet, multimedia, kontrol, sensor, robot, dll. Prodi: TI/SK

dikuasai

Page 33: Mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Selamat Belajar Sepanjang Hayat

Email: [email protected]

FB #rusmanto.maryanto

Google +RusmantoM

Twitter @ruslinux