Detail Technical Content :

1. Integrated Network Control ArchitecturePada bagian ini dijelaskan arsitektur secara keseluruhan pada jaringan cross-layer untuk aplikasi big data.

a. System Architecture

Figure 1 menunjukkan arsitektur bagan kendali dari jaringan cross-layer. Kita mengasumsikan rangkaian listrik hibrid dan jaringan pusat data optik dimana terdapat Switch dengan OpenFlow-enabled top-of-rack (ToR) terhubung dengan agregasi dari dua jaringan yaitu cabang banyak dengan switch Ethernet dan Switch jaringan optik dengan MEMS-based. Setiap ToR mempunyai banyak hubungan dengan switch optik (switch pada umumnya mempunyai 4 sampai 6 hubungan). Semua switch ini dikontrol dengan kontroller SDN dimana mengatur konektivitas secara fisik dari keseluruhan Switch ToR dari sirkuit optik dengan mengkonfigurasikan switch optik. Kontroller ini dapat juga mengatur forwarding pada Switch ToR menggunakan aturan OpenFlow

b. Traffic Pattern of Big Data ApplicationsLalu lintas di aplikasi big data terdiri dari transfer massal, data agregasi / partisi, dan latency pesan kontrol sensitif. Lalu lintas kontrol biasanya dalam data rating yang rendah dan dapat ditangani dengan mudah, bahkan menggunakan Ethernet yang lambat. Dalam arsitektur sistem ini, kontrol pesan selalu dikirim melalui paket switched jaringan menggunakan rute default yang mengarahkan lalu lintas di Ethernet.

c. The Advantages of Application AwarenessAplikasi untuk memperingatkan kontrol jaringan (Awareness Application ) dapat meningkatkan kinerja dari aplikasi big data. Dalam mengalokasikan dan penjadwalan link bandwidth tinggi melalui jalur optik harus berhati-hati karena akan mengurangi waktu penyelesaian pekerjaan dapat secara signifikan. Operator data center juga mendapat manfaat dari pemanfaatan yang lebih baik dari himpunan yang relatif terbatas link optik bandwidth tinggi.

2. Network Configuration for Hadoop JobsPada bagian ini, kita menggunakan Hadoop sebagai contoh untuk membahas desain tertentu dari sebuah control plane jaringan terpadu.

a. Traffic Demand Estimation of Hadoop JobsHadoop menggunakan arsitektur terpusat untuk mengelola pekerjaan dan data. Penyerahan pekerjaan dan penjadwalan dikendalikan oleh node tracker pekerjaan.

Sebuah nama node mengelola meta-data semua blok data sistem berkas terdistribusi pada Hadoop. Arsitektur terpusat memudahkan untuk mengumpulkan pekerjaan dan data informasi yang berkaitan untuk aplikasi Hadoop. Sebuah mesin estimasi permintaan dapat diimplementasikan pada tracker pekerjaan untuk mengumpulkan matriks permintaan lalu lintas untuk pekerjaan dan permintaan konfigurasi jaringan.

b. Network-aware Job SchedulingPenjadwalan default dalam Hadoop adalah FIFO, di mana pekerjaan diserahkan ke antrian dan tracker pekerjaan hanya jadwal mereka satu per satu dalam urutan kedatangan. Hadoop menggunakan strategi yang berbeda untuk menempatkan dan mengurangi maps task. Data lokalitas dianggap dalam penempatan map tasks sehingga input data dari sebagian map task dibuka dari disk lokal.

c. Topology and Routing for Aggregation PatternsTantangan utama dalam mengkonfigurasi jaringan untuk tugas-tugas Hadoop adalah untuk menangani lalu lintas agregasi antara mapper dan reducers. Setiap reducers akan mengumpulkan hasil antara dari satu set mapper. Dengan penambahan map dan pengurangan task, lalu lintas di antara mereka adalah campuran dari beberapa agregasi. Tergantung di mana pembuat peta dan reducers ditempatkan, agregasi ini bisa berakhir sebagai agregasi tunggal, pola menyeret banyak-ke-banyak, atau pola agregasi sebagian tumpang tindih di beberapa rak.

3. Implementation and OverheadsUntuk melaksanakan pembangunan topologi dan skema routing yang didesain, perlu diinstal aturan OpenFlow pada switch ToR sehingga mengeluarkan perintah untuk mengkonfigurasi ulang switch optik. Switch MEMS komersial memakan waktu kurang dari 10 ms untuk membuat sebuah konfigurasi baru. Namun, konfigurasi routing run-time untuk data pekerjaan besar atas topologi jaringan yang dinamis membutuhkan update tabel aliran cepat dan berpotensial besar dalam switch. Dengan tingkat kedatangan tinggi pekerjaan, konfigurasi routing harus dilakukan dalam waktu singkat. Hal ini menyebabkan tantangan yang signifikan pada kontroler SDN dalam hal skalabilitas dan seberapa cepat dapat memperbarui jaringan yang luas.

Any Possible Improvement : Hadoop digunakan dalam aksitektur jaringan kontrol terintegrasi untuk memprogram jaringan yang sedang dijalankan untuk aplikasi big-data menggunakan rangkaian optik dengan SDN-controller ini. Dalam pengembangannya Hadoop ini mempunyai permasalahan pada latency dan streaming data processing. Pengomtimalan sistem ini dapat dilakukan dengan cara meminimalisir kelemahan dari Hadoop. Penambahan software lain seperti NoSQL dapat mengatasi permalasahan latency dan software seperti Sring-XD, Apache Storm dan Apache Spark Streaming dapat mengatasi permasalahan streaming pada Hadoop.