PEMBANGUNAN PERANGKAT LUNAK WEB SCRAPING UNTUK

SITUS BERITA DAN PERINGKAS BERITA

TUGAS AKHIR

Diajukan Untuk Memenuhi Sebagian Persyaratan

Mencapai Derajat Sarjana Teknik Informatika

Oleh:

YUSTINUS ANDRY SETIAWAN

11 07 06659

PROGRAM STUDI TEKNIK INFORMATIKA

FAKULTAS TEKNOLOGI INDUSTRI

UNIVERSITAS ATMA JAYA YOGYAKARTA

2015

i

HALAMAN PENGESAHAN

Tugas Akhir Berjudul

PEMBANGUNAN PERANGKAT LUNAK WEB SCRAPING UNTUK SITUS BERITA DAN PERINGKAS BERITA

Disusun Oleh :

Yustinus Andry Setiawan (NIM : 11 07 06659)

Dinyatakan telah memenuhi syarat Pada tanggal : Oktober 2015

Pembimbing I Pembimbing II

Y. Sigit Purnomo W.P, S.T., M.Kom. Kusworo Anindito, S.T., M.T.

Tim Penguji :

Penguji I,

Y. Sigit Purnomo W.P, S.T., M.Kom.

Penguji II,

Penguji III,

Thomas Suselo, S.T., M.T. Th. Adi Purnomo Sidhi, S.T., M.T.

Yogyakarta, Oktober 2015 Universitas Atma Jaya Yogyakarta

Fakultas Teknologi Industri

Dekan,

Dr. A. Teguh Siswantoro

ii

HALAMAN PERNYATAAN

Saya yang bertanda tangan dibawah ini

Nama : Yustinus Andry Setiawan

NPM : 11 07 06659

Dengan ini menyatakan bahwa tugas akhir ini dengan judul “Pembangunan Perangkat Lunak Web Scraping untuk Situs Berita dan Peringkas Berita” merupakan hasil penelitian saya pada tahun akademik 2015/2016 yang bersifat originalitas dan tidak mengandung plagiasi dari karya manapun.

Bila dikemudian hari ditemukan ketidaksesuaian dengan pernyataan ini maka saya bersedia dituntut dan diproses dengan ketentuan yang berlaku termasuk dicabut gelar sarjana yang diberikan Universitas Atma Jaya Yogyakarta.

Demikian pernyataan ini dibuat dengan sesungguhnya dan dengan sebenar-benarnya.

Yogyakarta, 21 Oktober 2015

Yang menyatakan

Yustinus Andry Setiawan

iii

HALAMAN PERSEMBAHAN

Karya Tugas Akhir ini kupersembahkan untuk :

Tuhan Yesus Kristus dan Bunda Mariasebagai ungkapan rasa syukur dan pujianku,

untuk Bapak dan Ibu tersayang,

sebagai ungkapan kasih, sayang dan baktiku,

teman-teman semua yang terkasih,

TERIMA KASIH

"Barangsiapa ingin mutiara, harus berani terjun di lautan yang dalam."

Ir. Soekarno

Karryya Tuuggas Akhhiirr iinnii kkuuppersemmbbaahkaann untukk ::

TTuuhaann YYesus Kristus dan Bunndda MMaarriasseebbagai ungkapan rasa syukur dan pujjiiaankkuu,

untuk Bapak dan k Ibu tersayang,

sebagai ungkapan kasih, sayang dan baktikuu,

teman-teman semua yang terkasih,

TTERIMA KAASSIIH

"B i i i ti h b i t j di l t d l "

iv

KATA PENGANTAR

Puji syukur kepada Tuhan atas semua karunia dan

berkat-Nya yang telah dilimpahkan kepada penulis

sehingga penulis dapat menyelesaikan laporan skripsi

ini dengan baik. Skripsi adalah studi akhir yang

merupakan salah satu tugas akhir yang diwajibkan pada

mahasiswa Program Studi Teknik Informatika Fakultas

Teknologi Industri Universitas Atma Jaya Yogyakarta

setelah lulus mata kuliah teori, praktikum, dan kerja

praktek. Tujuan dari pembuatan skripsi ini adalah

sebagai salah satu syarat untuk mencapai derajat

sarjana Teknik Informatika dari Program Studi Teknik

Informatika Fakultas Teknologi Industri Universitas

Atma Jaya Yogyakarta.

Penulis menyadari bahwa dalam pembuatan skripsi

ini tidak terlepas dari bantuan berbagai pihak yang

telah menyumbangkan pikiran, tenaga, dukungan,

bimbingan, dan doa kepada penulis baik secara langsung

maupun tidak langsung. Oleh sebab itu, penulis

mengucapkan terimakasih kepada :

1. Tuhan Yesus Kristus yang telah memberikan petunjuk

dan harapan, serta melimpahkan karunia dan berkat-

Nya kepada penulis.

2. Bapak Dr. A. Teguh Siswantoro selaku Dekan

Fakultas Teknologi Industri Universitas Atma Jaya

Yogyakarta.

3. Bapak B. Yudi Dwiandiyanta, S.T., M.T., selaku

Ketua Program Studi Teknik Informatika Fakultas

Teknologi Industri Universitas Atma Jaya

Yogyakarta.

berkat-Nya yang ttelelah dilimmpapahkan kepada penulis

sehingga penulliis dapat menyelesaikanan laporan skripsi

ini denganan baik. SSkrk ipsi adalah stududii akhir yang

merupakakan salah sas tu ttugugass akhkhirir yyang diwajij bkan pada

mahassiswa Proggraam m Studi Teknikk IInfnformatika FFakultas

Teekknologgii IIndustriri Universitas AAtma JaJayaya Yogyayakarta

ssetelaahh lululuuss mata kuliah teori, praktktikumum,, dadan kekerja

prakktetek. TTujuan dari pembuatan skripsii iinini adalalah

seebabagai salah satu syarat untuk mencappaia ddeerajatat

sasarjr annaa Teknik Informatika dari Program Stuudi TeTeknknikk

InInformrmatika Fakultas Teknologi Industri Univi errsisitass

Atma Jaya Yogyakarta.

Penulis menyadari bahwa dalam pembuatan skripipsii

innii tidak terlepas dari bantuan berbagai pihhakk yanngg

telah meenynyumumbabangngkakann pikiiraan,n, ttenenagaga,a dukungaan,n,

bib mbingan, dan doa kepadda a penulis baik secara langgsuungng

mamaupupun tidak langsung. Oleh sebab itu, ppennulliis

memengngucucapapkakann teteririmamakakasisih h kek papadada ::

1.1 TuT han n YeYessuss KrKrisistus yayang ttelelahah memembeberirikann pepetutunjuk

dadann haharapan, sertaa melimmpahkan karunniaia ddanan berkat-

Nya kepada penuliss.

2. Bapak Dr. A. TTeguh Siswantoro selaku Dekan

Fakultas Teknologii Indusustri Universitas Atma Jaya

Yogyakarta.

3. Bapak B. Yudi Dwiandndiyanta, S.T., M.T., selaku

v

4. Bapak Y. Sigit Purnomo W.P., S.T., M.Kom., selaku

Dosen Pembimbing I yang telah menawarkan judul

skripsi kepada penulis serta atas bimbingan,

petunjuk, dan pengarahan hingga skripsi dapat

diselesaikan dengan baik.

5. Bapak Kusworo Anindito, S.T., M.T., selaku Dosen

Pembimbing II yang telah memberikan bimbingan,

petunjuk, dan pengarahan kepada penulis sehingga

skripsi dapat diselesaikan dengan baik.

6. Seluruh Staf Pengajar dan Laboran Fakultas

Teknologi Industri Universitas Atma Jaya

Yogyakarta yang telah membantu penulis selama masa

kuliah di Program Studi Teknik Informatika

Fakultas Teknologi Industri Universitas Atma Jaya

Yogyakarta.

7. Bapak dan ibu yang selalu mendoakan serta

memberikan dorongan dan motivasi kepada penulis

agar dapat menyelesaikan kuliah dengan baik dan

tepat waktu.

8. Seluruh keluarga besar tercinta yang selalu

memberikan dorongan dan semangat untuk penulis

selama masa kuliah.

9. Teman dan sahabat Teknik Informatika angkatan 2011

Universitas Atma Jaya Yogyakarta, Firman, Vincent,

Bangkit, Dimas, Theofilus, Xenix, Yanuar dan

semuanya yang tidak bisa disebutkan satu per satu.

Terimakasih atas bantuan, kebersamaan, kerja sama,

canda tawa, suka duka dan senyuman kalian tidak

dapat terlupakan.

petunjuk, dann pengarahan hhingga skripsi dapat

diselesaikikan dengan baik.

5. Bapak k Kusworo Annindito, S.T., M.T., selaku Dosen

Peemmbimbingn III yayangng telelahah mmeme berikan bimbingan,

petunjjuk, dadann pengarahan keppadadaa penun lis ses hingga

skriripspsii dapapatt diselesaikan ddenengag n baaikik..

6.. SeSeluluruhh Staf Pengajar dan LaLabob raann FaF kultl as

TeTeknolologi Industri Universitas Atmtma a Jaayay

Yoggyakarta yang telah membantu penulis sellamamaa masaa

kukuliah di Program Studi Teknik Innforrmaatitikaa

FFakultas Teknologi Industri Universitas AAtmaa JJayyaa

Yogyakarta.

7. Bapak dan ibu yang selalu mendoakann seertaa

memberikan dorongan dan motivasi kepada pepenuliiss

agar ddapap tat menenyeyelelesaikkanan kkululiiahh dedengan baik dadann

tepat waktu.

8. Seluruh keluarga besar tercinta yangng sselelalalu

memembmbererikikanan ddororonongagann dadann sesemam ngngatat uuntntukuk penenululis

seselalamama mmasaa kkuliliaha .

9. TeTemamann dan sahabat TeT knikk Informatika aangngkakatan 2011

Universitas Atma Jaya Yoggyakarta, Firman, Vincent,

Bangkit, Dimas, Theofiilus, Xenix, Yanuar dan

semuanya yang tidak k bisaa disebutkan satu per satu.

Terimakasih atas banntuuan, kebersamaan, kerja sama,

canda tawa, suka dukka dan senyuman kalian tidak

vi

10.Teman-teman KSL (Kelompok Studi Linux)yang telah

memberikan pengalaman berorganisasi dan ilmunya

tentang linux.

11.Teman-teman KKN 66 Padukuhan Palgading : Johan,

Paul, Sahab, Tata, Oyen, Debora, Ayu yang telah

membuat cerita yang tidak akan terlupakan selama 1

bulan. Terima kasih dukungan dan semangatnya.

12.Teman-teman dan pihak lain yang tidak mungkin

disebutkan satu per satu yang telah membantu

selama pengerjaan skripsi.

13.Semua orang yang secara tidak langsung memberikan

dukungan dan semangat.

Penulis menyadari bahwa skripsi ini masih jauh

dari sempurna karena keterbatasan waktu dan pengetahuan

yang dimiliki penulis. Oleh karena itu segala kritik

dan saran yang bersifat membangun sangat diharapkan.

Akhir kata, semoga skripsi ini dapat berguna dan

bermanfaat bagi semua pihak.

Yogyakarta, Oktober 2015

Penulis

11.Teman-teman KKKKNN 66 Padukuhuhanan Palgading : Johan,

Paul, Saahahab, Tata, Oyen, Debora,a, Ayu yang telah

membuauat cerita yyaang tidak akan terluupapakan selama 1

buullan. Tere imimaa kasisihh dudukukungnganan ddan semangaatnya.

122.Teman-temaan n dan pihak lain yyana g tidak mungkin

disesebubuttkan ssatu per satu yyana g tetelalah h membm antu

seselalama ppengerjaan skripsi.

133.SeSemuaa orang yang secara tidak langsuungn mmemembeb rikakan

dukkungan dan semangat.

PPenulis menyadari bahwa skripsi ini mmasa ihih jjauhh

dadari sempurna karena keterbatasan waktu dan penngettahahuau nn

yang dimiliki penulis. Oleh karena itu segalaa krittikik

dan saran yang bersifat membangun sangat dihaarappkkan..

Akkhihirr kata, semogag skripsi ini dapat bergugunana ddanan

bermanfaatt bbaagii semumuaa pipihak..

Yogyakarta, Oktobeber 20201515

Penulis

vii

PEMBANGUNAN PERANGKAT LUNAK WEB SCRAPING UNTUK SITUS

BERITA DAN PERINGKAS BERITA

Disusun oleh :

Yustinus Andry Setiawan

110706659

INTISARI

Informasi dengan mudah didapat melalui online atau internet. Salah satunya adalah informasi berupa berita. Situs Berita di Indonesia ini ada bermacam-macam. Banyaknya penyedia layanan berita tersebut membuat pembaca berita harus membuka beberapa situs untuk mencari berita yang berbobot. Selain harus membuka banyak situs berita, iklan-iklan dalam situs berita juga mengganggu. Pembaca menjadi tidak fokus membaca berita karena adanya iklan dalam situs berita. Biasanya pembaca harus menutup terlebih dahulu iklan dalam bentuk pop up pada situs berita. Hal tersebut membuat tersitanya waktu dan merepotkan untuk membaca berita.

Dengan permasalahan tersebut, penulis membuat aplikasi yang dapat mengambil data berita dari berbagai situs dan menampungnya di satu tempat. Aplikasi tersebut memanfaatkan teknik web scraping, yaitu teknik untuk mengambil informasi dari suatu website. Berita yang sudah didapatkan akan ditampilkan pada aplikasi mobile pembaca berita. Selain menampilkan data berita dari berbagai sumber, aplikasi mobile ini juga dapat meringkas berita. Metode yang digunakan untuk meringkas pada aplikasi ini adalah metode TF-IDF.

Dengan adanya aplikasi ini diharapkan memudahkan pembaca berita dalam membaca berita. Pembaca berita dapat menggunakan aplikasi mobile ini untuk membaca berita dari berbagai sumber dan dapat melihat rangkuman dari beberapa berita berdasarkan berita yang ingin dicari. Berita dapat dibaca dimana saja dan kapan saja dengan aplikasi mobile pembaca dan peringkas berita. Kata Kunci : Web scraping, situs berita, aplikasi mobile, Android, peringkas berita Pembimbing I : Y. Sigit Purnomo W.P., S.T., M.Kom. Pembimbing II : Kusworo Anindito, S.T., M.T. Jadwal Pendadaran : 21 Oktober 2015

Disusun oleheh :

Yustinus Andry Setiawawann

110706659

IINTIISASARIRI

InInformmasi dengan mudah didapat melaalul i onnlilinen aatauinteernrnete . Salah satunya adalah informasi bberupupa a beritata.Situtuss Beririta di Indonesia ini ada bermacam-maccama . BaBanyn aknyya peenynyediaa layanan berita tersebut membuat pemmbab caca bbereritaahaharurus membuka beberapa situs untuk mencari bbere ittaa yay ngg beberrbobbot. Selain harus membuka banyak situs beritat , ikiklan-ikiklan dalam situs berita juga mengganggu. Pembaccaa memenjnjaddiitidak k fokus membaca berita karena adanya iklan dallam situsus beritta. Biasanya pembaca harus menutup terlebih dahuulu ikllann dalamm bentuk pop up pada situs berita. Hal tersebutt membmbuatttetersiitanya waktu dan merepotkan untuk membaca beritaa.

Dengan pepermrmasalahahanan tersebuutt, penululisis membuatt aplikasasiiyang dapatt mmeenga bmbilil ddatataa beeriritata ddarii beberbrbagai situs ddanan menampungnya di satu tempaat.t AAplikasi tersebut memanfaatatkakannteteknik web scraping, yaitu tet knik untuk mengambil inforormamassi dadariri suatu website. Berita yang sudah didapatkkanan aakakan diditatampmpililkakann papadada aaplplikikasi mobilele ppemembabacaca bbereritita.. SSelelaainmemenan mpmpililkakann dadatata bbererititaa daariri bbererbabagagaii susumbmberer, applilikkasi momobibilel ini jjuguga dadapap t memeriringkakass beeriritata. Metoodede yang diigugunanakakann ununtukk meringkakas pada aplikasii inii adadalalaah metodeTF-IDDFF.

Dengan adanya aplplikasi ini diharapkan memudahkan pembaca berita dalam meembaca beerita. Pembaca berita dapat menggunakan aplikasi mobbile inii untuk membaca berita dariberbagai sumber dan dapaat meliihat rangkuman dari beberapaberita berdasarkan beritaa yangng ingin dicari. Berita dapat dibaca dimana saja dan kaapann saja dengan aplikasi mobile pembaca dan peringkas beritaa..

viii

DAFTAR ISI

HALAMAN PENGESAHAN ........................................ i

HALAMAN PERNYATAAN ....................................... ii

HALAMAN PERSEMBAHAN ..................................... iii

KATA PENGANTAR ........................................... iv

INTISARI ................................................ vii

DAFTAR ISI ............................................. viii

DAFTAR GAMBAR ............................................ xi

DAFTAR TABEL ............................................ xvi

DAFTAR LAMPIRAN ........................................ xvii

BAB I PENDAHULUAN ........................................ 1

1.1 Latar Belakang ...................................... 1

1.2 Rumusan Masalah ..................................... 4

1.3 Batasan Masalah ..................................... 4

1.4 Tujuan Penelitian ................................... 4

1.5 Metodologi Penelitian ............................... 5

1.6 Sistematika Penulisan ............................... 6

BAB II TINJAUAN PUSTAKA .................................. 8

BAB III LANDASAN TEORI .................................. 14

3.1 Web server ......................................... 14

3.2 Situs Berita Online ................................ 15

3.3 Web Service ........................................ 16

3.4 JSON (Java Script Object Notation) ................. 18

3.5 Web scraping ....................................... 18

3.6 Automatic Text Summarization ....................... 20

3.7 Metode TF-IDF ...................................... 20

3.8 Cron Job ........................................... 22

3.9 Aplikasi Mobile .................................... 23

BAB IV ANALISIS DAN PERANCANGAN PERANGKAT LUNAK ......... 24

HALAMAN PERNYATAAN .................... .....................ii

HALAMAN PERSEMBAAHHAN .......................................iii

KATA PENGANTNTAAR .................................. ...........iv

INTISARII ......... ....................................................vii

DAFTARAR ISI ... ...............................................viii

DAAFFTAR GGAMAMBABARR ..................................................xi

DAFTTARAR TTABA EL .................................................xvi

DAFTTARAR LAMMPPIRAN ...................................... .....xvviii

BAABB I PPENDAHULUAN .................................... .........11

1.1.1 Latar Belakang......................................... 1

11.2 Rumusan Masalah......................................44

1.3 Batasan Masalah.......................................44

1.44 Tujuan Penelitian.....................................44

1.55 Metodoolologigi Penellititian.................................55

1.6 Sistematika Penulisaann.................................66

BABABB II TINJAUAN PUSTAKA ..................................... 8

BABABB IIIIII LANDASAN N TETEORORII ............... ............................14

3.3.11 Web seservrveer..................................................14

3.22 SiS tuuss BBerita Onlinee......................... ...........15

3.3 Web Service................. ........................16

3.4 JSON (Java Script Object NNotation).................18

3.5 Web scraping........................................18

3.6 Automatic Text Summaarir zzation.......................20

3.7 Metode TF-IDF......................................20

ix

4.1 Analisis Latar Belakang Sistem ..................... 24

4.2 Analisis Sistem yang Akan Dibangun ................. 25

4.2.1 Fungsi Produk .................................. 27

4.2.2 Use Case Diagram ............................... 29

4.2.3 Entity Relationship Diagram .................... 30

4.3 Perancangan Sistem ................................. 30

4.3.1 Perancangan Arsitektur ......................... 31

4.3.2 Physical Data Model ............................ 33

4.3.3 Deskripsi Perancangan Antarmuka ................ 34

4.3.3.1 Sketsa UI Aplikasi KUBERIN Web dan Deskripsinya .....................................................34

4.3.3.1.1 Antarmuka Halaman Login Web .............. 34

4.3.3.1.2 Antarmuka Halaman Scraping ............... 35

4.3.3.1.3 Antarmuka Halaman Lihat Data Berita ...... 36

4.3.3.1.4 Antarmuka Halaman Update Data Tags ....... 37

4.3.3.1.5 Antarmuka Halaman Pengelolaan Kategori ... 38

4.3.3.1.6 Antarmuka Halaman Summarize Berita Web ... 40

4.3.3.2 ......... Sketsa UI Aplikasi KUBERIN Mobile dan Deskripsinya ........................................ 41

4.3.3.2.1 Antarmuka Halaman Kategori Berita ........ 41

4.3.3.2.2 Antarmuka Halaman Summarize Berita Mobile 42

4.3.3.2.3 Antarmuka Halaman Trending Topik ......... 43

BAB V IMPLEMENTASI DAN PENGUJIAN SISTEM ................. 44

5.1 Definisi Sistem .................................... 44

5.2 Implementasi Sistem ................................ 52

5.2.1 Antarmuka Aplikasi Web Kuberin ................. 52

5.2.1.1 Antarmuka Halaman Login Web ................. 52

5.2.1.2 Antarmuka Halaman Scraping .................. 54

5.2.1.3 Antarmuka Halaman Lihat Data Berita ......... 66

5.2.1.4 Antarmuka Halaman Update Data Tags .......... 68

5.2.1.5 Antarmuka Halaman Pengelolaan Kategori ...... 71

g

4.2.2 Use Case DDiaiagram ...............................29

4.2.3 Entityty Relationship Diagram ....... ..............30

4.3 Perarancangan Sisteme ................................... 30

4.3.3.1 Perancncanangagan Arrsisitetektk urur ....... ... .....................31

44.3.2 PhPhysiccaal Data MoModedell ..............................33

4.3.33 DeDeskriipspsi Perancangan Antarmukukaa ...................34

4.4.3.3.3.11 Sketsa UI Aplikasi KUBERIN Web dad n Deeskskriripsininya.......................................................334

4..3.3.1.1 Antarmuka Halaman Login Web...................344

4.3.3.1.2 Antarmuka Halaman Scraping..................35

4.3.3.1.3 Antarmuka Halaman Lihat Data Beritaa......3636

4.3.3.1.4 Antarmuka Halaman Update Data Tags.........377

4.3.3.1.5 Antarmuka Halaman Pengelolaan Kateggori...388

4.3.3.1..66 AAntarmmukuka Halamaann SSummararizize Berita WWeb...4040

4.3.3.2 ......... Skketetsaa UUI Aplikasi KUBERIN Mobile dadann Deskripsinya ..........................................441

4.3.3.2.1 Antarmuka Halaman Kategori Beritaa..........41

44.33.33.22.22 AnAntatarmukuka a HaHalalamaman SuS mmmmararizizee BeBeriritata Moobibille 42

4.4.3.3.33.2.33 Antarmukuka Halamaan Trendidingng ToTopipikk...........43

BAB V IMPLEMENTASI DAN PPEENGUJIIANA SISTEM .................44

5.1 Definisi Sistem.....................................44

5.2 Implementasi Sisteemm.................................52

5.2.1 Antarmuka Aplikaasi WeWeb Kuberin .................52

5.2.1.1 Antarmuka Halamaman Login Web .................52

x

5.2.1.6 Antarmuka Halaman Summarize Berita .......... 75

5.2.2 Antarmuka Aplikasi Mobile Kuberin .............. 83

5.2.2.1 Antarmuka Halaman Kategori Berita ........... 83

5.2.2.2 Antarmuka Halaman Summarize Berita Mobile ... 92

5.2.2.3 Antarmuka Halaman Trending Topik ........... 101

5.2.3 Aplikasi Web Scraper .......................... 104

5.2.3.1 Mengambil URL Berita ....................... 104

5.2.3.2 Mengambil Data Berita ...................... 106

5.2.3.3 Mengecek Tags Tidak Aktif .................. 109

5.3 Hasil Pengujian Perangkat Lunak ................... 112

5.4 Hasil Pengujian Terhadap Pengguna ................. 123

5.4.1 Pengujian Fungsionalitas Aplikasi KUBERIN Mobile .....................................................123

5.4.2 Pengujian Antarmuka Aplikasi KUBERIN Mobile ... 131

5.5 Analisis Kelebihan dan Kekurangan Aplikasi ........ 139

BAB VI KESIMPULAN DAN SARAN ............................ 141

6.1 Kesimpulan ........................................ 141

6.2 Saran ............................................. 142

DAFTAR PUSTAKA .......................................... 143

LAMPIRAN ................................................ 146

g

5.2.2.2 Antarmukuka Halaman Summararize Berita Mobile ...92

5.2.2.3 AnAnttarmuka Halaman Trending TTopopik ...........101

5.2.3 AAplikasi Web SScrapapeer ............................104

5..22.3.1 Meengngamambib l URURL L BeBeriitata ............................104

5.2.3..22 Mengngambil DaDatata BBereritita .......................106

5.2.2.3.3.33 Mengngecek Tags Tidak Aktif ................. ....... 109

5.33 HaHasil Pengujian Perangkat Lunak......... ..............111 2

5.5.44 Hassil Pengujian Terhadap Pengguna.....................1223

5.5 4..11 Pengujian Fungsionalitas Aplikasi KUBERIRIN MoMobibille........................................................1123

5.4.2 Pengujian Antarmuka Aplikasi KUBERIN Mobiile ...13311

5.5 Analisis Kelebihan dan Kekurangan Aplikasi.........11399

BABAB VVI KESIMPULAN DAN SARAN ..............................1411

6.11 Kesimpululanan............................................141411

6.2 Saran.................................................141422

DADAFTF AR PUSTAKA ...........................................14143

LALAMPMPIRI ANN ............... ................... .......................1146

xi

DAFTAR GAMBAR

Gambar 3.1 Arsitektur Web server ......................... 14

Gambar 3.2 Contoh Situs Berita Online .................... 15

Gambar 3.3 Penggunaan JSON REST .......................... 18

Gambar 3.4 Proses Web Scraping ........................... 19

Gambar 3.5 Contoh Operasi Cron Job ....................... 22

Gambar 4.1 Arsitektur Perangkat lunak KUBERIN.............26

Gambar 4.2 Use Case Diagram KUBERIN ...................... 29

Gambar 4.3 Entity Relationship Diagram KUBERIN ........... 30

Gambar 4.4 Perancangan Arsitektur KUBERIN Web Application 31

Gambar 4.5 Perancangan Arsitektur KUBERIN Mobile Application ......................................................... 32

Gambar 4.6 Physical Data Model KUBERIN ................... 33

Gambar 4.7 Antarmuka Login Web ........................... 34

Gambar 4.8 Antarmuka Scraping ............................ 35

Gambar 4.9 Antarmuka Lihat Data Berita ................... 36

Gambar 4.10 Antarmuka Update Data Tags ................... 37

Gambar 4.11 Antarmuka Pengelolaan Kategori ............... 38

Gambar 4.12 Antarmuka Summarize Berita Web ............... 40

Gambar 4.13 Antarmuka Kategori Berita .................... 41

Gambar 4.14 Antarmuka Summarize Berita Mobile ............ 42

Gambar 4.15 Antarmuka Trending Topik ..................... 43

Gambar 5.1 Antarmuka Halaman Login Web....................52

Gambar 5.2 Proses Menampilkan Halaman Login .................................... 52

Gambar 5.3 Proses Login Web .......................................................................... 53

Gambar 5.4 Antarmuka Halaman Scraping .................................................. 54

Gambar 5.5 Proses Test Scraping ................................................................ 55

Gambar 5.6 Cuplikan code untuk mendapatkan atau membuka halaman web ................................................................................................................ 56

Gambar 3.2 Contoh Siitutus Berita Onlinene ....................15

Gambar 3.3 Pennggggunaan JSON REST ............. ..............18

Gambar 3.44 Proses Web ScScrapipingng .............................19

Gambar 33.5 Contotoh h OpOperassii CrCrono JJobob ... ... .....................22

Gambbar 4.1 ArA sitetektur Pereranangkgkatat lunak KKUBUBERINN..............26

Gaambar 44.2.2 UUse Casase Diagram KUBERIN ..........................29

Gambbarar 44.3 Entntity Relationship Diagram KUBERERIN ............30

Gambmbarar 4.44 Perancangan Arsitektur KUBERIN Web ApApplici atation 313

GaGambmbar 44.5 Perancangan Arsitektur KUBERIN Mobile Apppliicacationn..............................................................32

GaGammbarr 4.6 Physical Data Model KUBERIN .....................333

Gambaar 4.7 Antarmuka Login Web .............................344

GaG mbaar 4.8 Antarmuka Scraping .............................355

Gambbarar 4.9 Antarrmumukaka LLihihat Data BeBeriritata .....................3636

Gambar 4.10 Antarmuka Updadatet DaDatta Tags .....................3737

GaGambm ar 4.11 Antarmuka Pengelolaan Kategori ..................338

GaGambmbar 44 1.122 AnAntatarmrmukukaa SuSummarize BeBeriritata WeWebb ....................40

GaGambmbar 4.13 Anntatarrmuka Katetegogoriri BBerita ..... ... .................41

Gambmbara 44 1.14 AnAnttarmuka Summm arize BBerita Mobibilel .............42

Gambar 4.15 Antarmuka Treending TTopik .....................43

Gambar 5.1 Antarmuka Hallaman Loggiin Web....................52

Gambar 5.2 Proses Menampililkan HaHalaman Login.................................... 52

Gambar 5.3 Proses Login Webb ........................................................................... 53

Gambar 5.4 Antarmuka Halamann Scraping .................................................. 54

xii

Gambar 5.7 Cuplikan code untuk mengambil URL berita ................ 56

Gambar 5.8 Cuplikan code untuk mengambil judul berita ............ 58

Gambar 5.9 Cuplikan code untuk mengambil kategori berita..... 59

Gambar 5.10 Cuplikan code untuk mengambil tanggal dan waktu berita ............................................................................................................................ 60

Gambar 5.11 Cuplikan code untuk mengambil URL Gambar .............. 61

Gambar 5.12 Cuplikan code untuk mengambil isiberita ................ 61

Gambar 5.13 Cuplikan code untuk membuang konten tidak perlu .......................................................................................................................................... 62

Gambar 5.14 JSON Output Fungsi Test ....................................................... 65

Gambar 5.15 Proses Simpan Scraping ......................................................... 66

Gambar 5.16 Antarmuka Halaman Lihat Data Berita .......................... 66

Gambar 5.17 Proses Menampilkan halaman lihat data berita..... 67

Gambar 5.18 Proses Menampilkan detail berita ................................. 68

Gambar 5.19 Antarmuka Halaman Update Data Tags ............................ 68

Gambar 5.20 Proses Menampilkan Halaman Update Data Tags ....... 69

Gambar 5.21 Proses Mengambil Data Tags ................................................ 70

Gambar 5.22 Proses Update Data Tags ....................................................... 71

Gambar 5.23 Antarmuka Halaman Pengelolaan Kategori ................... 71

Gambar 5.24 Proses Menampilkan halaman pengelolaan kategori .......................................................................................................................................... 72

Gambar 5.25 Antarmuka Halaman Summarize Berita Versi 1 ......... 75

Gambar 5.26 Proses Summarize Berita ....................................................... 76

Gambar 5.27 Cuplikan Code Memasukkan Isi Berita Ke dalam array .............................................................................................................................. 77

Gambar 5.28 Cuplikan Code Pemanggilan Single Summary .............. 77

Gambar 5.29 Cuplikan Code Pemanggilan Multi Summary, skor kalimat, dan hasil summary ............................................................................ 78

Gambar 5.30 Cuplikan Code untuk mendapatkan data berita terkait .......................................................................................................................... 80

Gambar 5.31 Antarmuka Halaman Summarize Berita Versi 2 ......... 82

Gambar 5.9 Cuplikan code uuntntukuk mengambil kategori berita..... 59

Gambar 5.10 Cuplikkanan code untuk mengamambib l tanggal dan waktuberita ......................................................................................... ...................................... 60

Gambar 5.111 Cuplikan codode untuk mengambil URLL GaG mbar .............. 61

Gambar 55.12 Cuplplikikanan codde ununtut k k memengngammbibill isiberitita ................ 61

Gambbar 5.133 Cuplliikan coddee ununtutukk mem mbuangg kontet n tidakk perlu............................................................................................................................................................ 62

Gambbarar 55.1. 4 JSJSON Output Fungsi Test............................................................ 65

Gambmbaar 5.115 Proses Simpan Scraping ............................................................. 666

GaGambmbar 55.16 Antarmuka Halaman Lihat Data Berita ............................. 666

GaGammbarr 5.17 Proses Menampilkan halaman lihat data bberiitata...... 67

Gambaar 5.18 Proses Menampilkan detail berita ................................. 6868

Gambaar 5.19 Antarmuka Halaman Update Data Tags ............................. 688

Gambm aar 5.20 Proses Menampilkan Halaman Update Data TTagsgs ........ 6969

Gambar 5.211 PProses MMenengagambmbili DDatataa TaTags.................................................. 7070

GaGambar 5.22 Proses Update Daatat Tags......................................................... 771

GaGambm arr 55.2.23 Antarmuka Halaman Penggelolaan Kategogoriri ........................ 71

GaGambmbar 55 2.244 Prososeses Menammpipilklkanan hhalamann ppenengeg llollaan katategegoori............. .. ................................................... .......................................... ........... .... ................................... 72

Gambar 55 2.25 Antarmuka Halalaman SuSummarize Berita Versi 1 ......... 75

Gambar 5.26 Proses Summaarize Beriita....................................................... 76

Gambar 5.27 Cuplikan Codee Memasuukkan Isi Berita Ke dalam array .............................................................................................................................. 77

Gambar 5.28 Cuplikan Code PePemamanggilan Single Summary .............. 77

Gambar 5 29 Cuplikan Code Pemanggilan Multi Summary skor

xiii

Gambar 5.32 Antarmuka Halaman Awal Kategori Berita ................... 83

Gambar 5.33 Antarmuka Halaman List Berita ........................................ 84

Gambar 5.34 Proses Mendapatkan data berita ...................................... 85

Gambar 5.35 Fungsi kategori berita ......................................................... 86

Gambar 5.36 Fungsi GetJumlahDataBeritaKategori dan fetchBeritaKategori ............................................................................................. 87

Gambar 5.37 JSON Output fungsi kategori ............................................. 88

Gambar 5.38 Fungsi doInBackground pada class AsyncTaskNewsParseJson ...................................................................................... 88

Gambar 5.39 Fungsi onPostExecute pada class AsyncTaskNewsParseJson ...................................................................................... 89

Gambar 5.40 Cuplikan Code itemClick Detail Berita ..................... 90

Gambar 5.41 Antarmuka Halaman Detail Berita dan Web View Berita ............................................................................................................................ 91

Gambar 5.42 Antarmuka Halaman Summarize Berita ............................ 92

Gambar 5.43 Proses Mendapatkan Data Sumber berita ..................... 93

Gambar 5.44 Proses Summarize Berita Button Summarize .............. 94

Gambar 5.45 JSON Output fungsi summarizeberita ............................ 95

Gambar 5.46 Fungsi doInBackground pada class AsyncTaskSummarize ............................................................................................... 96

Gambar 5.47 Antarmuka Halaman Tab Summary, Tab Berita Terkait, dan Tab Skor ........................................................................................ 97

Gambar 5.48 Proses Summarize Berita Button Filter Berita..... 98

Gambar 5.49 JSON Output fungsi getDataBeritaSummarize ............ 99

Gambar 5.50 Antarmuka Halaman Pilih Berita .................................... 100

Gambar 5.51 Antarmuka Halaman Trending Topik ............................... 101

Gambar 5.52 Proses Mendapatkan Data Trending Topik ................. 102

Gambar 5.53 Proses Mendapatkan Data Detail Trending Topik 103

Gambar 5.54 Cuplikan code Fungsi doInBackground AsyntaskGetHasilTrending ............................................................................... 103

Gambar 5.55 Proses Cron URL Berita ....................................................... 104

Gambar 5.34 Proses Mendapapatktkanan data berita ...................................... 85

Gambar 5.35 Fungsii kkategori berita .......................................................... 86

Gambar 5.36 FuFungsi GetJumlahDataBeritaKategogori dan fetchBerittaKaKategori ............................................................................................. 87

Gambar 55.37 JSONON OuOutpt ut fufungngsis kkatategegorrii ................................................ 88

Gambbar 5.388 Funggssi doInBBacackgkgrorounund d pada cclal ss AssyncTasskNkNewewssParseeJsJson ............................................................................................... 88

Gambbarar 55.3.39 FuFungsi onPostExecute pada classsAsynncTcTasa kNewewsParseJson ............................................................................................ 89

Gaambm ar 55.40 Cuplikan Code itemClick Detail Berittaa ....................... 9090

GaGambmbar 5.41 Antarmuka Halaman Detail Berita dan Weeb ViViewewBeBeritaa ................................................................................................................................. 91

Gambaar 5.42 Antarmuka Halaman Summarize Berita .............................. 922

Gambaar 5.43 Proses Mendapatkan Data Sumber berita ...................... 933

Gambmbaar 5.44 Prosess SuSummm arize Beritaa BuButtt on Summarizee ............... 9494

Gambar 5.45 JSON Output fufungn sii ssummarizeberita .............................. 9595

GaGambar 5.46 Fungsi doInBackground pada class AsAsynncTcTaskSummarize ..................................................................................................... 96

GaGambmbarar 55.4.477 AnAntatarmr ukukaa HaHalalamaman n TaTabb SuSummmmarryy, TaTabb BeBeriritta TeTerkrkaiait, dann TaTabb SkSkoror ..... ............. .............................. ........... ........................................ 97

Gambarr 55 4.488 Proses Summarizi e Beerita Button FiFiltlterer BBerita..... 98

Gambar 5.49 JSON Output fungsi gete DataBeritaSummarize............ 99

Gambar 5.50 Antarmuka Hallaman Piilih Berita .................................... 100

Gambar 5.51 Antarmuka Halaaman TTrending Topik ............................... 101

Gambar 5.52 Proses Mendapatkkanan Data Trending Topik ................. 102

xiv

Gambar 5.56 Command untuk menjalankan script cronurlberita ........................................................................................................................................ 105

Gambar 5.57 Proses Cron Berita ................................................................. 107

Gambar 5.58 Command untuk menjalankan script cronberita ..... 107

Gambar 5.59 Proses Cron Cek Tags Tidak Aktif ............................... 109

Gambar 5.60 Command untuk menjalankan script croncekaktif 110

Gambar 5.61 Presentase Rekapitulasi Pernyataan 1 Aplikasi KUBERIN memberikan kemudahan dalam membaca berita/melihat sebuah berita dari kumpulan berita berbagai sumber ................. 125

Gambar 5.62 Presentase Rekapitulasi Pernyataan 2 Data berita yang ditampilkan pada aplikasi KUBERIN isinya lengkap .......... 126

Gambar 5.63 Presentase Rekapitulasi Pernyataan 3 Data berita yang ditampilkan pada aplikasi KUBERIN memiliki kesesuaian/saling berkaitan antara judul, gambar, dan berita ........................................................................................................................................ 127

Gambar 5.64 Presentase Rekapitulasi Pernyataan 4 Aplikasi KUBERIN memberikan kemudahan dalam mencari berita berdasarkan kategori yang tersedia ....................................................... 128

Gambar 5.65 Presentase Rekapitulasi Pernyataan 5 Aplikasi KUBERIN memberikan kemudahan untuk mendapatkan ringkasan berita berdasarkan topik yang diinginkan pengguna ................... 129

Gambar 5.66 Presentase Rekapitulasi Pernyataan 6 Aplikasi KUBERIN fitur summarize memberikan ringkasan berita yang kualitasnya sudah baik .................................................................................... 130

Gambar 5.67 Presentase Rekapitulasi Pernyataan 7 Secara keseluruhan, saya puas dengan kinerja aplikasi KUBERIN ....... 131

Gambar 5.68 Presentase Rekapitulasi Pernyataan 1 Aplikasi KUBERIN memiliki tampilan yang menarik .............................................. 133

Gambar 5.69 Presentase Rekapitulasi Pernyataan 2 Aplikasi KUBERIN mudah dipahami fungsionalitasnya dari antarmuka aplikasi ..................................................................................................................... 134

Gambar 5.70 Presentase Rekapitulasi Pernyataan 3 Aplikasi KUBERIN mudah untuk digunakan ................................................................... 135

Gambar 5.71 Presentase Rekapitulasi Pernyataan 4 Cara penggunaan aplikasi KUBERIN ini mudah dipelajari ...................... 136

Gambar 5.58 Command ununttuk menjalankakan script cronberita ..... 107

Gambar 5.59 Prososes Cron Cek Tags Tidak AkAktit f ............................... 109

Gambar 5.600 Command untutuk menjjalankan script ccroncekaktif 110

Gambar 55.61 Presesenentatase RRekekapapiti ululasasii PePernrnyay taan 1 AAplikasiKUBERIRIN memberikkanan kkemudahan dalam memembabacac berita/memelihatsebubuah berititaa dari kumumpupullan be iritata bberbagai susumbm er .................. 125

GGambarr 55.6.622 Presesentase Rekapitulasi Pernyayataann 22 DData beerita yangg ddititaampiillkan pada aplikasi KUBERIN isinyyaa leengngkakapp... ......... 126

Gambmbarar 5.663 Presentase Rekapitulasi Pernyataan 3 Datataa beritta yaangng dittaampilkan pada aplikasi KUBERIN memilikikekesesesuaiaian/saling berkaitan antara judul, gambar, dann beberitaa...... ...................................................................................................................................... .. 127

Gambarar 5.64 Presentase Rekapitulasi Pernyataan 4 AplplikasiKUBERRIN memberikan kemudahan dalam mencari beritaberdaasarkan kategori yang tersedia ........................................................ 1288

Gambmbaar 5.65 Presentase Rekapitulasi Pernyataan 5 ApllikikasiKUBERIIN membbereriikan kemuddaha an unttuuk mendapaatktkana ringkasan berita berdasarkan topik yyaang didiiinginkan pengguna ................... 112929

Gaambm ar 5.66 Presentase Rekapitulasi Pernyataan 6 AplikkaasiiKUKUBEERIRIN fitur summarize memberikan ringkasan beritaa yangng kukualalititasasnynyaa susudadahh babaikik ........ ..... ................................................................................................... 130

GaGambmbarar 5.677 PrPreesenntatasese Rekapapititulassii PePernr yaatataanan 7 Sececararaakeseeluluruhhan, ssaaya puas ddeengan kiinerja apliikakasi KKUBUBERRININ ....... 131

Gambar 5.68 Presentase Reekapitullasi Pernyataan 1 AplikasiKUBERIN memiliki tampilaan yang meenarik.............................................. 133

Gambar 5.69 Presentase Reekapitullasi Pernyataan 2 AplikasiKUBERIN mudah dipahami funngsionnalitasnya dari antarmukaaplikasi ....................................................................................................................... 134

Gambar 5.70 Presentase Rekappiitulasi Pernyataan 3 Aplikasi

xv

Gambar 5.72 Presentase Rekapitulasi Pernyataan 5 Desain warna aplikasi KUBERIN nyaman untuk dilihat dan komposisi warnanya pas ............................................................................................................ 137

Gambar 5.73 Presentase Rekapitulasi Pernyataan 6 Aplikasi KUBERIN memberikan kemudahan dalam melihat tulisan dan gambar .......................................................................................................................... 138

Gambar 5.74 Presentase Rekapitulasi Pernyataan 7 Secara keseluruhan, saya puas dengan tampilan aplikasi KUBERIN ..... 139

Gambar 5.73 Presentase RRekekapapititululasa i Pernyataan 6 AplikasiKUBERIN memberikan kkeemudahan dalam mmele ihat tulisan dan gambar ............................................................................................................................ 138

Gambar 5.74 PPresentase RRekapitulasi Pernyataaanan 7 Secarakeseluruhahan, saya puas ddenngagan n tatampmpili an aplikasii KUBERIN ..... 139

xvi

DAFTAR TABEL

Tabel 2.1 Tabel Perbandingan Sistem ...................... 12

Tabel 5.1 Tabel File KUBERIN Web .........................45

Tabel 5.2 Tabel File KUBERIN Mobile ...................... 48

Tabel 5.3 Hasil Pengujian Perangkat Lunak ............... 112

Tabel 5.4 Tabel Pengujian Fungsionalitas Apikasi KUBERIN Mobile .................................................. 123

Tabel 5.5 Tabel Pengujian Antarmuka Apikasi KUBERIN Mobile ........................................................ 131

Tabel 5.1 Tabel File KKUBUBERIN Web .........................45

Tabel 5.2 Tabel FFile KUBERIN Mobile .......................48

Tabel 5.3 HaHasil Pengujiaian Perangkat Lunak ................112

Tabel 5.5.4 Tabell PePengngujiaann FuFungn sisiononalalititas Apikasii KUBERIN Mobilee ............... .........................................123

Tabebel 5.5 TaTabeb l Penggujujiian Antarmukukaa ApApikasi KUKUBEB RIN MoMobile.......................................................... ....... 131

xvii

DAFTAR LAMPIRAN

I. Spesifikasi Kebutuhan Perangkat Lunak Kumpulan

Berita Indonesia (SKPL KUBERIN)

II. Deksripsi Perancangan Perangkat Lunak Kumpulan Berita Indonesia (DPPL KUBERIN)

p g p

Berita Indonesesiia (SKPL KUBERRINI )

II. Deksripssii Perancangan Perangkatt Lunak Kumpulan Beritaa Indonesiaa (DPPL KUBERIN)