IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan...

17
Team project ©2017 Dony Pratidana S. Hum | Bima Agus Setyawan S. IIP Hak cipta dan penggunaan kembali: Lisensi ini mengizinkan setiap orang untuk menggubah, memperbaiki, dan membuat ciptaan turunan bukan untuk kepentingan komersial, selama anda mencantumkan nama penulis dan melisensikan ciptaan turunan dengan syarat yang serupa dengan ciptaan asli. Copyright and reuse: This license lets you remix, tweak, and build upon work non-commercially, as long as you credit the origin creator and license it on your new creations under the identical terms.

Transcript of IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan...

Page 1: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

Team project ©2017 Dony Pratidana S. Hum | Bima Agus Setyawan S. IIP 

 

 

 

 

 

Hak cipta dan penggunaan kembali:

Lisensi ini mengizinkan setiap orang untuk menggubah, memperbaiki, dan membuat ciptaan turunan bukan untuk kepentingan komersial, selama anda mencantumkan nama penulis dan melisensikan ciptaan turunan dengan syarat yang serupa dengan ciptaan asli.

Copyright and reuse:

This license lets you remix, tweak, and build upon work non-commercially, as long as you credit the origin creator and license it on your new creations under the identical terms.

Page 2: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

IMPLEMENTASI SHALLOW PARSING NATURAL

LANGUAGE PROCESSING PADA SISTEM AUTOMATIC

CUSTOMER SERVICE

!SKRIPSI

Diajukan sebagai salah satu syarat untuk memperoleh gelar

Sarjana Komputer

!

!UNIVERSITAS MULTIMEDIA NUSANTARA

TANGERANG

2014

Nama : Ahmad Eries Antares

NIM : 09110110054

Fakultas : Teknologi Informasi dan Komunikasi

Program Studi : Teknik Informatika

Page 3: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

PENGESAHAN SKRIPSI

!IMPLEMENTASI SHALLOW PARSING NATURAL

LANGUAGE PROCESSING PADA SISTEM AUTOMATIC

CUSTOMER SERVICE

!Oleh

!Telah diujikan pada hari Jumat, tanggal 2 Mei 2014 pukul 13.00 s.d. 15.00 di

Tangerang dan dinyatakan lulus dengan susunan penguji sebagai berikut.

! Ketua Sidang Dosen Penguji

!! Dr. P M Winarno, M.Kom. Seng Hansun, S.Si., M.Cs.

Dosen Pembimbing

!!

Adhi Kusnadi, M.Si.

!Disahkan oleh Ketua Program Studi Teknik Informatika UMN

!!

Maria Irmina P., S.Kom., M.T.

Nama : Ahmad Eries Antares

NIM : 09110110054

Fakultas : Teknologi Informasi dan Komunikasi

Program Studi : Teknik Informatika

�iiImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 4: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

Lembar Pernyataan Tidak Melakukan Plagiat dalam Penyusunan

Skripsi

!Dengan ini saya:

!Menyatakan bahwa skripsi ini adalah karya ilmiah saya sendiri, bukan hasil

plagiat dari karya ilmiah yang ditulis oleh orang lain atau lembaga lain, dan semua

karya ilmiah orang lain atau lembaga lain yang dirujuk dalam skripsi ini telah

disebutkan sumber kutipan serta dicantumkan di Daftar Pustaka.

!!Tangerang, 7 Mai 2014

!!!Ahmad Eries Antares

Nama : Ahmad Eries Antares

NIM : 09110110054

Fakultas : Teknologi Informasi dan Komunikasi

Program Studi : Teknik Informatika

�iiiImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 5: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

Judul : Implementasi Shallow Parsing Natural Language Processing Pada

Sistem Automatic Customer

!ABSTRAKSI

!Sebuah sistem hasil implementasi teknologi Natural Language Processing,

Question Answering System dengan metode Shallow-Parsing untuk Bahasa

Indonesia. Implementasi ini dilakukan pada sebuah sistem tanya-jawab untuk

automatic customer service. Pada penelitian ini, teknologi yang digunakan dalam

melakukan parsing untuk Information Extraction (IE) System adalah metode

Shallow-Parsing. Sedangkan untuk teknologi yang digunakan dalam Speech

Recognition dan Text-to-Speech adalah Android SpeechRecognizer dari Google

API. Dari data hasil uji coba penelitian diperoleh bahwa implementasi teknologi

Shallow-Parsing ini telah berhasil digunakan pada Natural Language Processing

khususnya Question Answering System. Dimana sistem dapat melakukan ekstraksi

informasi serta text chunking seperti frasa tanya, dan frasa - frasa kunci yang

terdapat di dalam input yang diberikan. Untuk implemetasinya pada sistem

automatic customer service sendiri, diperoleh hasil pengujian yang juga cukup

baik dimana dari 100 pertanyaan yang diujikan, sistem berhasil menjawab 89

pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah

89% untuk 100 pertanyaan.

!!

Kata kunci : Shallow Parsing, Customer Service, Artificial Intelligence, Predictive

Anotation, Semantic Role, Natural Language, POS Tagging, text chunking, rule-

based.

�ivImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 6: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

Judul : Shallow Parsing Natural Language Processing Implementation for

Automatic Customer Service Sistem

!ABSTRAKSI

!A system that implements Natural Language Processing technology of Question

Answering System by using Shallow-Parsing Method for Indonesian Language.

This implementation applied for a question-answer system in automatic customer

service with an artificial intelligence. In this research, technology that used in

parsing for Information Extraction (IE) System is Shallow-Parsing method.

Whereas for speech recognition and text-to-speech technology are using Android

SpeechRecognizer from Google API. From the testing result of this research we

got that implementation Shallow-Parsing technology is successfully used for

Natural Language processing especially for Question Answering System. Which is

system is successfully extracting information and did text chunking such as

question phrase and key phrase that contained in the input that user gave. The

implementation of automatic customer service also gave good results where form

100 question, system can answer 89 question correctly. Its indicate that system a

curation for answering system are 89% from 100 question.

!Keyword : Shallow Parsing, Customer Service, Artificial Intelligence, Predictive

Anotation, Semantic Role, Natural Language, POS Tagging, text chunking.

�vImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 7: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

KATA PENGANTAR

!Ahamdulillahhirabbil ‘alamin. Segala puji bagi Allah Subhanahu

Wata’ala, Tuhan seluruh alam semesta. Sang pemilik segala ilmu pengetahuan.

Berkat segala rahmat, taufik, serta hidayah yang tak terkira besarnya, sehingga

penulis diijinkan untuk menyelesaikan laporan skripsi yang berjudul

“Implementasi Shallow Parsing Natural Language Processing pada Sistem

Automatic Customer Service” ini. Skripsi ini disusun dan diajukan sebagai salah

satu syarat kelulusan program studi Strata 1 Teknik Informatika, Universitas

Multimedia Nusantara.

Tujuan disusunnya laporan ini adalah memberikan dokumentasi pada

penelitian penulis mengenai metode Shallow-Parsing dengan Predictive

Annotation pada Natural Language Processing di sistem Automatic Customer

Service. Skripsi ini disusun secara sistematis dan terdiri atas 6 bab.

Dimana pada bab 1 berisikan tentang latar belakang permasalahan yang

akan dijadikan sebagai fokus penelitian. Lalu untuk bab kedua berisikan segala

teori - teori dan konsep yang terkait dengan pelaksanaan penelitian ini. Teori dan

konsep yang ada di bab ini merupakan hasil kajian penulis berdasarkan referensi -

referensi yang digunakan selama studi literatur. Seluruh penjelasan mengenai

segala rincian dan langkah - langkah yang dilakukan dalam melakukan penelitian

ini dijabarkan secara rinci dan sistematis pada Bab yang ketiga. Pada bab 4,

dilampirkan analisis penulis terhadap implementasi metode shallow-parsing yang

penulis gunakan pada Natural Language Processing untuk aplikasi Automatic

Customer Service. Selain itu, pada bab ini juga disertakan rancangan aplikasi.

Lalu pada bab ke lima berisikan hasil dari uji coba kode - kode yang telah berhasil

diimplementasikan pada aplikasi. Hingga pada bab terakhir, yaitu bab keenam

berisikan kesimpulan yang telah disusun oleh penulis terhadap penelitian secara

keseluruhan.

�viImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 8: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

Pada kesempatan yang baik ini penulis juga ingin mengucapkan

terimakasih kepada pihak - pihak yang telah terlibat membantu penulis dalam

menyelesaikan laporan ini.

1. Kepada kedua orang tua penulis yang selalu memberikan segala sesuatunya

kepada penulis hingga saat ini.

2. Caesar Ali Alpharatz dan Radiant Farouk Apicha, kedua adik penulis yang

membuat penulis selalu berusaha menjadi contoh yang baik untuk

keduanya.

3. Bapak Adhi Kusnadi, M.Si. selaku dosen pembimbing skripsi, yang

memberikan banyak masukan dan perbaikan selama penulisan skripsi ini.

4. Ibu Maria Irmina P., S.Kom, M.Sc selaku ketua program studi Teknik

Informatika.

5. Sahabat - sahabat penulis yang tidak perlu disebutkan namanya.

6. Teman baik penulis sekaligus teman seperjuangan di Kampus Universitas

Multimedia Nusantara yang terus memberikan dukungan kepada penulis.

7. Untuk seseorang yang spesial.

8. Pihak Lawson Newton, Dunkin Donut Gading Serpong yang menyediakan

lokasi pengerjaan skripsi yang nyaman dengan koneksi internetnya.

9. Pihak - pihak lain yang baik secara langsung maupun tidak langsung telah

berjasa membantu dalam penyusunan laporan ini dan tidak dapat penulis

sebutkan satu persatu.

!Selesai disusunnya laporan skripsi ini bukan berarti laporan skripsi ini

telah sempurna segala sesuatunya. Penulis menyadari masih banyaknya

kekurangan dalam laporan skripsi ini. Sehingga secara terbuka penulis menerima

kritik dan saran yang diharapkan dapat membawa laporan ini ke arah yang lebih

baik.

�viiImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 9: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

!Akhir kata, penulis mengucapkan terimakasih yang sebesar - besarnya

kepada semua pihak yang telah meluangkan waktunya untuk membaca laporan

ini. Semoga laporan ini dapat memberikan manfaat bagi para pembacanya

!!!

!Tangerang, 7 Mei 2014

!!

Penulis

�viiiImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 10: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

DAFTAR ISI !HALAMAN SAMPUL i .................................................................................... LEMBAR PENGESAHAN ii ............................................................................. LEMBAR PERNYATAAN TIDAK PLAGIAT iii ............................................... ABSTRAK iv ....................................................................................................... KATA PENGANTAR vi ...................................................................................... DAFTAR ISI ix .................................................................................................... DAFTAR GAMBAR xii ....................................................................................... DAFTAR TABEL xiv ............................................................................................ DAFTAR ISTILAH xvi ......................................................................................... 1. BAB I PENDAHULUAN 1 ..........................................................................

1.1. Latar Belakang 1 ................................................................................1.2. Rumusan Masalah 3 ...........................................................................1.3. Batasan Masalah 4 .............................................................................1.4. Tujuan Penelitian 5 ............................................................................1.5. Manfaat Penelitian 5 ..........................................................................1.6. Sistematika Penulisan 6 .....................................................................

2. BAB II LANDASAN TEORI 8 ....................................................................2.1. Natural Language Processing 8 .........................................................

2.1.1. Definisi Natural Language Processing 8 ..................................2.1.2. Level dari Natural Language Processing 10 ...............................2.1.3. Area Penelitian Natural Language Processing 13 ......................2.1.4. Question Answering System 15 .................................................2.1.5. Information Extraction 17 ..........................................................2.1.6. Information Retrieval 19 ............................................................

2.1.6.1. Metode TF-IDF Weighting 20 ...........................................2.2. Metode Shallow Parsing 24 .................................................................

2.2.1. Definisi Shallow Parsing 24 .......................................................2.2.2. Shallow Parsing vs Full Parsing 25 ............................................2.2.3. Langkah dalam Shallow Parsing 27 ...........................................

2.2.3.1. Part-of-Speech Tagging (PoS Taggig) 28 ..........................2.2.3.2. IOB Tagging 32 .................................................................

2.2.3.2.1. Rule Based Algorithm 35 .........................................2.2.3.2.2. Memory Based Algorithm 36 ..................................

2.2.3.3. Text Chunking 39 ..............................................................2.2.3.4. Relations Finding 42 .........................................................

2.3. Predictive Annotation 43 ......................................................................2.4. Algoritma Stemming Nazief dan Andriani 48 .....................................2.5. Human Computer Interaction (HCI) 56 ...............................................2.6. Automatic Speech Recognizer (ASR) 57 ............................................

2.6.1. Google Speech Recognition Library 57 .....................................

�ixImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 11: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

2.7. Teori Bahasa Indonesia 58 ...................................................................2.7.1. Frasa 58 ......................................................................................2.7.2. Kelas Kata 65 .............................................................................2.7.3. Imbuhan Prefix, Confix, dan Suffix 67 ......................................2.7.4. StopWords 68 .............................................................................

3. BAB III METODOLOGI PENELITIAN 70 ..................................................3.1. Metode Penelitian 70 ...........................................................................

3.1.1. Studi Literatur 70 .......................................................................3.1.2. Analisis Kebutuhan Sistem 71 ...................................................3.1.3. Perancangan Sistem 72 ...............................................................3.1.4. Pengembangan Sistem 72 ...........................................................3.1.5. Pengujian dan Evaluasi Sistem 73 .............................................3.1.6. Perbaikan Sistem 74 ...................................................................3.1.7. Pengembangan Knowledge Base 75 ..........................................3.1.8. Implementasi 76 .........................................................................

3.2. Waktu dan Tempat Penelitian 77 ..........................................................4. BAB IV ANALISA DAN PERANCANGAN APLIKASI 78 ........................

4.1. Analisa Aplikasi 78 ..............................................................................4.1.1. Konsep dan Alur Kerja Front End Aplikasi 80 ..........................

4.1.1.1. Konversi Speech-to-Text 80 ..............................................4.1.1.2. Pengolahan dan Indexing Pertanyaan 81 ..........................4.1.1.3. Pencarian dan Pengembalian Jawaban 82 .........................

4.1.2. Sistem Pengelola Knowledge 83 ................................................4.1.3. Kebutuhan Aplikasi 84 ...............................................................

4.2. Perancangan Aplikasi 85 ......................................................................4.2.1. Flowchart Sistem 85 ...................................................................4.2.2. Data Flow Diagram Sistem 90 ...................................................4.2.3. Rancangan Knowledge Base Aplikasi 93 ...................................

4.2.3.1. Rancangan Topik Question Answering System 93 ...........4.2.3.2. Rancangan Rules Pemrosesan QA System 95 ..................4.2.3.3. Rancangan Shallow Parsing Predictive Annotation 98 .....4.2.3.4. Rancangan Rule Based Text Chunking 101 ........................4.2.3.5. Rancangan Memory Based Text Chunking 102 ..................

4.2.4. Rancangan Database 106 ..............................................................4.2.4.1. Tabel yang Digunakan Pada Sistem 106 .............................4.2.4.2. Hubungan Antar Tabel 113 ..................................................

4.2.5. Rancangan Navigasi 115 ..............................................................4.2.5.1. Navigasi Pada Aplikasi Klien 115 .......................................4.2.5.2. Navigasi pada Knowledge Management System 116 .........

4.2.6. Sketsa Layar 119 ..........................................................................4.2.6.1. Sketsa Layar Pada Aplikasi Klien 119 ................................4.2.6.2. Sketsa Layar Knowledge Management System 120 ...........

�xImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 12: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

5. BAB V IMPLEMENTASI DAN UJI COBA 126 .............................................5.1. Spesifikasi Perangkat 126 ......................................................................

5.1.1. Software 126 ................................................................................5.1.2. Hardware 126 ...............................................................................5.1.3. Software Minimum 127 ...............................................................5.1.4. Hardware Minimum 127 ..............................................................

5.2. Implementasi Aplikasi 127 ....................................................................5.2.1. Implementasi Pada Aplikasi Front-End 127 .................................5.2.2. Implementasi Pada Aplikasi Back-End 129 .................................

5.3. Imlementasi Metode Parsing 136 ...........................................................5.4. Implementasi Metode Information Retrieval 139 ..................................5.5. Uji Coba Aplikasi 142 ............................................................................

5.5.1. Tempat dan Waktu Pengujian 142 ................................................5.5.2. Persiapan Pengujian 142 ..............................................................5.5.3. Skenario Pengujian 148 ................................................................5.5.4. Hasil Uji Coba 149 .......................................................................5.5.5. Pembahasan 157 ...........................................................................

6. BAB VI KESIMPULAN DAN SARAN 160 ...................................................6.1. Kesipulan 160 ........................................................................................6.2. Saran 161 ...............................................................................................

DAFTAR PUSTAKA 165 ....................................................................................... LAMPIRAN

1. Form Biodata Mahasiswa L - 1 .....................................................................2. Form Bimbingan Skripsi L - 2 ......................................................................3. Hasil parsing Uji Coba Untuk jawaban Salah L - 3 .....................................!!

�xiImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 13: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

DAFTAR GAMBAR !Gambar 2.1 Contoh Human Natural Language Understanding 10 ...................Gambar 2.2 Contoh Computer Natural Language Understanding 10 ................Gambar 2.3 Tahapan Question Answering (QA) System 16 .............................Gambar 2.4 Formula dari metode weighting TF-IDF 21 ..................................Gambar 2.5 Formula untuk mencari nilai Term Frequency (TF) 22 ..................Gambar 2.6 Formula untuk mencari nilai Inverse Document Frequency 23 ....Gambar 2.7 Diagram tipikal Shallow Parsing Architecture 28 .........................Gambar 2.8 Skema implementasi metode Rule-Based 36 ................................Gambar 2.9 Formula Gain Ratio untuk memperoleh bobot 39 .........................Gambar 2.10 Flowchat dari Algoritma Stemming 50 .........................................Gambar 4.1 Rancangan konsep keseluruhan aplikasi 78 ...................................Gambar 4.2 Pemetaan aplikasi berdasarkan lokasi pemrosesannya 79 ............Gambar 4.3 Fokus penelitian dari aplikasi 80 ...................................................Gambar 4.4 Flowchart sistem pada bagian Automatic Customer Service 86 ....Gambar 4.5 Flowchart sistem pada proses penambahan knowledge baru. 88 ...Gambar 4.6 Flowchart sistem pada proses perubahan data knowledge. 89 ......Gambar 4.7 Flowchart sistem pada proses penghapusan data knowledge. 90 ..Gambar 4.8 Konteks diagram dari sistem yang dibagun. 91 .............................Gambar 4.9 Data Flow Diagram level 1 dari sistem yang dibagun 92 ..............Gambar 4.10 Data Flow Diagram level 2 dari sistem yang dibagun 93 ..............Gambar 4.11 Data Flow Diagram level 3 dari sistem yang dibagun 93 ..............Gambar 4.12 Entity Relationship Diagram pada sistem. 115 ................................Gambar 4.13 Menu navigasi utama pada pojok kanan bawah layar 116 ..............Gambar 4.14 Diagram-Tree Pemetaan sistem navigasi dari aplikasi. 116 ...........Gambar 4.15 Gambar navigasi Edit dan Delete knowledge. 118 .........................Gambar 4.16 Gambar sistem navigasi browsing knowledge. 118 ........................Gambar 4.17 Sketsa layar interface pada device Android 119 .............................Gambar 4.18 Sketsa layar interface dari home page. 121 ......................................Gambar 4.19 Sketsa layar interface dari fitur add knowledge 122 ........................Gambar 4.20 Sketsa layar interface pemrosesan add knowledge. 122 .................Gambar 4.21 Sketsa layar interface dari fitur browse knowledge. 123 ................Gambar 4.22 Sketsa layar interface dari fitur browse knowledge. 124 .................Gambar 4.23 Sketsa layar interface dari fitur edit knowledge. 124 ......................Gambar 4.24 Sketsa layar interface dari fitur delete knowledge. 125 ...................Gambar 4.25 Sketsa layar interface dari fitur process monitoring. 125 ...............Gambar 5.1 Screenshot main activity pada device Android. 128 .......................Gambar 5.2 Screenshot main activity dalam mode recording speech. 129 .........Gambar 5.3 Screenshot main Home page pada aplikasi server. 130 ..................Gambar 5.4 Screenshot fitur Add Knowledge pada aplikasi server. 131 .............

�xiiImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 14: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

Gambar 5.5 Screenshot pemrosessan pada fitur Add Knowledge 132 ................Gambar 5.6 Screenshot fitur Browse Knowledge pada aplikasi server 133 ........Gambar 5.7 Screenshot Edit pada fitur Browse Knowledge 133 ........................Gambar 5.8 Screenshot Delete pada fitur Browse Knowledge 134 ....................Gambar 5.9 Screenshot fitur halaman Process Monitoring 135 ..........................Gambar 5.10 Diagram konsep utama dan fokus penelitian 137 ............................Gambar 5.11 Proses yang dilalui input selama Shallow-Parsing 137 ....................Gambar 5.12 Potongan source code pencarian nilai TF 140 ................................Gambar 5.13 Potongan source code pencarian nilai IDF 140 ...............................Gambar 5.14 Potongan source code pencarian nilai TF-IDF 141 ..........................Gambar 5.15 Potongan source code penyusunan ranking 141 ..............................Gambar 5.16 Langkah - langkah pengujian aplikasi pada device Android 149 ....Gambar 5.17 Hasil pengujian aplikasi pada Server 149 ........................................!

�xiiiImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 15: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

DAFTAR TABEL !Tabel 2.1 Tabel Term Frequency (TF) yang untuk kata yang muncul 22 ...........Tabel 2.2 Tabel Inverse Document Frequency (IDF) 23 ....................................Tabel 2.3 Daftar tagset standar yang biasa digunakan secara umum (I) 31 .......Tabel 2.3 Daftar tagset standar yang biasa digunakan secara umum (II) 32 ......Tabel 2.4 Contoh analogi tagging menggunakan memory-based. 37 .................Tabel 2.5 Daftar token Predictive Annotation 44 ..............................................Tabel 2.6 Daftar table token EAT 45 .................................................................Tabel 2.7 Contoh tagging dan parsing oleh Manish dan Rejndra. 46 .................Tabel 2.8 Contoh hasil analisis oleh Manis dan Rajendra. 46 ...........................Tabel 2.9 Tabel answer filter oleh Manish R. Joshi dan Rajendra Akerkar 47 ...Tabel 2.10 Tabel daftar kombinasi awalan akhiran yang tidak diijinkan 52 ........Tabel 2.11 Cara menentukan tipe awalan untuk awalan (I) 52 .............................Tabel 2.11 Cara menentukan tipe awalan untuk awalan (II) 53 ...........................Tabel 2.12 Cara menentukan tipe awalan untuk awalan “te-” 55 .........................Tabel 2.13 Daftar jenis awalan berdasarkan tipe awalannya 55 ...........................Tabel 2.14 Daftar variasi frasa nomina 60 ............................................................Tabel 2.15 Daftar variasi frasa verbal 60 ..............................................................Tabel 2.16 Daftar variasi frasa adjektifa 61 ..........................................................Tabel 2.17 Daftar variasi frasa adverbial 61 .........................................................Tabel 2.18 Daftar variasi frasa pronominal 62 .....................................................Tabel 2.19 Daftar variasi frasa numeralia 62 ........................................................Tabel 2.20 Variasi frasa berdasar fungsi pembentuknya 63 ................................Tabel 2.21 Daftar variasi frasa atributif 63 ...........................................................Tabel 2.22 Daftar daftar frasa yang banyak digunakan 65 ...................................Tabel 2.23 13 kelas kata pada Bahasa Indonesia menurut Kridalaksana (I) 66 ...Tabel 2.23 13 kelas kata pada Bahasa Indonesia menurut Kridalaksana (II) 67 ..Tabel 2.24 Daftar Stopwords dalam Bahasa Indonesia 69 ...................................Tabel 3.1 Gantt-Chart penelitian Shallow Parsng QA System 77 ......................Tabel 4.1 Daftar topik yang digunakan dalam sistem (I). 94 ..............................Tabel 4.1 Daftar topik yang digunakan dalam sistem (II). 95 ............................Tabel 4.1 Daftar topik yang digunakan dalam sistem (III). 96 ...........................Tabel 4.2 Daftar rule pemrosesan input pada sistem. 97 ....................................Tabel 4.3 Daftar Predictive Annotation tags yang digunakan (I) 99 ..................Tabel 4.3 Daftar Predictive Annotation tags yang digunakan (II) 100 .................Tabel 4.3 Daftar Predictive Annotation tags yang digunakan (III) 101 ................Tabel 4.4 Daftar rule yang digunakan dalam transformation-based tagging 102 .Tabel 4.5 Daftar rule yang digunakan dalam memory-based tagging (I) 103 ......Tabel 4.5 Daftar rule yang digunakan dalam memory-based tagging (II) 104 .....Tabel 4.5 Daftar rule yang digunakan dalam memory-based tagging (III) 105 ...

�xivImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 16: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

Tabel 4.6 Struktur table tbl_ANSWERSCORING. 107 .......................................Tabel 4.7 Struktur table tbl_ANSWERSCORING_TFIDF 108 ...........................Tabel 4.8 Struktur table tbl_CORPUSDUMP 108 ...............................................Tabel 4.9 Struktur table tbl_DICTIONARY 109 ..................................................Tabel 4.10 Struktur table tbl_GREETING 109 ......................................................Tabel 4.11 Struktur table tbl_GREETING_RES 110 .............................................Tabel 4.12 Struktur table tbl_KNOWLEDGE 111 .................................................Tabel 4.13 Struktur table tbl_QATOKEN 111 ........................................................Tabel 4.14 Struktur table tbl_QAWORD. 112 ........................................................Tabel 4.15 Struktur table tbl_TEXTRACT.. 112 ....................................................Tabel 4.16 Struktur table tbl_inputDUMP. 113 ......................................................Tabel 5.1 100 daftar pertanyaan yang dijujikan pada sistem (I).. 143 ..................Tabel 5.1 100 daftar pertanyaan yang dijujikan pada sistem (II). 144 .................Tabel 5.1 100 daftar pertanyaan yang dijujikan pada sistem (III) 145 .................Tabel 5.1 100 daftar pertanyaan yang dijujikan pada sistem (IV).. 146 ...............Tabel 5.2 20 daftar variasi input yang dijujikan pada sistem 147 ........................Tabel 5.3 100 hasil pengujian pada sistem (I) 150 ...............................................Tabel 5.3 100 hasil pengujian pada sistem (II) 151 ..............................................Tabel 5.3 100 hasil pengujian pada sistem (III) 152 .............................................Tabel 5.3 100 hasil pengujian pada sistem (IV) 153 ............................................Tabel 5.3 100 hasil pengujian pada sistem (V) 154 ..............................................Tabel 5.3 100 hasil pengujian pada sistem (VI) 155 ............................................Tabel 5.3 100 hasil pengujian pada sistem (VII) 156 ...........................................Tabel 5.4 20 hasil pengujian pada input tambahan untuk sistem.. 156 ................Tabel 5.4 20 hasil pengujian pada input tambahan untuk sistem.. 157 ................

�xvImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014

Page 17: IMPLEMENTASI SHALLOW PARSING NATURAL LANGUAGE …kc.umn.ac.id/1559/1/HALAMAN AWAL.pdf · pertanyaan dengan benar sehingga akurasi kebenaran jawaban sistem ini adalah 89% untuk 100

DAFTAR ISTILAH !

!

PoS Tagging : Part-of-Speech Tagging, proses pemberian tag kelas kata pada masing - masing kata pada suatu kalimat.

Text chunking : Proses penyaringan sebuah kalimat atau paragraf menjadi sebuah chunk atau frasa - frasa kunci pada kalimat tersebut

Chunk : Sebuah frasa - frasa kunci yang terdapat dalam suatu kalimat.

Lexicon Sekumpulan frasa atau vocabulary seseorang atau sistem. Biasa disebut juga kamus kata atau dictionary.

Corpus Sebuah kumpulan teks tulisan, khususnya seluruh karya penulis tertentu atau bagian utama dari tulisan tentang topik tertentu.

Polysemous Sebuah kata yang memiliki banyak makna.

Morphosyntactic Sebuah kalimat yang bersifat morfologi dan sintaksis.

Hypernim Kata dengan arti yang luas kata-kata ini memiliki kata yang lebih spesifik. Sebagai contoh, warna adalah hypernym merah..

�xviImplementasi Shallow ..., Ahmad Eries Antares,FTI UMN 2014