1

Sistem Penilaian Reading Text pada Mata Pelajaran Bahasa Inggris MenggunakanMetode Jaccard Measure (Studi Kasus: SMK Al-Qodiri Jember)

1Amalia Sarifatun Nurma Ida (11 1065 1106), 2 Lutfi Ali Muharom, S.Si., M.Si 3Mudafiq Riyan Pratama, S.KomJurusan Teknik Informatika Fakultas Teknik Univertas Muhammadiyah Jember

Email :amelpeshek@gmail.com

Abstrak

Penelitian ini menguji tentang penerapan penggunaan metode jaccard measure dalam sistem penilaiansoal reading text pada mata pelajaran Bahasa Inggris di SMK Al-Qodiri Jember. Data set yang digunakanadalah berupa 51 jawaban siswa kelas XI dengan salah satu diantaranya adalah sebagai kunci jawaban guru(query). Dengan penggunaan Text Mining, perhitungan TF/IDF, dan perhitungan Jaccard Measure sebagai dasarkonstruksi sistem, penelitian ini menghasilkan sebuah sistem yang dapat mewakili penilaian manual dengantingkat kesalahan sistem sebesar 19.4%. Hal ini disebabkan oleh penggunaan Text Mining dan TF/IDF dalammendeteksi similaritas/ kemiripan jawaban siswa terhadap jawaban guru (query) yang dibandingkan berdasarkanjumlah kata (term) yang menghitung bobot per kata akan menghasilkan rentang nilai (range) terhadap jawabansecara manual dengan jawaban menggunakan sistem.

Kata Kunci : reading text, jaccard measure, term frekuensi, sistem penilaian.

1. PENDAHULUAN1.1 Latar Belakang

Salah satu cara untuk meningkatkan SDM(Sumber Daya Manusia) adalah melalui pendidikan.Dalam proses pendidikan diperlukan sebuah evaluasipembelajaran untuk mengetahui sejauh mana tingkatkeberhasilan pengajar dalam memberikan materiterhadap peserta didik dalam menerima ilmu danmenerapkannya dengan baik. Ditinjau dari tingkatwaktu evaluasi dapat dibedakan menjadi 5 yaituevaluasi harian (ujian harian), evaluasi mingguan(ujian mingguan yang dilaksanakan setelahpembahasan materi usai), evaluasi tengah semester(ujian tengah semester atau UTS), evaluasi akhirsemester (UAS), dan ujian akhir sekolah. Ditinjaudari bentuk soalnya evaluasi dibedakan menjadi duamacam, yaitu evaluasi bentuk subjektif (ujian essay)dan bentuk objektif yaitu memberikan pilihanjawaban kepada peserta ujian, contohnya tes pilihanganda (multiple choice test) (Sukardi, 2007: 159).

Beberapa pengajar (guru) memberikan evaluasidengan menggunakan metode essay. Namun,evaluasi secara essay memiliki beberapa kekurangandiantaranya adalah pengajar membutuhkan waktuyang lama dan tenaga yang lebih dalam melakukanproses pengkoreksian dan penilaian.

Berdasarkan permasalahan yang ada, penelitianini dilakukan guna menguji serta menerapkanjaccard measure terhadap sistem penilaian denganproses pemilahan jawaban berdasarkan tingkatsilmilaritas/ kemiripan jawaban siswa dengan kuncijawaban guru (query) sehingga dapat meningkatkanefektifitas dan efesiensi kinerja guru dalam

memberikan penilaian terhadap siswa. Karenabeberapa alasan inilah yang mendorong penulisuntuk merancang Tugas Akhir yang berjudul“Sistem Penilaian Reading Text pada Mata PelajaranBahasa Inggris Menggunakan Metode JaccardMeasure (Studi Kasus: SMK Al-Qodiri Jember)”.Dengan adanya tugas akhir ini, penulis inginmelakukan pengujian kinerja jaccard measure dalampenilaian evaluasi belajar dengan objek penelitianberupa jawaban evaluasi pembelajaran semestergenap tahun ajaran 2014/2015 mata pelajaranBahasa Inggris.

1.2 Rumusan MasalahBerdasarkan latar belakang yang telah

diuraikan, dapat dirumuskan masalah-masalah yangakan dibahas dalam penelitian ini, antara lain:1. Bagaimana menerapkan pra-proses text mining

dan perhitungan TF/IDF?2. Bagaimana mendeteksi jawaban berdasarkan

similiaritas / kemiripan jawaban menggunakanJaccard Measure?

3. Bagaimana melakukan penilaian terhadapjawaban siswa/i menggunakan sistem penilaianberdasarkan tingkat kemiripan/kesamaanterhadap jawaban guru/kunci jawaban (query)?

4. Bagaiman sistem penilaian ini dapat mengukurkinerja metode Jaccard Measure dalammemberikan penilaian terhadap jawaban siswamenggunakan pengujian tingkat kesalahansistem serta white box texting dan black boxtexting?

2

1.3 Batasan MasalahAgar tidak menyimpang jauh dari permasalahan

yang telah dirumuskan, maka disusun batasanmasalah sebagai berikut:1. Dataset yang digunakan dalam metode Jaccard

Measure merupakan jawaban dari evaluasipembelajaran secara essay yang dilaksakanpada semester genap tahun ajaran 2014/2015.

2. Dataset yang digunakan adalah jawaban siswadari mata pelajaran Bahasa Inggris kelas XI diSMK Al-Qodiri Jember dengan tipe soalreading text.

3. Dataset berjumlah 51, 50 diantaranyamerupakan dokumen uji yang didapat darijawaban siswa dan 1 dokumen diantaranyamerupakan jawaban guru/query sebagaipembanding.

4. Sistem ini tidak melakukan cek artikata/kalimat dan tidak membaca gambar(picture).

5. Penilaian jawaban berdasarkan atas tingkatsimiliaritas terhadap query (kuncijawaban/jawaban guru) dan tidak melakukanpembenaran terhadap jawaban serta tidakmendeteksi plagiarisme.

1.4 TujuanTujuan penelitian ini adalah sebagai berikut:

1. Mendiskripsikan proses text mining danpembobotan TF-IDF dengan perhitunganrelevansi similiaritas jawaban menggunakanJaccard Measure.

2. Memberikan nilai akhir pada jawaban essaydengan tipe soal reading text berdasarkan hasilperhitungan Jaccard Measure.

3. Mempergunakan sistem supaya bisadioperasikan ditahun ajaran berikutnya.

4. Dapat mengetahui hasil dari kinerja JaccardMeasure dalam sistem penilaian jawaban essaydengan tipe soal reading text pada matapelajaran Bahasa Inggris.

1.5 ManfaatManfaat yang diperoleh dari hasil penelitian ini

adalah sebagai berikut:1. Dapat mengurangi waktu tenaga pengajar

(guru) dalam pengoreksian jawaban essaydengan tipe soal reading text.

2. Dapat membantu tenaga pengajar dalammendeteksi/mengetahui kesamaan antarjawaban guru dan peserta didik, sehingga dapatmemberikan kemudahan dalam prosespenilaian.

3. Peneliti dapat mengetahui kinerja metodeJaccard Measure dalam memberikan penilaianpada mata pelajaran Bahasa Inggris.

2. TINJAUAN PUSTAKA2.1 Sejarah SMK Al-Qodiri Jember

Sekolah Menengah Kejuruan Al-Qodirididirikan pada tanggal 29 Juli 2011, berada didalamkomplek Pondok Pesantren Al-Qodiri, jalanManggar 139 A RT : 02 RW : 14 Gebang PatrangJember Jawa Timur.

2.2 Pengertian Sistem PenilaianSistem penilaian adalah suatu rangkaian

perintah dan prosedur yang dijalankan secarabersama-sama dan saling berhubungan dengantujuan mengolah masukan sistem (input) danmenghasilkan suatu keluaran (output) berdasarkankomponen-komponen sistem tersebut denganbatasan-batasan tertentu untuk mencapai suatutujuan dan fungsi penilaian.

2.3 Pengertian Mata Pelajaran Bahasa InggrisMata pelajaran Bahasa Inggris merupakan

mata pelajaran adaptif, yang bertujuan membekalikemampuan peserta didik dalam berkomunikasiBahasa Inggris dalam konteks material komunikasiyang diperlukan bagi program keahliannya, baikyang bersifat lisan maupun tulis. Di samping itu,mata pelajaran Bahasa Inggris membekalikemampuan berkomunikasi peserta didik dalamkehidupan sehari-hari sesuai dengan tuntutan global.Berdasarkan sistem pembelajaran Kurikulum SatuanPendidikan (KTSP) yang berlaku di Indonesia,Bahasa Inggris memiliki empat kompetensi dasarantara lain: kompetensi membaca (reading),kompetensi menulis (writing), kompetensi berbicara(speaking), dan kompetensi mendengarkan(listening). Secara global, kompetensi membacadievaluasi dengan soal reading text, yaitu berupateks narasi, paparan proses, berita dan lainsebagaianya yang memiliki poin pertanyaan meliputiisi dari bacaan tersebut.

2.4 Pengertian Text MiningMenurut Feldman dan Sanger (2007: 14-16),

Text Mining didefinisikan sebagai prosespengetahuan yang intensif dimana penggunanyamelakukan pengumpulan dokumen menggunakanseperangkat alat analisis. Text mining dilakukanuntuk mengekstrak informasi yang diperlukan darisumber data melalui identifikasi dan eksplorasiterhadap database ataupun data tekstual yang tidakterstruktur. Pada penelitian ini text mining memilikibeberapa tahapan yaitu tahap scaning, case folding,filtering, tokenizing dan stemming.

2.4.1 Case FoldingTahapan case folding adalah suatu proses

pembentukan huruf kecil sehingga kalimat atau textakan dinormalisasikan menjadi huruf kecil secarakeseluruhan.

2.4.2 Tokenizing

3

Tahap tokenizing adalah tahap pemotonganstring input berdasarkan tiap kata yangmenyusunnya. Tokenisasi secara garis besarmemecah sekumpulan karakter dalam suatu teks kedalam satuan kata, bagaimana membedakankarakter-karakter tertentu yang dapat diperlakukansebagai pemisah kata atau bukan.

2.4.3 FilteringTahap Filtering adalah tahap mengambil

kata-kata penting dari hasil token. Bisamenggunakan algoritma stop list (membuang katayang kurang penting) atau word list (menyimpankata penting) dimana menghilangkan ataumembuang kata yang tidak dipakai seperti simbol,tanda baca, kata sambung dan notasi ilmiah sepertiangka yang terdapat pada paragraf didokumentersebut disebut dengan Stop word removal.

2.4.4 StemmingStemming adalah proses pemetaan dan

penguraian berbagai bentuk (variants) dari suatukata menjadi bentuk kata dasarnya. Proses ini jugadisebut sebagai conflation. Proses stemming secaraluas sudah digunakan di dalam pencarian informasi(information retrieval) untuk meningkatkan kualitasinformasi yang didapatkan (Baskoro, Malik danAnshari, 2012). Tahapan stemming yang akandigunakan dalam penelitian ini adalah algoritmastemming porter.

2.5 Algoritma Stemming PorterAlgoritma Stemming porter dikembangkan oleh

Martin Porter pada tahun 1980 di University ofCambridge. Algoritma stemming porter memilikilima tahapan, dan setiap tahapan memiliki aturandan ketentuan tersendiri.

Tahap pertama adalah menghilangkan imbuhanjamak, past participles, present participles danmengubah akhiran “y” ke “I”, (contoh:“generalizations” menjadi “generalization”,“agreed” menjadi “agree”, dan “happy” menjadi“happi”). Tahap kedua adalah peringkasan imbuhanrangkap menjadi tunggal, (contoh: “generalization”menjadi “generalize”, “oscillator” menjadi“oscillate”). Tahap ketiga adalah membuangimbuhan yang belum terbuang pada tahapsebelumnya, (contoh: “generalize” menjadi“general”). Tahap keempat adalah membuang sisaimbuhan yang masih belum terproses di tahapansebelumnya, (contoh: “general” menjadi “gener”,“oscillate” menjadi “oscill”). Tahap kelima adalahmembuang “e” dan huruf konsonan rangkap,(contoh:“attribute” menjadi “attribut”, “oscill”menjadi “oscil”).

2.6 TF/IDF (Term Frequency/ Inverse DocumentFrequency)

Menurut Sulistyo, dkk (2015), Term Frequencymerupakan frekuensi kemunculan suatu kata (term)dalam dokumen. Oleh sebab itu, tf memiliki nilaiyang bervariasi dari satu dokumen ke dokumen laintergantung dari tingkat kepentingan sebuah termdalam sebuah dokumen. Semakin sering suatu termmuncul dalam suatu dokumen, term tersebut akanmemiliki nilai tf yang lebih besar daripada term-termlain yang jarang muncul. Penggunaan faktor tfbelum mencukupi dalam menentukan pembobotan.Untuk itu, diperlukan faktor Inverse DocumentFrequency (idf) yang merupakan sebuah metodestatistik yang mengkarakteristikkan sebuah termdalam keseluruhan pengumpulan dokumen. Idfmerupakan sebuah perhitungan tentang bagaimanaterm didistribusikan secara luas pada pengumpulandokumen. Semakin sedikit dokumen yangmengandung term yang dimaksud, maka nilai idfakan semakin besar. Jika setiap dokumenmengandung term, maka nilai idf dari term tersebutadalah nol (0).

Dalam penelitian ini, algoritma pembobotanTerm Frequency (tf) – Inverse Document Frequency(idf) ditetapkan pada tahap similarity document.Menurut D.L. Lee, dkk (1997) nilai tf-idf diperolehdengan menggunakan persamaan sebagai berikut:

)……(1)

Keterangan := bobot term ke-j terhadap dokumen (i)= jumlah kemunculan term j dalam

dokumen (i)N = jumlah dokumen secara keseleruhan

= jumlah dokumen mengandung term j

Berdasarkan persamaan (1), berapapun besarnyanilai apabila N= j maka untuk perhitungannilai akan memperoleh hasil nol (0). Olehkarena itu, dapat ditambahkan nilai 1 pada sisi ,sehingga perhitungan bobot menjadi:

) + 1…………….(2)

Normaliasasi tf-idf dilakukan dengan formulasebagai berikut:

=

Atau dengan persamaan sebagai berikut:

2.7 Jaccard MeasureMenurut Rolly Intan dan Andrew Defeng

(2006), Jaccard Measure atau Jaccard Coeficientadalah salah satu metoda yang dipakai untukmenghitung similarity antara dua objects (items).

4

Formulasi Jaccard Measure digunakan untukmenghitung similaritas dalam penelitian ini, adalahsebagai berikut:

dimana X dan Y adalah merupakan dokumen yangakan diuji similaritasnya.

2.8 Penelitian TerkaitPenelitian oleh Lukman Hakim (2014) tentang

Sistem Penilaian Otomatis Jawaban Essay BahasaInggris Menggunakan Metode Cosine Measure PadaSistem E-Learning di SMKN 1 Tanggul telahmendasari penyusun dalam melaksanakan penelitianlanjutan mengenai Sistem Penilaian Otomatis. Hasilyang dicapai sistem dengan metode cosine similaritydalam mendeteksi jawaban soal essay dengankriteria Presisi dan Recall adalah sebesar 50% dan33,34%. Oleh karena itu penyusun mencoba untukmenerapkan jaccard measure atau metodependeteksi similaritas dalam lingkup soal readingtext pada mata pelajaran Bahasa Inggris. Jika padapenelitian sebelumnya telah dilakukan denganpengujian hasil kinerja sistem dibandingkan hasilkinerja secara manual mengalami selisih yangsignifikan, diharapkan penelitian kali ini dapatmemperoleh hasil yang maksimal dengan melakukanpengujian tingkat kesalahan sistem serta white boxtesting dan black box testing. Di dalam penelitiankali ini penyusun memilih soal reading text denganlebih memberikan penekanan terhadap pencariansilimaritas terhadap materi reading text.

3.METODOLOGI PENELITIAN3.1 Arsitektur / Desain Sistem

Adapun model / rancangan / arsitektur /desain sistem yang akan digunakan dalam penelitianini adalah seperti berikut :

Keterangan :

a. Pengumpulan data dari hasil evaluasi kenaikankelas XI mata pelajaran Bahasa Inggris SMKAl-Qodiri Jember tahun ajaran 2014/2015.

b. Pemrosesan Text Mining, yang dilakukandengan 5 tahap. Yaitu scanning, case folding,filtering, tokenizing dan stemming.

c. Hasil dari tahapan text mining akan dilakukanperhitungan terhadap term-term denganmenggunakan perhitungan tf/idf.

d. Selanjutnya dilakukan perhitunganmenggunakan jaccard measure gunamengetahui nilai yang diperoleh dari tingkatkemiripan/kesamaan jawaban.

4. HASIL DAN PEMBAHASAN4.1 Data

Data yang akan diolah pada proses pengujiandidapat dari jawaban essay siswa/i SMK Al-QodiriJember tahun ajaran 2014/2015 dari masing-masingjurusan yaitu Akuntansi dan Manajemen Denganjumlah masing-masing dokumen sebagai berikut:

Jurusan JawabanSiswa

Jawaban Guru(Kunci Jawaban)

Akuntansi 1 151Akuntansi 2 17

Multimedia 18Total 50 1

4.2 Rekayasa Uji CobaPada rekaya uji coba akan dilakukan pengujian

terhadap salah satu jawaban siswa. Dalam tahap ini,jawaban siswa dan jawaban guru di input ke dalamproses text mining dengan melakukan tahap filtering,tokenizing, dan stemming.

Gambar 4.2 Hasil Filtering, Tokenizing, danStemming Jawaban Guru dan Siswa

Selanjutnya dilakukan tahapan pembobotan denganmetode perhitungan tf-idf pada masing-masingjawaban siswa dan guru, yang dilanjutkan kepada

5

tahap pencarian nilai similaritas antara jawabansiswa dengan jawaban guru menggunakan metodejaccard measure.

Gambar 4.3 Hasil Tf-idf, dan Jaccard MeasureJawaban Guru dan Siswa

Setelah diperoleh nilai jaccard measure atau nilaisimilaritas jawaban siswa terhadap jawaban guru,selanjutnya akan dilakukan perhitungan nilai siswaberdasarkan nilai jaccard measure yang diperolehsiswa untuk digunakan sebagai nilai akhir. Nilaijaccard measure yang diperoleh oleh siswa darimasing-masing soal adalah 0, 0.261, 0, dan 0.

Tabel 4.4 Hasil Perhitungan Nilai SiswaBerdasarkan Nilai Jaccard Measure

Soal No Nilai Jaccard1 02 0.2613 04 0

Total 0.261Nilai yangdiperoleh 0.261 * 100 = 26.1

Dapat diketahui bahwa jawaban dari soal no1,3, dan 4 tidak memiliki kemiripan dengan jawabanguru, sehingga siswa tersebut memiliki nilai yangrendah. Hal ini dikarenakan jumlah yang diperolehdari tiap-tiap soal berbeda dan kemiripan jawabansiswa dengan jawaban guru sangatlah berbeda. Daritabel tersebut telah diperoleh nilai siswa sebesar26.1 yang akan menjadi nilai akhir yang diperolehsiswa.

4.3 Analisa Pengujian4.3.1 Pengujian Precision dan Recall

Pengujian dilakukan dengan menggunakanrange (jarak), range yang digunakan adalah 100-76,75-51, 50-26 dan 25-0.

Dari dataset ketiga kelas dibagi menjadidua yaitu data training sejumlah 50 dokumen dandata testing sejumlah 1 dokumen yaitu dokumenguru(query) dengan total 51 dokumen pada semuakelas. Didapatkan hasil dari perhitungan nilaiPrecision dan Recall sebagai berikut:

Range Precision Recall100-76 62,50% 76,92%75-51 83.33% 50%50-26 43,75% 87,50%25-0 0% 0%

Rata-rata 35,42% 53,61%

4.3.2 Tingkat Kesalahan SistemPada tahap pengujian peneliti menggunakan

sebuah cara untuk mengetahui tingkat kesalahanyang diperoleh dari metode jaccard measure dalammemberikan penilaian dengan cara menghitungtingkat kesalahan yang dihasilkan oleh sistemtersebut.

Rumus mencari tingkat kesalahan sistemadalah sebagai berikut (Zakiyya, Muhammad. 2014):

Prosentase Kesalahan =Keterangan :

NS = Nilai Sistem, yaitu nilai yang dihasilkansistem dengan penerapan Jaccard Measure.

NM = Nilai Manual, yaitu nilai yang diberikan olehguru terhadap siswa.

Penulis menerapkan metode tingkat kesalahantersebut dalam menguji peneletiannya, sehinggadiperoleh hasil pada masing-masing kelas dengantingkat kesalahan sistem sebagai berikut :

Tabel 4.1 Kelas Akuntansi 1

6

Tabel 4.1 Kelas Akuntansi 2

Tabel 4.1 Kelas Multimedia

Pada kelas Akuntansi 1 dengan siswaberjumlah 15 orang, diperoleh nilai prosentasekesalahan paling tinggi yang dihasilkan antarapenilaian guru/ penilaian manual dengan penilaiansistem adalah 28.8% dan prosentase kesalahanpaling rendah adalah 5.1%. Sehingga didapatkanrata-rata dari kesalahan sistem dibandingkan denganpenilaian manual adalah sebesar 18.3% dengan totalselisih nilai rata-rata 16.97%.

Pada kelas Akuntansi 2 dengan siswaberjumlah 17 orang, diperoleh nilai prosentasekesalahan paling tinggi yang dihasilkan antarapenilaian guru/ penilaian manual dengan penilaiansistem adalah 59.6% dan prosentase kesalahanpaling rendah adalah 5.1%. Sehingga didapatkanrata-rata dari kesalahan sistem dibandingkan denganpenilaian manual adalah sebesar 17.9% dengan totalselisih nilai rata-rata sebesar 11.9%.

Pada kelas Multimedia dengan siswaberjumlah 18 orang, diperoleh nilai prosentasekesalahan paling tinggi yang dihasilkan antarapenilaian guru/ penilaian manual dengan penilaiansistem adalah 28.8% dan prosentase kesalahan

paling rendah adalah 11.0%. Sehingga didapatkanrata-rata dari kesalahan sistem dibandingkan denganpenilaian manual adalah sebesar 21.9% dengan totalselisih nilai rata-rata 17.0%.

Untuk mengetahui rata-rata dari tingkatkesalahan yang diperoleh untuk setiap kelas adalahdengan menjumlahkan nilai kesalahan yang dimilikisistem pada tiap kelas kemudian dibagikan denganjumlah kelas yang ada, sehingga diperoleh hasilseperti pada tabel berikut ini:

Kelas Selisih Nilai TingkatKesalahan (%)

Akutansi 1 16.97 18.3

Akutansi 1 11.9 17.9

Manajemen 17.0 21.9

Rata-rata 15.3 19.4

Dari tabel diatas dapat disimpulkan bahwasistem ini memiliki tingkat kesalahan sebesar 19.4%dengan rata-rata selisih nilai antara nilai sistemdengan nilai yang diberikan oleh guru sejumlah15.3%.

4.3.3 Black Box dan White Box1. Pengujian White Box

Pada pengujian sistem pengujian sistem inimenggunakan sistem pengujian white box, berikutmerupakan usecase dari sistem pengujian penerapanJaccard Measure dalam sistem penilaian :

Dari usecase diatas dapat dijelaskan bahwasetiap menu yang dapat diakses oleh masing-masinguser berbeda. Untuk user ADMIN dapat mengaksesbeberapa menu, salah satunya yaitu dapat mengeloladata guru (melihat data, menginputkan data,edit/mengubah data, dan menghapus data). Untukuser GURU dapat mengakses beberapa menu, salahsatunya yaitu mengelola soal (melihat soal,

7

menginputkan soal, edit/mengubah soal, danmenghapus soal), untuk user SISWA dapatmenjawab soal yang diberikan, dan melihat hasilnilai ujian.

Setiap menu yang ada terdapat sebuahaktivitas yang dilakukan oleh user untuk mengaksesmenu tersebut yang dapat digambarkan di dalamsebuah diagram aktivitas. Untuk mengakseskeseluruhan menu, user harus masuk terlebih dahulu(login). Setiap kode user memiliki akses yangberbeda untuk mengoperasikan sistem. Berikutadalah diagram aktivitas dari menu login.

Gambar 4.5. Aktivitas Menu LoginUser (Pengguna) Sistem

Menu Navbar

Menu Login

Memasukkan Nama Pengguna danPassword

Menerima Masukan Nama danPassword

Benar

Memulai SessionMenampilkan Menu sesuai Kode Akses/Session

Menampilkan Menu Login

Meproses Perintah

Meproses Perintah

Ya

Tidak

2. Pengujian Black BoxDalam pengujian alur sistem menggunakan

metode Black Box untuk menemukan kesalahandalam sistem, pengujian ini dapat dilihat pada tabelpengujian Black Box sebagai berikut :

Tabel 4.5 Pengujian Black Box

Berdasarkan dari hasil pengujian denganmenggunakan metode Black Box pada data di atasdapat diambil kesimpulan bahwa sistem ini secarafungsional telah memberikan hasil dari setiap prosessesuai dengan yang diharapkan.

5. KESIMPULAN DAN SARAN5.1 Kesimpulan

Dari uji coba dan analisa yang telah dijelaskandalam bab sebelumnya, maka dapat diambilbeberapa kesimpulan sebagai berikut :1. Pada perhitungan TF/IDF yang sudah dilakukan

bahwa semakin banyak term pada jawabansiswa, maka bobot hubungan antara jawabansiswa terhadap query (jawaban guru) akansemakin besar dalam perhitungan jaccardmeasure.

2. Karena sistem ini menerapkan jaccard measuredan text mining, maka nilai yang didapat olehsistem memiliki selisih dengan nilai yangdiberikan oleh guru yaitu sebesar 162.6.

3. Penilaian yang diberikan merupakan penilaiandari hasil kemiripan guru dengan jawaban siswadengan menghitung persentase kemiripanjawaban.

4. Pengujian dokumen menggunakan caramenghitung tingkat kesalahan yang dimiliki olehsistem, sistem memiliki tingkat kesalahan rata-rata sebesar 10.4%.

5.2 SaranPenulis ingin memberikan beberapa saran yang

mungkin dapat membantu dalam pengembanganselanjutnya pada Tugas Akhir ini adalah sebagaiberikut :1. Untuk pengembangan selanjutnya, penulis

menyarankan penggunaan metode lain sepertiRabbin Karp atau Levenshtein Distance.

2. Dalam penilitian ini, penulis hanya berfokuskepada penilaian jawaban, diharapkan padapenelitian selanjutnya terdapat tambahan sepertipendeteksi plagiat, sehingga sistem penilaiandapat memberikan manfaat lebih kepada gurudan siswa.

3. Untuk tahap pengembangan selanjutnya penulismenyarankan peneliti menambahkan deteksisinonim, antonim, dan pengenalan terhadapBahasa Natural.

DAFTAR PUSTAKA:Arrosyida, Rizqa. 2012. Sistem Penilaian Otomatis

Jawaban Essay Menggunakan DeteksiSimilarity. Skripsi Terpublikasi. Surabaya:Universitas Pembangunan NasionalVeteran.

Baskoro, Daniel Oscar; Habib Malik; MuhammadHafidz Anshari. 2012. Porter Stemmer

8

Information Retrieval. Yogyakarta:Universitas Gajah Mada.

Chuang, Chia-Jui. 2012. Estimation Of SimilarityIndices via Two- Sample JackknifeProcedure. Taicung: National Chung HsingUniversity.

Dikli, Samire. 2006. Automated Essay Scoring.Florida: Florida State University.

Feldman, Ronen; James Sanger . 2007. Text MiningHand Book. New York: CambridgeUniversity Press.

Gautam, Jyoti; Ela Kumar. 2013. An Integrated andImproved Approach to Terms Weighting inText Classification. Greater Noida: Schoolof Information and CommunicationsTechnology Gautam Buddha University.

Hakim, Lukman. 2014. Sistem Penilaian OtomatisJawaban Essay Menggunakan MetodeCosine Measure Pada Sistem E-Learning,Jember: Universitas MuhammadiyahJember.

Harlian, Milkha. 2006. Text Mining. Surabaya:Universitas Negeri Surabaya.Hasanah, Ainun; Ratih, Ayuninghemi. 2013.

Penerapan Maximum Marginal RelevanceDalam Peringkasan Teks, Jember:Universitas Muhammadiyah Jember.

Jogiyanto. 2005. Analisis dan Desain SistemInformasi. Yogyakarta: Andi.

Kadir, Abdul. 2003. Pengenalan Sistem Informasi.Yogyakarta: Andi.

Kara, Wahiba Ben Abdessalem. 2013. A NewStemmer To Improve Information. Tunisia:University Of Tunis.

Lee, D.L.; H. Chuang; K. Seamons. 1997. DocumentRanking and the Vector Space Model. IEEESoftware, vol. 14, Issue 2, pp. 67 – 75.

Lemaire, B; Desusu, P. 2001. A Sistem To Asses TheSemantic Content Of Studen Essays. JurnalOf Educational Computing Research.

Ramos, Juan. Using TF-IDF to Determine WordRelevance in Document Queries. RutgersUniversity

Sudjana, Nana. 1995. Penilaian Hasil ProsesBelajar Mengajar. Bandung: PT RemajaRosdakarya.

Sukardi, 2007. Evaluasi Pendidikan Prinsip &Operasionalnya. Jakarta: Alfabeta.

Sulistiyo, Meiyanto Eko; Ristu Saptno; AdamAsshidiq. 2015. Penilaian Ujian BertipeEssay Menggunakan Metode Tex Similarity.Surakarta: Universitas Sebelas Maret.

Sutabri, Tata. 2003. Analisa Sistem Informasi.Yogyakarta: Andi.

Waegel, Daniel. 2011. The Porter Stemmer. Austin:University of Texas.

Widodo, Agung; Ratih, Ayuninghemi; Deni,Arifianto. 2012. Menentukan Topik darisebuah Tugas Akhir Menggunakan JaccardMeasure. Jember: UniversitasMuhammadiyah Jember.

Xia, Tian; Yanmei, Chai. 2011. An Improvement toTF-IDF : Tem Distribution based TermWeight Algorithm. Journal Of Software;vol.6. No.3.

Zakiya, Muhammad. 2014. Sistem PenilaianOtomatis Jawaban Esai MenggunakanAlgoritma Levenshtein Distance. Malang:Universitas Brawijaya Malang.