Analisis Butir Soal, Reliabilitas dan

Validitas

Oleh :Nurul Kami sani

Analisis Butir soal

Kegiatan yang harus dilakukan untuk meningkatkan mutu soal yang telah ditulis

Proses pengumpulan, peringkasan, dan penggunaan informasi dari jawaban siswa untuk membuat keputusan tentang setiap penilaian.

TUJUAN 1.Untuk mengkaji dan menelaah setiap butir soal agar diperoleh soal yang bermutu sebelum soal digunakan

2.Membantu meningkatkan tes melalui revisi atau membuang soal yg tidak efektif

3.Mengetahui informasi diagnostik pada siswa apakah mereka sudah/belum memahami materi yang telah diberikan

Kegiatan analisis butir soal didesain untuk menjawab

pertanyaan

Apakah fungsi soal

sudah tepat?

Apakah soal sudah memiliki tingkat kesukaran yang tepat?

Apakah soal bebas dari hal-hal yang tidak relevan ?

Apakah pilihan jawabannya efektif?Linn dan Gronlund (1995: 315)

Analisis butir soal

Analisis Kualitatif

Analisis Kuantitatif

Ditinjau dari segi

• Tekhnis

• Editorial

• Isi

Ditelaah dari segi :• Tingkat kesukaran

• Daya pembeda

• Reliabilitas

Ditinjau dari segi

Analisis butir soal

Validitas

Reliabilitas

Tingkat Kesuka

ran

Daya Pembe

da

Distraktor

Analisis butir soal

manual

komputer

kalkulator

kalkulator scientifics atau kalkulator statistik, misalnya seperti Casio fx - 3600P

• EXCEL• SPSS• ITEMAN• ANATES• ASCAL• BILOG

Tingkat kesukaran soalButir-buti soal tes hasil belajar dapat dinyatakan baik, apabila butir-butir soal memiliki derajat kesukaran item sedang atau cukup

Tes Pilihan Ganda

ANALISIS DATA DENGAN CARA MANUAL

Panduan analisis butir soal, Departemen pendidikan Nasional (2008)

Tes Uraian

Daya Pembeda soalKemampuan suatu butir soal

membedakan antara siswa yg telah menguasai materi yang ditanyakan dan siswa yang tidak/ kurang/ belum menguasai materi yang ditanyakanUntuk soal

pilihan ganda

Untuk soal uraian

Validitas Item

(Sumarna. 2004)

Reliabilitas

Tekhnik belah dua

Tekhnik non belah dua

Formula Spearman-BrownFormula RulonFormula Flanangan

Formula KR-20Formula KR-21

Untuk mengetahui tingkat ketepatan dan keajegan (consistency) skor tes.

Distraktor

• Distraktor adalah suatu pola yang menggambarkan bagaimana peserta tes menentukan pilihan jawabannya terhadap kemungkinan-kemungkinan jawaban yang telah dipasangkan pada setiap butir item.

• Bertujuan untuk mengecoh mereka yang kurang mampu (tidak tahu) untuk dibedakan dengan yang mampu (lebih tahu).

• Distraktor dinyatakan telah dapat menjalankan fungsinya dengan baik apabila distraktor tersebut sekurang-kurangnya sudah dipilih oleh 5% dari seluruh peserta tes.

2/3 + 1/5 = …A. 10B. 15C. 20D. 13/15

Pengecoh harus berfungsiSoal yang kurang baik:

Catatan:

Pengecoh A, B, dan C kemungkinan tidak berfungsi karena tidak umum dijawab oleh siswa

2/3 + 1/5 = ….A. 3/8B. 3/5C. 2/15D. 13/15

Pengecoh harus berfungsiSoal yang baik:

Responsi Butir Soal

Dari hasil analisa terhadap taraf kesukaran butir, maka soal nomor 1, 2, 3, 4, 6, 7, dan 8 termasuk ke dalam kategori soal mudah dan sisanya soal nomor 5, 8, dan 10 termasuk ke dalam kategori soal sukar.

Responsi Butir Soal Stelah Skoring

Daya Pembeda Kelompok Atas

Daya Pembeda Kelompok bawah

Kategori Indeks Daya Pembeda

Hasil Daya Pembeda

Hasil Fungsi Distraktor pada soal no.1

Dengan melihat hasil perhitungan di samping maka distraktor yang berfungsi hanya opsi B, karena telah mencapai hasil > 0.05. Sedangkan yang 0.8 tidak dihitung karena merupakan kunci jawabannya.

ANALISIS DATA DENGAN PROGRAM ITEMAN

• validitas setiap butir (daya pembeda, tingkat kesukaran, proporsi jawaban pada setiap option),

• reliabilitas (KR-20/Alpha), • standar error of measurement, • mean, • variance, • standar deviasi, • skew, • kurtosis untuk jumlah skor pada jawaban benar, skor

minimum dan maksimum, skor median, dan frekuensi distribusi skor,

Contoh

Analisis untuk 40 butir soal yang diujikan pada 98 peserta tes.Hasil analisis butir soal dengan program iteman ditampilkan secara keseluruhan

Keterangan Tabel Hasil Analisis dgn PROGRAM ITEMAN:1.Seq. No. adalah nomor urut butir soal dalam file data2.Scala item = nomor urut butir soal dalam skala (tes/subset)3.Prop. Correct (indeks tingkat kesukaran) = proporsi siswa

(peserta tes) yang menjawab benar butir soal. Nilai ekstrim (mendekati nol atau satu) menunjukkan bahwa butir soal tersebut terlalu sukar atau terlalu mudah untuk peserta tes.

11/25/2009 24file_nrustaman@yahoo.com_09

ANALISIS DATA DENGAN PROGRAM ITEMAN

4. Biser (indeks daya pembeda soal) menggunakan koefisien korelasi biserial. Nilai positif menunjukkan peserta tes yang menjawab benar butir soal, mempunyai skor yang relatif tinggi dalam tes/skala tersebut. Sebaliknya nilai negatif menunjukkan bahwa peserta tes yang menjawab benar butir soal, memperoleh skor yang relatif rendah dalam tes/skala tersebut.

Dalam beberapa buku evaluasi, hasil analisis ini mewakili hasil analisis validitas butir soal.

5. Point-Biser adalah indeks daya pembeda soal dan pilihan jawaban (alternatif) dengan menggunakan koefisien korelasi point biserial rpbi.

Nilai -9,000 artinya statistik butir soal atas pilihan jawaban tidak dapat dihitung. Hal ini terjadi karena peserta tes tidak ada yang memilih pilihan jawaban tersebut.

6. Kunci jawaban (Key) ditandai dengan tanda *.

7. Prop. Endorsing adalah proporsi siswa yang menjawab benar.

MicroCAT (tm) Testing SystemCopyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation

Item and Test Analysis Program -- ITEMAN (tm) Version 3.00Item analysis for data from file UCT.TXT Page 1

Item Statistics Alternative Statistics ----------------------- -----------------------------------Seq. Scale Prop. Point Prop. PointNo. -Item Correct Biser. Biser. Alt. Endorsing. Biser. Biser. Key---- ----- ------- ------ ------ ----- --------- ------ ------ --- 1 0-1 0.551 0.506 0.402 A 0.092 - 0.334 - 0.191 B 0.551 0.506 0.402 * C 0.041 - 0.489 - 0.217 D 0.316 - 0.287 - 0.220 Other 0.000 - 9.000 - 9.000

7 0-7 1.000 -9.000 -9.000 A 0.000 - 9.000 - 9.000 B 0.000 - 9.000 - 9.000 C 0.000 - 9.000 - 9.000 D 1.000 - 9.000 - 9.000 * Other 0.000 - 9.000 - 9.000 26

MicroCAT (tm) Testing SystemCopyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation

Item and Test Analysis Program -- ITEMAN (tm) Version 3.00Item analysis for data from file UCT.TXT Page 2

Item Statistics Alternative Statistics ----------------------- -----------------------------------Seq. Scale Prop. Point Prop. PointNo. -Item Correct Biser. Biser. Alt. Endorsing. Biser. Biser. Key---- ----- ------- ------ ------ ----- --------- ------ ------ ---22 0-22 0.408 0.378 0.299 A 0.010 0.763 0.206 B 0.561 - 0.396 - 0.314 C 0.408 0.378 0.299 * D 0.020 - 0.234 - 0.081 Other 0.000 - 9.000 - 9.000

31 0-31 0.500 -0.052 -0.041 A 0.337 0.173 0.134 B 0.020 0.471 0.164?

CHECK THE KEY C 0.143 - 0.291 - 0.188 D was specified, B works better D 0.500 - 0.052 - 0.041 * Other 0.000 - 9.000 - 9.000

There were 98 examinees in the data file.Scale Statistics---------------- Scale: 0 -------N of Items 40N of Examinees 98Mean 17.469Variance 38.208Std. Dev. 6.181Skew 0.572Kurtosis -0.526Minimum 6.000Maximum 32.000Median 16.000Alpha 0.807SEM 2.713Mean P 0.437Mean Item-Tot. 0.352Mean Biserial 0.47

28

Keterangan

1. Kriteria Tingkat kesukaran (prop,correct) dan Validitas Butir Soal (Biser) disesuaikan dengan kriteria yang digunakan.

2. Kualitas pengecoh dapat dilihat dari Daya Pembeda, dan hasilnya ditunjukkan dari analisis Point Biserial yang ada di Alternative Statistics. Pengecoh yang baik jika hasil point biser negatif artinya: yang terkecoh adalah yang kelompok bawah. Sebaliknya, kunci jawaban yang baik jika daya pembedanya positif.

3. Reliabilitas seluruh naskah dapat dilihat dari nilai alpha.

TAFSIRAN HASIL ANALISIS BUTIR SOAL dengan PROGRAM ITEMAN

Butir soal no.1: Kunci jawaban dan pengecoh baik.

Butir soal no.7: Kunci jawaban D, dengan prop. endorsing (proporsi siswa yang menjawab benar) = 1 yang berarti semua siswa menjawab benar. Pengecoh A, B, dan C tidak berfungsi.

Butir soal no.22: Pengecoh A harus direvisi karena hasil Point Biser (+) yang terkecoh kelompok atas.

Butir soal no.31: Pengecoh A dan B harus direvisi karena Hasil Point Biser (+) yang terkecoh kelompok atas. Kunci jawaban adalah D (hasilnya negatif/kunci tidak berfungsi)Kunci jawaban diminta dicek, karena hasil yang ditunjukkan B bagus.

Average/Mean = 17.48Deviation Standard = 6.20

Folder Name: E:\LIMITTED TRY-OUT\LIMITTED TRY-OUT DATA.ANA

Nomor Nomor No. Butir Baru -----> Skor 1 2 3 4 5 6 7 8 … dst sd 40Urut Subyek No. Butir Asli ---> 1 2 3 4 5 6 7 8 … dst sd 40Nama Subyek | Kunci -> b d c c d b d a … dst sd 40 1 1 1 19 1 1 1 1 - - 1 1 … dst sd 40 2 2 2 17 1 - - 1 - - 1 1 … dst sd 40 3 3 3 25 1 - 1 1 - 1 1 1 … dst sd 40 4 4 4 30 1 1 1 - 1 1 1 1 … dst sd 40 5 5 5 19 1 - 1 - - - 1 1 … dst sd 40 6 6 6 32 1 1 - 1 1 - 1 1 … dst sd 40 7 7 7 24 1 - 1 1 - - 1 1 … dst sd 40 8 8 8 19 1 1 1 1 - - 1 1 … dst sd 40 9 9 9 24 - - 1 1 - - 1 - … dst sd 40 10 10 10 29 1 1 1 1 - 1 1 1 … dst sd 40 dst… sd 98

1. Skor data

ANALISIS DATA DENGAN PROGRAM ANATES

2. Reliabilitas

Mean = 17.48Standard Deviation = 6.20XYCorrelation = 0.68Reliability of Test = 0.81

Folder Name : E:\LIMITTED TRY-OUT\DATA OF LIMITTED TRY-OUT.ANA No.Urut No. Subyek Kode/Nama Subyek Skor Ganjil Skor Genap Skor Total 1 6 6 16 16 32 2 12 12 19 13 32 3 4 4 16 14 30 4 23 23 15 15 30 5 38 38 16 14 30 6 10 10 15 14 29 7 48 48 13 16 29 8 34 34 13 15 28 9 45 45 13 15 28 10 19 19 14 13 27 dst … sd 98 file_nrustaman@yahoo.com_09 32

3. DAYA PEMBEDA

Number of Subjects = 98Upper/Lower Groups (n) = 26Number of test items = 40

Folder Name: E:\LIMITTED TRY-OUT\DATA OF LIMITTED TRY-OUT .ANA

No Butir Baru No Butir Asli Kel. Atas Kel. Bawah Beda Indeks DP (%) 1 1 22 9 13 50.00 2 2 13 1 12 46.15 3 3 19 8 11 42.31 4 4 13 2 11 42.31 5 5 13 1 12 46.15 6 6 16 3 13 50.00 7 7 26 26 0 0.00 8 8 20 5 15 57.69 9 9 9 0 9 34.62 10 10 25 14 11 42.31 dst… sd 40

4. TINGKAT KESUKARAN

Number of Subject = 98Number of Test Items= 40Folder Name: E:\LIMITTED TRY-OUT\DATA UOF LIMITTED TRY-OUT.ANA

New number Original Number # Correct Diff.Index(%) Interpretation 1 1 54 55.10 Average 2 2 21 21.43 Difficult 3 3 47 47.96 Average 4 4 29 29.59 Difficult 5 5 18 18.37 Difficult 6 6 35 35.71 Average 7 7 98 100.00 Very easy 8 8 53 54.08 Average 9 9 10 10.20 Very Difficult 10 10 77 78.57 Easy etc … up to 40

Note:Interpretation of Test Item Difficulty index is adapted to the criterion being used.

5. KORELASI SKOR BUTIR DENGAN SKOR TOTAL VALIDITAS BUTIR SOAL

Jumlah Subyek= 98Butir Soal = 40

Nama berkas: E:\UJI COBA TERBATAS\DATA UJI TERBATAS.ANA

No Butir Baru No Butir Asli Korelasi Signifikansi 1 1 0.402 Sangat Signifikan 2 2 0.507 Sangat Signifikan 3 3 0.369 Signifikan 4 4 0.373 Signifikan 5 5 0.514 Sangat Signifikan 6 6 0.391 Signifikan 7 7 NAN NAN 8 8 0.470 Sangat Signifikan 9 9 0.564 Sangat Signifikan 10 10 0.335 Signifikan dst … sd 40

Catatan:Kriteria signifikansi tidaknya butir soal disesuaikan dengan hasil korelasi product moment sesuai dengan taraf signifikansi yang diinginkan.

6. KUALITAS PENGECOH

Jumlah Subyek= 98Butir Soal= 40

Nama berkas: E:\UJI COBA TERBATAS\DATA UJI TERBATAS.ANA No Butir Baru No Butir Asli a b c d * 1 1 9+ 54** 4- 31--- 0 2 2 12- 6-- 59--- 21** 0 3 3 14++ 25+ 47** 12+ 0 4 4 0-- 57--- 29** 12+ 0 5 5 59--- 5-- 16+ 18** 0 6 6 11+ 35** 38-- 14+ 0 7 7 0 0 0 98** 0 8 8 53** 28-- 9+ 8+ 0 9 9 15+ 37+ 36++ 10** 0 10 10 3- 77** 17--- 1-- 0

Catatan:Hasil analisis kualitas pengecoh yang ditunjukkan berdasarkan banyaknya peserta tes yang menjawab benar, tetapi belum memperlihatkan apakah yang terkecoh kelompok atas atau kelompok bawah. Pengecoh yang baik adalah jika yang terkecoh adalah kelompok bawah.

Keterangan: ** : Kunci

Jawaban++: Sangat Baik+ : Baik- : Kurang Baik-- : Buruk---: Sangat Buruk

11/25/2009 file_nrustaman@yahoo.com_09 36

Sekian & Terima Kasih