i

Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR):

Suatu upaya untuk mengetahui kemampuan dosen membuat soal dan kemampuan

mahasiswa menjawab soal

Hikmah Muktamiroh

Mila Citrawati

Anisah

Dipresentasikan pada

The 8th Jakarta Meeting on Medical Education,

Fakultas Kedokteran Universitas Indonesia

14-15th Nopember 2015

Fakultas Kedokteran

Universitas Pembangunan Nasional Veteran Jakarta

2015

ii

DAFTAR ISI

Halaman

Halaman Judul .....………………………………….……........ i

Daftar Isi ..…………………………..……….…………. ii

Abstrak ……………………………………………… iii

BAB I Pendahuluan ........................................................................... 1

BAB II Teori ………………………………………………………. 3

BAB III Metode .................................................................................... 5

BAB IV Hasil dan Pembahasan ............................................................. 6

BAB V Penutup ………………………………………………………….. 9

Daftar Pustaka .......................................................................................... 9

Lampiran :

Arsip presentasi

iii

Evaluation on MCQ OSPE question analysis based on Digital Mark Reader (DMR) as

ameans to ascertain lecturer ability to create MCQ and student ability answering question

Hikmah Muktamiroh, Mila Citrawati, Anisah

Faculty of Medical Universitas Pembangunan Nasional “Veteran” Jakarta

hikmah.oar@gmail.com, milacitra@gmail.com, anisah_bw@yahoo.com

Background: Laboratory activity (Lab Act) was done to sustain tutorial and lecture learning

methods. Those activity was done from semester 1 until semester 7 in accordance with the

running block. Assessment was done by MCQ (Multiple Choice Question) on OSPE (Objective

Srtuctured Practical Examination) which is done integrated by departement involved in the

block. On those assessment result, evaluation must be done to ascertain student ability

answering MCQ and lecturer ability to create MCQ. Lecturer ability to create MCQ and student

ability answering MCQ needed to know so lecturer could make an effort to follow up.

Objective: Knowing student ability answering MCQ on OSPE, knowing lecturer ability to

create MCQ’s distinguishing power and determine follow up from evaluation result.

Methods: Student’s MCQ answer will be evaluated using Digital Mark Reader (DMR)

software. Evaluation was done individually dan comprehensively. Based on student answer

comprehensively on a goal, item difficulty level will be known. Item difficulty level based on

DMR evaluation was compared to item difficulty level according to lecturer evaluation result.

Item difficulty level and distinguishing power evaluation result will determined learning follow

up. Evaluation carried out in the 2 nd. 4 th and 6 th semester 2014/2015.

Result: Based on DMR, there was some less distinguish power of MCQ. There was few item

with difficulty level based on DMR which has suitability with item difficulty level based on

lecturer assessment. On contrast, there was few item with difficulty level based on DMR which

has no suitability with item difficulty level based on lecturer assessment. There was effort plan

to follow up on those evaluation result

iv

Conclusion: Evaluation on analysis of MCQ OSPE question based on Digital Mark Reader

(DMR) needed to be compared with item dfficulty level based on lecturer assessment and with

distinguishing power. Evaluation by this means is further illustrate lecturer ability to create

MCQ and the end, student ability answering item.

Key words:

Assessment, evaluation, difficulty level, distinguishing power, Digital Mark Reader (DMR),

lecturer perception

v

Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR)

sebagai upaya untuk mengetahui kemampuan mahasiswa menjawab soal

Hikmah Muktamiroh, Mila Citrawati, Anisah Bahaswan

FK UPN “Veteran” Jakarta

Contact person: hikmah.oar@gmail.com,

milacitra@gmail.com,

anisah_bw@yahoo.com

LatarBelakang:

Kegiatan Laboratorium Activity (Lab Act) dilakukan untuk menopang metode pembelajaran

tutorial dan kuliah. Kegiatan tersebut dilakukan dari semester 1 hingga semester 7, sesuai

dengan blok berjalan. Assessment kegiatan tersebut dilakukan dengan MCQ (Multiple Choice

Question) pada OSPE (Objective Structured Practical Examination) yang dilakukan secara

terintegrasi oleh departemen yang terlibat dalam blok. Terhadap hasil assessment tersebut

harus dilakukan evaluasi untuk mengetahui kemampuan mahasiswa menjawab soal MCQ.

Kemampuan mahasiswa menjawab soal MCQ perlu diketahui agar dosen dapat membuat

upaya tindak lanjut.

Tujuan:

Mengetahui kemampuan mahasiswa menjawab soal MCQ pada OSPE dan menentukan

tindak lanjut hasil evaluasi.

Metode:

Jawaban MCQ mahasiswa akan dievaluasi menggunakan soft ware Digital Mark Reader

(DMR). Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban

mahasiswa secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal.

Tingkat kesukaran soal berdasar hasil evaluasi DMR dibandingkan dengan tingkat kesukaran

soal bagi mahasiswa menurut hasil evaluasi staf pengajar. Hasil Evaluasi tingkat kesukaran

soal oleh mahasiswa akan menentukan tindak lanjut pembelajaran.

Hasil:

Terdapat beberapa soal dengan tingkat kesukaran soal berdasar DMR yang memiliki

kesesuaian dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Sebaliknya,

vi

terdapat pula beberapa soal dengan tingkat kesukaran soal berdasar DMR yang tidak sesuai

dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Didapatkan rencana upaya

tindak lanjut terhadap hasil evaluasi tersebut.

Kesimpulan:

Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) perlu

dibandingkan dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Evaluasi

dengan cara ini ini dapat lebih menggambarkan kemampuan mahasiswa menjawab soal.

Kata kunci: Assessment, evaluasi, tingkat kesukaran, Digital Mark Reader (DMR), persepsi

staf pengajar

1

BAB I

PENDAHULUAN

Sejak 2006, Fakultas Kedokteran Universitas Pembangunan Nasional telah melakukan

Kurikulum Berbasis Kompetensi. Kurikulum tersebut memuat pembelajaran ilmu kedokteran

yang terbagi dalam blok sistem yang ditunjang dengan praktikum (Laboratorium Activity/ Lab

Act) di departemen untuk memperkuat retensi pembelajaran materi ilmu dasar dan kegiatan

ketrampilan klinik untuk seawall mungkin mahasiswa memiliki ketrampilan klinis.

Pengaturan kegiatan Laboratorium Activity yang digunakan untuk menopang metode

pembelajaran tutorial dan kuliah tersebut dilakukan dari semester 1 hingga semester 7, sesuai

dengan blok berjalan. Misalnya pada blok Gastrointestinal system (Sistem pencernaan) maka:

1) Departemen Anatomi akan menyampaikan fisiologi saluran pencernaan;

2) Departemen Fisiologi akan menyampaikan fisiologi sistem pencernaan; 3) Departemen

Histologi akan menyampaikan materi jaringan sakit sistem pencernaan; 4) Departemen

Patologi Anatomi akan menyampaikan materi jaringan sakit sistem pencernaan;

5) Departemen Mikrobiologi akan menunjukkan aneka bakteri dan virus di sistem

pencernaan; 6) Departemen Parasit akan menunjukkan aneka bakteri dan virus di sistem

pencernaan; 7) Departemen Patologi Klinik akan menunjukkan beberapa pemeriksaan

laboratorium pada darah, urin dan lainnya yang berkaitan dengan gangguan pada sistem

pencernaan; 8) Departemen Farmakologi akan menunjukkan beberapa jenis obat berikut cara

metabolism dan cara kerja obat di tubuh, cara ekskresi obat, waktu mulai kerja obat (onset of

action), lama kerja obat (duration of action), cara pemberian obat efek sampingnya terhadap

tubuh dan lain sebagainya.1

Terhadap semua pembelajaran tersebut di atas, tak berbeda dengan kurikulum konvensional,

pada kurikulum berbasis kompetensi, juga dilakukan asesmen terhadap pembelajaran.

Asesmen tersebut meliputi ujian SOCA (Structural Objective Case Analyzed) yaitu ujian

lisan, OSPE (Objective Structured Practical Examination), MDE (Multiple Discipline

Examination), dan OSCE (Objective Structured Clinial Examination) yang merupakan ujian

untuk menguji ketrampilan klinis. Secara khusus, asesmen pembelajaran di lab act adalah

MDE dan OSPE, meskipun pada beberapa ujian yang lain, pembelajaran di lab act yang

berkaitan dengan ketrampilan klinik juga diujikan di OSCE. MDE (dengan soal Multiple

Choice Question – MCQ atau pilihan ganda) dan OSPE dilakukan secara terintegrasi oleh

departemen yang terlibat dalam blok. 2

2

Ujian MDE dan OSPE dilakukan berbasis paper, dengan memberikan tanda silang di lembar

kertas jawaban yang telah didesain untuk dikoreksi dengan komputer yang telah diprogram

dengan program tertentu, dengan melalui tahap scanning jawaban dahulu.

Demi terlaksananya peningkatan proses pembelajaran, asesmen yang dilakukan terhadap

mahasiswa perlu di evaluasi agar kita mengetahui valid tidaknya asesmen yang dilakukan,

untuk mengetahui kemampuan dosen membuat soal dan kemampuan mahasiswa menjawab

soal. Makalah ini merupakan makalah hasil peninjauan evaluasi terhadap analisa pertanyaan

MCQ OSPE berdasar Digital Mark Reader (DMR) sebagai upaya untuk mengetahui

kemampuan mahasiswa menjawab soal. 2

3

BAB II

TEORI

Asesmen merupakan cara untuk mendorong mahasiswa agar belajar lebih baik. Asesmen yang

baik adalah asesmen yang “drive learning.”3,4 Kegiatan evaluasi pembelajaran mahasiswa di

Lab Activity dilakukan dengan MDE dan OSPE. Baik MDE maupun OSPE, keduanya

menggunakan soal pilihan ganda (soal MCQ). Soal MCQ ini terdiri dari pokok soal (stem) dan

pilihan jawaban. Pilihan jawaban meliputi 1 option kunci jawaban dan 4 jawaban pengecoh

(distraktor).

Jawaban mahasiswa terhadap soal akan dievaluasi oleh piranti lunak Digital Mark Reader.

Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban mahasiswa

secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal. Tingkat

kesukaran soal :

P = indeks kesukaran,

B = banyaknya siswa yang menjawab soal dengan benar,

Jx = jumlah seluruh siswa peserta tes.

Hasil:

P Klasifikasi Soal

0,00 – 0,30 Soal sukar

0,31 – 0,70 Soal sedang

0,71 – 1,00 Soal Mudah.

Berdasar keseluruhan jawaban mahasiswa terhadap suatu soal akan diketahui daya pembeda

soal.

Daya pembeda soal adalah kemampuan suatu soal untuk membedakan siswa yang

berkemampuan tinggi dengan siswa yang berkemampuan rendah.

P = B/Jx

4

Daya pembeda soal: 5

DB = Daya Pembeda

B a = banyaknya peserta tes kelompok atas yang menjawab soal dengan benar

Ja = banyaknya peserta tes kelompok atas

B b = banyaknya peserta tes kelompok bawah yang menjawab soal dengan benar

Jb = banyaknya peserta tes kelompok bawah

Hasil:

P Klasifikasi Soal

Negatif – 0,09 Soal Kurang

0,31 – 0,70 Soal Cukup

0,71 – 1,00 Soal Baik

Kisaran angka untuk daya pembeda mulai dari -1,00 sampai 1,00, dengan perincian sebagai

berikut:

a. Nilai minus (-) : daya pembeda sangat jelek, mahasiswa yang kurang secara akademik

dapat menjawab benar, sementara mahasiswa yang pintar menjawab salah

b. 0,00 – 0,20 : daya pembeda jelek

c. 0,21 – 0,40 : daya pembeda cukup

d. 0,41 – 0,70 : daya pembeda baik

e. 0,71 – 1,00 : daya pembeda sangat baik

Dari kedua penilaian tersebut di atas, maka soal dapat dikategorikan menjadi baik, cukup dan

kurang.

DB = (Ba/Ja )- (Bb/Jb)

5

BAB III

METODE

Penelitian ini terdiri dari 2 tahap, yaitu:

1. Tahap 1 : merupakan tahapan penelitian kualitatif, dengan pertanyaan tertutup dan terbuka

yang diberikan kepada responden.

2. Tahap 2: tahapan penelitian kuantitatif dengan analisis deskriptif, dengan melakukan

analisa terhadap jawaban MCQ mahasiwa. Jawaban MCQ mahasiswa akan dievaluasi

menggunakan piranti lunak Digital Mark Reader (DMR). Evaluasi dilakukan secara

individu dan secara keseluruhan. Berdasar jawaban mahasiswa secara keseluruhan terhadap

suatu soal akan diketahui tingkat kesukaran soal.

3. Tahap 3: Tingkat kesukaran soal berdasar hasil evaluasi DMR dibandingkan dengan tingkat

kesukaran soal bagi mahasiswa menurut hasil evaluasi staf pengajar.

Sampel pada penelitian ini meliputi semua jawaban mahasiswa pada blok dengan kelangkapan

arsip yang lengkap, yang terdiri dari: 1) Kelengkapan arsip soal dan jawaban ; 2) Kelengkapan

arsip catatan urutan soal berdasar departemen pada ujian blok tersebut; 3) Kelengkapan arsip

soal dan jawabannya; 4) Kelengkapan arsip analisa DMR. Disamping syarat tersebut di atas,

juga diperlukan kesediaan dosen pembuat soal/tim departemen dengan kesamaan penguasaan

ilmu untuk menjawab pertanyaan. Bila ada dosen/ tim departemen dengan kesamaan

penguasaan ilmu yang tidak bersedia, maka tidak dilakukan analisa terhadap soal pada

departemen yang bersangkutan.

Adapun hasil yang akan dicari berdasar tiga tahapan yang telah disebutkan , akan didapatkan:

hasil analisa DMR, hasil evaluasi soal oleh dosen sebagai responden, hasil evaluasi DMR

dibandingkan dengan tingkat kesukaran soal bagi mahasiswa menurut hasil evaluasi staf

pengajar

6

BAB IV

HASIL DAN PEMBAHASAN

Berdasar persyaratan yang telah disebutkan pada bab 3, blok yang memenuhi syarat untuk

dievaluasi adalah: Blok Spesial Sensory System (SSS), Blok Gastrointestinal System (GIS),

blok Dermatomusculosceletal System (DMS), blok blok Genitourinary System, blok

Cardiovascular system (CVS).

Tabel 1 menunjukkan bahwa berdasar hasil analisa DMR yang ditampilkan, blok CVS

merupakan blok yang memiliki tingkat kesukaran tertinggi. Sedangkan blok SSS adalah blok

dengan persentase soal yang dianggap mudah terbesar.

Tabel 1

Gambaran tingkat kesukaran soal menurut analisa DMR

Tabel 2 menunjukkan bahwa berdasar hasil analisa DMR, blok GUS merupakan blok yang

memiliki soal dengan daya pembeda baik terbanyak. 40% soal pada blok GUS dapat digunakan

untuk membedakan mahasiswa yang mengerti tentang soal yang diberikan dan mahasiswa yang

tidak mengerti. Hal sebaliknya terjadi pada soal-soal di blok SSS. Sebanyak 24 soal di blok

SSS kurang dapat membedakan mahasiswa mahasiswa yang mengerti tentang soal yang

diberikan dan mahasiswa yang tidak mengerti. Demikian pula yang terjadi pada blok SSS.

7

Tabel 2

Gambaran kriteria soal berdasar daya pembeda

Tingkat kesukaran soal menurut analisa DMR dibandingkan dengan hasil evaluasi staf pengajar

dapat dilihat pada tabel 3. Tabel ini menunjukkan bahwa soal-soal pada blok GUS dan CVS

memiliki ketidak sesuaian analisa DMR paling sedikit dibanding 3 blok yang lain.

Tabel 3

Tingkat kesesuaian antara tingkat kesukaran soal menurut analisa DMR

dibandingkan dengan hasil evaluasi staf pengajar

8

Tabel 4 menunjukkan bahwa berdasar persepsi pembuat soal/ tim di departemen yang

berkaitan, blok GUS merupakan blok yang memiliki tingkat kesukaran terendah. Sedangkan

blok GIS adalah blok dengan persentase soal yang dianggap sukar terbesar.

Tabel 4

Gambaran tingkat kesukaran soal menurut persepsi dosen pembuat soal

Tabel 5 menunjukkan bahwa menurut pembuat soal/ tim di departemen yang berkaitan, blok

SSS merupakan blok yang memiliki kebutuhan klarifikasi konsep pembelajaran yang berkaitan

dengan soal yang digunakan pada ujian OSPE. Sedangkan blok DMS adalah blok dengan

jumlah soal yang yang membutuhkan klarifikasi stem soal terbesar. Kebutuhan klarifikasi

konsep dapat dilakukan melalui kuliah review materi, sedangkan kebutuhan klarifikasi stem

soal dan item soal dilakukan dengan revisi soal.

Tabel 5

Gambaran tindak lanjut perlakuan terhadap soal

Klarifikasi

konsep

Klarifikasi

stem

Klarifikasi

item Total

SSS 8 0 7 15

GIS 2 0 4 6

DMS 1 4 5 10

GUS 1 1 21 23

CVS 7 0 9 16

9

BAB V

PENUTUP

Kesimpulan:

Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) perlu

dibandingkan dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Evaluasi

dengan cara ini ini dapat lebih menggambarkan kemampuan mahasiswa menjawab soal.

Saran:

Dengan hasil evaluasi pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) dan

penilaian oleh dosen, perlu dipertimbangkan penentuan batas lulus nilai tidak menggunakan

nilai patokan, tetapi berdasar review dosen. Hal ini tentu mebutuhkan daya upaya yang besar

di tahap awal, tetapi bila dilakukan secara terus menerus dan berkesinambungan akan didapat

kan kualitas evaluasi dan kualitas pembelajaran yang makin meningkat.

DAFTAR PUSTAKA

1. Kurikulum FK UPN Veteran Jakarta, MEU FK UPN Veteran Jakarta

2. Panduan Medical Assessment Unit FK UPN Veteran Jakarta

3. Amin Z, Seng CY, Eng KH, 2006. A Practical Guide to Medical Student Assessment,

World Scientific Singapore. ISBN: 978-981-256-808-3

4. Dent A, Harden RM, Practical Guide for Medical Teacher, ISBN 0702045519

5. Ramdani Y, Jurnal Penelitian Pendidikan, Vol. 13 No. 1, April 2012

10

LAMPIRAN 1

Yth. Ka Dep dan Rekan-rekan

Di Departemen......................................

FK UPN Veteran Jakarta

Assalamu’alaikum WrWb

Dengan hormat,

Bersama surat ini, tim evaluasi MCQ OSPE meminta kesediaan Bapak Ibu untuk berkenan

melakukan evaluasi soal berdasar jawaban mahasiswa yang terdokumentasikan oleh scanner.

Evaluasi ini berguna untuk:

1. Melihat kemampuan pembuat soal dalam membuat stem soal, option soal termasuk

distraktor soal.

2. Melihat kemampuan mahasiswa menjawab soal berdasar eavaluasi tingkat kesukaran

soal.

3. Menentukan tindak lanjut.

Berikut sekilas refreshing materi yang diharapkan dapat memfasilitasi Bapak Ibu saat

melakukan evaluasi.

Kegiatan evaluasi pembelajaran mahasiswa di Lab Activity dilakukan dengan soal MCQ.

Soal MCQ ini terdiri dari pokok soal (stem) dan pilihan jawaban. Pilihan jawaban meliputi 1

option kunci jawaban dan 4 jawaban pengecoh (distraktor).

Jawaban mahasiswa terhadap soal akan dievaluasi oleh software Digital Mark Reader.

Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban mahasiswa

secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal. Tingkat

kesukaran soal :

P = indeks kesukaran,

B = banyaknya siswa yang menjawab soal dengan benar,

Jx = jumlah seluruh siswa peserta tes.

P = B/Jx

11

Hasil:

P Klasifikasi Soal

0,00 – 0,30 Soal sukar

0,31 – 0,70 Soal sedang

0,71 – 1,00 Soal Mudah.

Berdasar keseluruhan jawaban mahasiswa terhadap suatu soal akan diketahui daya pembeda

soal.

Daya pembeda soal adalah kemampuan suatu soal untuk membedakan siswa yang

berkemampuan tinggi dengan siswa yang berkemampuan rendah.

Daya pembeda soal:

DB = Daya Pembeda

B a = banyaknya peserta tes kelompok atas yang menjawab soal dengan benar

Ja = banyaknya peserta tes kelompok atas

B b = banyaknya peserta tes kelompok bawah yang menjawab soal dengan benar

Jb = banyaknya peserta tes kelompok bawah

Kisaran angka untuk daya pembeda mulai dari -1,00 sampai 1,00, dengan perincian sebagai

berikut:

a. Nilai minus (-) : daya pembeda sangat jelek, mahasiswa yang kurang secara

akademik dapat menjawab benar, sementara mahasiswa yang pintar menjawab

salah

b. 0,00 – 0,20 : daya pembeda jelek

c. 0,21 – 0,40 : daya pembeda cukup

d. 0,41 – 0,70 : daya pembeda baik

e. 0,71 – 1,00 : daya pembeda sangat baik

Dari kedua penilaian tersebut di atas, maka soal dapat dikategorikan menjadi baik, cukup dan

kurang (dapat dilihat pada kolom keterangan di hasil analisis soal yang kami sertakan).

Terimakasih

Tim Evaluasi OSPE

DB = (Ba/Ja )- (Bb/Jb)

12

Selanjutnya, tugas Bapak Ibu adalah sebagai berikut:

Evaluasi Departemen...............................

pada blok ................................................

UTS/UAS (Coret yg tidak perlu)

1. Evaluasi terhadap soal secara keseluruhan. Adakah soal yang tidak merupakan learning

objektif pembelajaran pada blok yang diujikan. Bila ada, soal no berapa sajakah ?

...............................................................................................................................................

2. Evaluasi terhadap soal secara satu persatu.

Adakah jawaban salah yang dominan ? Jika ada, no berapa ?

Apakah ada kekeliruan kunci ?

No

soal

Kunci Pilihan jawaban

yang dominan

Ada kekeliruan kunci/ tidak

Ada / Tidak

Ada / Tidak

Ada / Tidak

Jika pada jawaban dominan tidak ditemukan kekeliruan kunci, berarti diperlukan tindak

lanjut klarifikasi konsep, misalnya dengan kuliah panel.

3. Evaluasi terhadap soal secara satu persatu.

Adakah kriteria soal sudah sesuai dengan penilaian Bapak Ibu ?

Adakah kriteria soal sukar yang menurut Bapak Ibu tidak sukar ?

Bila ada soal yang dinilai sukar tetapi menurut bapak Ibu tidak sukar, tindak lanjut apa

yang tepat menurut Bapak Ibu, misalnya klarifikasi di lab Act ? Kuliah Panel ?

(Lihat kolom isian di halaman selanjutnya)

4. Evaluasi terhadap soal secara satu persatu.

Adakah kriteria soal “kurang” pada soal yang digunakan pada OSPE ?

Bila ada, apa tanggapan Bapak Ibu ? Misal:

1) Perlu revisi option pilihan jawaban

2) Sulit membuat distraktor (pengecoh)

(Lihat kolom isian di halaman selanjutnya)

13

LAMPIRAN 2

CONTOH HASIL ANALISA DMR

14

LAMPIRAN 3

Contoh Rekapan analisa DMR dan Dosen

15

LAMPIRAN 4

PRESENTASI

16

17

18

19

20