Petunjuk Pembuatan Soal MCQ tipe AUji Kompetensi Dokter Indonesia

Jenis atau tipe soal ujian adalah berupa soal pilihan berganda dengan lima pilihan jawaban soal. Soal terdiri ”stem” soal yang berbentuk skenario (”vignette”), pertanyaan, dan lima pilihan jawaban dengan satu jawaban benar. Jumlah soal-soal ujian seluruhnya adalah 200 soal.

Untuk memudahkan penulisan soal, pada lampiran telah dicantumkan pola redaksional soal yang dapat digunakan sebagai “template” pembuatan soal. (Lampiran A)

Kaidah –kaidah umum yang penting diperhatikan di dalam pembuatan soal:

1) Yakinkan bahwa setiap soal dapat diduga jenis jawabannya tanpa harus melihat pilihan jawaban atau yakinkan bahwa pilihan jawaban adalah 100 % benar atau salah.

2) Usahakan agar data atau informasi penting seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin.

3) Hindari informasi berlebihan pada soal. 4) Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan.5) Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis

kompatibel dengan soal. 6) Hindari kata-kata absolut seperti, selalu, tidak pernah, dan semua pada pilihan

jawaban, dan hindari pula istilah yang tidak jelas (meragukan) seperti biasanya atau sering.

7) Hindari kalimat atau frase negatif seperti KECUALI, TIDAK, atau BUKAN. 8) Fokuskan soal pada konsep-konsep penting, dan hindari hanya menguji kemampuan

mengingat fakta. 9) Fokuskan soal-soal pada konsep penting dan kasus-kasus yang sering serta memiliki

potensi masalah serius. 10) Setiap soal diusahakan agar menilai aplikasi pengetahuan, tidak hanya menguji daya

ingat terhadap fakta terisolasi.

Kesalahan struktur soal

Pada bagian ini akan dijelaskan berbagai kesalahan struktur soal yang harus dihindari karena mengarah pada dua hal, yakni, “testwiseness” dan “irrelevant difficulty”. “Testwiseness” adalah suatu keadaan di mana peserta ujian dapat menjawab soatu soal bukan karena penguasaannya terhadap isi materi yang ditanyakan pada soal tersebut, tetapi karena kepintarannya dalam menebak jawaban yang benar. Sementara itu “irrelevant difficulty” berkaitan dengan kesulitan yang dihadapi peserta ujian untuk menjawab suatu soal, bukan karena sulitnya materi yang diujikan, namun lebih ke arah sulitnya mahasiswa menjawab, yang ditimbulkan oleh struktur soal tersebut. Jenis kesalahan yang dimaksud adalah sebagai berikut:

A. Kesalahan yang berkaitan dengan testwiseness : 1. Grammatical Cues2. Logical Cues3. Istilah yang absolute4. Jawaban benar yang panjang5. Pengulangan kata dari badan soal ke jawaban6. Konvergensi soal

B. Kesalahan yang berkaitan dengan kesulitan yang tidak perlu/relevan1. Pilihan jawaban yang panjang, kompleks, atau duplikasi2. Pilihan yang berupa angka tidak diurut sesuai dengan besarnya3. Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi

interpretative4. Pilihan jawaban tidak parallel dan urutan tidak logis5. Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban6. Badan soal terlalu panjang, sulit, dan kompleks

Untuk memberikan kejelasan poin – poin di atas, berikut ini dipaparkan contoh – contoh soal yang mengandung kesalahan struktur beserta uraiannya.

A. Kesalahan yang berkaitan dengan testwiseness : 1. Grammatical CuesContoh soal :A 60-year-old man is brought to the emergency department by the police, who found him lying unconscious on the sidewalk. After ascertaining that the airway is open, the first step in management should be intravenous administration of

A. examination of cerebrospinal fluidB. glucose with vitamin B1 (thiamine)C. CT scan of the headD. phenytoinE. diazepam

2. Logical CuesContoh soal :Crime isA. equally distributed among the social classesB. overrepresented among the poorC. overrepresented among the middle class and richD. primarily an indication of psychosexual maladjustmentE. reaching a plateau of tolerability for the nation

Grammatical cues: satu atau lebih dari opsi jawaban tidak cocok dengan kalimat pertanyaan yang disusun dalam suatu soal. Hal ini terjadi karena penulis hanya memfokuskan diri dalam pembuatan atau pemilihan jawaban yang benar. Sementara itu jawaban yang salah/distraktor tidak diperhatikan dalam pembuatannya. Pada contoh pertanyaan di atas mahasiswa dapat dengan mudah menyingkirkan A & C sebagai jawaban yang benar karena secara logika tidak mungkin benar berdasarkan kalimat pertanyaan yang diajukan, dalam hal ini menanyakan terapi , sementara A & C jelas tidak termasuk suatu terapi .

3. Istilah yang absolutContoh soal :In patients with advanced dementia, Alzheimer’s type, the memory defectA. can be treated adequately with phosphatidylcholine (lecithin)B. could be a sequela of early parkinsonismC. is never seen in patients with neurofibrillary tangles at autopsyD. is never severeE. possibly involves the cholinergic system

4. Jawaban benar yang panjangContoh soal :Secondary gain isA. synonymous with malingeringB. a frequent problem in obsessive-compulsivedisorderC. a complication of a variety of illnesses and tends to prolong many of themD. never seen in organic brain damage

Logical cues: sebagian opsi jawaban telah memperlihatkan kemungkinan jawaban yang benar.Pada soal di atas mahasiswa yang cukup cerdas dapat melihat bahwa kemungkinan besar dari jawaban A, B, atau C terdapat jawaban yang benar, sementara mahasiswa yang tidak terlalu cerdas dalam menghadapi soal lebih banyak waktunya untuk mempertimbangkan opsi D dan E. Seringkali, jawaban – jawaban ini pun sebagian mengandung kebenaran dan membingungkan karena tidak terlihat dalam dimensi yang sama atau tidak bisa diurutkan kedudukannya.Kesalahan ini sering terjadi apabila menggunakan opsi yang mengandung kata - kata “bertambah”, “berkurang”, atau “tetap”

Absolute terms: kata “selalu” atau “tidak pernah” digunakan dalam opsi jawabanPada soal di atas, opsi A, B, dan E mengandugn makna yang tidak mutlak sebagaimana opsi C dan D. Mahasiswa yang cerdas akan menyingkirkan jawaban C dan D karena kedua opsi itu terlihat lebih tidak mungkin sebagai jawaban yang benar karena sifatnya yang cenderung mutlak tersebut. Perlu dicatat bahwa keselahan semacam ini tidak akan terjadi apabila kalimat pertanyaan terfokus dan opsi jawabannya pendek, hal ini muncul ketika kata kerja dimasukan kedalam opsi jawaban dan bukan di dalam pertanyaan „lead-in“

Jawaban benar yang panjang: pada soal di atas pilihan jawaban C lebih panjang dari yang lain. Selain itu terdapat 2 hal pada pilihan tersebut. Penulis soal kadang terlalu memberi perhatian lebih pada jawaban yang benar sehingga tidak memikirkan distraktor atau pilihan yang salah. Dengan demikian maka muncul banyak pernyataan pada jawaban yang benar secara berlebihan, sementara pada pilihan yang salah atau distraktor lebih pendek pernyataannya.

5. Pengulangan kata dari badan soal ke jawabanContoh soal:A 58-year-old man with a history of heavy alcohol use and previous psychiatric hospitalization is confused and agitated. He speaks of experiencing the world as unreal. This symptom is calledA. depersonalizationB. derailmentC. derealizationD. focal memory deficitE. signal anxiety

6. Konvergensi soalContoh soal:Local anesthetics are most effective in theA. anionic form, acting from inside the nerve membraneB. cationic form, acting from inside the nerve membraneC. cationic form, acting from outside the nerve membraneD. uncharged form, acting from inside the nerve membraneE. uncharged form, acting from outside the nerve membrane

Pengulangan kata: pada soal di atas, digunakan kata „unreal“, sementara itu muncul kata „derealization“ pada pilihan jawaban C sebagai jawaban yang benar. Kadang – kadan hal ini terjadi dan peserta ujian dapat mencoba menebak jawaban yang mempunyai kaitan kata dengan badan soalnya, sehingga hal ini harus dihindari.

Konvergensi: jawaban yang benar mengandung komponen – komponen yang paling sering muncul pada pilihan – pilihan yang lain (distraktor). Hal ini tidak terlalu kentara terlihat, tetapi dapat terjadi ketika seorang penulis soal mencoba membuat jawaban yang benar, kemudian mencoba membuat jawaban yang salah dengan membuat kombinasi dari jawaban yang benar denga suatu elemen yang salah. Sebagai contoh kalau pilihan jawaban berupa kombinasi sebagai berikut: Pensil dan pen, pensil dan spidol, pensil dan krayon, pen dan penghapus. Maka dengan penghitungan sederhana kita dapat menghitung bahwa pensil muncul sebanyak 3 kali, sementara pen sebanyak 2 kali pada jawaban. Sementara elemen lain hanya muncul 1 kali. Secara tidak disadari hal ini sering terjadi ketika seorang penulis mencoba mencari pilihan yang salah. Dari soal di atas peserta dapat mengeliminasi „anionic form“ sebagai jawaban yang benar, demikian pula dengan „outside the nerve membran“ yang lebih jarang muncul dibandingkan dengan „inside the nerve membran“. Sehingga hanya pilihan B dan D yang mungkin benar, dan karena tiga pilihan mengandung „a charge“ maka peserta akan menebak jawabanya adalah B

B. Kesalahan yang berkaitan dengan kesulitan yang tidak perlu/relevan1. Pilihan jawaban yang panjang, kompleks, atau duplikasiContoh soal:Peer review committees in HMOs may move to take action against a physician’s credentials to care for participants of the HMO. There is an associated requirement to assure that the physician receives due process in the course of these activities. Due process must include which of the following?A. Notice, an impartial forum, council, a chance to hear and confront evidence against him/her.B. Proper notice, a tribunal empowered to make the decision, a chance to confront witnesses

against him/her, and a chance to present evidence in defense.C. Reasonable and timely notice, impartial panel empowered to make a decision, a chance to

hear evidence against himself/herself and to confront witnesses, and the ability to present evidence in defense.

2. Pilihan yang berupa angka tidak diurut sesuai dengan besarnyaContoh soal:Following a second episode of infection, what is the likelihood that a woman is infertile?A. Less than 20%B. 20 to 30%C. Greater than 50%D. 90%E. 75%

3. Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretativeContoh soal:Severe obesity in early adolescenceA. usually responds dramatically to dietary regimensB. often is related to endocrine disordersC. has a 75% chance of clearing spontaneouslyD. shows a poor prognosisE. usually responds to pharmacotherapy and intensive psychotherapy

Pilihan jawaban yang panjang, dan kompleks: pada soal di atas dapat terlihat bahwa pilihan jawaban terlalu panjang sehingga menimbulkan kesulitan bagi peserta untuk menjawabnya karena hal teknis tersebut.

Pilihan dengan besaran tidak berurut: pada soal di atas dapat terlihat bahwa pilihan jawaban yang mengandung suatu ukuran tidak diurutkan dari yang kecil (paling atas) sampai yang besar (paling bawah), dengan demikian dapat menyulitkan mahasiswa dalam menjawabnya .

Pilihan jawaban yang multi interpretative: pada soal di atas dapat terlihat bahwa pilihan jawaban mengandung unsur frekuensi yang mengundang perdebatan, seperti „biasanya“, „sering“, dll. Hal ini sebaiknya dihindari karena jawabannya bisa bersifat subjektif.

4. Pilihan jawaban tidak parallel dan urutan tidak logisContoh soal:In a vaccine trial, 200 2-year-old boys were given a vaccine against a certain disease and then monitored for five years for occurrence of the disease. Of this group, 85% never contracted the disease. Which of the following statements concerning these results is correct?A. No conclusion can be drawn, since no follow-up was made of nonvaccinated childrenB. The number of cases (ie, 30 cases over five years) is too small for statistically meaningful

conclusionsC. No conclusions can be drawn because the trial involved only boysD. Vaccine efficacy (%) is calculated as 85-15/100

5. Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawabanContoh soal:Which city is closest to New York City?A. BostonB. ChicagoC. DallasD. Los AngelesE. none of the above

6. Badan soal terlalu panjang, sulit, dan kompleksContoh soal:Arrange the parents of the following children with Down’s syndrome in order of highest to lowest risk of recurrence. Assume that the maternal age in all cases is 22 years and that a subsequent pregnancy occurs within 5 years. The karyotypes of the daughters are:I: 46, XX, -14, +T (14q21q) patII: 46, XX, -14, +T (14q21q) de novoIII: 46, XX, -14, +T (14q21q) matIV: 46, XX, -21, +T (14q21q) patV: 47, XX, -21, +T (21q21q) (parents not karyotyped)

A. III, IV, I, V, IIB. IV, III, V, I, IIC. III, I, IV, V, IID. IV, III, I, V, IIE. III, IV, I, II, V

Demikianlah kesalahan – kesalahan yang harus dihindari dalam pembuatan soal beserta dengan contoh – contohnya.