I Made Kariasa, SKp.,MM.,Mkep.,Sp.KMB.,PG.Cert

Persiapan uji kompetensi Manejemen soal Manejemen ujian Analisis soal Standard setting untuk menentukan kelulusan

Manejemen soal Manejemen ujian Analisis soal Standard setting untuk menentukan kelulusan

Workflow of Item BankAdministration

Item writerItem writer Local Item BankAdministrator

Local Item BankAdministrator

Regional ItemBank

Administrator

Regional ItemBank

Administrator

National ItemReview

National ItemReview

Item Bank 1Item Bank 1National Item

BankAdministrator

National ItemBank

AdministratorPanel expertPanel expertItem Bank 2Item Bank 2 Item Bank 1Item Bank 1

National ItemBank

Administrator

National ItemBank

AdministratorPanel expertPanel expertItem Bank 2Item Bank 2

Non scored itemsNon scored items Item Bank 3Item Bank 3 Item Selectionprocess

Item Selectionprocess Question bookQuestion book

Item Bank 4Item Bank 4

Reliability as a function of testing timeTestingTimeinHours

1

2

4

8

MCQ1

0.62

0.76

0.93

0.93

Case-BasedShortEssay2

0.68

0.73

0.84

0.82

PMP1

0.36

0.53

0.69

0.82

OralExam3

0.50

0.69

0.82

0.90

LongCase4

0.60

0.75

0.86

0.90

OSCE5

0.47

0.64

0.78

0.88

PracticeVideo

Assess-ment7

0.62

0.76

0.93

0.93

In-cognito

SPs8

0.61

0.76

0.92

0.93

MiniCEX6

0.73

0.84

0.92

0.96

4

TestingTimeinHours

1

2

4

8

MCQ1

0.62

0.76

0.93

0.93

Case-BasedShortEssay2

0.68

0.73

0.84

0.82

PMP1

0.36

0.53

0.69

0.82

OralExam3

0.50

0.69

0.82

0.90

LongCase4

0.60

0.75

0.86

0.90

OSCE5

0.47

0.64

0.78

0.88

PracticeVideo

Assess-ment7

0.62

0.76

0.93

0.93

1Norcini et al., 19852Stalenhoef-Halling et al., 19903Swanson, 1987

4Wass et al., 20015Petrusa, 20026Norcini et al., 1999

In-cognito

SPs8

0.61

0.76

0.92

0.93

MiniCEX6

0.73

0.84

0.92

0.96

7Ram et al., 19998Gorter, 2002

Blue printSering disebut ‘kisi-kisi’ ujianMemberikan arah terhadap kompetensi

lulusan yang diharapkan oleh ‘pengguna’Perlu adanya keselarasan antara pengguna

dan penghasilMembentuk ‘karakter utama’ perawat yang

diinginkan oleh stakeholders

Sering disebut ‘kisi-kisi’ ujianMemberikan arah terhadap kompetensi

lulusan yang diharapkan oleh ‘pengguna’Perlu adanya keselarasan antara pengguna

dan penghasilMembentuk ‘karakter utama’ perawat yang

diinginkan oleh stakeholders

TujuanTujuan Utama

Untuk melindungi masyarakat denganmenjamin bahwa perawat pada entry-level registered memiliki kompetensiyang dipersyaratkan untuk dapatmenjalankan praktik keperawatansecara aman dan efektif

Tujuan UtamaUntuk melindungi masyarakat dengan

menjamin bahwa perawat pada entry-level registered memiliki kompetensiyang dipersyaratkan untuk dapatmenjalankan praktik keperawatansecara aman dan efektif

Uji Kompetensi sebagaisebuah Sistem

Ujian StandarisasiNasional

- Implementasi KBK- 80% isi kurikulum- Syarat kelulusan

BenchmarkingRegional

Sistem Ujian Institusi- Implementasi KBK- 100% isi kurikulum- Syarat kelulusan

- Implementasi KBK- Fase akademik (pre-diagnostik/treatment)- Fungsi formatif

Sistem Uji Kompetensi• Prinsip KBK disertai evaluasi hasil belajar berbasis

kompetensi (perubahan mind-set).

• Uji kompetensi = competence-based assessmentsebagai longitudinal assessment, ujian standarisasinasional/ uji kompetensi) bagian integral dankomplementer terhadap sistem ujian kompetensi diinstitusi.

• Prinsip KBK disertai evaluasi hasil belajar berbasiskompetensi (perubahan mind-set).

• Uji kompetensi = competence-based assessmentsebagai longitudinal assessment, ujian standarisasinasional/ uji kompetensi) bagian integral dankomplementer terhadap sistem ujian kompetensi diinstitusi.

Materi uji dan Kompetensi

MATERITer - U J I - kan

MATERITer - U J I - kan

KOMPETENSI PERAWATKOMPETENSI PERAWAT

KOMPETENSI LULUSAN BARU

MATERITer - U J I - kan

MATERITer - U J I - kan

Apa yang akan diujikan ?

Kompetensi Lulusan

Kompetensi PerawatBerpengalaman

Kompetensi awal (masuk)

Kompetensi Transisi (menengah)Kompetensi Transisi (menengah)

Kompetensi Lulusan

DomainKompetensi

LevelKognitif Upaya Kebutuhan

•Etik/legal/bud•Praktek/mngkep•Pengembanganprof

•Kognitif•Konatif•procedural

•Promotiv•Preventif•Kuratif•rehabilitatif

•Oksigenasi•Cairan dan el•Nutrisi•Mobilisasi•dll

•Etik/legal/bud•Praktek/mngkep•Pengembanganprof

•Kognitif•Konatif•procedural

•Promotiv•Preventif•Kuratif•rehabilitatif

•Oksigenasi•Cairan dan el•Nutrisi•Mobilisasi•dll

Faktor yg mempengaruhi luaran (lulusan)Asupan

Proses Luaran

1. Standarisasikontributor soal

2. Proses review

3. Try-out item

4. Pengelolaan ujian

5. Pengelolaan banksoal

1. Blueprinting-metode ujian

2. Kontributor soal

3. Pedoman ujian

4. Dukungan IT

1. Standarisasikontributor soal

2. Proses review

3. Try-out item

4. Pengelolaan ujian

5. Pengelolaan banksoal

Standard setting

Blueprinting vs metode ujian

Analisis soal berdasarkan tinjauan Soal yang terujikan dalam buklet soal dapat di analisa

prosentasenya berdasarkan tinjauan Dapat di intepretasikan apakah soal yang diujikan

tersebut sudah memenuhi kesepakatan prosentasiyang telah di tetapkan Sebenarnya hal ini sudah harus dianalisis sebelumnya,

tapi untuk bahan evaluasi dapat di analisa setelahujian berlangsung

Soal yang terujikan dalam buklet soal dapat di analisaprosentasenya berdasarkan tinjauan Dapat di intepretasikan apakah soal yang diujikan

tersebut sudah memenuhi kesepakatan prosentasiyang telah di tetapkan Sebenarnya hal ini sudah harus dianalisis sebelumnya,

tapi untuk bahan evaluasi dapat di analisa setelahujian berlangsung

Contoh penentuan jumlah soal berdasar blueprint

Blue print PerawatNO Bd keilmuan prosentasi Asumsi jumlah

soal

1 Kep. Maternitas 5-15 % 18 soal

2 Kep. Anak 5-15% 18 soal

3. Kep Gawat darurat 6-10 % 14 soal

4. Kep. Medikal Bedah 25-35% 54 soal4. Kep. Medikal Bedah 25-35% 54 soal

5. Kep. Jiwa 5-15% 18 soal

6. Kep. Keluarga 5-15 % 18 soal

7. Kep. Gerontik 4-8 % 10 soal

8. Kep. Komunitas 4-8 % 10soal

9. Manejemen Kep 5-15 % 18 soal

Asumsi soal 100 % 180 soal

Rincian utama pada setiap mata ajar soal itu harus secara merata

mengandung Aspek : Proses keperawatan : 5 tahap rata rata 20 % Pemenuhan Kebutuhan Dasar : mulai oksigenasi –

harga diri Kedalaman soal minimal berpikir komprehensif atau

tingkatan C2 Mengandung 3 unsur kompetensi utama Upaya kesehatan

pada setiap mata ajar soal itu harus secara meratamengandung Aspek : Proses keperawatan : 5 tahap rata rata 20 % Pemenuhan Kebutuhan Dasar : mulai oksigenasi –

harga diri Kedalaman soal minimal berpikir komprehensif atau

tingkatan C2 Mengandung 3 unsur kompetensi utama Upaya kesehatan

Materi ujian Melakkan komunikasi Menerapkan prinsip etik dan legal Menerapkan pencegahan infeksi nosokomial Menggunakan metode proses keperawatan Menciptakan dan mempertahankan ingkungan asuhan kep Mengukur tanda tanda vital Melakukan langkah langkah aman Memenuhi kebutuhan oksigenasi Merawat luka Memberikan transfusi dengan aman Manejemen cairan dan elektrolit Pemberian obat yang aman

Melakkan komunikasi Menerapkan prinsip etik dan legal Menerapkan pencegahan infeksi nosokomial Menggunakan metode proses keperawatan Menciptakan dan mempertahankan ingkungan asuhan kep Mengukur tanda tanda vital Melakukan langkah langkah aman Memenuhi kebutuhan oksigenasi Merawat luka Memberikan transfusi dengan aman Manejemen cairan dan elektrolit Pemberian obat yang aman

Contoh matrik penentuan jumlah soal daritinjauan (blue print)Task Kmb anak matern

itaskgd Geront

ikkeluarga

komunitas

manejemen

Pengkajian(25 %)

Diagnosa(25%)Diagnosa(25%)

Perencanaan(20%)

Implementasi(15%)

Evaluasi(10 %)

Lain 2x(5%)

Karakteristik Soal:Dapat diujikan secara efektif dengan

metode MCQSesuai dengan peran dan tanggung

jawab perawat baru lulusSangat penting dan prinsip untuk

dikuasi oleh perawat baru lulusSangat sering dilakukan oleh perawat

baru (kompetensi esensial)

Dapat diujikan secara efektif denganmetode MCQSesuai dengan peran dan tanggung

jawab perawat baru lulusSangat penting dan prinsip untuk

dikuasi oleh perawat baru lulusSangat sering dilakukan oleh perawat

baru (kompetensi esensial)

Terminologi:Kesepakatan (Medan) Pasien untuk di RS, klien u/ Komunitas, Seorang laki/laki, perempuan Usia (bukan umur) Tekanan darah dengan satuannya (mmHg) suhu (0C), frekuensi

nadi (x/menit), frekuensi napas (x/menit) Satuan-satuan hasil laboratorium di tulis Diagnosis (bukan diagnosa) Rontgen Elektrokardiogram Tidak ada singkatan Dll

Pasien untuk di RS, klien u/ Komunitas, Seorang laki/laki, perempuan Usia (bukan umur) Tekanan darah dengan satuannya (mmHg) suhu (0C), frekuensi

nadi (x/menit), frekuensi napas (x/menit) Satuan-satuan hasil laboratorium di tulis Diagnosis (bukan diagnosa) Rontgen Elektrokardiogram Tidak ada singkatan Dll

Framework kasus/vignette Identitas pasien/ Keluhan/masalah/fenomena Anamnesa Pemeriksaan fisik Pemeriksaan lab

Identitas pasien/ Keluhan/masalah/fenomena Anamnesa Pemeriksaan fisik Pemeriksaan lab