Desain dan Implementasi Computerized Adaptive Test Pada ... filean Siswa Si A 1 1 1 1 1 1 Si B 0 1 1...

Desain dan Implementasi

Computerized Adaptive Test

Berbasis Item Response Theory

Pada LMS Moodle

Dipresentasikan Pada

Seminar dan Sidang Tugas Akhir Juli 2011

Musthofa Fahmi

Dosen Pembimbing :

Prof. Ir. Abdullah Alkaff, M.Sc., PhD.

Yusuf Bilfaqih, S.T., M.T.

BAB

1 LATAR BELAKANG

Secara ide, adaptif tes lebih efektif, efisien, dan

optimal

Dikembangkannya CAT oleh Puspendik

Kemendiknas, tapi tidak di share

Penelitian oleh Koyama dan Akiyama yang

menyimpulkan CAT berbasis IRT lebih efektif

dibandingkan tes konvensional

1. PENDAHULUAN 2. KAJIAN

PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

1 PERMASALAHAN

Aplikasi Web – Based Untuk

Penyelenggaraan CAT Berbasis IRT 3

Parameter

Integrasi Dengan LMS Moodle


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

1 TUJUAN

Modul CAT di LMS Moodle


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

1 METODOLOGI

Menggunakan metode Waterfall


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

1 MANFAAT

perangkat lunak penyelenggaraan CAT

alat pembelajaran IRT untuk bidang

psikometri

alternatif metode evaluasi suatu mata kuliah

pembuatan fitur CAT pada LMS Moodle

perangkat lunak pelengkap Share - ITS


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

2 PRINSIP KERJA CAT


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

2 KALIBRASI SOAL [1]

Soal 1 Soal 2 Soal 3 Soal 4 Soal 5 Kemampu

an Siswa

Si A 1 1 1 1 1 1

Si B 0 1 1 1 1 0.8

Si C 0 0 1 1 1 0.6

Si D 0 0 0 1 1 0.4

Si E 0 0 0 0 1 0.2

Tingkat

kesulitan

soal

0.8 0.6 0.4 0.2 0


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

2 KALIBRASI SOAL [2]

Soal 1 Soal 2 Soal 3 Soal 4 Soal 5 Kemampu

an Siswa

Si A 1 1 1 1 1 1

Si B 0 1 1 1 1 0.8

Si C 0 0 1 1 1 0.6

Si D 0 0 0 1 1 0.4

Si E 0 0 0 0 1 0.2

Tingkat

kesulita

n soal

0.8 0.6 0.4 0.2 0

Si F 0 1 0 1 1 0.6


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

2 ITEM CHARACTERISTIC CURVE

)(1

1)1()(

baeccP


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

2 ABILITY ESTIMATION

Dimana :

Ѳs adalah kemampuan terestimasi dari kandidat pada iterasi ke – s

ai adalah parameter discrimination dari item i, i = 1, 2, … N

ui adalah jawaban yang didapatkan dari kandidat dengan ketentuan :

ui = 1 ; untuk jawaban benar

ui = 0 ; untuk jawaban salah

Pi(ѳs) adalah probabilitas kandidat menjawab benar item ke – i

Qiѳs = [1- Pi(ѳs)] adalah probabilitas kandidat menjawab salah item ke - i

N

i

sisii

N

i

siii

ss

QPa

Pua

1

11

)()(

)(

2


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

2 STANDARD ERROR & IIF

N

i

i QPaSE1

2 )()(/1)(

2

22

1

))((

)(

)()(

c

cP

P

QaI i

i

ii


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

2 KRITERIA PEMBERHENTIAN

Variable length (standard error)

Fixed length (jumlah soal)

Time Limit

Gabungan


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

2 DIAGRAM ALIR

ya

Mulai dengan memberikan nilai inisial

kemampuan kandidat

Memilih dan menampilkan soal pertama

(diinisialisasi)

Mendapatkan respon dari kandidat

Evaluasi Respon, kemampuan kandidat dan

standar error

Stopping rule

terpenuhi ??

Memilih dan menampilkan

soal selanjutnya

Tes berhenti dan

menampilkan hasil

tidak


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

3 GAMBARAN UMUM MODUL CAT DI MOODLE

CAT

Team

Builder

Lesson Moodle

Matakuliah

SP 1

Matakuliah

PIS

Block

Report


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

3 FUNGSI PRODUK

membuat tes adaptif

mengikuti tes adaptif

melihat hasil tes adaptif

mengolah respon dari siswa dengan

algoritma IRT


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

3 DATA CONTEXT DIAGRAM

CAT

SISWA*

GURU*

ADMIN*

SISWA*

GURU*

ADMIN*

JAWABAN

STOPPING RULE

PARAMETER IRT

SOAL, SOLUSI, DAN

REKOMENDASI

KONTROL TERHADAP

APLIKASI

HASIL TES, SOLUSI, DAN

REKOMENDASI

HISTOTY NILAI DAN

NILAI KELAS

HISTORY TES

NILAI KELAS

TAMPILAN KASTEMISASI

APLIKASI


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

3 DESAIN PROSEDURAL[1]

Kondisi Tes Adaptif

BELUM

DIBUKA DIBUKA DITUTUP

[QUIZ

DIBUAT]

[QUIZ

DIBUAT]

[TANGGAL

QUIZ

DIMULAI]

[TANGGAL

QUIZ

DITUTUP]


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB


Kondisi Attempt

ATTEMPT

SEDANG

BERJALAN

SEGERA

SETELAH

ATTEMPT

ATTEMPT

DIAKHRI

Kumpulkan

Jawaban

Dan

Selesai

2 Menit

Setelah

Selesai

Attempt

Dimulai


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB


Kondisi Pertanyaan

Y

SHOW

QUESTION RESPON

SAVED EVALUATED END

??

ATTEMPT

STARTED

CLOSED MANUALLY

GRADED

ADAPTIF

MODE

NON -

ADAPTIF

MODE


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

3 DESAIN ANTARMUKA

KLIK ME


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

Latar Belakang

Permasalahan

Tujuan

Metodologi

Manfaat

Prinsip Kerja

Kalibrasi Soal

IRT

Kriteria

Pemberhentian

Diagram Alir

Gambaran

Umum

Fungsi Produk

Antarmuka

Eksternal

Desain

Prosedural

Desain

Antarmuka

Modul CAT

Options CAT

Parameter IRT

Edit CAT

Proses CAT

Hasil CAT

Link menuju quiz dari bagian lain di Moodle

View.php

Menunjukkan

informasi umum

tentang quiz

Index.php

Mendaftar semua

quiz yang ada pada

suatu course

Startattempt.php

Menangani memulai suatu

attempt atau melanjutkan

sesi yang sebelumnya

Attempt.php

Menampilkan satu halaman

pada siswa untuk

memasukkan jawaban

Processattempt.php

Menangani respon dari

siswa atau menutup

attempt

Summary.php

Menampilkan overview

dari attempt yang saat

ini

Review.php

Menampilkan hasil quiz

yang baru saja diikuti

siswa

Report.php

Menampilkan

hasil quiz

Edit.php

Guru dapat mengedit

pertanyaan pada

suatu quiz

Comment.php

Memungkinkan guru

memberikan manual

grading Reviewquestion.php

Menampilkan hasil

penilaian siswa pada

suatu pertanyaan

Link normal, semua pengguna dapat mengakses

Link submit/ pengumpulan

Link otomatis setelah proses dilakukan

Link yang hanya bisa diakses guru dan admin

BACK

BAB

4 MODUL CAT DI MOODLE


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

4 TAMPILAN OPTIONS CAT


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

4 TAMPILAN PARAMETER CAT


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

4 TAMPILAN EDIT CAT


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

4 TAMPILAN PROSES CAT

Tampilan menjawab soal


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

BAB

4 TAMPILAN HASIL CAT

Tampilan report


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

KESIMPULAN

Aplikasi CAT dapat menjadi antarmuka

penyelenggaraan tes adaptif

kriteria pemberhentian tes mengkombinasikan

variabel length, fixed length, dan time limit

Nilai standar error dapat diatur

Bank soal yang dibuat dapat di backup / restore

ataupun di export / import baik ke matakuliah yang

lain maupun sistem epembelajaran yang lain


PUSTAKA

3. ANALISA &

DESAIN

4. IMPLEMENTASI

& PENGUJIAN

Desain dan Implementasi Computerized Adaptive Test Pada ... filean Siswa Si A 1 1 1 1 1 1 Si B 0 1 1...

Documents

Transcript of Desain dan Implementasi Computerized Adaptive Test Pada ... filean Siswa Si A 1 1 1 1 1 1 Si B 0 1 1...