Psikometri Bab a24

55
Bab 24 Metrik dan Kalibrasi

Transcript of Psikometri Bab a24

Bab 24

Metrik dan Kalibrasi

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Bab 24

METRIK DAN KALIBRASI

A. Parameter Kemampuan dan Butir

1. Pendahuluan

Estimasi dilakukan terhadap parameter kemampuan dan parameter butir

θ a, b, c

Parameter kemampuan

Parameter butir

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

2. Metrik pada parameter

(a) Parameter butir diketahui

• Jika parameter butir diketahui, maka parameter butir berada pada metrik tertentu

• Estimasi parameter kemampuan θ akan terletak pada metrik tertentu itu

(b) Parameter kemampuan diketahui

• Jika parameter kemampuan diketahui, maka parameter kemampuan berada pada metrik tertentu

• Estimasi parameter butir a, b, dan c, akan terletak pada metrik tertentu itu

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Analogi

• Untuk memahami metrik, sebagai analogi kita melihat ukuran panjang

• Ukuran panjang dapat dinyatakan dalam inci dan cm

• Jika parameter yang diketahui dinyatakan dalam inci maka parameter yang diestimasi ikut dinyatakan dalam inci

Di sini, metrik yang digunakan adalah inci

• Jika parameter yang diketahui dinyatakan dalam cm maka parameter yang diestimasi ikut dinyatakan dalam cm

Di sini, metrik yang digunakan adalah cm

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

3. Indeterminasi

• Jika parameter kemampuan dan parameter butir kedua-duanya tidak diketahui, maka estimasi mereka menjadi indeterminasi

• Jika θ1 dan a1, b1 pada a(θ – b) adalah hasil estimasi, maka

θ2 = kθ1 + d

b2 = kb1 + d

a2 = a1 / k

juga merupakan hasil estimasi

• Melalui substitusi, kita peroleh kesamaan mereka

a2 (θ2 – b2) = (a1 / k)(kθ1 + d – kb1 – d)

= (a1 / k) k (θ1 – b1)

= a1 (θ1 – b1)

------------------------------------------------------------------------------Metrik dan Kalibrasi

-----------------------------------------------------------------------------

• Analogi

• Untuk memahami metrik, sebagai analogi kita melihat ukuran panjang

• Ukuran panjang dapat dinyatakan dalam inci dan cm

• Pada estimasi indeterminasi, hasil ukurnya boleh dalam inci dan boleh juga dalam cm (tidak ditentukan)

• Jika kita menentukan metrik cm, maka estimasi dalam inci dapat diubah menjadi cm melalui, misalnya

b2 (inci) = kb1 (cm) dengan k = 2,54

• Ubahan ini dinamakan kalibrasi yakni metrik inci dikalibrasikan ke metrik cm

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

4. Penentuan metrik

• Pada dasarnya, kita bebas memilih suatu metrik tertentu sebagai patokan

• Salah satu pilihan adalah metrik dengan nilai baku (rerata dan simpangan baku) tertentu, misalnya, salah satu di antara

Parameter Nilai baku

θ µθ = 0 σθ = 1

b µb = 0 σb = 1

• Pada nilai baku, bentangan nilai teoretis adalah dari – ∞ sampai + ∞ tetapi pada umumnya yang digunakan adalah

negatif, nol, positif

dari – 4 sampai + 4

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

5. Kalibrasi

• Transformasi suatu hasil estimasi ke metrik yang sudah ditentukan dikenal sebagai kalibrasi

• Kalibrasi dapat dilaksanakan melalui penyetaraan hasil estimasi ke metrik yang ditentukan (sebagai analogi: inci ke cm, foot ke m, atau cm ke inci)

• Penyetaraan yang banyak digunakan adalah penyetaraan dengan responden gandeng atau butir gandeng

• Responden gandeng terdapat pada kalibrasi butir sedangkan parameter butir gandeng terpada pada kalibrasi parameter kemampuan

• Dikenal sejumlah metrik beserta skala yang digunakannya

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

B. Metrik pada Hasil Estimasi

1. Macam Metrik

• Ada sejumlah metrik dan skala yang digunakan pada estimasi parameter indeterminasi

• Metrik ini pada umumnya ditentukan melalui transformasi (kalibrasi) dalam bentuk

θ2 = kθ1 + d

b2 = kb1 + d

a2 = a1 / k

dengan bermacam nilai k dan d

• Beberapa metrik di antara macam metrik itu dikemukakan dan dibahas di sini

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

2. Skala Logit pada Model Rasch

oleh Hambleton dan Swaminathan

• Logit adalah logaritma terhadap karakteristik butir yang memiliki fungsi eksponensial

ln e(θ – b)

sehingga skala yang digunakan adalah e

Jarak e1 = 2,718

Satuan = logit

Dengan demikian skala logit adalah skala interval

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

• Satuan ini berasal dari log-odd sukses pada model Rasch

• Untuk dua responden dengan θ1 dan θ2

ln Os1 = θ1 – b1

ln Os2 = θ2 – b2

Selisih kemampuan mereka pada butir sama yakni pada b1 = b2 adalah

θ2 – θ1 = ln Os2 – ln Os1 = ln (Os2 / Os1)

Jika θ2 – θ1 = 1 maka ln (Os2 / Os1) = 1

yakni (Os2 / Os1) = e1 = 2,718

Jarak 1 logit adalah sebesar e1 atau 2,718

• Hal yang sama berlaku untuk parameter b

)(ln

)(

)( )(

bO

eQ

PO

s

bs

−=

== −

θθθ θ

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

3. Skala RIT

• Salah satu skala pada kemampuan dan taraf sukar butir adalah RIT (Rasch unIT)

• Besaran RIT adalah

10 RIT = 1 logit

1RIT = 0,1 logit

• Dengan demikian maka

1 RIT = 0,2718

• Dikembangkan oleh NWEA (Northwest Evaluation Association)

θRIT = 200 + 10 θlogit RIT

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Contoh

Hasil estimasi θ memiliki satuan logit

Misal θlogit = − 2 logit

maka θRIT = 200 + 10 θlogit RIT

= 200 + (10)(− 2) RIT

= 180 RIT

Misal lain θlogit = 2,5 logit

maka θRIT = 200 + 10 θlogit RIT

= 200 + (10)(2,5) RIT

= 225 RIT

NWEA menyusun dan merinci Learning Continuum untuk bahasa dan matematika untuk sekolah dari 150 RIT sampai 300 RIT

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Skala RIT pada NWEA

Dari log odd sukses ditemukan untuk model Rasch

dalam satuan logit

Dengan 1 logit = 10 Rit serta menggunakan dasar 200, NWEA menetapkan

p

pb

p

pb

−+=

−=−

1ln

1ln

θ

θ

Ritp

pb

++=1

ln10200θ

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Contoh

Seorang siswa mengerjakan butir dengan taraf sukar butir b = – 4 dengan probabilitas jawaban betul 0,75

Kemampuan siswa ini adalah

Pada NWEA, siswa tingkat 2 sampai 10 mencapai kemampuan 150 sampai 300 Rit

Rit

p

pb

171

75,01

75,0ln410200

1ln10200

=

−+−+=

++=θ

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

4. National Reference Scale (NRS) dari Rentz dan Bashaw

Dengan tujuan agar rentangan menjadi lebar serta tidak terdapat niliai negatif, metrik ini menetapkan

rerata (d) = 200

simpangan baku (k) = 10

Kalibrasi dilakukan melalui

10 θ + 200

Untuk nilai θ dari – 4 sampai + 4, rentangan menjadi

rerata : 200

rentangan : 160 sampai 240

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

5. Skala W pada model Rasch oleh Woodcok-Johnson pada Psycho-Educational Battery

Kalibrasi yang digunakan adalah

Karena

maka Wθ = 0,455 C1 θ + C2

Untuk C1 = 20 dan C2 = 500 diperoleh

Wθ = 9,1 θ + 500

Dengan cara sama diperoleh juga

Wb = 9,1 b + 500

291 CeCW += θθ log

θθθθ 455099 ,

lnloglog === ee

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

6. Skala WIT pada model Rasch

ubahan Wθ oleh Wright

Benjamin Wright mengubah skala Wθ serta memberikannya satuan WIT

Ubahan Wright adalah

Perhitungan lebih lanjut menghasilkan skala WIT

Wθ = 9,1 θ + 100

Dengan cara yang sama, skala WIT pada parameter b adalah

Wb = 9,1 b + 100

10010 3 += θθ eW log

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Contoh 1

Kemampuan θ pada beberapa metrik

θ NRS Wθ WIT

– 2,40 176,0 478,160 78,160 – 1,12 188,8 489,808 89,808 – 0,14 198,6 498,726 98,726 0,84 208,4 507,644 107,644 2,12 221,2 519,292 119,292

Contoh 2

Taraf sukar butir pada beberapa metrik

b NRS Wb WIT

– 2,28 177,2 479,252 79,252 – 1,07 189,3 490,263 90,263 – 0,25 197,5 497,725 97,725 1,31 213,1 511,921 111,921 2,52 225,2 522,932 122,932

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

7. Skala Ujian Akhir Nasional tahun 2004

• UAN (Ujian Akhir Nasional) tahun 2004 menggunakan skala di antara 0 sampai 10

• Parameter kemampuan pada UAN diubah menjadi 0 < kemampuan < 10

• Sementara itu, keberhasilan pada ujian yakni proporsi jawaban betul diubah juga menjadi

0 < keberhasilan < 10

0− 4 + 4

0,5

1,0

0

θ

N

n

0

10

10

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

8. Satuan Lexile (L)

Penggunaan

Khusus digunakan pada bacaan. Kemampuan membaca dinyatakan dalam satuan Lexile. Kesukaran bacaan juga dinyatakan dalam satuan Lexile.

Level Skala

Satuan Lexile memiliki level skala interval

Rentangan

Kemampuan membaca serta kesukaran bacaan merentang dari

Di bawah 200 L sampai di atas 1700 L

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Kriteria Kemampuan Membaca dan Kesukaran Bacaan

Berdasarkan kecocokan di antara kemampuan membaca dan kesukaran bacaan dengan pengertian ada 75% pemahaman

Sumber Satuan Lexile

Merupakan kombinasi dari kesukaran semantik dan kompleksitas sintaktik

Persamaan Lexile

Bacaan dipecah dalam irisan; melalui persamaan Lexile diperoleh ukuran Lexile. Melalui model Rasch, diperoleh ukuran Lexile untuk seluruh bacaan

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Beberapa contoh

• Buku Harry Porter 880 L sampai 950 L• Buku Little Women 1300 L• Buku Don Quixote 1410 L

Keterbacaan

Keterbacaan dalam batas kesukaran 100 L di atas dan 100 L di bawah kemampuan

Tingkat di Sekolah (berbeda-beda), contoh

Tingkat 1 200 L sampai 400 L

Tingkat 2 300 L sampai 500 L

Tingkat 3 500 L sampai 700 L

Tingkat 4 650 L sampai 850 L

Tingkat 5 750 L sampai 950 L

Tingkat 6 850 L sampai 1050 L

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

C. Kalibrasi Sekor

1. Pendahuluan

• Kalibrasi sekor dilakukan melalui penyetaraan sekor parameter ke metrik yang telah ditentukan

• Kalibrasi ini dapat disusun ke dalam tabel sebagai tabel konkordansi di antara metrik yang akan dikalibrasi dengan metrik kalibrasi

• Rumus kalibrasi mencakup translasi dan rotasi

θ2 = kθ1 + d

b2 = kb1 + d

a2 = a1 / k

• Ada beberapa cara kalibrasi yang serupa dengan cara penyetaraan sekor (Bab 15)

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

2. Dasar Kalibrasi

• Kalibrasi melibatkan paling sedikit dua sekor yakni

Sekor X yang akan dikalibrasi

Sekor Y yang menjadi patokan kalibrasi

• Melalui penyetaraan, kalibrasi ini menyebabkan sekor X disetarakan ke sekor Y

• Besaran yang dikalibrasi adalah parameter kemampuan dan parameter butir meliputi

θX menjadi θ*Y

bX menjadi b*Y

aX menjadi a*Y

Dengan catatan bahwa c tidak dikalibrasi, artinya, c kalibrasi sama dengan c sebelum kalibrasi

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

3. Koefisien Kalibrasi

• Hubungan di antara sekor yang telah dikalibrasi Y dengan sekor yang belum dikalibrasi X adalah

θ*Y = kθX + d

b*Y = kbX + d

a*Y = aX / k

• Di sini koefisien kalibrasi adalah k dan d. Jika k dan d dihitung maka kalibrasi ini dapat disusun ke dalam tabel kalibrasi

• Perhitungan koefisien kalibrasi k dan d melibatkan penyetaraan sekor yakni

Rancangan penyetaraan

Metoda penyetaraan

• Mereka adalah sama dengan penyetaraan sekor tersebut pada Bab 15

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

• Koefisien kalibrasi pada L1P dan L2P

Pada model L1P

L1P hanya memiliki satu parameter butir yakni parameter taraf sukar b, sehingga

a*Y = aX = 1 sehingga k = 1

Di sini hanya diperlukan translasi dan tidak diperlukan rotasi sehingga

k = 1

Koefisien kalibrasi menjadi

θ*Y = θX + d

b*Y = bX + d

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Pada model L2P

L2P memiliki dua parameter butir yakni parameter taraf sukar b dan daya beda a, sehingga terdapat translasi dan rotasi

Koefisien kalibrasi menjadi

θ*Y = kθX + d

b*Y = kbX + d

a*Y = aX / k

Dalam hal ini, k dan d merupakan koefisien kalibrasi yang berkaitan

k dengan rotasi

d dengan translasi

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

4. Rancangan Kalibrasi

Ada sejumlah rancangan yang dapat digunakan pada kalibrasi sekor, melibatkan sekor dan kelompok responden, meliputi

• Dua kelompok responden (K1 dan K2) yang unik dan gandeng

• Dua pengukuran (X dan Y) dengan butir yang unik dan gandeng

• Kelompok responden gandeng (KG)• Kelompok butir gandeng (Z)

Sekor adalah sekor X dan Y

Kelompok responden adalah K1 dan K2

Seperti halnya pada penyetaraan sekor, lima macam rancangan ini dapat diilustrasikan sebagai berikut

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Macam Rancangan

Macam Rancangan A

Macam Rancangan B

K2

YX

K1

YX

K2K1

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Macam Rancangan C (Gandeng Internal)

Macam Rancangan C (Gandeng Eksternal)

X Y

K1 KG K2

YX

K2K1 KG

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Macam Rancangan D (Gandeng Internal)

Macam Rancangan D (Gandeng Eksternal)

K1 K2

YX

K2K1

Z

X Z Y

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

5. Metoda kalibrasi

Ada sejumlah metoda kalibrasi untuk menghitung koefisien kalibrasi k dan d, meliputi

Metoda regresi

Metoda rerata dan simpangan baku

Metoda tegar rerata dan simpangan baku

Metoda lengkungan karakteristik

6. Rancangan dan Metoda yang Digunakan

Cara hitung koefisien kalibrasi di sini menggunakan rancangan dan metoda rerata dan simpangan baku

Rancangan D

Metoda rerata dan simpangan baku

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

D. Penentuan Koefisien Kalibrasi

1. Koefisien Kalibrasi pada Model L1P

• Terdapat butir X, butir Y, dan butir gandeng Z dengan rancangan

Kelompok K1 dengan butir X + Z

Kelompok K2 dengan butir Y + Z

• Butir Z terdapat pada kelompok K1 dan juga terdapat pada kelompok K2 , sehingga penyetaraan dapat dilakukan melalui butir gandeng Z

• Kelompok K1 berkaitan dengan X dan kelompok K2 berkaitan dengan Y sehingga melalui butir gandeng Z diperoleh penyetaraan di antara X dan Y

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Hasil dari bagian Z pada K1

Sekor responden AZX

Estimasi parameter b bZX

Rerata µbZX

Simpangan baku σbZX

Hasil dari bagian Z pada K2

Sekor responden AZY

Estimasi parameter b bZY

Rerata µbZY

Simpangan baku σbZY

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Dari penyetaraan untuk L1P diperoleh k =1

bZY = k bZX + d = bZX + d

sehingga

µbZY = µbZX + d

σbZY = σbZX

Dari persamaan ini diperoleh

d = µbZY – µbZX

Dengan nilai d ini dapat dilakukan kalibrasi untuk mengubah parameter bX ke b*

Y

b*Y = bX + d

θ*Y = θX + d

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Contoh 3

Hasil estimasi parameter b pada model L1P melalui penilaibakuan θ adalah

Butir bX+ZX bZY+Y b*Y

1 2,70 1,95 2 1,20 0,45

X 3 – 0,85 – 1,60 4 0,46 – 0,29 µbZX = 0,70

5 – 1,63 – 2,38 µbZY = – 0,05

6 1,50 0,75 7 2,35 1,60 d = –0,05 – 0,70Z 8 – 0,75 – 1,50 = –0,75 9 – 0,20 – 0,95 10 0,60 – 0,15 b*

Y = bX – 0,75

11 0,64 12 – 0,23

Y 13 – 1,42 14 0,38 15 1,43

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

2. Koefisien Kalibrasi pada Model L2P

• Terdapat butir X, butir Y, dan butir gandeng Z dengan rancangan

Kelompok K1 dengan butir X + Z

Kelompok K2 dengan butir Y + Z

• Butir Z terdapat pada kelompok K1 dan juga terdapat pada kelompok K2 , sehingga penyetaraan dapat dilakukan melalui butir gandeng Z

• Kelompok K1 berkaitan dengan X dan kelompok K2 berkaitan dengan Y sehingga melalui butir gandeng Z diperoleh penyetaraan di antara X dan Y

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Hasil dari bagian Z pada K1 Sekor responden AZX

Estimasi parameter b bZX

Rerata µbZX

Simpangan baku σbZX

Hasil dari bagian Z pada K2 Sekor responden AZY

Estimasi parameter b bZY

Rerata µbZY

Simpangan baku σbZY

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Dari penyetaraan pada butir gandeng Z diperoleh hubungan

bZY = kbZX + d

dan selanjutnya

µbZY = k µbZX + d σbZY = k σbZX

Dari hubungan ini diperoleh

sehingga

b*Y = k bX + d

a*Y = aX / k

θ*Y = k θX + d

ZXZY

ZX

ZY

bb

b

b

kd

k

µµσσ

−=

=

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Contoh 4

Hasil estimasi b dan a pada model L2P melalui penilaibakuan θ

Butir bX+ZX bY+XY b*Y aX+ZX aY+ZY a*

Y

1 0,70 0,45 1,65 1,74 2 1,85 …… 1,90 …… 3 2,25 …… 1,95 …… 4 2,75 …… 1,70 …… X 5 1,83 …… 0,88 ……. 6 –0,93 …… 0,67 ……. 7 –1,15 …… 0,45 ……. 8 –2,35 …… 0,70 ……. 9 0,59 …… 0,68 ……. 10 0,93 …… 0,90 …….

11 1,25 1,15 0,95 1,02 12 2,15 1,80 1,20 1,28 Z 13 2,80 2,35 1,90 2,05 14 –1,30 –1,50 0,60 0,75 15 –1,75 –1,90 0,45 0,49

16 1,10 1,07 17 1,80 1,28 18 –0,90 0,95 19 –1,30 0,77 Y 20 1,40 1,30 21 1,35 1,45 22 1,25 1,17 23 0,50 0,80 24 0,75 0,96 25 –1,95 0,68

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Dari sekor ini dapat dihitung

µbZX = 0,63 σbZX = 1,83

µbZY = 0,38 σbZY = 1,74

sehingga

k = σbZY / σbZX = 1,74 / 1,83 = 0,951

d = µbZY – k µbZX = 0,38 – (0,951(0,63)

= – 0,219

Kalibrasi menjadi

b*Y = 0,951 bX – 0,219

a*Y = aX / 0,951

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

E. Keberhasilan

1. Pendahuluan

Keberhasilan adalah sekor yang diperoleh dari hasil pada suatu pengukuran atau ujian

Keberhasilan dapat dinyatakan melalui sejumlah cara mencakup

A = jumlah sekor jawaban

µ = rerata jawaban

σ2 = variansi jawaban

Pada ujian, keberhasilan ditentukan oleh jawaban betul sehingga

A = jumlah jawaban betul

µ = rerata jawaban betul

σ2 = variansi jawaban betul

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

2. Keberhasilan pada Teori Klasik

Pada teori klasik, keberhasilan yang diperoleh responden ke-g dapat dinyatakan dalam beberapa bentuk

Untuk sekor dikotomi, rerata sama dengan proporsi sehingga selain jumlah sekor, digunakan juga proporsi sekor

Untuk responden ke-g pada N butir ujian

Keberhasilan π terletak di antara 0 dan 1

=

=

==

=

N

ii

gg

N

iig

XNN

A

XA

1

1

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

3. Keberhasilan pada Teori Responsi Butir

Teori responsi butir melakukan estimasi pada paramater kemampuan dan parameter butir

Hasil ukur pada teori responsi butir adalah kemampuan dan bukan keberhasilan

Di sini kita coba mencari hubungan di antara keberhasilan pada teori klasik dengan kemampuan pada teori responsi butir

Dalam hal ini kita coba mencari hubungan di antara

Ag pada teori klasik, dengan

θg pada teori responsi butir

P(θ) pada teori responsi butir

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

4. Kaitan di antara A dan P(θ)

Pada teori klasik

A = T + K

A = sekor amatan

T = sekor tulen

K = sekor keliru

Dari asumsi

E(K) = 0

E(A) = T + E(K)

sehingga T = E(A)

= E[Σ(Xi)]

= Σ[E(Xi)]

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Pada skala dikotomi

Jawaban betul Xi = 1

Jawaban salah Xi = 0

E(XI) = 1.P(θ) + 0.Q(θ)

= P(θ)

sehingga

T = Σ[E(Xi)]

= ΣP(θ)

Pada model karakteristik butir logistik, P(θ) berbentuk logistik dan tidak linier

Hubungan di antara T atau A dengan P(θ) adalah hubungan yang tidak linier (seperti pada ujian akhir nasional UAN)

------------------------------------------------------------------------------Metrik dan Kalibrasi

-----------------------------------------------------------------------------

Dengan T sebagai keberhasilan, diperoleh

Sekor π dikenal juga sebagai sekor wilayah (domain score)

Bentangan skala

π terletak di antara 0 sampai 1

θ terletak di antara –∞ sampai +∞

Kaitan dengan butir

π dependen kepada butir yang dipilih

θ independen kepada butir yang dipilih

)()(

)(

θθσ

θπ

π i

N

ii

N

iig

QPN

PN

=

=

=

=

12

2

1

1

1

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

5. Transformasi

Untuk evaluasi, ada kalanya, parameter kemampuan θ ditransformasi ke sekor tulen atau sekor wilayah

T = Σ[E(Xi)]

= ΣP(θ)

π = T / N

Dari sekor wilayah dapat ditentukan nilai sesuai dengan skala yang digunakan

Misalkan π = 0,75 sedangkan skala adalah 0 sampai 100, maka nilai menjadi 75

Selanjutnya jika ada kriteria kelulusan, baik pada skala wilayah atau nilai, maka dapat ditentukan kelulusan atau ketidaklulusannya

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Contoh 5

Tiga butir ujian dikerjakan oleh sejumlah responden. Karakteristik butir L3P adalah

Butir a b c

1 0,80 – 2,00 0,00

2 1,00 – 1,00 0,00

3 1,20 0,00 0,10

Hasil estimasi parameter responden dan transformasi θ sekor ke T dan π

θ P1(θ) P2(θ) P3(θ) T π– 3 0,20 0,03 0,10 0,33 0,11

– 2 0,50 0,15 0,11 0,76 0,25

– 1 0,80 0,50 0,20 1,50 0,50

0 0,94 0,85 0,55 2,34 0,78

1 0,98 0,97 0,90 2,85 0,95

2 0,99 0,99 0,99 2,97 0,99

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

6. Tabel Konkordansi TOEFL

• TOEFL (Test of English as a Foreign Language) memiliki dua macam ujian

• Ujian dengan kertas dan pinsil menghasilkan keberhasilan dengan transformasi sekor

dari 200 sampai 677

• Ujian adaptif melalui komputer menghasilkan kemampuan dengan transformasi sekor

dari 0 sampai 300

• Penyetaraan di antara sekor keberhasilan dan sekor kemampuan menghasilkan tabel konkordansi mencakup bentangan sekor

keberhasilan 310 sampai 677

kemampuan 40 sampai 300

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Tabel Konkordansi TOEFL

Kemam- Hasil Kemam- Hasil Kemam- Hasil puan Ujian puan Ujian puan Ujian 677 300 597 247 517 187 673 297 593 243 513 183 670 293 590 243 510 180 667 290 587 240 507 180 663 287 583 237 503 177 660 287 580 237 500 173 657 283 577 233 497 170 653 280 573 230 493 167 650 280 570 230 490 163 647 277 567 227 487 163 643 273 563 223 483 160 640 273 560 220 480 157 637 270 557 220 477 153 633 267 553 217 473 150 630 267 550 213 470 150

627 263 547 210 467 147 623 263 543 207 463 143 620 260 540 207 460 140 617 260 537 203 457 137 613 257 533 200 453 133 610 253 530 197 450 133 607 253 527 197 447 130 603 250 523 193 443 127 600 250 520 190 440 123

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

Kemam- Hasil Kemam- Hasil Kemam- Hasil

puan Ujian puan Ujian puan Ujian

437 123 393 90 350 63

433 120 390 90 347 63

430 117 387 87 343 60

427 113 383 83 340 60

423 113 380 83 337 57

420 110 377 80 333 57

417 107 373 77 330 53

413 103 370 77 327 50

410 103 367 73 323 50

407 100 363 73 320 47

403 97 360 70 317 47

400 97 357 70 313 43

397 93 353 67 310 40

----------------------------------------------------------------------------

Metrik dan Kalibrasi------------------------------------------------------------------------------

• 6. Tabel Konkordansi pada TOEFL

Kemam- Hasil Kemam- Hasil Kemam- Hasil puan jian puan Ujian puan Ujian

677 300 623 263 570 230

673 297 620 260 407 100 670 293 617 260 403 97

667 290 613 257 400 97 663 287 610 253 397 93 660 287 607 253 393 90 657 283 603 250 390 90 653 280 600 250 387 87 650 280 597 247 383 83 647 277 593 243 380 83 643 273 590 243 377 80 640 273 587 240 373 77 637 270 583 237 370 77 633 267 580 237 367 73 630 267 577 233 363 73

627 263 573 230 360 70 623 263 620 260 617 260 613 257 610 253

------------------------------------------------------------------------------Metrik dan Kalibrasi

------------------------------------------------------------------------------

• Kemam- Hasil Kemam- Hasil Kemam- Hasil• Ujian puan puan Ujian puan Ujian

• 517 187 463 143 410 103• 567 227 513 183 460 140• 563 223 510 180 457 137• 560 220 507 180 453 133• 557 220 503 177 450 133• 553 217 500 173 447 130• 550 213 497 170 443 127• 547 210 493 167 440 123• 543 207 490 163 437 123• 540 207 487 163 433 120• 537 210 483 160 430 117• 533 200 480 157 427 113• 530 197 477 153 423 113• 527 197 473 150 420 110• 523 193 470 150 417 107• 520 190 467 147 413 103