Shawn Powers

J-PAL Global

Mengapa melakukan pengacakan

(Randomization)?

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi?

Mengapa Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi?

Mengapa Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

I. Latar Belakang

II. Apa itu eksperimen acak?

III.Mengapa melakukan pengacakan?

IV.Kritik dan respon pada umumnya

Ikhtisar Paparan

I – Latar Belakang

Apa dampak dari program ini?

Waktu

Has

il U

tam

a

Program dimulai

Apa dampak dari program ini?

A. Positif

B. Negatif

C. Nol

D. Saya tidak tahu

E. Siapa yang tahu?

A. B. C. D. E.

0% 0% 0%0%0%

Dampak: Apa itu?

Waktu

Has

il U

tam

a

Intervensi

Apa dampak dari program ini?

A. Positif

B. Negatif

C. Nol

D. Saya tidak tahu

E. Siapa yang tahu?

A. B. C. D. E.

0% 0% 0%0%0%

Dampak: Apa itu?

Waktu

Has

il U

tam

a

Dampak

Intervensi

Dampak: Apa itu?

Waktu

Has

il U

tam

a

Dampak

Intervensi

Dampak: Apa itu?

Waktu

Has

il U

tam

a

Dampak

Intervensi

Bagaimana cara mengukur dampak?

Dampak didefinisikan sebagai suatu perbandingan antara:

1. Hasil yang diperoleh setelah beberapa waktu program dilaksanakan

2. Hasil yang dipeoleh di saat yang sama jika program tidak dilaksanakan (”counterfactual”)

13

Counterfactual

• Counterfactual mewakili keadaan dimana para peserta program mengalaminya tanpa kehadiran program (yakni jika mereka tidak berpartisipasi dalam program)

• Masalah: Counterfactual tidak dapat diamati

• Solusi: Kita perlu “meniru” atau membangun Counterfactual

Metode evaluasi dampak

1. Eksperimen acak

• Dikenal juga sebagai:

– Studi Pengelompokan Acak (Random Assignment

Studies)

– Percobaan Lapangan Acak (Randomized Field Trials)

– Eksperimen Sosial (Social Experiments)

– Evaluasi Acak (Randomized Controlled Trials/RCTs)

– Eksperimen Acak (Randomized Controlled Experiments)

15

Metode evaluasi dampak

2. Metode Non- atau Quasi-Eksperimental

a. Perbandingan Sebelum dan Sesudah (pre-post

comparison)

b. Perbedaan Sederhana (Simple Difference)

c. Differences-in-Differences

d. Regresi Multivariat

e. Pencocokan Statistik (Statistical Matching)

f. Interrupted Time Series

g. Variabel Instrumental (Instrumental Variables)

h. Diskontinuitas Regresi (Regression

Discontinuity)

II – Apa itu eksperimen acak?

Pemahaman Dasar

Dimulai dengan kasus sederhana:

• Ambil sampel para pelamar program

• Secara acak kelompokkan mereka dalam

salah satu kelompok ini:

Kelompok Perlakuan – mendapat perlakuan

Kelompok Pembanding – tidak mendapat

perlakuan (selama periode evaluasi)

Manfaat utama eksperimen

Karena anggota kelompok (perlakuan dan

kontrol) secara sistematis tidak berbeda di

awal eksperimen,

perbedaan apapun yang timbul kemudian di

antara kedua kelompok dapat dikaitkan

kepada program dan bukan kepada faktor-

faktor lainnya.

19

Evaluasi “Perempuan Sebagai Pembuat Kebijakan”:

desa Perlakuan vs. Kontrol pada baseline

Variabel Kelompok

Perlakuan

Kelompok

Kontrol Perbedaan

Tingkat Melek-Huruf

Perempuan 0,35 0,34

0,01

(0,01)

Jumlah Fasilitas Kesehatan

Umum 0,06 0,08

-0,02

(0,02)

Air keran 0,05 0,03 0,02

(0,02)

Jumlah Sekolah Dasar 0,95 0,91 0,04

(0,08)

Jumlah Sekolah Menengah

Atas 0,09 0,10

-0,01

(0,02)

Standard Error dalam tanda kurung. Statistik yang ditunjukkan

untuk West Bengal

*/*/***: Secara statistik signifikan pada tingkat 10% / 5% / 1%

Sumber: Chattopadhyay and Duflo (2004)

Beberapa variasi dalam dasar

• Mengelompokkan mereka dalam berbagai

kelompok perlakuan

• Mengelompokkan unit-unit selain individu

atau rumah tangga

Pusat Kesehatan

Sekolah

Pemerintahan Daerah

Desa-Desa

III – Mengapa melakukan

pengacakan?

Mengapa melakukan pengacakan? – Argumen

Konseptual

Jika dirancang dan dilaksanakan dengan tepat,

eksperimen acak dapat memberikan metode

paling kredibel untuk mengestimasi dampak

suatu program

23

Mengapa “paling kredibel”?

Karena anggota kelompok (perlakuan dan

kontrol) tidak berbeda secara sistematis di

awal eksperimen,

Perbedaan apapun yang kemudian timbul di

antara mereka dapat dikaitkan kepada

program dan bukan kepada faktor-faktor

lainnya.

24

Contoh #1: Program Balsakhi

Case 2: Remedial Education in IndiaEvaluating the Balsakhi Program

Incorporating random assignment into the program

Case 2: Remedial Education in IndiaEvaluating the Balsakhi Program

Incorporating random assignment into the program

Program Balsakhi : Latar Belakang

• Diimplementasikan oleh Pratham, sebuah

LSM dari India

• Program ini menyediakan guru tambahan

(Balsakhi) untuk membantu anak-anak

berisiko dengan tugas sekolah mereka

• Di Vadodara, program balsakhi dilaksanakan

di sekolah-sekolah dasar negeri 2002-2003

• Para guru memutuskan anak-anak mana yang

akan mendapatkan balsakhi

Balsakhi: Hasil

• Anak-anak diuji di awal tahun sekolah (pretest) dan di akhir tahun (post-test)

• PERTANYAAN: Bagaimana kita dapat mengestimasi dampak program balsakhi pada nilai/skor ujian?

Metode-metode untuk mengestimasi

dampak

• Mari kita lihat berbagai cara untuk

mengestimasi dampak dengan menggunakan

data dari sekolah-sekolah yang menerima

balsakhi

1. Perbandingan sebelum dan sesudah (pre-post

comparison)

2. Perbedaan sederhana (simple difference)

3. Difference-in-differences

4. Metode non-eksperimental lainnya

5. Eksperimen Acak

• Melihat rata-rata

perubahan dalam nilai

ujian sepanjang tahun

ajaran untuk anak-anak

yang mendapatkan

program balsakhi

1 – Perbandingan sebelum dan sesudah

1 – Perbandingan sebelum dan sesudah

• PERTANYAAN: Dalam kondisi apakah

perbedaan ini (26,42) dapat ditafsirkan sebagai

dampak program balsakhi?

Rata-rata nilai post-test untuk anak-anak program balsakhi

51,22

Rata-rata nilai pretest untuk anak-anak program balsakhi

24,80

Perbedaan 26,42

Apa yang akan terjadi jika tidak ada program

balsakhi?

Metode1: Perbandingan sebelum dan sesudah

Dampak = 26,42 poin?

75

50

25

0

0

2002 2003

26,42 poin?

2 – Perbedaan sederhana (Simple Difference)

Anak-anak yang menerima

program balsakhi

Bandingkan nilai ujian dari …

Anak-anak yang tidak menerima program balsakhi

Deng-

an nilai

ujian…

2 – Perbedaan sederhana (Simple Difference)

• PERTANYAAN: Dalam kondisi apakah

perbedaan ini (-5.05) dapat ditafsirkan sebagai

dampak program balsakhi?

Rata-rata nilai untuk anak-

anak program balsakhi

51,22

Rata-rata nilai untuk anak-

anak yang tidak menerima

program balsakhi

56,27

Perbedaan -5,05

Apa yang akan terjadi jika tidak ada program

balsakhi?

Metode 2: Perbandingan Sederhana

Dampak = -5.05 poin?

75

50

25

0

0 2002 2003

-5.05 poin?

Seleksi

• Jika ada karakteristik yang terkait dengan

“status perlakuan” dan secara independen

memengaruhi hasil perlakuan, ini bisa

menimbulkan bias

– Tingkat pendidikan (perlakuan) dan pendapatan

(hasil)

– Perbaikan sumber air (perlakuan) dan insidensi

diare (hasil)

3 – Difference-in-Differences

Anak-anak yang

mendapatkan

program balsakhi

Bandingkan perolehan dalam nilai ujian dari…

Anak-anak yang tidak mendapatkan program balsakhi

Deng-an perolehan dalam nilai ujian…

3 - Difference-in-differences

Pretest Post-test Perbedaan

Rata-rata nilai untuk anak-anak dengan program balsakhi

24,80 51,22 26,42

3 - Difference-in-differences

Pretest Post-test Perbedaan

Rata-rata nilai untuk anak-anak dengan program balsakhi

24,80 51,22 26,42

Rata-rata nilai untuk anak-anak tanpa program balsakhi

36,67 56,27 19,60

• PERTANYAAN: Dalam kondisi apakah 6.82 dapat ditafsirkan sebagai dampak program balsakhi?

3 - Difference-in-differences

Pretest Post-test Perbedaan

Rata-rata nilai untuk anak-anak dengan program balsakhi

24,80 51,22 26,42

Rata-rata nilai untuk anak-anak tanpa program balsakhi

36,67 56,27 19,60

Perbedaan 6,82

• Ada lebih banyak metode non-eksperimental yang

lebih canggih untuk mengestimasi dampak program:

– Regresi

– Pencocokan (Matching)

– Variabel Instrumental

– Diskontinuitas Regresi

• Metode-metode ini bergantung pada kemampuan

untuk “meniru” counterfactual dengan asumsi-asumsi

tertentu

• Masalah: Asumsi tidak dapat diuji

4 – Metode Lainnya

• Misalkan kita mengevaluasi program balsakhi

menggunakan eksperimen acak

• PERTANYAAN #1: Apa saja yang

diperlukan? Bagaimana kita

melaksanakannya?

• PERTANYAAN #2: Apa manfaat dari

penggunaan metode ini untuk mengevaluasi

dampak program balsakhi?

5 – Eksperimen Acak

41 Source: www.theoryofchange.org

Dampak Balsakhi - Ringkasan

Metode Estimasi Dampak

(1) Perbandingan sebelum

dan sesudah

26, 2*

(2) Perbedaan Sederhana -5,05*

(3) Difference-in-Differences 6,82*

(4) Regresi 1,92

*: Secara statistik signifikan pada level 5%

Dari metode-metode berikut ini, mana yang

menurut Anda paling mendekati kebenaran?

*: Statistically significant at the 5% level

Metode Estimasi

Dampak

(1) Perbandingan sebelum

dan sesudah

26,42*

(2) Perbedaan Sederhana -5,05*

(3) Difference-in-Differences 6,82*

(4) Regresi 1,92

A. Perbandingan sebelum dan

sesudah

B. Perbedaan Sederhana

C. Difference-in-Differences

D. Regresi

E. Tidak tahu

Dampak Balsakhi - Ringkasan

Metode Estimasi Dampak

(1) Perbandingan sebelum

dan sesudah

26,42*

(2) Perbedaan Sederhana -5,05*

(3) Difference-in-Differences 6,82*

(4) Regresi 1,92

(5) Eskperimen Acak 5,87*

*: Secara statistik signifikan pada level 5%

Dampak Balsakhi - Ringkasan

Intinya: Metode apa yang kita gunakan

sangatlah berpengaruh!

Metode Estimasi Dampak

(1) Perbandingan sebelum

dan sesudah

26,42*

(2) Perbedaan Sederhana -5,05*

(3) Difference-in-Differences 6,82*

(4) Regresi 1,92

(5) Eskperimen Acak 5,87*

*: Secara statistik signifikan pada level 5%

Contoh #2 – Microfinance di Afrika Selatan

Metode Estimasi Dampak

(1) Perbandingan sebelum

dan sesudah

2384*

(2) Perbedaan Sederhana 1838*

(3) Difference-in-Differences 1068*

(4) Regresi 1412

(5) Eksperimen Acak

*: Secara statistik signifikan pada level 5%

Contoh #2 – Microfinance di Afrika Selatan

Metode Estimasi Dampak

(1) Perbandingan sebelum

dan sesudah

2384*

(2) Perbedaan Sederhana 1838*

(3) Difference-in-Differences 1068*

(4) Regresi 1412

(5) Eksperimen Acak 292*

*: Secara statistik signifikan pada level 5%

Contoh #3 – Program Read India di Pratham

Contoh #3 – Program Read India di Pratham

Metode Dampak

(1) Perbandingan sebelum dan sesudah

0,60*

(2) Perbedaan Sederhana -0,90*

(3) Difference-in-Differences 0,31*

(4) Regresi 0,06

(5) Eksperimen Acak

*: Secara statistik signifikan pada level 5%

Contoh #3 – Program Read India di Pratham

Metode Dampak

(1) Perbandingan sebelum dan sesudah

0,60*

(2) Perbedaan Sederhana -0,90*

(3) Difference-in-Differencess 0,31*

(4) Regresi 0,06

(5) Eksperimen Acak 0.88*

*: Secara statistik signifikan pada level 5%

IV – Kesimpulan

povertyactionlab.org

• Ada banyak cara untuk mengestimasi dampak

suatu program

• Pelatihan ini membahas salah satu cara

tersebut: ekperimen acak

– Argumen konseptual: Jika dirancang dan

dilaksanakan dengan tepat, eksperimen acak

dapat memberikan metode paling kredibel untuk

mengestimasi dampak dari suatu program

– Argumen empiris: Metode-metode yang berbeda

dapat menghasilkan estimasi dampak yang

berbeda-beda

Kesimpulan – Mengapa Melakukan Acak?

52 Source: www.theoryofchange.org

Pertanyaan/Komentar?