Lina Marliani

J-PAL SEA

Cara Pengacakan

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi?

Mengapa Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi?

Mengapa Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

• Tingkat pengacakan

• Kendala di lapangan

• Metode-metode pengacakan

• Variasi dalam kelompok perlakuan-kontrol

Ikhtisar Paparan

Tingkat Pengacakan: Opsi-opsi

Dua opsi dasar:

1. Pengacakan di tingkat perorangan / individu

2. Pengacakan di tingkat kelompok

“Cluster Randomized Trial”

Di tingkat manakah yang akan dilakukan pengacakan?

Tingkat Pengacakan: Perorangan?

Tingkat Pengacakan: Perorangan?

Tingkat Pengacakan: Kelas?

Tingkat Pengacakan: Kelas?

Tingkat Pengacakan: Sekolah?

Tingkat Pengacakan: Sekolah?

Bagaimana Memilih Tingkatannya?

• Karakteristik Perlakuan

– Bagaimana intervensi dilakukan?

– Seberapa luas dampaknya?

• Tingkat pengumpulan/ agregasi dari data yang ada

• Power calculation

• Secara umum, pengacakan lebih baik dilakukan pada tingkat

dimana perlakuan dilaksanakan

• Tingkat pengacakan

• Kendala nyata di lapangan

• Metode-metode Pengacakan

• Variasi dalam kelompok perlakuan-kontrol

Ikhtisar Paparan

Kendala: Sumber Daya

• Kebanyakan program memiliki keterbatasan sumber

daya

– Voucher, ruang untuk program pelatihan, anggaran

untuk fasilitator masyarakat

• Menghasilkan penerima (recipients) yang lebih layak

daripada layanan yang dimungkinkan oleh sumber daya

• Terbatasnya sumber daya dapat menjadi peluang

evaluasi

• Lotre bersifat sederhana, umum dan transparan

• Berguna ketika tidak ada alasan apriori untuk

mendiskriminasi

• Peserta mengetahui "pemenang" dan “yang kalah"

• Lotre sederhana dapat dianggap adil

Kendala: Keuntungan Politis

Kendala: Kontaminasi Spillovers/Crossovers

• Ingat bahwa kelompok kontrol seharusnya mendekati

counterfactual

• Jika kelompok kontrol berbeda dari counterfactual,

hasilnya dapat bias

• Ini dapat terjadi karena

• Spillovers

• Crossovers

Spillovers: Pengobatan Penyakit Cacingan

di Sekolah

• Positive spillovers?

• Negative spillovers?

Kendala: logistik

• Kendala-kendala logistik dalam rancangan penelitian

perlu dikenali.

• Misal: pengobatan penyakit cacingan oleh pekerja

kesehatan secara individu

– Banyaknya tanggung-jawab. Tak hanya pengobatan.

– Melayani kelompok kontrol maupun kelompok

perlakuan

– Prosedur berbeda untuk kelompok-kelompok

berbeda?

Kendala: keadilan, politik

Visibilitas status perlakuan:

• Pengacakan pada tingkat anak dalam kelas

• Pengacakan pada tingkat kelas dalam sekolah

• Pengacakan pada tingkat masyarakat

Kendala: Ukuran Sampel

• Program ini hanya cukup untuk melayani segelintir

masyarakat

• Terutama merupakan persoalan statistical power: terlalu

sedikitnya pengamatan artinya semakin kecilnya

kemungkinan mengukur dampak yang tepat

• Ukuran sampel yang diinginkan ditentukan melalui

power calculation (tidak dibahas dalam paparan ini)

Misalkan intervensi menargetkan hasil kesehatan anak-anak melalui

pemberian info tentang mencuci tangan. Apakah tingkat pengacakan

yang tepat?

A. Tingkat anak

B. Tingkat rumah tangga

C. Tingkat kelas

D. Tingkat sekolah

E. Tingkat desa

F. Tidak tahu

• Tingkat pengacakan

• Kendala nyata di lapangan

• Metode-metode pengacakan

• Variasi dalam kelompok perlakuan-kontrol

Ikhtisar Paparan

Phase-in: Memanfaatkan ekspansi

• Pada akhirnya semua orang akan mendapatkan

perlakuan

• Cara yang alami untuk mengembangkan program yang

mengalami kendala sumber daya

• Apa yang menentukan sekolah, cabang, dsb. yang mana

yang akan dilaksanakan pada tahun berapa?

Rancangan Phase-in

Ronde 3 Perlakuan: 3/3

Kontrol: 0 1

1

1 1

1

1

1

1

1

1 1

1

1

1

2

2

2 2

2

2

2 2

2

2

2

2 2

2

2

2

3

3 3 3

3

3

3

3 3

3

3 3

3

3

3 3

3

Ronde 1 Perlakuan: 1/3

Kontrol: 2/3

Ronde 2 Perlakuan: 2/3

Kontrol: 1/3

Evaluasi Acak

berakhir

Rancangan Phase-in

Keuntungan

• Pada akhirnya setiap orang mendapat perlakuan

• Memberikan insentif untuk mempertahankan kontak

Kelemahan

• Dapat mempersulit estimasi efek jangka panjang

• Harus memperhatikan phase-in windows

• Apakah harapan akan sesuatu merubah perilaku

sekarang?

Rancangan Dorongan: Apa yang perlu dilakukan

ketika Anda tidak dapat mengacak akses

• Kadang pengacakan akses program tidak dimungkinkan

dari segi praktis maupun etika.

• Tetapi banyak program memiliki tingkat partisipasi

kurang dari 100%

• Mengacak dorongan untuk menerima perlakuan

Apakah “Dorongan” itu?

• Sesuatu yang membuat orang untuk lebih cenderung

menggunakan program daripada yang lain

• Bukan merupakan suatu “Perlakuan” dengan sendirinya

• Untuk siapa kita mengestimasi efek perlakuan?

• Perhatikan siapa yang menanggapi insentif

Dua kelompok yang manakah yang akan Anda

bandingkan dalam suatu rancangan dorongan ?

A. Yang diberikan

dorongan vs yang tidak

diberikan dorongan

B. Peserta vs non-peserta

C. Compliers vs. Non-

compliers

D. Tidak tahu

Rancangan Dorongan

Dorongan

Tidak dapat

dorongan

Berpartisipasi

Tidak berpartisipasi

Bandingkan yang mendapatkan

dorongan dengan yang tidak

mendapatkan dorongan

Jangan bandingkan

partisipan dengan non-

partisipan

Hal-hal ini terkorelasi

Metode-metode Pengacakan - Ikhtisar

Rancang-

an

Paling berguna

saat…

Keuntungan Kerugian

Lotre dasar

•Minat untuk

berpartisipasi

dalam program

berlebihan

•Semua orang

mengetahui

•Mudah dipahami

•Mudah

diimplementasikan

•Dapat

diimplementasikan di

masyarakat / publik

•Kelompok kontrol

mungkin tidak

kooperatif

•Differential attrition

Metode-metode Pengacakan - Ikhtisar

Rancang-

an

Paling berguna

saat…

Keuntungan Kerugian

Phase-In

•Pengembangan

selama kurun waktu

tertentu

•Setiap orang pada

akhirnya harus

mendapatkan

perlakuan

•Mudah dipahami

•Kendala mudah

dijelaskan

•Kelompok kontrol

patuh karena mereka

mengharapkan

keuntungan dari

perlakuan nantinya

•Antisipasi terhadap

perlakuan dapat

mempengaruhi perilaku

jangka pendek

•Sulit untuk mengukur

dampak jangka panjang

Metode-metode Pengacakan - Ikhtisar

Rancang-

an

Paling berguna

saat…

Keuntungan Kerugian

Dorongan

•Program harus

dibuka kepada

semua yang ingin

berpartisipasi

•Saat partisipasi

rendah, tetapi

mudah

ditingkatkan

dengan insentif

•Dapat mengacak

pada tingkat

individual walaupun

program tidak

dijalankan di tingkat

itu.

•Mengukur dampak

hanya pada mereka yang

menanggapi insentif

•Memerlukan banyak

dorongan untuk

meningkatkan

partisipasi (take-up)

•Dorongan itu sendiri

mungkin memiliki efek

langsung

Metode acak yang mana akan Anda pilih jika rekan Anda

mensyaratkan agar setiap orang mendapatkan perlakuan

pada suatu waktu tertentu?

A. Rancangan Phase-in

B. Lotre Dasar

C. Dorongan

D. Tidak tahu

• Tingkat pengackan

• Kendali nyata di lapangan

• Metode-metode pengacakan

• Variasi dalam kelompok perlakuan-kontrol

Ikhtisar Paparan

Lebih dari satu perlakuan

• Kadang pertanyaan intinya adalah untuk menentukan

dari sejumlah intervensi yang berbeda-beda

• Anda dapat mengacak program-program ini

• Apakah hal ini mengajarkan kita tentang manfaat dari

salah satu intervensi?

• Apakah Anda memiliki kelompok kontrol?

Perlakuan 1

Perlakuan 2

Perlakuan 3

Lebih dari satu perlakuan

Perlakuan Cross-cutting

• Menguji sejumlah komponen perlakuan yang berbeda

dalam beragam kombinasi

• Menguji apakah komponen-komponen tersebut saling

mensubstitusi atau melengkapi

• Kombinasi apakah yang paling hemat biaya?

• Keuntungan: win-win untuk operator, dapat membantu

menjawab pertanyaan, melebihi “dampak” sederhana

Beragam Tingkat Perlakuan

• Beberapa sekolah diberikan perlakuan yang penuh

– Semua anak mendapatkan pil

• Beberapa sekolah diberikan perlakuan sebagian

– 50% anak diberikan pil

• Menguji subsidi dan harga

Stratifikasi

• Tujuan: menyeimbangkan sampel Anda ketika Anda memiliki ukuran sampel kecil

• Apakah itu:

– Membagikan sampel ke dalam sub-group berbeda

– Memilih kelompok perlakuan dan kontrol dari masing-masing sub-group

• Apa yang terjadi jika Anda tidak melakukan stratifikasi?

Kapan Stratifikasi Dilakukan

• Lakukan stratifikasi pada variabel-variabel yang dapat memberikan dampak penting terhadap variabel hasil (outcome).

• Lakukan stratifikasi pada sub-group yang menarik bagi Anda (yang menurut Anda dapat berdampak berbeda terhadap program).

• Stratifikasi lebih penting pada dataset kecil

• Dapat menjadi rumit jika stratifikasi dilakukan pada terlalu banyak variabel.

• Semakin banyak stratifikasi dilakukan, hasil mennjadi kurang transparan.

Mekanisme Pengacakan

• Memerlukan kerangka

sampel (sample frame)

• Mengambil undian dari

sebuah topi/ ember

• Menggunakan angka acak

dari program spreadsheet

untuk menentukan observasi

secara acak

• Menggunakan program Stata

Sumber: Chris Blattman