Evaluasi Acak (Randomized Evaluation): Dari awal sampai akhir. Start to... · Dari awal sampai...
Transcript of Evaluasi Acak (Randomized Evaluation): Dari awal sampai akhir. Start to... · Dari awal sampai...
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa
Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Kendala dan Tantangan
5. Evaluasi dari Awal sampai Akhir
6. Analisis Keefektifan Biaya
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa
Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Kendala dan Tantangan
5. Evaluasi dari Awal sampai Akhir
6. Analisis Keefektifan Biaya
Studi Kasus
“Transparency in Anti-Poverty Programs”
oleh
Abhijit Banerjee, MIT
Rema Hanna, Harvard University
Jordan Kyle, Columbia University
Benjamin A. Olken, MIT
Sudarno Sumarto, TNP2K and SMERU
4
Alur Evaluasi secara umum
5
Desain Evaluasi
• Konteks
• Pertanyaan penelitian/ kebijakan
• Perlakuan yang akan diujicobakan
• Metode randomization
Baseline
• Survei: Pengumpulan indikator
• Random assignment
• Pengendalian kualitas
Perlakuan
• Implementasi perlakuan
• Pengendalian kualitas internal
• Koordinasi
• Kunjungan lapangan
Midline dan/atau Endline
• Survei: Pengumpulan indikator
• Pengendalian kualitas
Analisa
• Temuan kebijakan
• Policy outreach
Pengumpulan Data
Survei Midline Okt – Des ‘12
Survei Endline Mar – Mei‘13
Implementasi Proyek
Baseline Jan – Feb ‘12
Presentasi ke Pemerintah
Desember 2012
Presentasi ke Pemerintah
Juni 2013
Timeline Evaluasi Kartu Raskin
6
Desain Evaluasi
Implementasi Perlakuan Sep – Nov ‘12
Evaluasi dari Awal sampai Akhir
7
1. Latar Belakang dan Desain Evaluasi
2. Implementasi: Perlakuan (Treatment)
3. Implementasi: Pengumpulan Data
4. Analisa dan Scaling up
Latar Belakang dan Desain
9
Konteks
• Program Raskin
• Mitra: TNP2K
Pertanyaan Penelitian/ Kebijakan
• Pertanyaan Penelitian/ Kebijakan
• Theory of change
• Log frame
Perlakuan yang akan
diujicobakan
Metode randomization
• Unit randomisasi
• Sample frame
• Stratification
Mitra: TNP2K
10
• Tim Nasional Percepatan Penanggulangan Kemiskinan (TNP2K),
• Dibentuk dan berada di bawah Wakil Presiden Boediono
• Mandat TNP2K: – Menyusun kebijakan evidence-based untuk
meningkatkan keefektifan program bantuan sosial,
– Mengordinasikan aktor –aktor pemerintahan untuk tujuan ini
• Salah satu prioritas utama TNP2K adalah meningkatkan targeting dan service delivery. Raskin berada di bawah Cluster I TNP2K
Program: Raskin
11
• Salah satu program perlindungan sosial Indonesia yang paling
besar
– US $1.5 milyar pengeluaran tiap tahun
– 53% dari belanja APBN untuk perlindungan sosial (World Bank 2012)
• Menyediakan beras bersubsidi kepada rumah tangga miskin dan
rentan
– 15 kg beras dengan harga Rp. 1,600 per kg Titik Distribusi
– Sasaran: 30% RT paling miskin (PPLS’10)
• Nyatanya, Rumah Tangga Sasaran Penerima Manfaat (RTS-PM)
Raskin hanya menerima 32% subsidi(Raskin HH survey
Program: Raskin
12
• Tantangan dalam distribusi subsidi Raskin:
– Transparansi program
Rumah tangga tidak tahu hak mereka (jumlah beras yang
dapat dibeli ataupun harga beli)
– Monopoli terhadap Distribusi Raskin
Elit desa memiliki monopoli terhadap distribusi Raskin
ke/di dalam desa dan kepada rumah tangga
– Resolusi Konflik
Elit desa mungkin mengalihkan beras dari rumah tangga
yang berhak dalam rangka menghindari konflik.
Theory of Change
DISTRIBUSI KARTU RASKIN KEPADA RUMAH
TANGA SASARAN PENERIMA MANFAAT
RASKIN (RTS-PM)
RT MENERIMA KARTU RASKIN
RT MEMPEROLEH SUBSIDI RASKIN LEBIH BANYAK
TRANSPARANSI DAN EFEKTIFITAS
PROGRAM PERLINDUNGAN
SOSIAL MENINGKAT
Asumsi sampel: Warga memahami informasi di kartu, menggunakan kartu, tidak ketukar dengan kartu/ kupon Raskin yang mungkin ada sebelumnya
Asumsi sampel: RTS-PM menuntut harga turun, otoritas Raskin desa mendengarkan permintaan tersebut dan mampu membuat perubahan
Asumsi sampel: Pengiriman kartu ke RT berhasil, tidak ada penghalangan
Asumsi sampel: Perubahan ini berlanjut, ketidakefektifan program perlindungan sosial karena kurang transparansi
Log Frame
14
Hirarki Tujuan Indikator Sumber Verifikasi
Asumsi/ Ancaman
Dampak (Tujuan/
Tujuan Umum)
Meningkatnya
transparansi dan
keefektifan program-
program distribusi sosial
Kuantitas dan harga Raskin yang dibeli
Survei RT Perubahan praktek baru berlanjut, ketidakefektifan program karena kurang transparan
Hasil (Tujuan Proyek)
Penerima manfaat
mendapat subsidi Raskin
lebih banyak
Kuantitas dan harga Raskin yang dibeli
Survei RT RTS-PM menuntut harga turun, otoritas Raskin desa mendengarkan permintaan tersebut dan mampu membuat perubahan
Output RTS-PM menerima kartu Raskin
Apakah RTS-PM menerima kartu
Survei RT Warga memahami informasi di kartu, menggunakan kartu, tidak ketukar dengan kartu/ kupon Raskin yang mungkin ada sebelumnya
Input (Kegiatan)
Distribusi kartu kepada RTS-PM Raskin
Apakah kartu berhasil dikirim
Survei RT, data administratif dari PT Pos*
Pengiriman kartu ke RT berhasil, tidak ada penghalangan
Tujuan Evaluasi
15
Mengumpulkan bukti untuk memahami apakah distribusi kartu
Raskin yang diajukan TNP2K akan meningkatkan program Raskin
Percontohan bertujuan menjawab tiga pertanyaan kebijakan
kunci:
1. Akankah kartu Raskin meningkatkan targeting dan take-up
program Raskin untuk keluarga yang berhak (RTS-PM), dan
menurunkan harga?
2. Akankah kartu Raskin diterima secara sosial?
3. Apa cara paling efektif untuk mengimplementasikan kartu?
Ikhtisar Intervensi
16
Kartu Raskin
Variasi 1: Desain
Variasi 2: Konten
Variasi 3: Distribusi
Variasi 4: Sosialisasi
Kupon
Tanpa kupon
Harga di TD
Tanpa harga
Semua RTS-PM
10% plg bawah
Standar
Tambahan
Variasi Perlakuan
19
Variasi Kartu Sosialisasi
Standar Sosialisasi Tambahan
Semua RTS-PM
Harga Kupon Grup 1 Grup 2
Tanpa kupon Grup 3 Grup 4
Tanpa harga
Kupon Grup 5 Grup 6
Tanpa kupon Grup 7 Grup 8
10% Paling Bawah
Harga Kupon Grup 9 Grup 10
Tanpa kupon Grup 11 Grup 12
Tanpa harga
Kupon Grup 13 Grup 14
Tanpa kupon Grup 15 Grup 16
Control (Tanpa card, tanpa sosialisasi)
Mengidentifikasi unit pengacakan
20
• Apa unit administratif
terkecil tempat
dilaksanakannya distribusi
Raskin?
• Kecamatan? Gudang bulog?
Desa? Dusun?
Source: www.bulog.co.id
Propinsi
Kota/ Kab.
Desa/K elurahan
Di bawah Kota/Kab
Di bawah Kota/Kab
Gubernur
Bupati/ Walikota
Perum Bulog (Divre/Subdivre/Kansilog)
Gudang (Satgas Raskin)
Titik Distribusi (Pelaksana Distribusi)
Pokja Warung Desa Pokmas
Rumah tangga sasaran penerima Raskin (Dibayar tunai di Rp 1.600/kg di Titik Distribusi)
Ketua Tim Raskin Nasional (Kemeko Bid Kesra)
Sample Frame
21
• 600 desa (termasuk desa control)
28 dikeluarkan dari sampel karena berisiko tinggi dan terpencil
• 572 desa di 6 Kabupaten
Pemalang dan Wonogiri (Jawa Tengan),
Palembang dan Ogan Komering Ilir (Sumatera Selatan),
Bandar Lampung dan Lampung Tengah (Lampung)
• Sampel Raskin
sama dengan
proyek sebelumnya
(Targeting II)
Stratifikasi
22
• Perlakuan distratifikasi berdasarkan
– Kabupaten
– Kelompok Perlakuan di Targeting II
– Kecamatan
– Rasio urban terhadap rural 2:3
Bentuk Pengacakan
23
Perlakuan 1: Kartu Raskin
Perlakuan 2: Kartu Raskin + Sosialisasi Tambahan
Kendali: Tak ada perlakuan
Untuk keperluan ilustrasi saja. Terdapat 16 variasi perlakuan,
bukan 2.
24
Secara statistik, desa-desa Perlakuan dan Control serupa
sebelum percontohan
Baseline data from February 2012
Control CardsN = 5643
03
69
By Treatment Status
Raskin purchased (in kg)
Treatment Implementation Sept – Nov ‘12
Data Collection
Midline Survey Oct – Dec ‘12
Endline Survey Mar – May ‘13
Project Implementation
Baseline Jan – Feb ‘12
Presentation to GoI
Dec 2012
Presentation to GoI
June 2013
Timeline of Raskin Card Evaluation
25
Design Evaluation
Implementasi: perlakuan
27
Operasionalisasi perlakuan
Tetapkan kendali kualitas internal
Persiapan, peluncuran perlakuan (kartu, sos tambahan)
Koordinasi dengan pihak pemerintah
Kunjungan lapangan
Rencana Implementasi
28
• Operasionalisasi perlakuan
– Kembangkan rencana implementasi lapangan bersama dengan
spesialis fasilitasi dan pemerintah
– Gunakan vendor pilihan pemerintah
• Tetapkan kendali kualitas internal
– Pemeriksaan acak saat pencetakan kartu
– Standar dalam perekruitan fasilitator
– Dokumentasi implementasi perlakuan dengan form yang
sudah standar
– Prosedur pelaporan yang jelas
Rencana Implementasi
29
• Koordinasi dengan pihak pemerintah – Workshop di Jakarta untuk perwakilan dari propinsi,
kabupaten/kota
– Koordinasi pra-kerja lapangan dengan pemimpin kabupaten/ kota, kecamatan dan desa
• Persiapan, peluncuran perlakuan – Penjadwalan, pelatihan, koordinasi logistik
• Kunjungan lapangan: mengamati respon terhadap
perlakuan
Variasi Perlakuan
30
Variasi Kartu Sosialisasi
Standar Sosialisasi Tambahan
Semua RTS-PM
Harga Kupon Grup 1 Grup 2
Tanpa kupon Grup 3 Grup 4
Tanpa harga
Kupon Grup 5 Grup 6
Tanpa kupon Grup 7 Grup 8
10% Paling Bawah
Harga Kupon Grup 9 Grup 10
Tanpa kupon Grup 11 Grup 12
Tanpa harga
Kupon Grup 13 Grup 14
Tanpa kupon Grup 15 Grup 16
Control (Tanpa card, tanpa sosialisasi)
31
Secara acak, kartu dibedakan berdasarkan:
• Desain: dengan atau tanpa kupon
• Isi: dengan atau tanpa harga
• Distribusi: kepada semua RTS-PM atau hanya 10%
termiskin
Distribusi Kartu Raskin kepada RTS-PM
• Sept. hingga pertengahan Okt. ‘12
• 378 desa menerima kartu;
194 desa control
Rekap: Variasi Kartu Raskin
32
Secara acak, desa dengan kartu Raskin menerima:
• Sosialisasi Standar: Surat, DPM; atau
• Sosialisasi Tambahan:
• + 3 DPM per dusun
• + 3 poster informasi per dusun
• Sosialisasi ke tokoh masyarakat
• Pengumuman melalui mesjid
Rekap: Variasi Kartu Raskin
33
• Akhir-Sept. hingga mid-Nov. ’12
• 378 desa yang menerima kartu menerima
sosialisasi
• 186 desa: Sosialisasi Standar
• 192 desa: Sosialisasi Tambahan
• 194 desa control tidak menerima
sosialisasi
Rekap: Variasi Kartu Raskin
Seorang fasilitator menjelaskan mengenai kartu Raskin kepada pemimpin kampung di OKI, Lampung Tengah
Tantangan dalam implementasi perlakuan
34
• Beberapa desa perlakuan
tidak aman dan terpencil
• Banyak kartu tidak
sampai ke penerima
manfaat
Tantangan dalam implementasi perlakuan
35
• Fasilitator tidak menerima poster daftar
penerima manfaat yang mencukupi
• Pada saat
pertemuan, peserta
mengeluhkan
aspek lain dari
program Raskin/
pemerintah
Implementasi: Pengumpulan Data
37
Rancangan kuesioner
Piloting internal Koordinasi
dengan pihak pemerintah
Persiapan, peluncuran tim pengumpulan
data
Kendali kualitas, kunjungan lapangan
Rencana Pengumpulan Data
38
• Instrumen Survei: Survei RT dan masyarakat
• Baseline—gunakan endline proyek sebelumnya – Pastikan bahwa kelompok control dan perlakuan serupa secara
statistik
• Identifikasi responden – Responden:
• RTS-PM Raskin (miskin)
• RTS-PM Raskin (sangat miskin/10% paling miskin)
• Non RTS-PM Raskin
– Listing, untuk identifikasi non RTS-PM Raskin
– Gunakan data PPLS’10 , untuk identifikasi RTS-PM Raskin
Tantangan dalam Pengumpulan Data
39
• Mencocokkan data administratif dengan lapangan
– Human error, perubahan status kemiskinan/alamat
• Mengakomodasi perubahan pada area administratif
(misalnya pemekaran)
• Keterbatasan waktu
• Memperoleh SDM untuk melaksanakan pengumpulan data
• Masalah lain: sejauh mana responden dapat mengingat?
Bagaimana cara membahasakan/ menjelaskan “Titik
Distribusi”? Dsb.
Pengumpulan Data
40
Survei Sumber Responden Data yang dikumpulkan
Baseline 2011
Endline dari Targeting II, proyek sebelumnya
Penerima PKH, non-miskin
Kendalikan bahwa kelompok control dan perlakuan serupa secara statistik
Midline Oct-Des’12
5,148 RT, melalui survei RT dan survei komunitas (target: kades/ lurah)
Non-miskin, RTS-PM Raskin (miskin dan sangat miskin)
Jumlah dan harga Raskin yang dibeli, pengetahuan tentang program Raskin, tingkat kepuasan, konsumsi RT, subjective wealth/standing, dsb.
Endline Mar-Mei ’13
6,292 RT, melalui survei RT dan survei komunitas
Ibid Ibid
Tantangan dalam evaluasi program
41
• Attrition: saat evaluator gagal mengumpulkan
sata pada individu-individu yang terseleksi sebagai
bagian dari sampel asli
– ML: 9% diganti (418/4,572), EL: 9.8% (561/5,706)
– Penggantian responden diintegrasikan dalam proses
pengumpulan data
Analisis
44
1. Rancang rencana analisis
2. Tulis STATA do.file 3. Proses data melalui program
4. Hasilkan grafik 5. Analisis: Hubungkan dengan observasi kualitatif dari lapangan
6. Diseminasi temuan
Endline: Rumah Tangga membeli lebih banyak beras
Rumah tangga yang berhak membeli beras 0.9 kg (19%)
lebih banyak daripada di kelompok control 45
Harga jual lebih rendah
Eligible households pay Rp. 77/kg (13%) smaller
markup price than eligible households in control.
Harga resmi di TD Rp. 1600/Kg 46
Peningkatan dalam subsidi yang diterima
Eligible households receive approx.
Rp. 6000/HH/month (21%) more in subsidy
47
Besarnya dampak dan scale-up
• Proyeksi dampak kartu terhadap program Raskin
Peningkatan Subsidi yang Diterima per tahun:
(Peningkatan subsidi) × (# RTS-PM Raskin) × (12 bulan)
≈ Rp. 6000 × 15 juta × 12
≈ Rp. 1.1 trillion / tahun
48
Kepuasan terhadap program Raskin
akibat kartu hanya terdeteksi di Midline
51
Higher satisfaction with Raskin by
eligible households in card villages
relative to the control
No difference in household satisfaction
between treatment and control
Midline Endline
52
• Distribusi Kartu Raskin meningkatkan program
• RTS-PM yang membeli serta jumlah pembelian RTS-PM
Raskin meningkat
• Pengelembungan harga menurun
• Secara netto, subsidi Rp. 6000 bagi yang berhak/ eligible
tanpa penurunan bagi yang tidak berhak/ ineligible.
• Sosialisasi tambahan meningkatkan subsidi dan
kepuasan penerima manfaat
• Dicapai dengan hanya fasilitasi 2-3 mandays, 3 poster per
dusun.
Masukan untuk Kebijakan
53
• Pencetakan harga Raskin pada kartu meningkatkan
keefektifannya
• Ketika digabungkan dengan sosialisasi tambahan, efek
jangka pendek tetap ada hingga jangka menengah
• Distribusi kartu hanya kepada 10% orang termiskin
mungkin menjadi cara yang efektif untuk
meningkatkan penyasaran
• Awalnya, decile penduduk termiskin melaporkan kepuasan
lebih rendah dan tidak ada perbedaan pada take-up
• Namun, pada survei terakhir mereka melaporkan subsidi
yang lebih tinggi dan kepuasan lebih tinggi di desa dengan
sosialisasi tambahan
Masukan untuk Kebijakan (lanjutan.)
54
• Penggunaan kupon berpotensi efektif ketika dilengkapi
dengan sosialisasi tambahan
• Dalam jangka menengah, efek variasi kartu
(pencetakan harga kupon, dan targeting 10% orang
termiskin) tergantung pada sosialisasi tambahan
program tersebut.
Masukan untuk Kebijakan (lanjutan.)
Kartu Perlindungan Sosial (KPS)
56
• TNP2K meningkatkan Kartu Raskin menjadi Kartu Perlindungan
Sosial (KPS).
• Hingga Juni 2013, kartu KPS telah didistribusikan secara nasional
kepada 15.5 juta keluarga (65.6 juta orang).
• Kartu dapat digunakan sebagai kartu Bantuan Langsung Sementara
Masyarakat (BLSM); kartu Bantuan Siswa Miskin (BSM); dan Raskin.
Pengumpulan Data
Survei Midline Okt – Des ‘12
Survei Endline Mar – Mei‘13
Implementasi Proyek
Baseline Jan – Feb ‘12
Presentasi Desember
2012
Presentasi Juni 2013
Timeline Evaluasi Kartu Raskin
57
Desain Evaluasi
Implementasi Perlakuan Sep – Nov ‘12
Perkembangan Hasil
59
Perlakuan → Hasil Midline Endline Kartu → take-up, pembelian, dan subsidi
(+) (+)
Kartu → kepuasan HH (+) yg berhak
(eligible) Tak ada efek
Sosialisasi Tambahan/ Enhanced Socialization (ES)
→ pembelian, subsidi (+) eligible (+) eligible
ES → kepuasan
(+) HHs (+) HHs
(−)Pemimpin Tak ada efek pemimpin
Harga pencetakan → markup harga
(−) (−), hanya pada ES
Kupon → subsidi (−) ineligible
(tidak berhak) (+) eligible
Distribusi kepada 10% termiskin
→ pembelian beras Tak ada efek (+), karena ES