Evaluasi Acak (Randomized Evaluation): Dari awal sampai akhir. Start to... · Dari awal sampai...

59
Evaluasi Acak (Randomized Evaluation): Dari awal sampai akhir 1 Freida Siregar J-PAL SEA

Transcript of Evaluasi Acak (Randomized Evaluation): Dari awal sampai akhir. Start to... · Dari awal sampai...

Evaluasi Acak (Randomized Evaluation):

Dari awal sampai akhir

1

Freida Siregar

J-PAL SEA

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi? Mengapa

Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi? Mengapa

Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

Studi Kasus

“Transparency in Anti-Poverty Programs”

oleh

Abhijit Banerjee, MIT

Rema Hanna, Harvard University

Jordan Kyle, Columbia University

Benjamin A. Olken, MIT

Sudarno Sumarto, TNP2K and SMERU

4

Alur Evaluasi secara umum

5

Desain Evaluasi

• Konteks

• Pertanyaan penelitian/ kebijakan

• Perlakuan yang akan diujicobakan

• Metode randomization

Baseline

• Survei: Pengumpulan indikator

• Random assignment

• Pengendalian kualitas

Perlakuan

• Implementasi perlakuan

• Pengendalian kualitas internal

• Koordinasi

• Kunjungan lapangan

Midline dan/atau Endline

• Survei: Pengumpulan indikator

• Pengendalian kualitas

Analisa

• Temuan kebijakan

• Policy outreach

Pengumpulan Data

Survei Midline Okt – Des ‘12

Survei Endline Mar – Mei‘13

Implementasi Proyek

Baseline Jan – Feb ‘12

Presentasi ke Pemerintah

Desember 2012

Presentasi ke Pemerintah

Juni 2013

Timeline Evaluasi Kartu Raskin

6

Desain Evaluasi

Implementasi Perlakuan Sep – Nov ‘12

Evaluasi dari Awal sampai Akhir

7

1. Latar Belakang dan Desain Evaluasi

2. Implementasi: Perlakuan (Treatment)

3. Implementasi: Pengumpulan Data

4. Analisa dan Scaling up

Latar Belakang Evaluasi

8

Latar Belakang dan Desain

9

Konteks

• Program Raskin

• Mitra: TNP2K

Pertanyaan Penelitian/ Kebijakan

• Pertanyaan Penelitian/ Kebijakan

• Theory of change

• Log frame

Perlakuan yang akan

diujicobakan

Metode randomization

• Unit randomisasi

• Sample frame

• Stratification

Mitra: TNP2K

10

• Tim Nasional Percepatan Penanggulangan Kemiskinan (TNP2K),

• Dibentuk dan berada di bawah Wakil Presiden Boediono

• Mandat TNP2K: – Menyusun kebijakan evidence-based untuk

meningkatkan keefektifan program bantuan sosial,

– Mengordinasikan aktor –aktor pemerintahan untuk tujuan ini

• Salah satu prioritas utama TNP2K adalah meningkatkan targeting dan service delivery. Raskin berada di bawah Cluster I TNP2K

Program: Raskin

11

• Salah satu program perlindungan sosial Indonesia yang paling

besar

– US $1.5 milyar pengeluaran tiap tahun

– 53% dari belanja APBN untuk perlindungan sosial (World Bank 2012)

• Menyediakan beras bersubsidi kepada rumah tangga miskin dan

rentan

– 15 kg beras dengan harga Rp. 1,600 per kg Titik Distribusi

– Sasaran: 30% RT paling miskin (PPLS’10)

• Nyatanya, Rumah Tangga Sasaran Penerima Manfaat (RTS-PM)

Raskin hanya menerima 32% subsidi(Raskin HH survey

Program: Raskin

12

• Tantangan dalam distribusi subsidi Raskin:

– Transparansi program

Rumah tangga tidak tahu hak mereka (jumlah beras yang

dapat dibeli ataupun harga beli)

– Monopoli terhadap Distribusi Raskin

Elit desa memiliki monopoli terhadap distribusi Raskin

ke/di dalam desa dan kepada rumah tangga

– Resolusi Konflik

Elit desa mungkin mengalihkan beras dari rumah tangga

yang berhak dalam rangka menghindari konflik.

Theory of Change

DISTRIBUSI KARTU RASKIN KEPADA RUMAH

TANGA SASARAN PENERIMA MANFAAT

RASKIN (RTS-PM)

RT MENERIMA KARTU RASKIN

RT MEMPEROLEH SUBSIDI RASKIN LEBIH BANYAK

TRANSPARANSI DAN EFEKTIFITAS

PROGRAM PERLINDUNGAN

SOSIAL MENINGKAT

Asumsi sampel: Warga memahami informasi di kartu, menggunakan kartu, tidak ketukar dengan kartu/ kupon Raskin yang mungkin ada sebelumnya

Asumsi sampel: RTS-PM menuntut harga turun, otoritas Raskin desa mendengarkan permintaan tersebut dan mampu membuat perubahan

Asumsi sampel: Pengiriman kartu ke RT berhasil, tidak ada penghalangan

Asumsi sampel: Perubahan ini berlanjut, ketidakefektifan program perlindungan sosial karena kurang transparansi

Log Frame

14

Hirarki Tujuan Indikator Sumber Verifikasi

Asumsi/ Ancaman

Dampak (Tujuan/

Tujuan Umum)

Meningkatnya

transparansi dan

keefektifan program-

program distribusi sosial

Kuantitas dan harga Raskin yang dibeli

Survei RT Perubahan praktek baru berlanjut, ketidakefektifan program karena kurang transparan

Hasil (Tujuan Proyek)

Penerima manfaat

mendapat subsidi Raskin

lebih banyak

Kuantitas dan harga Raskin yang dibeli

Survei RT RTS-PM menuntut harga turun, otoritas Raskin desa mendengarkan permintaan tersebut dan mampu membuat perubahan

Output RTS-PM menerima kartu Raskin

Apakah RTS-PM menerima kartu

Survei RT Warga memahami informasi di kartu, menggunakan kartu, tidak ketukar dengan kartu/ kupon Raskin yang mungkin ada sebelumnya

Input (Kegiatan)

Distribusi kartu kepada RTS-PM Raskin

Apakah kartu berhasil dikirim

Survei RT, data administratif dari PT Pos*

Pengiriman kartu ke RT berhasil, tidak ada penghalangan

Tujuan Evaluasi

15

Mengumpulkan bukti untuk memahami apakah distribusi kartu

Raskin yang diajukan TNP2K akan meningkatkan program Raskin

Percontohan bertujuan menjawab tiga pertanyaan kebijakan

kunci:

1. Akankah kartu Raskin meningkatkan targeting dan take-up

program Raskin untuk keluarga yang berhak (RTS-PM), dan

menurunkan harga?

2. Akankah kartu Raskin diterima secara sosial?

3. Apa cara paling efektif untuk mengimplementasikan kartu?

Ikhtisar Intervensi

16

Kartu Raskin

Variasi 1: Desain

Variasi 2: Konten

Variasi 3: Distribusi

Variasi 4: Sosialisasi

Kupon

Tanpa kupon

Harga di TD

Tanpa harga

Semua RTS-PM

10% plg bawah

Standar

Tambahan

Contoh Kartu Raskin

17

Kartu Raskin dengan kupon dan harga Kartu Raskin tanpa

kupon, dengan harga

Poster Sosialisasi Tambahan

18

Variasi Perlakuan

19

Variasi Kartu Sosialisasi

Standar Sosialisasi Tambahan

Semua RTS-PM

Harga Kupon Grup 1 Grup 2

Tanpa kupon Grup 3 Grup 4

Tanpa harga

Kupon Grup 5 Grup 6

Tanpa kupon Grup 7 Grup 8

10% Paling Bawah

Harga Kupon Grup 9 Grup 10

Tanpa kupon Grup 11 Grup 12

Tanpa harga

Kupon Grup 13 Grup 14

Tanpa kupon Grup 15 Grup 16

Control (Tanpa card, tanpa sosialisasi)

Mengidentifikasi unit pengacakan

20

• Apa unit administratif

terkecil tempat

dilaksanakannya distribusi

Raskin?

• Kecamatan? Gudang bulog?

Desa? Dusun?

Source: www.bulog.co.id

Propinsi

Kota/ Kab.

Desa/K elurahan

Di bawah Kota/Kab

Di bawah Kota/Kab

Gubernur

Bupati/ Walikota

Perum Bulog (Divre/Subdivre/Kansilog)

Gudang (Satgas Raskin)

Titik Distribusi (Pelaksana Distribusi)

Pokja Warung Desa Pokmas

Rumah tangga sasaran penerima Raskin (Dibayar tunai di Rp 1.600/kg di Titik Distribusi)

Ketua Tim Raskin Nasional (Kemeko Bid Kesra)

Sample Frame

21

• 600 desa (termasuk desa control)

28 dikeluarkan dari sampel karena berisiko tinggi dan terpencil

• 572 desa di 6 Kabupaten

Pemalang dan Wonogiri (Jawa Tengan),

Palembang dan Ogan Komering Ilir (Sumatera Selatan),

Bandar Lampung dan Lampung Tengah (Lampung)

• Sampel Raskin

sama dengan

proyek sebelumnya

(Targeting II)

Stratifikasi

22

• Perlakuan distratifikasi berdasarkan

– Kabupaten

– Kelompok Perlakuan di Targeting II

– Kecamatan

– Rasio urban terhadap rural 2:3

Bentuk Pengacakan

23

Perlakuan 1: Kartu Raskin

Perlakuan 2: Kartu Raskin + Sosialisasi Tambahan

Kendali: Tak ada perlakuan

Untuk keperluan ilustrasi saja. Terdapat 16 variasi perlakuan,

bukan 2.

24

Secara statistik, desa-desa Perlakuan dan Control serupa

sebelum percontohan

Baseline data from February 2012

Control CardsN = 5643

03

69

By Treatment Status

Raskin purchased (in kg)

Treatment Implementation Sept – Nov ‘12

Data Collection

Midline Survey Oct – Dec ‘12

Endline Survey Mar – May ‘13

Project Implementation

Baseline Jan – Feb ‘12

Presentation to GoI

Dec 2012

Presentation to GoI

June 2013

Timeline of Raskin Card Evaluation

25

Design Evaluation

IMPLEMENTASI: PERLAKUAN

26

Implementasi: perlakuan

27

Operasionalisasi perlakuan

Tetapkan kendali kualitas internal

Persiapan, peluncuran perlakuan (kartu, sos tambahan)

Koordinasi dengan pihak pemerintah

Kunjungan lapangan

Rencana Implementasi

28

• Operasionalisasi perlakuan

– Kembangkan rencana implementasi lapangan bersama dengan

spesialis fasilitasi dan pemerintah

– Gunakan vendor pilihan pemerintah

• Tetapkan kendali kualitas internal

– Pemeriksaan acak saat pencetakan kartu

– Standar dalam perekruitan fasilitator

– Dokumentasi implementasi perlakuan dengan form yang

sudah standar

– Prosedur pelaporan yang jelas

Rencana Implementasi

29

• Koordinasi dengan pihak pemerintah – Workshop di Jakarta untuk perwakilan dari propinsi,

kabupaten/kota

– Koordinasi pra-kerja lapangan dengan pemimpin kabupaten/ kota, kecamatan dan desa

• Persiapan, peluncuran perlakuan – Penjadwalan, pelatihan, koordinasi logistik

• Kunjungan lapangan: mengamati respon terhadap

perlakuan

Variasi Perlakuan

30

Variasi Kartu Sosialisasi

Standar Sosialisasi Tambahan

Semua RTS-PM

Harga Kupon Grup 1 Grup 2

Tanpa kupon Grup 3 Grup 4

Tanpa harga

Kupon Grup 5 Grup 6

Tanpa kupon Grup 7 Grup 8

10% Paling Bawah

Harga Kupon Grup 9 Grup 10

Tanpa kupon Grup 11 Grup 12

Tanpa harga

Kupon Grup 13 Grup 14

Tanpa kupon Grup 15 Grup 16

Control (Tanpa card, tanpa sosialisasi)

31

Secara acak, kartu dibedakan berdasarkan:

• Desain: dengan atau tanpa kupon

• Isi: dengan atau tanpa harga

• Distribusi: kepada semua RTS-PM atau hanya 10%

termiskin

Distribusi Kartu Raskin kepada RTS-PM

• Sept. hingga pertengahan Okt. ‘12

• 378 desa menerima kartu;

194 desa control

Rekap: Variasi Kartu Raskin

32

Secara acak, desa dengan kartu Raskin menerima:

• Sosialisasi Standar: Surat, DPM; atau

• Sosialisasi Tambahan:

• + 3 DPM per dusun

• + 3 poster informasi per dusun

• Sosialisasi ke tokoh masyarakat

• Pengumuman melalui mesjid

Rekap: Variasi Kartu Raskin

33

• Akhir-Sept. hingga mid-Nov. ’12

• 378 desa yang menerima kartu menerima

sosialisasi

• 186 desa: Sosialisasi Standar

• 192 desa: Sosialisasi Tambahan

• 194 desa control tidak menerima

sosialisasi

Rekap: Variasi Kartu Raskin

Seorang fasilitator menjelaskan mengenai kartu Raskin kepada pemimpin kampung di OKI, Lampung Tengah

Tantangan dalam implementasi perlakuan

34

• Beberapa desa perlakuan

tidak aman dan terpencil

• Banyak kartu tidak

sampai ke penerima

manfaat

Tantangan dalam implementasi perlakuan

35

• Fasilitator tidak menerima poster daftar

penerima manfaat yang mencukupi

• Pada saat

pertemuan, peserta

mengeluhkan

aspek lain dari

program Raskin/

pemerintah

IMPLEMENTASI:

PENGUMPULAN DATA

36

Implementasi: Pengumpulan Data

37

Rancangan kuesioner

Piloting internal Koordinasi

dengan pihak pemerintah

Persiapan, peluncuran tim pengumpulan

data

Kendali kualitas, kunjungan lapangan

Rencana Pengumpulan Data

38

• Instrumen Survei: Survei RT dan masyarakat

• Baseline—gunakan endline proyek sebelumnya – Pastikan bahwa kelompok control dan perlakuan serupa secara

statistik

• Identifikasi responden – Responden:

• RTS-PM Raskin (miskin)

• RTS-PM Raskin (sangat miskin/10% paling miskin)

• Non RTS-PM Raskin

– Listing, untuk identifikasi non RTS-PM Raskin

– Gunakan data PPLS’10 , untuk identifikasi RTS-PM Raskin

Tantangan dalam Pengumpulan Data

39

• Mencocokkan data administratif dengan lapangan

– Human error, perubahan status kemiskinan/alamat

• Mengakomodasi perubahan pada area administratif

(misalnya pemekaran)

• Keterbatasan waktu

• Memperoleh SDM untuk melaksanakan pengumpulan data

• Masalah lain: sejauh mana responden dapat mengingat?

Bagaimana cara membahasakan/ menjelaskan “Titik

Distribusi”? Dsb.

Pengumpulan Data

40

Survei Sumber Responden Data yang dikumpulkan

Baseline 2011

Endline dari Targeting II, proyek sebelumnya

Penerima PKH, non-miskin

Kendalikan bahwa kelompok control dan perlakuan serupa secara statistik

Midline Oct-Des’12

5,148 RT, melalui survei RT dan survei komunitas (target: kades/ lurah)

Non-miskin, RTS-PM Raskin (miskin dan sangat miskin)

Jumlah dan harga Raskin yang dibeli, pengetahuan tentang program Raskin, tingkat kepuasan, konsumsi RT, subjective wealth/standing, dsb.

Endline Mar-Mei ’13

6,292 RT, melalui survei RT dan survei komunitas

Ibid Ibid

Tantangan dalam evaluasi program

41

• Attrition: saat evaluator gagal mengumpulkan

sata pada individu-individu yang terseleksi sebagai

bagian dari sampel asli

– ML: 9% diganti (418/4,572), EL: 9.8% (561/5,706)

– Penggantian responden diintegrasikan dalam proses

pengumpulan data

42

Grup A:

SANGAT

MISKIN

Grup B:

MISKIN

Grup C:

TIDAK

MISKIN

ANALISIS

43

Analisis

44

1. Rancang rencana analisis

2. Tulis STATA do.file 3. Proses data melalui program

4. Hasilkan grafik 5. Analisis: Hubungkan dengan observasi kualitatif dari lapangan

6. Diseminasi temuan

Endline: Rumah Tangga membeli lebih banyak beras

Rumah tangga yang berhak membeli beras 0.9 kg (19%)

lebih banyak daripada di kelompok control 45

Harga jual lebih rendah

Eligible households pay Rp. 77/kg (13%) smaller

markup price than eligible households in control.

Harga resmi di TD Rp. 1600/Kg 46

Peningkatan dalam subsidi yang diterima

Eligible households receive approx.

Rp. 6000/HH/month (21%) more in subsidy

47

Besarnya dampak dan scale-up

• Proyeksi dampak kartu terhadap program Raskin

Peningkatan Subsidi yang Diterima per tahun:

(Peningkatan subsidi) × (# RTS-PM Raskin) × (12 bulan)

≈ Rp. 6000 × 15 juta × 12

≈ Rp. 1.1 trillion / tahun

48

Sosialisasi: Peningkatan dalam

pembelian oleh RTS-PM

49

Sosialisasi: Peningkatan dalam Kepuasan

50

Kepuasan terhadap program Raskin

akibat kartu hanya terdeteksi di Midline

51

Higher satisfaction with Raskin by

eligible households in card villages

relative to the control

No difference in household satisfaction

between treatment and control

Midline Endline

52

• Distribusi Kartu Raskin meningkatkan program

• RTS-PM yang membeli serta jumlah pembelian RTS-PM

Raskin meningkat

• Pengelembungan harga menurun

• Secara netto, subsidi Rp. 6000 bagi yang berhak/ eligible

tanpa penurunan bagi yang tidak berhak/ ineligible.

• Sosialisasi tambahan meningkatkan subsidi dan

kepuasan penerima manfaat

• Dicapai dengan hanya fasilitasi 2-3 mandays, 3 poster per

dusun.

Masukan untuk Kebijakan

53

• Pencetakan harga Raskin pada kartu meningkatkan

keefektifannya

• Ketika digabungkan dengan sosialisasi tambahan, efek

jangka pendek tetap ada hingga jangka menengah

• Distribusi kartu hanya kepada 10% orang termiskin

mungkin menjadi cara yang efektif untuk

meningkatkan penyasaran

• Awalnya, decile penduduk termiskin melaporkan kepuasan

lebih rendah dan tidak ada perbedaan pada take-up

• Namun, pada survei terakhir mereka melaporkan subsidi

yang lebih tinggi dan kepuasan lebih tinggi di desa dengan

sosialisasi tambahan

Masukan untuk Kebijakan (lanjutan.)

54

• Penggunaan kupon berpotensi efektif ketika dilengkapi

dengan sosialisasi tambahan

• Dalam jangka menengah, efek variasi kartu

(pencetakan harga kupon, dan targeting 10% orang

termiskin) tergantung pada sosialisasi tambahan

program tersebut.

Masukan untuk Kebijakan (lanjutan.)

Policy Scale-up

55

Kartu Perlindungan Sosial (KPS)

56

• TNP2K meningkatkan Kartu Raskin menjadi Kartu Perlindungan

Sosial (KPS).

• Hingga Juni 2013, kartu KPS telah didistribusikan secara nasional

kepada 15.5 juta keluarga (65.6 juta orang).

• Kartu dapat digunakan sebagai kartu Bantuan Langsung Sementara

Masyarakat (BLSM); kartu Bantuan Siswa Miskin (BSM); dan Raskin.

Pengumpulan Data

Survei Midline Okt – Des ‘12

Survei Endline Mar – Mei‘13

Implementasi Proyek

Baseline Jan – Feb ‘12

Presentasi Desember

2012

Presentasi Juni 2013

Timeline Evaluasi Kartu Raskin

57

Desain Evaluasi

Implementasi Perlakuan Sep – Nov ‘12

TERIMA KASIH

58

Perkembangan Hasil

59

Perlakuan → Hasil Midline Endline Kartu → take-up, pembelian, dan subsidi

(+) (+)

Kartu → kepuasan HH (+) yg berhak

(eligible) Tak ada efek

Sosialisasi Tambahan/ Enhanced Socialization (ES)

→ pembelian, subsidi (+) eligible (+) eligible

ES → kepuasan

(+) HHs (+) HHs

(−)Pemimpin Tak ada efek pemimpin

Harga pencetakan → markup harga

(−) (−), hanya pada ES

Kupon → subsidi (−) ineligible

(tidak berhak) (+) eligible

Distribusi kepada 10% termiskin

→ pembelian beras Tak ada efek (+), karena ES