Selamat Datang

J-PAL SEA Course in Evaluating

Social Programs

TENTANG J-PAL

Tentang J-PAL

• J-PAL terdiri dari 92 peneliti dari seluruh dunia yang menggunakan evaluasi acak untuk menjawab pertanyaan kebijakan dalam menaggulangi kemiskinan.

• Misi: Untuk mengurangi kemiskinan dengan memastikan bahwa kebijakan berdasarkan bukti nyata dan penelitian and penelitian diterjemahkan ke aksi nyata

– Penelitian: Melakukan Evaluasi Dampak

– Penjangkauan Kebijakan: Menerjemahkan hasil penelitian ke dalam aksi nyata

– Pelatihan: Membangun kapasitas partner dan praktisi untuk melakukan Evaluasi

Dimana saja penelitian J-PAL

dilakukan?

4

502 evaluasi di 57 negara

Topik Penelitian J-PAL

1. Pertanian

2. Pendidikan

3. Lingkungan Hidup & Energi

4. Keuangan

5. Kesehatan

6. Tenaga Kerja

7. Ekonomi Politik & Pemerintahan

Kantor Perwakilan J-PAL

6

J-PAL Southeast Asia

7

• Diresmikan tahun 2013

• Dihadiri oleh Presiden Susilo

Bambang Yudhoyono

• Didanai oleh Departemen Luar

Negeri dan Perdagangan

Australia

• Bernaung dibawah Lembaga

Penyelidikan Ekonomi dan

Masyarakat (LPEM) UI

• Dipimpin oleh Profesor dari MIT

& Harvard

J-PAL memiliki riwayat panjang kolaborasi yang sukses dengan Pemerintah RI

untuk menjawab masalah-masalah kebijakan penting.

Meningkatkan indikator kesehatan dan pendidikan

dengan PNPM Generasi (2007-2009)

• Kolaborasi dengan Kemendagri dan Bank Dunia untuk memahami dampak

pemberian insentif dan partisipasi dana hibah

Meningkatkan penargetan Program Keluarga Harapan

(2008-2010)

• Kolaborasi dengan BPS, Depsos, Bappenas, TNP2K dan Bank Dunia untuk

memahami cara penargetan yang lebih baik bagi rumah tangga miskin

penerima PKH

Meningkatkan distribusi raskin (2012-2013)

• Kolaborasi dengan TNP2K untuk memahami dampak penggunaan kartu

Raskin dan mekanisme distribusi pada penyelewengan raskin.

8

J-PAL di Indonesia

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Ukuran Sampel

5. Kendala dan Tantangan

6. Evaluasi dari Awal sampai Akhir

7. Analisis Keefektifan Biaya

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Ukuran Sampel

5. Kendala dan Tantangan

6. Evaluasi dari Awal sampai Akhir

7. Analisis Keefektifan Biaya

Evaluasi? Mengapa kita perlu

mengevaluasi?

Héctor Salazar Salame

J-PAL Southeast Asia

Apa yang dimaksud dengan Evaluasi?

Evaluation

Program Evaluation

Impact Evaluation

Evaluasi Program

Evaluation

Program Evaluation

Impact Evaluation

Monitoring dan Evaluasi

Evaluation

Program Evaluation

Impact Evaluation

Monitoring

Monitoring

Fokus Pelatihan: Evaluasi Dampak

Evaluation

Program Evaluation

Impact Evaluation

Bagaimana evaluasi dampak ini dapat

membantu penanggulangan kemiskinan?

• Masih sedikit bukti yang dapat menjelaskan apa yang bekerja

• Dapat melakukan hal lebih banyak dengan anggaran tertentu, dengan bukti yang lebih baik

• Apabila anggaran akan diberikan kepada program yang berhasil, maka akan membantu meningkatkan kantong bagi program-program penanggulangan kemiskinan.

• Pertanyaan bukan tentang “Apakah program penanggulangan kemiskinan berhasil?” melainkan :

– Program mana yang paling berhasil, mengapa dan kapan?

– Konsep mana yang berhasil, mengapa dan kapan?

– Bagaimana kita meningkatkan yang berhasil ini?

• Tambahan ke daftar yang sudah terbukti – Bagian dari strategi evaluasi (riset) yang telah disusun dengan penuh pertimbangan

Komponen Evaluasi Program

• Analisis kebutuhan

• Penilaian Teori Program

• Evaluasi Proses

• Evaluasi Dampak

• Cost Effectiveness

• Apa permasalahnya?

• Bagaimana, secara teoritis, program tersebut dapat menyelesaikan masalah?

• Apakah program berjalan sesuai rencana?

• Apakah tujuan akhir tercapai? Berapa besar dampak?

• Dilihat dari besar dampak dan biaya yang dikeluarkan, apakah terdapat cara lain sebagai alternatif?

MENINGKATKAN KUALITAS

AIR/SANITASI

Sebuah Contoh di Kenya

ANALISIS KEBUTUHAN

Identifikasi masalah

Kebutuhan

• Secara Umum

– Hampir 2 juta anak meninggal per tahun karena

diare

– 20% dari kematian anak (di bawah 5 tahun)

adalah karena diare

• Indonesia

– 36 persen anak terhambat pertumbuhannya

• Diare, kekuranan gizi dilihat sebagai faktor utama

Permasalahan

• 13% dari populasi dunia tidak mempunyai

akses “sumber air yang baik”

• Kurangnya akses terhadap solusi purifikasi air

• Berdasarkan laporan, masyarakat dapat memperoleh akses

air bersih dengan bersedia membayar $1 agar terhindar dari

diare, atau $24 per DALY (Kremer et al 2009)

7/2009 Spring Cleaning - SITE 22

Tujuan Akhir

• MDG: “Mengurangi sampai setengah dari

jumlah populasi penduduk yang tidak

mendapat akses berkelanjutan ke air bersih

untuk minum”

Solusi

Apakah program ini sendiri dapat

menyelesaikan permasalahan?

• Kualitas air hanya sedikit membantu jika tidak higienis

(Esrey, 1996)

– 42% rumah tangga hidup tanpa toilet di dalam rumah

• Masyarakat lebih tertarik membayar air yang bersifat

convenient daripada membayar untuk mendapatkan air bersih

• Kurang dari 10% rumah tangga membeli alat treatment air

– Di Zambia, $0,18 per bulan untuk keluarga dengan enam anggota

keluarga

– Di Kenya, $0,30 per bulan

• 25% kepala rumah tangga dilaporkan merebus air untuk

kebutuhan air minum sehari sebelumnya

Solusi Alternatif?

Mengembangkan Solusi

• Apakah teori yang melandasi solusi Anda?

• Bagaimana memetakannya ke dalam teori

masalah yang dihadapi?

PENILAIAN TEORI PROGRAM

Blueprint untuk Perubahan

Penilaian Teori Program

• Bagaimana program tersebut akan menjawab kebutuhan yang terdapat dalam analisis kebutuhan?

– Apakah pra-syarat yang dibutuhkan untuk memenuhi kebutuhan tersebut?

– Bagaimana dan mengapa kebutuhan tersebut kurang atau gagal dipenuhi saat ini?

– Bagaimana program ini bermaksud untuk mengatasi kekurangan yang ada?

– Layanan apa yang akan ditawarkan?

• Alat

– Teori Perubahan

– Kerangka Logis

Theory of Change

MODIFIKASI SUMBER AIR

(untuk mencegah

kontaminasi)

AIR BERSIH DISIMPAN DI

RUMAH

ANGGOTA RUMAH TANGGA

MENGKONSUMSI AIR

OUTCOME KESEHATAN

DITINGKATKAN (misal. Insiden

diare berkurang)

Asumsi sampel: air ditampung dalam wadah yang bersih, dan wadah dipertahankan agar tetap bersih

Asumsi sampel: Anggota RT mengkonsumsi air dari sumber air yang bersih dan bukan sumber air yang berpotensi terkontaminasi

Asumsi sampel: sumber air dipelihara dengan baik, dan terdapat suplai air yang konsisten

Asumsi sampel: Tingkah laku yang berubah tetap konsisten dari waktu ke waktu

Kerangka Logis Tujuan Indikator Sumber

Verifikasi

Asumsi/

Ancaman

Dampak

(Maksud/

Tujuan

keseluruhan)

Menurunnya

tingkat diare

Tingkat diare Survei di

tingkat rumah

tangga

Penyakit

ditularkan melalui

air adalah sebab

utama diare

Hasil

(Tujuan

Proyek)

Rumah

tangga

meminum air

yang lebih

bersih

(Δ dalam)

sumber air

minum;

E. coli

CFU/100ml

Survei rumah

tangga, uji

kualitas air di

penampungan

air rumah

Beralih dari

sumber air kotor.

Tidak ada

kontaminasi ulang

Output Sumber air

lebih bersih;

keluarga

mendapat air

yg lbh bersih

E. coli

CFU/100ml;

Uji kualitas air

pada sumber

Pemeliharaan

berkelanjutan,

pengetahuan

praktek

pemeliharaan

Input

(Kegiatan)

Proteksi

sumber air

dibangun

Terdapat

proteksi

sumber air,

berfungsi

Kunjungan ke

sumber/ survei

Bahan memadai,

pendanaan,

tenaga

Sumber Roduner, Schlappi (2008) Logical Framework Approach and Outcome Mapping, A constructive Attempt of Synthesis,

Analisa

Kebutuhan

Evaluasi

Proses

Evaluasi

Dampak

EVALUASI PROSES

Menjadikan program berhasil

Evaluasi Proses

• Sisi Suplai

– Logistik

– Manajemen

• Sisi Permintaan

– Asumsi Tanggapan

– Perubahan Perilaku?

Evaluasi Proses: Logistik

• Konstruksi (184/200, $1024/sumber air)

– Membangun perlindungan di sumber air

– Memasang pagar

– Memasang drainase

• Mengatur perawatan pengguna ($35/tahun)

– Menambal beton

– Membersihkan penampungan area

– Membersikan saluran drainase

Evaluasi Proses: Logistik Suplai

Evaluasi Proses: Sisi Permintaan

• Apakah rumah tangga tersebut mendapatkan air

dari sumber yang telah dilindungi?

– Untuk rumah tangga yang mengambil dari berbagai

sumber air, terdapat peningkatan penggunaan sumber

yang telah dilindungi sebanyak 21 persen

• Apakah tempat penampungan terkontaminasi

ulang?

• Apakah masyarakat minum dari air “bersih”?

– Tidak terdapat perubahan yang signifikan dalam cara

menyalurkan, menyimpan atau perilaku treatment.

Prosesnya oke, maka ….

• Apa yang terjadi dengan diare?

EVALUASI DAMPAK

Mengukur sejauh mana keberhasilannya

Apakah tujuan tercapai?

• Hasil utama (dampak): apakah dengan adanya

perlindungan di sumber air mengurangi

diare?

• Juga pertanyaan tambahan: Apakah

dampaknya terhadap rumah tangga dengan

praktek sanitasi yang baik vs yang buruk`?

Bagaimana cara mengukur dampak?

• Apakah yang akan terjadi jika program

tersebut tidak ada?

• Perbedaan antara

apa yang terjadi (dengan adanya program tsb) …dan

- apa yang bisa saja terjadi (tanpa adanya program tsb)

= DAMPAK dari program

Membangun Counterfactual

• Counterfactual sering dibangun dengan memilih kelompok yang tidak terpengaruh oleh program tersebut.

• Metode Acak: – Gunakan pengelompokan acak dari program untuk

membentuk kelompok kontrol yang mewakili counterfactual.

• Tanpa-metode acak – Menyatakan bahwa kelompok tertentu yang tidak

termasuk dalam program mewakili counterfactual.

Bagaimana perbedaan dampak dengan

proses?

• Ketika kita menjawab pertanyaan proses, kita

perlu menjelaskan apa yang terjadi.

• Ketika kita menjawab pertanyaan dampak,

kita perlu membandingkan apa yang terjadi

dengan apa yang bisa terjadi tanpa adanya

program tersebut.

EVALUASI ACAK

“Standar Emas” untuk Evaluasi Dampak

Secara acak

pilih sampel

dari area

yang

dimaksud

Sampel Acak dan Pengelompokan Acak

Secara acak

kelompokkan

ke perlakuan

dan kontrol

Secara acak

pilih sample

Kelompok

perlakuan dan

kontrol

Sampel Acak dan Pengelompokan Acak

Secara acak

pilih sampel

dari area yang

dimaksud

Sampel Sumber air bersih

Target

Populasi

(200)

Tidak

dievaluasi

(0)

Sampel

Evaluasi

(200)

Total Populasi

(562 sumber air)

Pengelom-

pokkan Acak

Tahun 2

(50)

Tahun 3,4

(100)

Tahun 1

(50)

Dampak

• 66% penurunan konsentrasi bakteri E. coli

pada sumber air

• 24% penurunan konsentrasi bakteri E. coli

pada rumah tangga

• 25% penurunan tingkat diare

Menentukan dari beberapa pilihan

Intervensi Dampaknya terhadap Diare

Perlindungan sumber air (Kenya) 25% penurunan penyakit diare pada anak

usia 0-3

Intervensi Dampaknya terhadap diare

Perlindungan sumber air(Kenya) 25% penurunan tingkat diare pada anak

usia 0-3

Dispenser sumber klorin (Kenya) 20-40% penurunan diare

Distribusi klorin ke rumah (Kenya) 20-40% penurunan diare

Cuci tangan (Pakistan) 53% penurunan tingkat diare pada anak

di bawah usia 15 tahun

Masuknya pipa air (pinggiran Maroko) 0.27 penurunan jumlah hari diare pada

anak per bulan

Menentukan dari beberapa pilihan

ANALISIS COST-EFFECTIVENESS

Pembuatan Kebijakan Berbasis Bukti

Diagram Cost-Effectiveness

Kapankah waktu yang tepat untuk

melakukan evaluasi acak….

Kapan evaluasi acak dilakukan?

• Ketika Anda ingin menjawab pertanyaan penting dan ingin tahu jawabannya

• Faktor waktu—tidak terlalu dini dan tidak terlalu terlambat

• Program bersifat representatif, bukan program ‘gold-plated’ semata – Atau menguji konsep dasar yang perlu Anda uji

• Waktu, keahlian, dan uang untuk melakukan hal yang benar

• Mengembangkan sebuah strategi evaluasi untuk menentukan prioritas

Kapan evaluasi acak sebaiknya tidak

dilakukan? • Ketika program masih prematur dan masih perlu

‘perbaikan’ di sana sini agar berhasil

• Ketika proyek masih dalam skala yang terlalu kecil untuk diacak menjadi dua kelompok yang cukup ‘representatif’

• Bila dampak positif telah terbukti dengan menggunakan metodologi yang ketat serta sumber data memadai untuk semua orang

• Setelah program dimulai dan Anda tidak berencana untuk memperluas ke arah lain

Bagaimana evaluasi dampak dapat gagal

• Tidak ada yang mengajukan pertanyaan yang

jawabannya diberikan oleh studi/kajian

tersebut

• Mengukur hasil yang salah

• Meninggalkan terlalu banyak pertanyaan

penting yang tidak terjawab

• Menghasilkan hasil yang bias

Program dan Evaluasinya:

Dimana kita memulainya? Intervensi

• Mulai dengan masalah

• Verifikasi masalah tersebut

memang benar terjadi

• Buatlah sebuah teori

mengapa masalah tersebut

timbul

• Desain program

• Pertimbangkan apakah solusi

tersebut bersifat cost effective

Evaluasi Program

• Mulai dengan pertanyaan

• Verifikasi pertanyaan tersebut

belum terjawab

• Buatlah sebuah hipotesis

• Desain evaluasi

• Pastikan apakah nilai jawaban

setara dengan biaya evaluasi

• Bila Anda menanyakan dengan pertanyaan yang benar, berarti Anda cenderung peduli

Komponen Evaluasi Program

• Analisa kebutuhan

• Penilaian Teori Program

• Evaluasi terhadap proses

• Evaluasi Dampak

• Cost Effectiveness

• Apa masalahnya?

• Bagaimana, secara teoritis, program tersebut dapat menyelesaikan masalah?

• Apakah program berjalan sesuai rencana?

• Apakah tujuan akhirnya tercapai? Signifikankah?

• Dilihat dari signifikansi dan biaya yang dikeluarkan, apakah terdapat cara lain sebagai alternatif?

MENGAPA MELAKUKAN

PENGACAKAN

Selanjutnya …