Evaluasi? Mengapa kita perlu mengevaluasi? · PDF fileSebuah Contoh di Kenya . Menurut Anda,...
Transcript of Evaluasi? Mengapa kita perlu mengevaluasi? · PDF fileSebuah Contoh di Kenya . Menurut Anda,...
Evaluasi? Mengapa kita perlu
mengevaluasi?
Hector Salazar Salame
J-PAL SEA
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi?
Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Kendala dan Tantangan
5. Evaluasi dari Awal sampai Akhir
6. Analisis Keefektifan Biaya
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi?
Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Kendala dan Tantangan
5. Evaluasi dari Awal sampai Akhir
6. Analisis Keefektifan Biaya
Apa yang dimaksud dengan
Monitoring dan Evaluasi?
Monitoring & Evaluasi
Evaluasi Program
Evaluasi Dampak
Apakah perbedaan antara:
Monitoring dan Evaluasi
A. Tidak ada. Kedua kata
tersebut menggambarkan
tindakan yang sama
B. Monitoring merupakan
tindakan yang bersifat
internal, sedangkan Evaluasi
merupakan tindakan yang
bersifat eksternal
C. Monitoring adalah untuk
manajemen, sedangkan
Evaluasi untuk akuntabilitas.
D. Tidak tahu.
E. Lain-lain
Evaluasi Program
Monitoring& Evaluasi
Evaluasi Program
Evaluasi Dampak
Komponen Evaluasi Program
• Analisis kebutuhan
• Penilaian Teori Program
• Evaluasi Proses
• Evaluasi Dampak
• Cost Effectiveness
• Apa permasalahnya?
• Bagaimana, secara teoritis, program tersebut dapat menyelesaikan masalah?
• Apakah program berjalan sesuai rencana?
• Apakah tujuan akhir tercapai? Berapa besar dampak?
• Dilihat dari besar dampak dan biaya yang dikeluarkan, apakah terdapat cara lain sebagai alternatif?
Biasanya, sebuah evaluasi harus dilakukan:
A. Secara eksternal dan
independen dari pelaksana
program yang dievaluasi
B. Secara eksternal dan
terintegrasi dengan
pelaksana program
C. Secara internal
D. Tidak tahu
Untuk siapakah evaluasi ini ?
• Pembuat kebijakan
• Pelaksana kebijakan
• Akademisi
• Penerima manfaat (beneficiary)
• Donor
• Pihak pendukung, pihak skeptis
Siapakah audiens terpenting Anda dari hasil
evaluasi?
A. Pembuat kebijakan
B. Pelaksana kebijakan
C. Penerima manfaat (beneficiary)
D. Donor
E. Akademisi
F. Pihak pendukung, pihak skeptis
Apakah kami mengetahui cara
menanggulangi kemiskinan?
Jeff Sachs
“Saya telah menemukan bentuk
investasi tertentu yang
dibutuhkan [untuk mengatasi
masalah kemiskinan]; telah
menemukan cara untuk
menyusun dan menerapkannya;
[dan] menunjukkan bahwa cara
itu dapat dilakukan.”
Jeffrey Sachs
End of Poverty
Apakah Anda percaya Jeff Sachs?
A. Ya
B. Tidak, kita belum
menemukan bentuk
investasi khusus yang
dibutuhkan tersebut.
C. Tidak, kita belum
menemukan cara untuk
menyusun dan
menerapkannya.
D. Tidak, kita belum melihat
cara-cara itu dapat dilakukan
E. Tidak, tapi dengan alasan
lain
Bill Easterly
“Setelah menghabiskan $2.3 triliun
selama lebih dari 5 dekade, mengapa
kebutuhan paling mendasar kaum
miskin di dunia masih secara tragis
belum juga terpenuhi?
Apakah ini berarti waktunya untuk
menghentikan impunitas program
bantuan asing?”
Bill Easterly
The White Man’s Burden
Apakah debat ini terdengar relevan untuk Anda?
A. Ya
B. Tidak
C. Sebagian
Apakah pertanyaan “Bagaimana caranya menanggulangi
kemiskinan” dapat terjawab dengan melakukan Evaluasi
Dampak?
A. Ya
B. Tidak
C. Tidak Tahu
Di manakah posisi J-PAL dalam
debat ini?
• Di antara keduanya
• Kami percaya program penanggulangan
kemiskinan dapat membantu
• Namun kita masih harus banyak belajar
bagaimana caranya.
Bagaimana evaluasi dampak ini dapat
membantu kita?
• Masih sedikit bukti yang dapat menjelaskan apa yang bekerja
• Dapat melakukan hal lebih banyak dengan anggaran tertentu, dengan bukti yang lebih baik
• Apabila anggaran akan diberikan kepada program yang berhasil, maka akan membantu meningkatkan kantong bagi program-program penanggulangan kemiskinan.
• Pertanyaan bukan tentang “Apakah program penanggulangan kemiskinan berhasil?” melainkan : – Program mana yang paling berhasil, mengapa dan kapan?
– Konsep mana yang berhasil, mengapa dan kapan?
– Bagaimana kita meningkatkan yang berhasil ini?
• Tambahan ke daftar yang sudah terbukti – Bagian dari strategi evaluasi (riset) yang telah disusun dengan penuh
pertimbangan
MENINGKATKAN KUALITAS
AIR/SANITASI
Sebuah Contoh di Kenya
Menurut Anda, apakah cara yang paling efektif
dari segi biaya untuk mengurangi masalah diare?
A. Mengembangkan
infrastruktur pipa air
B. Meningkatkan kualitas
sumber air yang ada
C. Meningkatkan suplai dan
kebutuhan akan klorin
D. Pendidikan tentang sanitasi
dan kesehatan
E. Meningkatkan jumlah
kompor untuk memasak dan
merebut air
F. Meningkatkan infrastruktur
sanitasi
ANALISIS KEBUTUHAN
Identifikasi masalah
Kebutuhan
• Secara Umum
– Hampir 2 juta anak meninggal per tahun karena
diare
– 20% dari kematian anak (di bawah 5 tahun)
adalah karena diare
• Indonesia
– 36 persen anak terhambat pertumbuhannya
• Diare, kekuranan gizi dilihat sebagai faktor utama
Permasalahan
• 13% dari populasi dunia tidak mempunyai
akses “sumber air yang baik”
• Kurangnya akses terhadap solusi purifikasi air
• Berdasarkan laporan, masyarakat dapat memperoleh akses
air bersih dengan bersedia membayar $1 agar terhindar dari
diare, atau $24 per DALY (Kremer et al 2009)
7/2009 Spring Cleaning - SITE 24
Tujuan Akhir
• MDG: “Mengurangi sampai setengah dari
jumlah populasi penduduk yang tidak
mendapat akses berkelanjutan ke air bersih
untuk minum”
Solusi
Apakah program ini sendiri dapat
menyelesaikan permasalahan?
• Kualitas air hanya sedikit membantu jika tidak higienis
(Esrey, 1996)
– 42% rumah tangga hidup tanpa toilet di dalam rumah
• Masyarakat lebih tertarik membayar air yang bersifat
convenient daripada membayar untuk mendapatkan air bersih
• Kurang dari 10% rumah tangga membeli alat treatment air
– Di Zambia, $0,18 per bulan untuk keluarga dengan enam anggota
keluarga
– Di Kenya, $0,30 per bulan
• 25% kepala rumah tangga dilaporkan merebus air untuk
kebutuhan air minum sehari sebelumnya
Solusi Alternatif?
Mengembangkan Solusi
• Apakah teori yang melandasi solusi Anda?
• Bagaimana memetakannya ke dalam teori
masalah yang dihadapi?
PENILAIAN TEORI PROGRAM
Blueprint untuk Perubahan
Penilaian Teori Program
• Kerangka Kerja Logis (LogFrame, LFA)
• Teori Perubahan
• Kerangka Hasil
• Pemetaan Hasil
Theory of Change
MODIFIKASI SUMBER AIR
(untuk mencegah
kontaminasi)
AIR BERSIH DISIMPAN DI
RUMAH
ANGGOTA RUMAH TANGGA
MENGKONSUMSI AIR
OUTCOME KESEHATAN
DITINGKATKAN (misal. Insiden
diare berkurang)
Asumsi sampel: air ditampung dalam wadah yang bersih, dan wadah dipertahankan agar tetap bersih
Asumsi sampel: Anggota RT mengkonsumsi air dari sumber air yang bersih dan bukan sumber air yang berpotensi terkontaminasi
Asumsi sampel: sumber air dipelihara dengan baik, dan terdapat suplai air yang konsisten
Asumsi sampel: Tingkah laku yang berubah tetap konsisten dari waktu ke waktu
Penilaian Teori Program
• Bagaimana program tersebut akan menjawab kebutuhan
yang terdapat dalam analisis kebutuhan?
– Apakah pra-syarat yang dibutuhkan untuk memenuhi kebutuhan
tersebut?
– Bagaimana dan mengapa kebutuhan tersebut kurang atau gagal
dipenuhi saat ini?
– Bagaimana program ini bermaksud untuk mengatasi kekurangan
yang ada?
– Layanan apa yang akan ditawarkan?
Kerangka Logis Tujuan Indikator Sumber
Verifikasi
Asumsi/
Ancaman
Dampak
(Maksud/
Tujuan
keseluruhan)
Menurunnya
tingkat diare
Tingkat diare Survei di
tingkat rumah
tangga
Penyakit
ditularkan melalui
air adalah sebab
utama diare
Hasil
(Tujuan
Proyek)
Rumah
tangga
meminum air
yang lebih
bersih
(Δ dalam)
sumber air
minum;
E. coli
CFU/100ml
Survei rumah
tangga, uji
kualitas air di
penampungan
air rumah
Beralih dari
sumber air kotor.
Tidak ada
kontaminasi ulang
Output Sumber air
lebih bersih;
keluarga
mendapat air
yg lbh bersih
E. coli
CFU/100ml;
Uji kualitas air
pada sumber
Pemeliharaan
berkelanjutan,
pengetahuan
praktek
pemeliharaan
Input
(Kegiatan)
Proteksi
sumber air
dibangun
Terdapat
proteksi
sumber air,
berfungsi
Kunjungan ke
sumber/ survei
Bahan memadai,
pendanaan,
tenaga
Sumber Roduner, Schlappi (2008) Logical Framework Approach and Outcome Mapping, A constructive Attempt of Synthesis,
Analisa
Kebutuhan
Evaluasi
Proses
Evaluasi
Dampak
EVALUASI PROSES
Menjadikan program berhasil
Evaluasi Proses
• Sisi Suplai
– Logistik
– Manajemen
• Sisi Permintaan
– Asumsi Tanggapan
– Perubahan Perilaku?
Evaluasi Proses: Logistik
• Konstruksi (184/200, $1024/sumber air)
– Membangun perlindungan di sumber air
– Memasang pagar
– Memasang drainase
• Mengatur perawatan pengguna ($35/tahun)
– Menambal beton
– Membersihkan penampungan area
– Membersikan saluran drainase
Evaluasi Proses: Logistik Suplai
Evaluasi Proses: Sisi Permintaan
• Apakah rumah tangga tersebut mendapatkan air
dari sumber yang telah dilindungi?
– Untuk rumah tangga yang mengambil dari berbagai
sumber air, terdapat peningkatan penggunaan sumber
yang telah dilindungi sebanyak 21 persen
• Apakah tempat penampungan terkontaminasi
ulang?
• Apakah masyarakat minum dari air “bersih”?
– Tidak terdapat perubahan yang signifikan dalam cara
menyalurkan, menyimpan atau perilaku treatment.
Prosesnya oke, maka ….
• Apa yang terjadi dengan diare?
EVALUASI DAMPAK
Mengukur sejauh mana keberhasilannya
Apakah tujuan tercapai?
• Hasil utama (dampak): apakah dengan adanya
perlindungan di sumber air mengurangi
diare?
• Juga pertanyaan tambahan: Apakah
dampaknya terhadap rumah tangga dengan
praktek sanitasi yang baik vs yang buruk`?
Bagaimana cara mengukur dampak?
• Apakah yang akan terjadi jika program
tersebut tidak ada?
• Perbedaan antara
apa yang terjadi (dengan adanya program tsb) …dan
- apa yang bisa saja terjadi (tanpa adanya program tsb)
= DAMPAK dari program
Membangun Counterfactual
• Counterfactual sering dibangun dengan memilih kelompok yang tidak terpengaruh oleh program tersebut.
• Metode Acak: – Gunakan pengelompokan acak dari program untuk
membentuk kelompok kontrol yang mewakili counterfactual.
• Tanpa-metode acak – Menyatakan bahwa kelompok tertentu yang tidak
termasuk dalam program mewakili counterfactual.
Bagaimana perbedaan dampak dengan
proses?
• Ketika kita menjawab pertanyaan proses, kita
perlu menjelaskan apa yang terjadi.
• Ketika kita menjawab pertanyaan dampak,
kita perlu membandingkan apa yang terjadi
dengan apa yang bisa terjadi tanpa adanya
program tersebut.
EVALUASI ACAK
“Standar Emas” untuk Evaluasi Dampak
Secara acak
pilih sampel
dari area
yang
dimaksud
Sampel Acak dan Pengelompokan Acak
Secara acak
kelompokkan
ke perlakuan
dan kontrol
Secara acak
pilih sample
Kelompok
perlakuan dan
kontrol
Sampel Acak dan Pengelompokan Acak
Secara acak
pilih sampel
dari area yang
dimaksud
Sampel Sumber air bersih
Target
Populasi
(200)
Tidak
dievaluasi
(0)
Sampel
Evaluasi
(200)
Total Populasi
(562 sumber air)
Pengelom-
pokkan Acak
Tahun 2
(50)
Tahun 3,4
(100)
Tahun 1
(50)
Dampak
• 66% penurunan konsentrasi bakteri E. coli
pada sumber air
• 24% penurunan konsentrasi bakteri E. coli
pada rumah tangga
• 25% penurunan tingkat diare
Menentukan dari beberapa pilihan
Intervensi Dampaknya terhadap Diare
Perlindungan sumber air (Kenya) 25% penurunan penyakit diare pada anak
usia 0-3
Intervensi Dampaknya terhadap diare
Perlindungan sumber air(Kenya) 25% penurunan tingkat diare pada anak
usia 0-3
Dispenser sumber klorin (Kenya) 20-40% penurunan diare
Distribusi klorin ke rumah (Kenya) 20-40% penurunan diare
Cuci tangan (Pakistan) 53% penurunan tingkat diare pada anak
di bawah usia 15 tahun
Masuknya pipa air (pinggiran Maroko) 0.27 penurunan jumlah hari diare pada
anak per bulan
Menentukan dari beberapa pilihan
ANALISIS COST-EFFECTIVENESS
Pembuatan Kebijakan Berbasis Bukti
Diagram Cost-Effectiveness
KAPANKAH WAKTU YANG
TEPAT UNTUK MELAKUKAN
EVALUASI ACAK….
Kapankah waktu yang tepat untuk
melakukan evaluasi acak?
A. Setelah program dimulai dan
Anda tidak berniat memperluas
ke arah lain
B. Ketika dampak positif telah
terbukti menggunakan
metodologi yang ketat
C. Ketika Anda melaksanakan suatu
program dengan maksud untuk
memperluas cakupannya
D. Ketika program masih dalam
cakupan yang sangat kecil. Mis.
Hanya untuk beberapa rumah
tangga
Kapan evaluasi acak dilakukan?
• Ketika Anda ingin menjawab pertanyaan penting dan ingin tahu jawabannya
• Faktor waktu—tidak terlalu dini dan tidak terlalu terlambat
• Program bersifat representatif, bukan program ‘gold-plated’ semata – Atau menguji konsep dasar yang perlu Anda uji
• Waktu, keahlian, dan uang untuk melakukan hal yang benar
• Mengembangkan sebuah strategi evaluasi untuk menentukan prioritas
Kapan evaluasi acak sebaiknya tidak
dilakukan? • Ketika program masih prematur dan masih perlu
‘perbaikan’ di sana sini agar berhasil
• Ketika proyek masih dalam skala yang terlalu kecil untuk diacak menjadi dua kelompok yang cukup ‘representatif’
• Bila dampak positif telah terbukti dengan menggunakan metodologi yang ketat serta sumber data memadai untuk semua orang
• Setelah program dimulai dan Anda tidak berencana untuk memperluas ke arah lain
Bagaimana evaluasi dampak dapat gagal
• Tidak ada yang mengajukan pertanyaan yang
jawabannya diberikan oleh studi/kajian
tersebut
• Mengukur hasil yang salah
• Meninggalkan terlalu banyak pertanyaan
penting yang tidak terjawab
• Menghasilkan hasil yang bias
Program dan Evaluasinya:
Dimana kita memulainya? Intervensi
• Mulai dengan masalah
• Verifikasi masalah tersebut
memang benar terjadi
• Buatlah sebuah teori
mengapa masalah tersebut
timbul
• Desain program
• Pertimbangkan apakah solusi
tersebut bersifat cost effective
Evaluasi Program
• Mulai dengan pertanyaan
• Verifikasi pertanyaan tersebut
belum terjawab
• Buatlah sebuah hipotesis
• Desain evaluasi
• Pastikan apakah nilai jawaban
setara dengan biaya evaluasi
• Bila Anda menanyakan dengan pertanyaan yang benar, berarti Anda cenderung peduli
Komponen Evaluasi Program
• Analisa kebutuhan
• Penilaian Teori Program
• Evaluasi terhadap proses
• Evaluasi Dampak
• Cost Effectiveness
• Apa masalahnya?
• Bagaimana, secara teoritis, program tersebut dapat menyelesaikan masalah?
• Apakah program berjalan sesuai rencana?
• Apakah tujuan akhirnya tercapai? Signifikankah?
• Dilihat dari signifikansi dan biaya yang dikeluarkan, apakah terdapat cara lain sebagai alternatif?
PEREMPUAN SEBAGAI
PEMBUAT KEBIJAKAN
Selanjutnya …