Post on 03-Feb-2018
TRANSLATING RESEARCH INTO ACTION
Analisa Keefektifan Biaya
(CEA)
Lina Marliani
J-PAL Southeast Asia
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
Ikhtisar Paparan
1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)
2. Apa itu CEA? (vs. CBA
/ Analisa Cost-benefit)
3. Pengunaan CEA
4. Tantangan CEA
4
Evaluasi Kemah Imunisasi dan Insentif di
Udaipur, India – Sisi Penawaran
5
• Tingkat imunisasi di Rajasthan sangat
rendah (kurang dari 5% di Udaipur)
• Kemungkinan penyebabnya adalah masalah dengan sisi penawaran :
• Wilayah berbukit dan beragam suku dengan tingkat kehadiran staf kesehatan di klinik kesehatan lokal yang rendah (tingkat absen 45% )
• Melaksanakan acara pemberian imunisasi bulanan di 60 desa: acara rutin bagaimanapun kondisi cuacanya dari 11a-2p (95% dilaksanakan)
• Pemantauan dengan kamera
Sisi Permintaan dari Imunisasi
6
• Kemungkinan kedua: Ada masalah dengan permintaan:
• Warga tak tertarik dengan imunisasi, takut?
• Biaya kesempatan yang hilang (opportunity cost) mendatangi 5 kali untuk vaksinasi
• Dapatkah permintaan terpengaruhi?
Pemberian Insentif pada Permintaan
7
• Insentif tambahan: satu kilogram lentil untuk setiap kali imunisasi (Rs. 40 – upah satu hari) ditambahkan set thali untuk imunisasi komplit
• Perlakuan 1: Kemah imunisasi
• 30 desa
• Perlakuan 2: Kemah imunisasi+ insentif
• 30 desa
• Kelompok kontrol
• 60 desa
• Pengumpulan data imunisasi
Suplai reguler meningkatkan Imunisasi, Insentif
semakin meningkatkannya
Suplai reguler meningkatkan Imunisasi, Insentif
semakin meningkatkannya
Pemberian Insentif dua kali lebih cost-
effective
Ikhtisar Paparan
1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)
2. Apa itu CEA? (vs. CBA
/ Analisa Cost-benefit)
3. Pengunaan CEA
4. Tantangan CEA
11
Analisa Cost-Effectiveness (CEA)
• Analisa cost-effectiveness mengukur rasio biaya suatu program
terhadap dampak pada satu hasil
• Rasio CE = Manfaat program / Biaya pelaksanaan program
• Mengukur biaya untuk satu tingkat keefektifan: mis. biaya meningkatkan
kehadiran dalam satu tahun
• Atau, mengukur efektivitas biaya: jumah tahun peningkatan kehadiran di
sekolah yang dihasilkan dengan biaya $100
12
Analisa Cost-Effectiveness Secara Komparatif
• Analisa cost-effectiveness secara komparatif membandingkan
rasio cost-effectiveness untuk berbagai program
Misal: Jumah tahun masuk sekolah setiap $100 yang dihabiskan
13
Analisa Cost-Effectiveness (CEA) dan CEA secara
Komparatif
• CEA secara komparatif membandingkan rasio cost-
effectiveness untuk berbagai program
• Harus menghitung biaya dan manfaat menggunakan metodologi serupa untuk
semua program
• Cara yang baik untuk membantu pembuat kebijakan mensintesis
informasi dari banyak evaluasi
• Menyediakan ringkasan untuk satu program dalam hal biaya dan dampak pada
satu hasil
• Dapat digunakan untuk membandingkan banyak program, dan menemukan
opsi yang paling cost-effective (secara komparatif)
14
Analisa Cost-effectiveness (CEA) vs. Analisa Cost-Benefit (CBA)
• CEA: Rasio biaya dan manfaat untuk satu hasil
• CBA: Rasio biaya dan manfaat dari segi nilai moneter untuk semua hasil
• Dapat menghasilkan penilaian absolut apakah suatu proigram layak dibiayai.
• Tapi, juga memerlukan asumsi tentang nilai moneter dari semua manfaat. (biaya hidup,
disabilitas, kejahatan yang menurun di antara anak sekolah)
• Keuntungan CEA adalah kemudahannya:
• Pengguna dapat memilih variabel pengukur hasil yang obyektif (mis. biaya utuk memberikan
insentif satu hari ekstra untuk bersekolah) – tidak peru membuat penilaian tentang nilai moneter
kegiatan sekolah tersebut
• Lebih mudah bagi para pembuat kebijakan untuk membandingkan program jika mereka peduli
pada satu hasil yang ingin dikaji (mis. meningkatkan kehadiran di sekolah, bukan kesehatan anak)
15
Kapankah analisa cost-effectiveness berguna?
• Ada satu variabel pengukur hasil yang ingin dilihat dampaknya
– Ada banyak intervensi yang memungkinkan untuk meraih tujuan ini, dan anda tidak
yakin yang mana yang akan memberi dampak terbaik dengan biaya terendah
• Anda ingin meyakinkan pembuat kebijakan bahwa suatu program yang
tidak terpikir (non-obvious) merupakan suatu gagasan yang baik
• Anda ingin memahami bagaimana CE suatu program bervariasi
tergantung pada beragam faktor kontekstual dan implementasi
16
Informasi apa yang dibutuhkan?
• Ambil data mengenai dampak dari evaluasi dampak yang berkualitas
tinggi
• Memerlukan informasi lainnya, seperti jumah penerima manfaat, saat dampak
diukur
• Ambil data mengenai biaya dari…?
• Kebanyakan proyek tidak membuat catatan biaya-biaya implementasi mereka
• Memerlukan data yang rinci mengenai barang-barang yang dibeli, waktu yang
digunakan staf (untuk apa), biaya transportasi, dsb.
17
Hitunglah Biaya Penuh Program – Metode
Ramuan (Ingredients Method)
18
Pemberian insentif dua kali lebih cost-
effective
Ikhtisar Paparan
1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)
2. Apa itu CEA? (vs. CBA
/ Analisa Cost-benefit)
3. Pengunaan CEA
4. Tantangan CEA
20
Pengunaan CEA
• Analisa prospektif program uji coba – “Kira-kira seberapa efektif biaya-kah program uji
coba yang diajukan ini?”
– “Seberapa besar dampak yang harus dicapai untuk memenuhi ambang batas?”
• Analisa retrospektif program uji coba – “Tepatnya, seberapa cost-effective-kah program uji
coba ini?”
• Analisa prospektif perluasan program – “Kira-kira seberapa cost-effective-kah program tingkat
nasional yang diajukan ini?”
Pengunaan CEA Data yang diperlukan
Keuntungan Kelemahan
Analisa Prospektif Program Uji Coba
• Proyeksi biaya • Perkiraan dampak
dari program serupa
Perhitungan kasar juga dapat membantu
menyisihkan program yang tidak cost-effective
Proyeksi biaya dan perkiraan dampak dari
program serupa mungkin tidak akurat
Analisa Retrospektif
Program Uji Coba
• Data biaya dari program yang dievaluasi
• Perkiraan dampak dari studi berkualitas tinggil
Memberikan perkiraan yang tepat seberapa
cost-effective program dalam konteks tersebut
Masih bermasalah menyangkut validitas
eksternal untuk perkiraan biaya dan
dampak
Analisa Prospektif Program berskala
• Proyeksi data biaya untuk perluasan program
• Perkiraan dampak dari evaluasi uji coba
Menghasikan perkiraan prospektif yang
disesuaikan merupakan alat yang berguna saat
berbicara dengan pemerintah suatu
negara
Dampak dari program uji coba mungkin tidak dapat diterapkan pada
program berskala
Menggunakan ambang batas untuk menilai cost-effectiveness
23
Menggunakan ambang batas untuk menilai keefektifan biaya
24
Menggunakan ambang batas untuk menilai cost-effectiveness
25
Pengunaan CEA Data yang diperlukan
Keuntungan Kelemahan
Analisa Prospektif Program Uji Coba
• Proyeksi biaya • Perkiraan dampak
dari program serupa
Perhitungan kasar juga dapat membantu
menyisihkan program yang tidak cost-effective
Proyeksi biaya dan perkiraan dampak dari
program serupa mungkin tidak akurat
Analisa Retrospektif
Program Uji Coba
• Data biaya dari program yang dievaluasi
• Perkiraan dampak dari studi berkualitas tinggil
Memberikan perkiraan yang tepat seberapa
cost-effective program dalam konteks tersebut
Masih bermasalah menyangkut validitas
eksternal untuk perkiraan biaya dan
dampak
Analisa Prospektif Program berskala
• Proyeksi data biaya untuk perluasan program
• Perkiraan dampak dari evaluasi uji coba
Menghasikan perkiraan prospektif yang
disesuaikan merupakan alat yang berguna saat
berbicara dengan pemerintah suatu
negara
Dampak dari program uji coba mungkin tidak dapat diterapkan pada
program berskala
Hitunglah Biaya Penuh Program – Metode
Ramuan (Ingredients Method)
27
Pemberian insentif dua kali lebih cost-
effective
Pengunaan CEA Data yang diperlukan
Keuntungan Kelemahan
Analisa Prospektif Program Uji Coba
• Proyeksi biaya • Perkiraan dampak
dari program serupa
Perhitungan kasar juga dapat membantu
menyisihkan program yang tidak cost-effective
Proyeksi biaya dan perkiraan dampak dari
program serupa mungkin tidak akurat
Analisa Retrospektif
Program Uji Coba
• Data biaya dari program yang dievaluasi
• Perkiraan dampak dari studi berkualitas tinggil
Memberikan perkiraan yang tepat seberapa
cost-effective program dalam konteks tersebut
Masih bermasalah menyangkut validitas
eksternal untuk perkiraan biaya dan
dampak
Analisa Prospektif Program berskala
• Proyeksi data biaya untuk perluasan program
• Perkiraan dampak dari evaluasi uji coba
Menghasikan perkiraan prospektif yang
disesuaikan merupakan alat yang berguna saat
berbicara dengan pemerintah suatu
negara
Dampak dari program uji coba mungkin tidak dapat diterapkan pada
program berskala
Analisa Cost-effectiveness- Raskin
30
• Data dampak: Evaluasi RCT mengenai efektivitas kartu Raskin
• Data biaya: Biaya-biaya TNP2K untuk distribusi KPS secara
nasional
Manfaat dari Distribusi dan Sosialisasi Kartu
Raskin
31
Peningkatan pembelian Raskin
(kg/kk/bulan)
Peningkatan subsidi Raskin yang diterima
(IDR/kk/month)
Kartu Raskin dengan Sosialisasi Reguler
1,12 kg Rp 6.659 (23%)
Kartu Raskin dengan Sosialisasi lebih Tambahan
1,9 kg Rp 11.098 (38%)
Perhitungan Biaya Sosialisasi Standar
Perhitungan menggunakan perkiraan biaya aktual TNP2K untuk
pencetakan kartu dan distribusi kartu KPS:
Kartu + Sosialisasi Standar: Rp. 190.6 trilyun
• Pencetakan dan Distribusi Kartu : Rp. 12,200/KK
– Rp. 3,200/KK untuk mencetak kartu dan surat terampir.
– Rp. 9,000/KK untuk mendistribusikan kartu dan surat lewat PT Pos.
– Rp. 12,200 * 15.5 juta KK = Rp. 189.1 triyun
• Pencetakan dan Distribusi Buku Panduan: Rp. 20,000/ desa
– Rp. 20,000 * 75,000 desa = Rp. 1.5 trilyun
32
Perhitungan Biaya Sosialisasi Tambahan
Perhitungan menggunakan perkiraan biaya aktual TNP2K untuk
pencetakan kartu dan distribusi kartu KPS dan biaya RCT dari
sosialisasi tambahan
Kartu + Sosialisasi: Rp. 715.6 trilyun
• Pencetakan dan Distribusi Kartu : Rp. 12,200 /KK
– Rp. 12,200 * 15.5 juta KK = Rp. 189.1 trilyun
• Pencetakan dan Distribusi Buku Panduan : Rp. 20,000/ desa
– Rp. 20,000 * 75,000 desa = Rp. 1.5 trilyun
• Socialisasi Tambahan: Rp. 7 juta/desa
– Rp. 7,000,000 * 75,000 desa = Rp. 525 trilyun.
33
Rasio Manfaat dan Biaya untuk Kartu Raskin
34
Skenario-skenario distribusi dan sosialisasi
Total biaya pertahun (trilyun rupiah)
Total peningkatan subsidi yang
diterima pertahun (trilyun rupiah)
Rasio Manfaat/
Biaya
Peningkatan subsidi yang
diterima per KK per tahun
Kartu Raskin + Sosialisasi Standar
190.6 1,240.6 6.5x 79,908 IDR
Kartu Raskin + Sociaisasi Tambahan
715.60 2,064.2 2.9 x 133,176 IDR
Analisa Cost-Effectiveness - Raskin
Raskin Card + Standard Soc. Raskin Card + Enhanced Soc.
Cost per year (bil IRD) 190,6 715,6
Increased Subsidy per year (bil IDR) 1.241 2.064
Increased Subsidy per HH/year IDR 79.908 133.176
0
20.000
40.000
60.000
80.000
100.000
120.000
140.000
0
500
1.000
1.500
2.000
2.500
Pen
ingk
atan
su
bsi
di p
er K
K/
tah
un
(R
p)
Nia
i bia
ya d
an m
anfa
at (
juta
ru
pia
h)
Cost per year (bil IRD)
Increased Subsidy peryear (bil IDR)
Increased Subsidy perHH/year IDR
Benefit/Cost Ratio 6.5x 2.9x
Ikhtisar Paparan
1. Contoh: Dari dampak ke analisa cost effectiveness (CEA)
3. Apa itu CEA? (vs. CBA
4. / Analisa Cost-benefit)
5. Pengunaan CEA
6. Tantangan CEA
36
Tiga tantangan dalam Melakukan CEA
I. Ketiadaan insentif untuk melakukan CEA:
• Bagaimana jika program efektif tapi tidak cost-effective?
• Tidak ada persyaratan untuk menunjukkan CEA pada mayoritas jurnal
ilmu sosial
II. Rumit:
• Sejumlah asumsi diperlukan untuk melakukan analisa (mis. hasil-hasil,
transfer, spillover effects, nilai penukaran, inflasi, dsb.)
• Tidak anda satu cara yang “benar”, namun yang penting adalah
konsistensi!
37
Tiga Tantangan Utama dalam Melakukan
CEAs
I. Ketiadaan insentif untuk melakukan CEA
II. Rumit
III. Data mengenai biaya sulit didapat:
• Mengumpulkan data mengenai biaya tidak dilihat sebagai bagian utama
evaluasi, tidak seperti ukuran dampak
• Data biaya sulit dikumpulkan dari para pelaksana (anggaran berbeda dari
biaya pelaksanaan; sulit untuk membagi biaya overhead dan biaya proyek
yang ada)
• Sulit untuk memperoleh data biaya dari peneliti lain untuk sebuah CEA
bersifat komparatif
• Ukuran dampak dan pengumpulan biaya seringkali tidak harmonis
38
Mengumpulkan Data Biaya – Secara
Retrospektif
• Secara Retrospektif:
• J-PAL terutama menggunakan metode “ingredients” (Levin and McEwan
2001)
• Mengumpulkan data dari berbagai sumber:
• Makalah akademik untuk uraian tentang struktur program, ingredients dan
kondisi lokal seperti upah
• Wawancara para peneliti untuk ingredients tambahan, biaya-biayanya,
dokumen tambahan seperti anggaran
• Staf Program dan staf peneliti lapangan untuk data biaya per unit
• Dilengkapi dengan sumber publik (mis. upah lokal, biaya transportasi,
dsb)
39
Pengumpulan Biaya Retrospektif vs. Prospektif
• Tantangan pada metode retrospektif:
• Data tidak dikumpulkan oleh pelaksana atau evaluator dan staf lapangan sulit
ditemukan atau tidak merespon
• Banyak biaya penting dilupakan, atau sulit untuk diperkirakan setelah beberapa waktu
lewat
• Program yang dilaksanakan mungkin berbeda dengan anggaran yang direncanakan
• Data biaya yang diagregasi kurang berguna untuk sensitivity analysis atau peningkatan
• Secara Prospektif:
• Menngatasi tantangan pengumpulan data retrospektif
• Inisiatif J-PAL memberikan templat standar untuk membantu dalam pengumpulan
data
• Harmonisasi membuat lebih mudah untuk melakukan CEA secara komparatif
40
Asumsi untuk CEA
• Untuk apa anda menghitung cost-effectiveness? – Program, selama tahap uji cobe
– Program, jika diperluas
– Beberapa komponen dari program tersebut
• Bagaimana anda menghadapi… – Nilai penukaran, inflasi, diskon
– Spillover effects
– Hasil yang lebih dari satu
– Biaya yang ditanggung bersama dengan organisasi mitra
– Biaya yang masih buram: administrasi, overhead, dan manajemen
41
Beberapa Pertimbangan dalam Analisa Cost-
Effectiveness – tak ada satu jalan yang paling benar
42
• Present Value: Rasio diskon asli 10%
digunakan untuk discount cost dan manfaat
untuk mengendalikan nilai waktu dari uang
• Inflasi: Sesuaikan biaya dengan harga saat
ini
• Perbandingan berbagai negara: Nilai
penukaran yang standar digunakan untuk
menyesuaikan dengan US$
• Hasil yang lebih dari satu: Hanya dapat
menilai satu jenis manfaat pada satu saat
sebagaimana banyak kebijakan dibingkai
Beberapa Pertimbangan dalam Analisa Cost-
Effectiveness – tak ada satu jalan yang paling benar
43
• Biaya total vs. Sunk Costs: Pertimbangkan hanya incremental
cost terhadap infrastruktur yang sudah ada (bahan-bahan,
personel, pengawas)
• Sukses jangka pendek vs. Dampak akhir program: Gunakan
pengukuran yang bersifat global untuk menerjemahkan hasil
jangka pendek menjadi hasil akhir
Tidak ada satu jalan yang paling benar melakukan CEA. Anda
harus membuat pilihan-pilihan (transparan dalam hal asumsi)
dan menerapkan standar yang sama dalam semua kajian dari
analisa tersebut.
Beberapa Petunjuk untuk CEA
• Makalah J-PAL mengenai Metodologi CE:
– Mengapa CEA amat penting
– Asumsi yang diperukan untuk melakukan CEA
– Masalah atau kesalahan umum dalam menghitung CEA
www.povertyactionlab.org/publication/cost-effectiveness
• Juga termasuk beberapa template yang bisa digunakan untuk pengumpulan biaya dan melakukan CEA
44
Kesimpulan
• CEA merupakan angkah awal yang berguna untuk membandingkan
program-program berbeda yang berfokus pada hasil yang sama
• Penyederhanaan memungkinkan penggunaan yang lebih luas dalam
pembuatan kebijakan tetapi pengguna harus waspada dengan asumsi-
asumsi yang digunakan
• Sensitivity analysis untuk CEA memungkinkan para pembuat
kebijakan untuk melihat dampak dari modifikasi asumsi dan kondisi
lokal
• Proses Pengumpulan Biaya jauh lebih akurat dan lebih mudah saat
dilakukan secara prospektif dibandingkan jika dilakukan secara
retrospektif 45
TERIMA KASIH