REPUBLIK INDONESIA - bappenas.go.id · negara. Fokus dari studi literatur ini terletak pada...
Transcript of REPUBLIK INDONESIA - bappenas.go.id · negara. Fokus dari studi literatur ini terletak pada...
REPUBLIK INDONESIA
PRAKTIK PELAKSANAAN EVALUASI DI BEBERAPA NEGARA:
SEBUAH TINJAUAN LITERATUR
Kedeputian Evaluasi Kinerja Pembangunan
Kementerian Perencanaan Pembangunan Nasional/BAPPENAS 2010
ii
KATA PENGANTAR
Terbentuknya Direktorat Evaluasi Kinerja Pembangunan Sektoral (EKPS) sebagai salah satu Direktorat dilingkungan Deputi Evaluasi Kinerja Pembangunan di Kemenneg PPN/Bappenas pada penghujung tahun 2007 lalu setidaknya menyiratkan satu hal, yakni bahwa secara kelembagaan Bappenas memiliki komitmen yang makin kuat terhadap evaluasi sebagai satu mata rantai penting dalam proses perencanaan pembangunan nasional. Evaluasi di Bappenas boleh dikatakan merupakan barang yang “lama namun baru”. Barang lama, karena pada lingkup yang lebih mikro kedeputian/direktorat teknis, to some extent, sejatinya evaluasi telah dilakukan, meski masih bersifat sepotong-sepotong dari kacamata sektor masing-masing. Barang baru, karena praktik evaluasi kebijakan oleh sebuah unit kerja mandiri yang diserahi tanggung jawab khusus untuk itu memang baru ada setelah direktorat ini terbentuk. Dengan pembentukan Direktorat EKPS ini, evaluasi diharapkan dapat dijalankan dalam karakter yang lebih “memandang dari luar” dan dalam konteks yang lebih holistik dan bersifat lintas sektor. Konsekuensinya, Bappenas perlu secara institusi memiliki strategi evaluasi pencapaian outcome/impact terhadap program-program dan kebijakan pembangunan yang lebih canggih dan profesional. Beberapa tahun terakhir, upaya ke arah evaluasi yang baik memang telah dilakukan oleh Kedeputian/Direkorat Sektor terkait, misalnya melalui berbagai prakarsa strategis. Namun demikian, hal tersebut perlu terus di kembangkan ke arah yang lebih bersifat institusional.
iii
Sebagai unit kerja baru, dengan tugas dan fungsi yang baru pula, tantangan yang harus segera dihadapi Direktorat EKPS adalah bahwa belum ada model yang ideal mengenai bagaimana evaluasi kebijakan semestinya dijalankan. Evaluasi yang telah cukup sering dilakukan baru terbatas pada evaluasi kegiatan/proyek yang sifatnya berbeda dengan evaluasi kebijakan. Dalam kerangka inilah Direktorat EKPS memulai satu langkah kecil berupa studi pustaka mengenai praktik evaluasi outcome/impact di berbagai negara. Fokus dari studi literatur ini terletak pada metodologi apa saja yang bisa dipilih untuk program/kebijakan pada sektor yang beragam. Hadirnya tinjauan literatur ini diharapkan dapat berkontribusi dalam membangun technical know how, terutama mengenai bagaimana melakukan evaluasi outcome dan impact dari program atau kebijakan dari perencanaan pembangunan di Indonesia. Harapan kami tinjuan literatur ini bermanfaat bagi upaya membangun kapasitas evaluasi, tidak saja bagi lingkungan Deputi Evaluasi Kinerja Pembangunan, namun juga bagi lingkungan yang lebih luas, terutama unit-unit kerja terkait di Kementerian PPN/Bappenas.
Jakarta, Maret 2010 Plt. Deputi Bidang Evaluasi Kinerja Pembangunan
Dr. Ir. Dedi M. Masykur Riyadi
1
PRAKTIK PELAKSANAAN EVALUASI DI BEBERAPA NEGARA:
SEBUAH TINJAUAN LITERATUR
Dalam manajemen perencanaan pembangunan, evaluasi adalah satu mata rantai penting yang tidak kalah penting dari perencanaan itu sendiri. Paling tidak, kegiatan evaluasi dapat menjadi semacam jembatan antara satu perencanaan dengan perencanaan periode berikutnya.
Evaluasi menjadi strategis kedudukannya, karena dari kegiatan evaluasi tersebut dapat1:
(i) diketahui keberhasilan atau kegagalan sebuah program/kegiatan;
(ii) diidentifikasi di mana dan bagaimana perlu dilakukan perubahan-perubahan;
(iii) diketahui bagaimana kekuatan dan potensi dapat ditingkatkan;
(iv) diperoleh informasi untuk membuat perencanaan dan pengambilan keputusan tahap selanjutnya; dan
(v) membantu untuk dapat melihat konteks dengan lebih luas serta implikasinya terhadap kinerja pembangunan.
Tujuan evaluasi pada umumnya adalah untuk mendapatkan informasi dan menarik pelajaran dari pengalaman mengelola kegiatan/program pembangunan (input-proses-output) yang baru sebagian dijalankan atau sudah selesai dilaksanakan sebagai umpan balik bagi pengambilan keputusan dalam rangka perencanaan
1 Lebih lengkap, dapat dilihat di
http://www.bcwbanten.co.cc/2007/11/evaluasi-dan-monitoring.html
2
pelaksanaan pemantauan pengendalian dan kajian ulang (review).
Sementara itu, dalam penjelasan PP No.39/2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan, dijelaskan bahwa maksud dari dilakukannya evaluasi adalah untuk:
“... dapat mengetahui dengan pasti apakah pencapaian hasil, kemajuan dan kendala yang dijumpai dalam pelaksanaan rencana pembangunan dapat dinilai dan dipelajari untuk perbaikan pelaksanaan rencana pembangunan di masa yang akan datang. Fokus utama evaluasi diarahkan kepada keluaran (Outputs), hasil (Outcomes), dan dampak (Impacts) dari pelaksanaan rencana pembangunan. Oleh karena itu, dalam perencanaan yang transparan dan akuntabel, harus disertai dengan penyusunan indikator kinerja pelaksanaan rencana, yang sekurangkurangnya meliputi; (i) Indikator masukan, (ii) Indikator keluaran, dan (iii) Indikator hasil/manfaat”.
Meski secara legal formal telah ditetapkan PP No. 39/2006 sebagaimana disebutkan di atas, namun sejauh ini kita belum memiliki sebuah sistem evaluasi, terutama evaluasi outcome/impact atas pelaksanaan rencana, yang kredibel. Evaluasi pelaksanaan rencana adalah bagian dari evaluasi kebijakan, bukan evaluasi proyek/kegiatan. Evaluasi kegiatan/proyek sudah sering kita lakukan dan hasilnya kadang-kadang kita anggap sebagai hasil evaluasi kebijakan. Padahal, evaluasi kebijakan dengan evaluasi proyek/kegiatan adalah dua hal yang berbeda.
Evaluasi pelaksanaan rencana murni menilai: Apakah kebijakan-kebijakan yang tersurat dalam dokumen Rencana Pembangunan, dalam hal ini RPJMN, sudah dilaksanakan atau belum?; Jika belum dilaksanakan, mengapa?; Jika sudah dilaksanakan, hasilnya bagaimana?; Apakah hasilnya sudah sesuai dengan target?; dan seterusnya. Ini belum pernah dilakukan.
Kegiatan evaluasi yang sering dilakukan oleh Kementerian/Lembaga dan Direktorat Teknis di Bappenas adalah evaluasi proyek/kegiatan. Evaluasi pelaksanaan
3
rencana yang telah dilakukan oleh beberapa Kedeputian/Direktorat di Bappenas dalam beberapa tahun terakhir perlu lebih disinergikan, tidak dalam lingkup mikro sektor persektor. Sehingga pada akhirnya evaluasi pelaksanaan rencana tersebut berada pada lingkup lebih makro, institusional Kemenneg PPN/Bappenas.
Salah satu fungsi Direktorat EKPS, sebagaimana diamanatkan oleh Keputusan Menneg PPN/Kepala Bappenas Nomor 5 Tahun 2007 tentang Organisasi dan Tata Kerja Kemenneg PPN/Bappenas adalah melakukan pemantauan, evaluasi, dan penilaian pelaksanaan program, lintas program, prioritas RKP serta RPJMN.
Guna menjalankan tugas pokok dan fungsinya sebagaimana disebutkan di atas, Direktorat EKPS perlu memiliki pemahaman yang cukup mengenai bagaimana evaluasi outcome/impact seharusnya dijalankan. Sebagai langkah awal, dilakukanlah penghimpunan referensi antara lain seperti apa praktik evaluasi outcome/impact di beberapa negara lain. Paling tidak, penghimpunan referensi ini bermanfaat untuk memperoleh gambaran mengenai apa saja yang bisa dievaluasi dengan evaluasi outcome/impact, bagaimana evaluasi outcome/impact dilakukan, dan metodologi apa saja yang bisa digunakan untuk menjalankan evaluasi outcome/impact.
Lebih jauh, diperlukan juga pemahaman mengenai berbagai praktik evaluasi outcome/impact untuk sektor-sektor yang berbeda. Matriks sebagaimana disajikan berikut ini merupakan rangkuman dari praktik dan metodologi evaluasi outcome/impact yang dilaksanakan terhadap Program/Kebijakan pada berbagai sektor dengan menggunakan metodologi yang juga beragam, di negara-negara: Amerika Serikat, Papua New Guinea, Iran, Kerajaan Vermont Bagian Timur, Uganda, Australia, Filipina, Yaman, Swedia, Hungaria, Meksiko, Brazil, dan Selandia Baru.
4
Secara singkat, matriks di bawah ini menjelaskan evaluasi outcome/impact di berbagai bidang yang dilakukan oleh beberapa negara, dan dikelompokkan berdasarkan tiga bidang besar yakni: (i) Politik Hukum Pertahanan dan Keamanan, (ii) Sosial Budaya, dan (iii) Ekonomi. Untuk Bidang Politik Hukum Pertahanan dan Keamanan misalnya, diambil contoh kegiatan evaluasi yang dilakukan di Papua New Guinea dan Kerajaan Vermont Bagian Timur. Evaluasi di Papua New Guinea dilakukan terhadap kegiatan Yumi Lukautim Mosbi (YLM) Project sedang di Kerajaan Vermont Bagian Timur dilakukan terhadap program Vermont Center for Crime Victim Services. Metode evaluasi yang digunakan adalah metode kualitatif, diantaranya melalui wawancara mendalam (indepth interview), review serta kajian terhadap dokumen terkait pelaksanaan kegiatan atau program, pengisian kuisioner dan analisis logic model.
Disamping itu, didapati juga evaluasi outcome/impact yang menggunakan metode kuantitatif, seperti yang dilakukan oleh Amerika Serikat terhadap program COPS Grant; Filipina terhadap program Conditional Cash Transfer (CCT); atau Swedia terhadap program Youth Labor Market. Metode evaluasi yang digunakan yaitu analisis statistik deskriptif dan ekonometrik dengan perhitungan least square dan logit model. Metode analisis ini juga dilakukan pada evaluasi bidang Politik Hukum Pertahanan dan Keamanan, Ekonomi, Pendidikan, serta Kesehatan.
Pemilihan metodologi, dilakukan sesuai bidang pembangunan yang akan dievaluasi. Setiap bidang pembangunan memiliki karakteristik yang berbeda-beda. Pada bidang pembangunan Politik Hukum Pertahanan dan Keamanan, metode evaluasi kualitatif umumnya banyak digunakan. Sedangkan pada bidang pembangunan Sosial Budaya dan Ekonomi, metode evaluasi yang digunakan merupakan kombinasi antara metode kualitatif dan
5
kuantitatif. Hal ini sangat dipengaruhi oleh karakteristik data dari masing-masing bidang pembangunan.
Berdasar kegiatan evaluasi yang telah dilaksanakan di beberapa negara tersebut, terdapat 2 contoh negara yang melakukan evaluasi terhadap kebijakan nasional. Yaman melakukan evaluasi dampak terhadap kebijakan Social Fund for Development (SFD), dan Swedia melakukan evaluasi dampak terhadap kebijakan Youth Labor Market Program. Kedua kebijakan tersebut merupakan kebijakan yang bersifat nasional. Data yang digunakan untuk pelaksanaan evaluasi tersebut adalah data primer, yang diperoleh melalui survei yang sifatnya nasional ataupun sampling secara langsung terhadap masyarakat penerima manfaat. Dengan demikian pada pelaksanaan evaluasi dampak terhadap level kebijakan nasional akan berkonsekuensi terhadap waktu, dana, serta jumlah SDM yang dibutuhkan.
Untuk 13 contoh Negara lainnya, evaluasi dampak dilakukan terhadap program atau kegiatan yang spesifik. Data yang digunakan pada pelaksanaan evaluasi, umumnya menggunakan data sekunder yang diperoleh dari badan statistik nasional seperti data Annual Survey of State and Local Government Finance pada evaluasi dampak program COPS Grant di USA; Base Line Survey 2001 Pusat Statistik Iran (SCI) dan UNFPA Iran pada evaluasi dampak program KB menggunakan model prevalensi di Iran; Annual Poverty Indicator Survey (APIS) 2004 pada evaluasi dampak program Conditional Cash Transfer (CCT) di Filipina. Hal ini menunjukkan bahwa pada evaluasi dampak terhadap program atau kegiatan yang spesifik, tidak dilakukan survei yang bersifat nasional untuk memperoleh data yang akan diolah. Dengan demikian waktu pelaksanaan evaluasi, dana yang dibutuhkan serta sumber daya manusia yang dibutuhkan akan lebih sedikit jika dibandingkan dengan evaluasi dampak yang menggunakan data primer.
6
Simpulan umum yang dapat ditarik adalah bahwasanya evaluasi outcome/impact sejatinya dapat dilakukan pada berbagai level, baik kegiatan, program, maupun kebijakan lain dalam tingkatan yang lebih tinggi lagi. Pemilihan metode evaluasi seperti apa yang digunakan dapat didasarkan antara lain pada data yang tersedia, karakteristik bidang pembangunan yang ingin dievaluasi, serta tujuan dari evaluasi itu sendiri. Tentu saja kesemua hal tersebut berimplikasi pada besaran dana yang dibutuhkan untuk pelaksanaan kegiatan evaluasi. Hal ini menjadi masukan berharga bagi para perencana pembangunan untuk menentukan evaluasi dampak terhadap program, kegiatan ataupun kebijakan seperti apa yang akan dilakukan. sehingga dapat diketahui sampai sejauh mana pencapaian tujuan pembangunan telah berhasil dicapai.
7
MATRIKS EVALUASI OUTCOME/IMPACT YANG DILAKSANAKAN DI BEBERAPA NEGARA
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
BIDANG POLHUKHANKAM
1 USA COPS Grants Level: Program
Program Community Oriented Policy Services
(COPS) merupakan intergovernmental grant program pada Departmentt of Justice US. Program ini membiayai perekrutan dan redeployment 100.000 tambahan petugas kepolisian di Amerika.
Tipe grant program
COPS: Pertama, grant perekrutan sebesar 75% digunakan untuk membiayai gaji petugas baru selama 3 tahun; Kedua, Making Officer Redeployment Effective (MORE) merupakan pemberian grant untuk membiayai teknologi, lembur, dan gaji pegawai sipil; Ketiga, grant
inovatif guna membiayai masalah-masalah khusus seperti kekerasan domestik, kenakalan geng, penyalahgunaan senjata api.
Evaluasi dampak: Pertama, apakah grant COPS menstimulasi pengeluaran kepolisian lokal di kota-kota besar?; Kedua, apakah grant
COPS dapat mencegah terjadinya kejahatan di kota-kota besar?
Mayoritas grant COPS
dikategorikan sebagai grant proyek, yaitu grant yg hanya diberikan kepada pemohon saja
Jenis Evaluasi: Evaluasi Impact
Studi ini merupakan
evaluasi dampak grant COPS yang menggunakan metode analisis regresi OLS (Ordinary Least Square) dan 2SLS. Model pertama, untuk mengetahui dampak grant COPS terhadap besarnya pengeluaran dinas kepolisian; Model kedua, untuk
mengestimasi hubungan antara grant COPS dengan tingkat kejahatan. Dalam model ini tingkat kejahatan yang dimaksud adalah tingkat kejahatan pembunuhan, pemerkosaan, perampokan, penyerangan, pencurian, pencopetan, dan pencurian kendaraan bermotor.
Metode OLS
digunakan untuk menganalisis model pertama dan kedua. Sedang metode 2SLS digunakan untuk mengukur kemungkinan hubungan simultan antara anggaran pengeluaran untuk penegakan hukum dengan tingkat kejahatan dengan tetap menjaga variabel grant COPS dan sosioekonomi.
Data yang digunakan
dalam studi ini diambil
Analisis kebijakan pada studi ini disusun berdasarkan hasil analisis regresi.
Grant COPS
tidak menstimulasi penerima grant untuk meningkatkan pengeluaran di atas pengeluaran rutinnya.
A Report of The Heritage Center for Data Analysis: Impact Evaluation of COPS Grants in Large Cities, David B. Muhlhausen, PhD; May 26, 2006.
8
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
dari 58 kota besar di USA. Data tahun analisis yang diambil adalah 5 tahun sebelum dan sesudah pelaksanaan program, dimana pelaksanaan grant COPS ini dilaksanakan pada tahun 1994.
Data yang digunakan
bersumber dari data Annual Survey of State dan Local Government Finance.
2 Papua New Guinea
Yumi Lukautim Mosbi (YLM) Project Level: Program
Proyek ini merupakan kerjasama antara National Capital District Commission (NCDC) dan Australian-funded Law & Justice Sector Program (LJSP) yang bertujuan untuk meningkatkan ketertiban, keamanan dan pencegahan terjadinya kejahatan di wilayah Port Moresby. Proyek ini dimulai pada Maret 2005.
Pelaksanaan proyek ini
meliputi: Pertama, kampanye kepedulian komunitas untuk perbaikan kepedulian terhadap Port Moresby; Kedua, slogan sebagai
symbol upaya yang dilakukan NCDC untuk perbaikan lembaga pemberi pelayanan masyarakat menggunakan anggaran lembaga yg berulang-ulang; Ketiga, pembiayaan kegiatan-kegiatan kemasyarakatan yang fokus pada keamanan kota melalui proyek pendanaan pemerintah Australia melalui LJSP.
Jenis Evaluasi: Evaluasi Impact
Impact evaluasi YLM
dilakukan untuk: Pertama, memberikan
informasi mengenai tingkat, kedalaman, dan jenis kejahatan di wilayah tertentu di Port Moresby yang bersifat objektif dan independen. Kemudian informasi tersebut digunakan oleh sektor guna mengetahui tren tingkat kejahatan dan menentukan program serta strategi untuk mengatasi kejahatan; Kedua, mengetahui persepsi masyarakat mengenai YLM, kepolisian dan lembaga lainnya, dan memonitor perubahan persepsi monitor tersebut dari waktu ke waktu.
Evaluasi impact
difokuskan pada outcomes, guna mengetahui apakah hasil proyek YLM diketahui oleh masyarakat. Evaluasi ini tidak mengukur efisiensi, namun mengukur efektifitas.
Studi ini menggunakan
metodologi review
Proyek YLM perlu diperkuat dengan dukungan manajemen LJSP terhadap penggunaan teknik perencanaan sistematik yang dilakukan oleh NCDC.
Fokus kegiatan
yang dilakukan YLM masih terlalu luas, tidak sebatas upaya penurunan tingkat kejahatan yang terjadi di Port Moresby, sehingga fungsi kegiatan tersebut belum maksimal dan perlu dilakukan penyempurnaan.
Yumi Lukautim Mosbi Impact Evaluation 2006, PNG Justice Advisory Group, 22 January 2007
9
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
terhadap dokumen latar belakang serta beberapa metode guna mengetahui progress dari dampak yang terjadi yaitu:
Kuisioner, guna
mengetahui sejauh mana pengetahuan masyarakat mengenai YLM
Analisis persepsi
publik tentang pelayanan YLM melalui data kualitatif dari pertanyaan open-ended pada kuisioner, interview dengan stakeholder, dan focus group interview dengan anggota USAC.
Penilaian victimisasi
kejahatan menggunakan data tahun 2004, 2005, 2006 dari lembaga survey sektor hukum dan peradilan.
3 USA Underage Drinking Prevention Projects Level: Program
Proyek Underage Drinking Prevention Program merupakan program yang bertujuan menekan jumlah kecelakaan yang terjadi akibat mabuk minuman keras pada remaja di bawah umur. Proyek ini merupakan pilot dengan melihat kesuksesan program Washington Regional Alcohol dari aspek penerapan hukum dan efektifitas pelaksanaan kegiatan.
Evaluasi dilakukan mulai
pertengahan tahun 1990-an terhadap 4 program yang dilaksanakan di wilayah berbeda, yaitu: Pertama, Program Safe and Sober Youth (SASY) di Chesterfield Country, Virginia; Kedua, Project
Jenis Evaluasi: Evaluasi Impact
Data kecelakaan untuk
analisis diambil dari data Virginia Department of Motor Vehicles. Data yang digunakan meliputi data tahun 1991-2000. Pengukuran remaja yang terlibat meminum alkohol terkait kecelakaan yang terjadi, dihitung mulai remaja usia 21 tahun dengan kejadian kecelakaan pada tengah malam.
Data yang digunakan
merupakan data time series bulanan.
Metodologi analisis
data dilakukan dengan menggunakan metode
Berdasar hasil studi:
Ketiga program yang terdiri dari SASY, PEM, dan TCUDPP menekankan pada strategi pendidikan dan informasi publik, dimana program PEM juga memasukkan komponen aktif legistatif dan pemaksaan.
Dari ketiga
program tersebut tidak ditemukan memiliki dampak terhadap jenis minuman pengganti alkohol terkait kecelakaan
Impact Evaluation of Underage Drinking Prevention Projects, Lacey, J. H., Wiliszowski, C. H., and Jones, R. K, Mid-America Research Institute, November 2003.
10
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
Extra Mile (PEM) di Omaha, Nebraska; Ketiga, Salt Lake City Underage Drinking Prevention Project (SLCUDPP) di Salt Lake Country, Utah; Keempat, Travis Country Underage Drinking Prevention Project
ARIMA. Kemudian untuk merubah menjadi stasioner, digunakan 12-rentang yg berbeda. Fungsi logaritma digunakan guna menyesuaikan dengan data yang digunakan.
yang melibatkan pengendara di bawah umur.
Program
SLCUDPP menekankan pada pelaksanaan hukum pelarangan penjualan minuman beralkohol kepada remaja di bawah umur. Dari hasil pengamatan, jumlah kecelakaan kendaraan di malam hari yang melibatkan remaja di bawah umur mengalami penurunan.
Berdasarkan hal
tersebut dapat disimpulkan bahwa untuk mencapai target keamanan yg lebih baik, program strategi pendidikan dan informasi publik saja belum cukup. Perlu dilakukan upaya pencegahan seperti mengurangi ketersedian minuman beralkohol dan aktivitas mengendarai kendaraan bermotor setelah minum-minum.
11
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
4 4 wilayah di Northeast Kingdom of Vermont
Vermont Center for Crime Victim Services Level: Program
Program ini memiliki tujuan 3 prioritas: Pertama, untuk menurunkan dampak isolasi geografis; Kedua, membangun komunitas yang berkoordinasi merespon kejahatan domestik dan kekerasan pada anak; Ketiga, membangun hubungan diantara para pelindung anak dan advokat korban kejahatan domestik.
Program ini dilaksanakan
di 4 wilayah di Northeast Kingdom of Vermont yaitu Caledonia, Essex, Lamoille, dan Orleans. Wilayah tersebut berada di daerah pedalaman dan terisolasi. Lembaga pemerintah yang menangani perlindungan anak adalah Vermont Departemen of Social and Rehabilitative Services (SRS).
Dalam mencapai tujuan
program ini, penerima bantuan merekrut 3 orang ahli kejahatan domestik untuk bekerja di kantor perlindungan anak.Konsultan ini merupakan konsultan untuk pelindung pekerja anak, membantu penyelesaian kasus-kasus, menyusun rekomendasi kebijakan untuk SRS untuk meningkatkan pelayanan terhadap keluarga yang mengalami kekerasan domestik dan kekerasan pada anak, dan melaksanakan training dan pemberian informasi terhadap mengenai kekerasan domestik dan kekerasan pada anak di kantor-kantor SRS di setiap wilayah penerima grant.
Jenis Evaluasi: Evaluasi Impact
Metode evaluasi yang
digunakan dalam studi adalah dengan menggunakan logic model untuk mendeskripsikan keterkaitan antara kegiatan-kegiatan yang dilakukan oleh penerima grant dengan outcomes yang diharapkan.
Evaluator dalam hal ini
melakukan identifikasi variabel-variabel kontekstual yang relevan untuk pelaksanaan kegiatan yang dibiayai oleh grant, membangun asumsi-asumsi kunci yang melandasi pelaksanaan kegiatan yang dibiayai oleh grant, dan menentukan variabel yang dapat disajikan sebagai penjelasan rival untuk pencapaian outcome oleh
penerima grant. Alur logic model yang
digunakan:
Tujuan utama para penerima grant adalah membangun hubungan antara SRS, lembaga perlindungan anak di setiap wilayah, dan program penanggulangan kejahatan domestik yang meliputi Vermont Network Against Domectic Violence and Sexual Assault
(jaringan). Tingkat kerjasama di setiap wilayah berbeda-beda. Upaya penyelesaian konflik dilakukan dengan penyusunan Memorandum of Understanding (MoU), dukungan perlindungan anak, pendampingan hukum.
National Evaluation of The Rural Domestic Violence and Child Victimization Enforcement Grant Program, Mary Ann Dutton ; Aileen Worrell ; Darci Terrell ; Sharon Denaro ; Robin Thompson, Desember 2002.
5 Uganda Kampanye Kebijakan ini memiliki Jenis Evaluasi: Jarak outlet The Power Of
Variabel Kontekstua
l (Model Ideal)
Asumsi
Kegiatan Program
Outcome
Variabel Konteks
tual (Model Rival)
12
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
Surat Kabar Level: Program
tujuan untuk mengurangi korupsi dana subsidi program sekolah dasar pada pemerintah lokal dengan memberdayakan masyarakat terutama guru dan orang tua murid, untuk memonitor pemerintah lokal dalam menangani program subsidi sekolah.
Kebijakan ini berupa
penerbitan data pengiriman dana subsidi per bulan dari pemerintah pusat kepada pemerintah lokal/daerah pada surat kabar nasional dan edisi bahasa lokal Uganda.
Kebijakan ini diambil
berdasarkan hasil survey yang dilakukan oleh Public Expenditure Tracking Survey (PETS)
pada pertengahan 1990 yang mengungkapkan bahwa setiap dollar yang dikeluarkan oleh pemerintah pusat hanya sekitar 20% yang diterima oleh sekolah.
Kebijakan ini memiliki
hasil yang menonjol yaitu penurunan korupsi dari 80% menjadi 20%.
Evaluasi Impact Studi ini menguji
dampak kampanye informasi pemerintah Uganda terhadap korupsi dana subsidi program sekolah dasar.
Data yang digunakan
adalah data hasil survey pada tahun 1996 dan 2002 yang dilakukan oleh PETS
Metode analisis yang
digunakan adalah metode analisis regresi.
Metode Evaluasi yang
digunakan dalam studi ini adalah Difference in Difference, instrumental variable.
Metode Difference in
Difference digunakan untuk membandingkan perubahan dalam persen, dana yang diterima sekolah akses surat kabar dengan sekolah tanpa akses surat kabar pada periode 1995-2001.
Instrumen variabel
yang digunakan oleh evaluator sebagai indikator dari kampanye informasi adalah jarak dari outlet surat kabar terdekat. Instrumen variabel ini ditentukan untuk menilai dampak korupsi dengan beberapa pertimbangan yaitu akses surat kabar adalah separuh endogen, kepala sekolah yang tidak memiliki akses surat kabar bisa saja mengetahui program subsidi dari orang tua murid yang memiliki
surat kabar yang terdekat memiliki korelasi dengan pengetahuan kepala sekolah mengenai peraturan dalam menangani program subsidi dan jadwal pencairan dana dari pusat tetapi tidak berkorelasi dengan nilai test kemampuan umum.
Jarak ke outlet
surat kabar yang terdekat memiliki korelasi yang sangat kuat dengan penurunan korupsi sejak kampanye koran dilaksanakan.
Dengan
memberikan pengetahuan kepada kepala sekolah mengenai program subsidi, akses publik terhadap informasi dapat menjadi pencegah yang kuat bagi korupsi di daerah.
Information: Evidence From A Newspaper Campaign To Reduce Capture, Ritva Reinikka†and Jakob Svensson‡, December, 2003.
13
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
akses surat kabar, dan adanya variasi seberapa teratur guru memiliki akses surat kabar.
BIDANG SOSIAL BUDAYA
1 Iran Dampak KB dgn menggunakan model prevalensi di Iran Level: Program
Prevalensi Model yang diperkenalkan oleh John Bongaarts, perkiraan potensi kesuburan dan jumlah kelahiran averted oleh program dan non program dgn menggunakan sumber penduduk dan penerimanya berdasarkan data.
Jenis Evaluasi: Evaluasi Impact
Perbedaan antara
potensi kesuburan kesuburan diamati berkaitan dengan kontrasepsi.
Semakin besar
perbedaan antara potensi dan diamati kesuburan, semakin tinggi dampak dari program KB kesuburan.
Studi ini menggunakan
Base Line Survey-2001 (BLS-2001) data yang dikumpulkan oleh Pusat Statistik Iran (SCI) dan UNFPA-Iran di beberapa kabupaten Bushehr (Bushehr & Kangan Distrik), Golestan (Gonbadkavoos & Minoodasht Distrik), Kurdistan (Marivan & Divandareh Distrik), Sistan & Bluchestan (Zahedan & Zabol Distrik) & Teheran Provinsi (Islamshahr Distrik).
Metode yang digunakan:
-Randomized experiments
-Quasi-experiments -Multilevel Regression
methods
Hasil studi menunjukkan bahwa Marivan & Zahedan distrik memiliki tinggi & rendah dalam penurunan angka TFR & CBR masing-masing.
Penemuan juga
menunjukkan bahwa tingkat kemiskinan di ASFR milik kelompok umur 30-34 di Marivan, 35-39 di Islamshahr, Gonbadkavoos dan Bushehr, 40-44 di Zabol, Divandareh dan Kangan, 45-49 di Zahedan dan Minoodasht.
Evaluation of the Impact of Family Planning Programs on Fertility: Using Prevalence Model for Selected Districts in Iran 2001 – By: Hassan Eini Zinab, Associate Researcher In: Population Studies and Research Center, Tehran, Iran, March 2005.
2 Meksiko Opportunidades (dahulu bernama PROGRESA) Level:
Opportunidades merupakan program bantuan sosial Pemerintah Meksiko yang diluncurkan pada tahun 2002. Program ini ditujukan untuk masyarakat miskin
Jenis Evaluasi: Evaluasi Impact
Data yang digunakan
adalah data primer. Sampel sebanyak 506 komunitas (penerima program dan bukan
Program ini berhasil meningkatkan permintaan pelayanan kesehatan dan pendidikan khususnya para
Empowering Women to Obtain High Quality Care : Evidence from An Evaluation of Mexico’s Conditional
14
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
Program Meksiko. Masyarakat miskin diberikan imbalan atas kehadirannya di sekolah, kunjungannya di klinik kesehatan, penambahan nutrisi. Program ini memberikan insentif dari sisi permintaan, tidak seperti program-program lainnya yang memfokuskan pada performa penyelenggara pelayanan seperti pelatihan tenaga medis
Evaluasi program
dilakukan oleh komisi independen
penerima program) diambil dari tujuh negara bagian (states) utama di Meksiko. Pengambilan sampel dilakukan pada tahun 2003.
Pengambilan sampel digunakan metode two-stage stratified sampling design.
Model yang digunakan
adalah multivariate regression model.
Model multivariat digunakan karena variabel terikat lebih dari satu.
Variabel terikat terdiri
atas history taking and diagnostic (sampel darah, urin, pendarahan,discharge); phusical examination
(tekanan darah, timbangan ibu, mengukur tinggi rahim, dan tes pelvic); pencegahan dan manajemen kasus (administrasi tetanus taxoid, pemberian suplemen zat besi, nasihat keluarga berencana, saran tentang menyusui, catatan daftar konsultasi yang dihadiri).
Variabel terikat merupakan skor kualitas dari gabungan komponen. variabel-variabel bebas terdiri atas usia ibu, jumlah kehamilan sebelumnya, dan sebelum keguguran atau aborsi, tingkat pendidikan dan usia kepala rumah tangga, tingkat pendidikan ibu, ukuran rumah tangga, proporsi laki-laki dan anggota keluarga
perempuan dan kepala keluarga perempuan terlihat dari :
Penerima program mendapatkan 12,2% tambahan informasi mengenai prosedur sebelum melahirkan.
Perempuan dan ibu hamil penerima program lebih aktif dalam mengkonsumsi pelayanan kesehatan
Penerima
program menjadi lebih berani menyuarakan keinginannya dalam hal kesehatan.
Cash Transfer Programme . Sarah L. Barber and Paul J. Gertler, Oxford University 2005.
15
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
perempuan yang berusia 0-5 dan6-17 tahun, indeks aset rumah tangga (proporsi dengan kepemilikan tanah, kepemilikan rumah, kulkas, pemanas gas, televisi, air internal dalam rumah tangga, dan listrik di rumah tangga), ketinggian, jarak ke ibu kota, dan apakah ada pusat kesehatan di daerah komunitas.
3 Australia The Safe Routes to Schools (SRTS) Program Level: Program
Evaluasi efektifitas SRTS memperlihatkan program tersebut berhasil menurunkan kecelakaan para pengguna jalan
Program SRTS berhasil
menurunkan tingkat kecelakaan yang melibatkan target utama program yakni pejalan kaki, usia sekolah dan pengayuh sepeda
Kecelakaan yang
menimpa anak-anak pada jam berangkat dan pulang sekolah, menurun
Bagi semua pengguna
jalan, program tersebut dikatakan berhasil mengurangi frekuensi kecelakaan, apabila mampu turun hingga lima persen
Angka efektifitas program itu belum menghasilkan data yang pasti. Namun demikian program SRTS dapat dikatakan mampu menekan angka kecelakaan
Jenis Evaluasi: Evaluasi Impact
Model log linear
dengan struktur poison error adalah model yang biasa digunakan dalam seri data kecelakaan (Bruhning and Ernst, 1985). Model ini digunakan untuk mengukur pengaruh SRTS terhadap frekuensi kecelakaan.
Analisa dilakukan
dalam dua bagian: Pertama, pengaruh program tersebut diukur dengan menggunakan data agregat kecelakaan. Karena itu efek program dapat dihitung setelahnya. Dalam kondisi yang berlawanan, tahapan kedua dari analisa perkiraan pengaruh program tersebut per tahunnya, diperkenalkan.
Model tersebut
menggunakan data kecelakaan antara tahun 1987-2000. Kecelakaan yang dicatat berasal dari enam jalan yang digunakan.
Perkiraan efek
Model tersebut sesuai dengan data kecelakaan tiap tahun dari enam jalan yang digunakan sebagai sampel terhadap efektifitas program SRTS. Model tersebut tidak digunakan pada tahun yang sama ketika program penghitungan dilakukan. Perkiraan perubahan frekuensi kecelakaan pada periode post implementation
dihitung setelah disesuaikan dengan kontrol.
Pendekataan cara ini diperkirakan meningkatkan jumlah kecelakaan karena pertimbangan uji statistik
Hasil positif penggunaan analisa agregat, model yang digunakan untuk menjabarkan
Outcome Evaluation of the Effectiveness of the Safe Routes to Schools Program, by Amanda Delaney, Stuart Newstead, Bruce Corben, Report No. 225, Monash University, Accident Research Centre, July 2004.
16
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
program SRTS dihitung dari agregat dan analisa tahun per tahun terhadap frekuensi kecelakaan
Metode Aggregate
analysis, Model poison log linear yang digunakan memperlihatkan persamaan pada saat dipakai untuk mengukur pengaruh program SRTS menggunakan frekuensi agregat post implementation
Metode Year by year
analysis, Frekuensi kecelakaan setiap tahun seperti yang tertera dalam indeks tahunan, diolah dari data yang tersedia.
bagian pertama cocok terhadap data kecelakaan tiap tahun dari enam jalan yang digunakan sebagai sampel. Model tersebut mengukur efek penerapan program SRTS terhadap frekuensi kecelakaan setiap tahun. Estimasi pengaruh program terwakili setiap tahunnya menyusul pelaksanaan program (bukan tahun kalender). Efek tersebut mengesampingkan factor lain. Karena program SRTS menempatkan faktor lain pada posisi kontrol
4 USA Student Mentoring Program Level: Program
Student Mentoring Program merupakan program subsidi federal yang kompetitif yang diatur oleh Office of Safe and Drug Free Schools (OSDFS). Program ini mengisi ketiadaan dukungan orang dewasa pada titik temu yang kritikal pada kehidupan siswa yang beresiko dengan menyediakan dana untuk sekolah dan masyarakat- dan organisasi yang berbasis keyakinan untuk menciptakan sekolah berbasis program mentoring dengan target anak-anak pada grade 4-8.
Prioritas dari program ini
adalah kebutuhan akademis dan sosial untuk anak-anak yang beresiko.
Jenis Evaluasi: Evaluasi Impact
Disain evaluasinya
menggunakan disain eksperimental, dimana siswa s ecara acak dimasukkan kedalam control group dan treatment.
Jumlah sampel yang
diambil adalah 2573 siswa, yang terdiri dari 1272 siswa yang dimasukkan ke dalam treatment group yaitu grup yang menerima layanan mentoring dari program dan 1301 siswa yang dimasukkan kedalam control group yaitu grup yang tidak menerima layanan mentoring dari program.
Student Mentoring Program meningkatkan dampak akademis pada siswa perempuan dan menghasilkan dampak akademis bagi siswa laki-laki.
Student
Mentoring Program berpengaruh secara negatif terhadap perilaku pro-sosial bagi siswa pria.
Student
Mentoring Program memiliki dampak menurunkan
Impact Evaluation of the U.S. Department of Education’s Student Mentoring Program, Final Report MARCH 2009.
17
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
Strategi dari program ini
adalah (a). menyeleksi semua mentor yang potensial termasuk memeriksa latar berlakang. (b). Mengadakan training dan dukungan untuk mentor dan staf program pada basis ongoing. (c). Kegiatan untuk mentor dan siswa. (d). menetapkan prosedur untuk pengawasan hubungan mentoring.
Evaluasi ini bertujuan untuk menjawab o apa dampak school-
based mentoring programs terhadap interpersonal siswa, hubungan dengan orang dewasa dan keterlibatan dalam suatu komunitas.
o apa dampak school-based mentoring programs terhadap
keterlibatan sekolah siswa (misalnya kehadiran, perilaku yang baik terhadap sekolah dan prestasi akademis).
o apa dampak school-based mentoring programs terhadap siswa yang bermasalah atau berperilaku nakal.
Metode analisis yang digunakan adalah metode fixed effect model untuk menaksir
dampak mentoring program terhadap siswa yang menerima layanan tersebut. Model ini juga digunakan untuk menilai perbedaan 5 subgrup yaitu: (1). Jenis Kelamin; (2). Usia (Siswa berusia 12 tahun keatas dengan siswa berusia 12 tahun ke bawah); (3). Struktur Keluarga (Siswa dengan 2 orang tua dengan jenis keluarga lainnya); (4). Adanya perilaku nakal yang dilaporkan sendiri pada garis dasar (pencurian,penggunaan senjata, penggunaan obat terlarang dan alkohol atau aktivitas geng); (5). Ketidakahlian akademis (matematika, membaca/seni bahasa
keterlambatan hadir pada siswa yang lebih muda.
18
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
inggris atau keduanya).
5 Brazil The Integrated Management of Childhood Illness (IMCI) Level: Program
IMCI merupakan pendekatan terpadu untuk kesehatan anak. IMCI bertujuan untuk mengurangi kematian, penyakit dan cacat, dan meningkatkan pertumbuhan dan perkembangan anak-anak di bawah usia lima tahun.
Strategi-strategi yang
digunakan pada program ini :
Meningkatkan kemampuan manajemen penanganan kasus kesehatan bagi staff-staf kesehatan
Meningkatkan keseluruhan sistem kesehatan
Meningkatkan praktek kesehatan keluarga dan komunitas
Jenis Evaluasi: Evaluasi Impact
Sampel diambil dari
tiga negara bagian Brazil dengan tingkat kematian bayi yang paling tinggi yaitu Ceara, Parabia, dan Pernambuco. Kabupaten/kota yang sangat besar dan sangat kecil tidak dimasukkan.
Kategori sampel
dibedakan menjadi tiga yaitu (i) lebih dari 50 persen staf kesehatan pada kabupaten/kota sudah diikutsertakan pada IMCI training (ii) setidaknya ada satu staf kesehatan kabupaten/kota yang sudah diikutsertakan pada IMCI training (iii)
tidak ada staf kesehatan kabupaten/kota yang sudah mengikuti IMCI training
Metode pertama
adalah ANOVA. Metode ini ingin membandingkan rata-rata populasi, persentase buta huruf, persentase populasi kota, pendapatan perkapita perbulan, indeks pembangunan manusia, jarak ke ibukota negara, persentase tingkat kemiskinan, persentase cakupan program kesehatan keluarga, cakupan petugas kesehatan komunitas pada kabupaten/kota berdasarkan tiga kategori di atas.
Metode kedua adalah
Hanya populasi, pendapatan perkapita perbulan dan persentase cakupan program kesehatan keluarga yang secara signifikan berbeda pada kategori-kategori.
Tidak ada
perbedaan angka kematian bayi dan penurunan tingkat kematian bayi pada 1000 kelahiran yang signifikan pada tiga kategori kabupaten/kota.
Komponen IMCI
training tidak
bisa memberikan dampak terukur pada tingkat kematian bayi.
Impact of Health Worker Training on Routinely Collected Child Health Indicators in Northeast Brazil, Joao Amaral et al, Oxford University 2005.
19
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
regresi trend waktu. Metode ini digunakan untuk melihat perkembangan tingkat kematian bayi lahir dan penurunan tingkat kematian bayi pada 1000 kelahiran dengan menggunakan dua sumber data berbeda (CHW dan registered death and births) pada tiga kategori di atas.
BIDANG EKONOMI
1. Filipina Conditional Cash Transfer (CCT) Program (nama lokal: Pantawid Pamiliyang Pilipino Program)
Level: Program
CCT Program dianggap mampu dalam jangka pendek meningkatkan income bagi penduduk miskin. Dalam jangka menengah dan panjang, program ini dipercaya meningkatkan human capital. Disamping itu, CCT Program juga dipercaya dapat lebih fokus pada rumah tangga miskin dan kemudahan dalam pengintegrasiannya dengan social services yang lain seperti pendidikan, kesehatan, dan gizi.
Tahun 2007, CCT Program dipilotkan di 4 provinsi di Filipina, dan sejak Januari 2008 dilaksanakan secara nasional.
Program ini memberikan
cash kepada RTSM agar anggota keluarganya bisa tetap membangun human capital mereka (kesehatan, gizi, dan pendidikan), terutama bagi anak-anak di bawah 15 tahun.
Tujuan utamanya yakni:
(i) meningkatkan partisipasi sekolah pada pendidikan dasar; dan (ii) menurunkan angka kemiskinan.
Beneficiaries-nya adalah
Jenis evaluasi: Evaluasi Impact
Sesuai namanya,
kajian berupa ex-ante impact evaluation (definisi: an evaluation or appraisal of a programme before it is implemented).
Semangat yang mendasari adalah: meski CCT Program dinilai berhasil di banyak negara, tidak ada jaminan bahwa hal yang sama terjadi di negara lain.
Tujuan kajian adalah untuk menjajagi dampak CCT Program terhadap partisipasi sekolah dan kemiskinan di Filipina. Caranya dengan melakukan ekplorasi berbagai budget skenario dan targetting strategi.
Dibatasi pada aspek demand saja.
Metodologi: 1. Dimulai dari
conceptual framework dengan penggunaan asumsi-asumsi hingga didapatkan persamaan fungsi utility.
2. Selanjutnya estimating
model dengan menetapkan dummy
Cash transfer an sich tidak cukup signifikan meningkatkan partisipasi sekolah. Oleh karenanya, diperlukan persyaratan khusus.
Targetting yang
tepat sangat penting artinya untuk membantu memaksimalkan efektivitas dan dampak program.
CCT program
perlu juga diiringi dengan kebijakan lain agar benar-benar mendapatkan hasil sesuai yang diharapkan.
Good
governance adalah komponen penting untuk menjamin keberhasilan CCT Program.
Ex-ante Impact Evaluation of Conditional Cash Transfer Program on School Attendance and Poverty: The Case of the Philippines, ADB Economics Working Paper Series No.142, Manila: Asian Development Bank, Son, HH. and Florentino, J. 2008.
20
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
RTM (kurang lebih 3000 HH).
variable-nya. Berdasarkan itu, digunakan Multinomial Logit Model.
3. Selanjutnya dilakukan
Simulasi dengan menggunakan fungsi utility dengan prinsip:
RT ke-n akan memilih satu alternatif jika utility yang didapat dari alternatif tersebut lebih besar dari yang dihasilkan oleh alternatif-alternatif lainnya.
4. Digunakan Log
Earning Regression
dan analisis dengan menggunakan Multinomial Logit Coefficients.
Simulasi dilakukan
dengan skenario besaran cash transfer, jika rumah tangga diberikan berturut-turut 0, 100, 200, dan 300 Peso; untuk dianalisis pengaruhnya terharadap partisipasi sekolah dan angka kemiskinan
Kebutuhan data untuk
melakukan simulasi didapatkan dari Annual Poverty Indicator Survey (APIS) tahun 2004, yang di dalamnya terdapat informasi detail mengenai karakteristik demografis dan ekonomi penduduk, status kesehatan dan pendidikan anggota keluarga, KB, perumahan, akses terhadap air, sanitasi, dll.
2. Yaman Social Fund for Development (SFD), yang terbagi
The Social Fund for Development (SFD)
diluncurkan pertama kali pada tahun 1997. Tujuannya adalah untuk
Jenis evaluasi: Evaluasi Impact
Studi ini berupa impact
evaluation, dilakukan 2
Evaluasi ini membagi temuan dan simpulan kedalam 4
Yamen Social Fund for Development: 2006 Impact Evaluation
21
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
ke dalam 3 program yakni: 1. The
Community Development Program
2. The Capacity Building Program
3. The Small and Micro-enterprise Development Program
Level: Kebijakan (di bawahnya terdapat 3 program)
meningkatkan akses penduduk berpendapatan rendah terhadap layanan sosial dasar. Di samping itu, juga memberi contoh mekanisme penyediaan layanan sosial yang efektif, efisien, dan transparan melalui (i) perbaikan pendekatan dalam penyediaan layanan sosial dan (ii) pemberdataan komunitas dan institusi lokal sehingga dapat menjalankan pembangunan lokal dengan lebih baik.
The Community
Development Program bertujuan untuk meningkatkan akses terhadap infrastruktur sosial ekonomi dasar
The Capacity Building
Program membantu membangun kapasitas partner lokal (masyarakat, NGO, pemerintah lokal, konsultan dan kontractor)
The Small and Micro-
enterprise Development Program menyediakan layanan microfinance
kali. Evaluasi pertama dilaksanakan pada 2003 untuk mengukur impact proyek-proyek SFD sepanjang tahun 1999-2003, dan untuk mengumpulkan baseline data bagi kegiatan yang akan dilaksanakan pada periode sesudahnya (2003-2006).
Data diperoleh dari 97
proyek (mencakup 2.028 rumah tangga) tahun 1999-2002, dan 101 proyek lain untuk menghasilkan dasar bagi evaluasi tahap ke-2.
Paper ini menyajikan
hasil evaluasi impact kali ke-2, yang mengukur impact proyek-proyek SFD hingga tahun 2006.
Evaluasi ini mengulas
impact proyek-proyek SFD baik dalam jangka pendek maupun panjang, melalui observasi terhadap impact dari 2 kali siklus (1999-2003 dan 2003-2006).
Analisis yang
digunakan terdiri dari 2: (i) before/after analysis, membandingkan data baseline tahun 2003 dengan sampel ex-post tahun 2006 yang mewakili proyek-proyek SFD yang dijalankan pada tahap II (2003-2006); (ii) return visit analysis, dilaksanakan terhadap proyek-proyek pada periode tahun 1999-2002, untuk melihat apakah impact yang ditiumbulkan oleh SFD bersifat sustainable dalam jangka
kelompok besar, yakni: (i) efisiensi pelaksanaannya; (ii) targetting outcomes; (iii)
konsultasi, partisipasi, ownership dan impact dari SFD terhadap social capital; dan (iv) mutu layanan, keberlanjutan dan dampaknya.
Dari sisi efisiensi
pelaksanaan, disimpukan secara umum cukup efisien terlaksanan sesuai target yang diharapkan
Dari sisi
targetting,
disimpulkan tepat sasran karena proporsi terbesar sumber daya yang ada dari SFD telah menyasar RT paling miskin (49% dana SFD mengalir ke desil termiskin, 64% ke quintil termiskin, dan 73% ke 3 desil termiskin.
Dari sisi
partisipasi, konsultasi, dan kepemilikan juga terlihat level positif.
Study, Yamen: ESA Consultores Internacional, 2007.
22
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
menengah (2003-2006).
Metodologi: 1. Dilakukan sensus
nasional dan survei rumah tangga
2. Pada saat yang sama,
dilakukan beneficiaries assessment menggunakan qualitative evaluation technique, salah satunya dengan in-depth interview dengan key informan dan melalui focused group.
3. Untuk mengatasi tidak
adanya control group, agar tetap dapat dilakukan pembandingan, dilakukan observasi terhadap beseline, ex-post dan ex-ante data.
4. Penggunaan Project
cycle performance. Cost-Efficiency. Benefit Incidence Analysis uses statistical modeling.
5. Digunakan multivariate
conditional (fixed-effect) logit regression model dalam analisis multivariat.
6. Dalam return visit
analysis, digunakan logistic regression untuk analisis multivariatnya.
Sampling: Evaluasi ini
berdasarkan sampel rumah tangga yang merupakan penerima manfaat riil atau potensial, dengan survey tahunan. Karena ketiadaan control group, digunakan pipeline sample untuk menjadi kelompok pembanding
23
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
(penggunaan pipeline proyek-proyek SFD yang telah diidentifikasi namun belum diimplementasikan).
3. Swedia Youth Labor Market Programs, dua di antara program-program yang ada di bawahnya yakni: 1. Youth Practice 2. Labor Market Training Level: Kebijakan (terdiri atas program-program yang dua diantaranya menjadi fokus evaluasi)
Untuk mengatasi tingginya angka pengangguran usia muda (yang mencapai puncaknya di tahun 1993), Pemerintah Swedia meluncurkan Youth Practice (atau dalam bahasa lokalnya Ungdomspraktik) pada Juli 1992, dan Labor Market Training.
Sesuai namanya,
program-program yang termasuk dalam rumpun Youth Labor Market Programs ditujukan terutama bagi penganggur usia muda (20-24 tahun).
Youth Practice
menawarkan pekerjaan yang disubsidi pemerintah bertujuan untuk memberi pengalaman kerja bagi penganggur usia muda berijazah SMA. Peserta ditempatkan di perusahaan swasta atau milik negara selama 6 bulan, dan beri diupah USD36,5 perhari.
Labor Market Training
berbentuk kursus-kursus dengan materi dan durasi bervariasi. Tujuannya adalah untuk meningkatkan kemampuan agar sesuai dengan labor demand.
Jenis evaluasi: Evaluasi Impact
Paper ini mencoba
membuat evaluasi terhadap dua program active labor market paling komprehensif di Swedia bagi penduduk usia 20-24 tahun yang diluncurkan pada paruh pertama tahun 1990an, yakni Youth Practice dan Labor Market Training.
Tujuan evaluasi adalah
untuk mengetahui pengaruh program-program tersebut bagi mereka yang menjadi beneficiaries dibandingkan dengan apabila mereka harus terus mencari kerja sebagai penganggur terbuka (terkait dengan pendapatan, kesempatan mendapatkan pekerjaan, dan kemungkinan studi). Evaluasi difokuskan pada akibat yang ditimbulkan secara langsung oleh program.
Evaluasi ini
menggunakan analisis ekonometrik dengan perhitungan least square.
Untuk estimating the
propensities digunakan Binomial dan Multinomial Logit Model.
Standard OLS
Regression dan Probit.
Baik Youth Practice maupun Labor Market Training, dalam jangka pendek (1 tahun), berkorelasi negatif terhadap pendapatan dan employment.
Perbandingan
antara Youth Practice dengan Labor Market Training
menunjukkan bahwa program yang pertama (Youth Practice) lebih baik daripada program yang kedua (Labor Market Training).
Evaluation of Swedish Yout Labor Market Programs, Larsson, L.,
The Journal of Human Resources, Vol.28, No.4, pp.891-927, 2003.
24
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
Teknik sampling: menggunakan random sampling terhadap 200 ribu orang, diambil dari database milik Swedish National Labor Market Board dan BPS Swadia.
Tujuan eksplisit dari
labor market policy adalah meningkatnya employability para penganggur usia muda. Sehingga, program ini dianggap sukses jika mampu meningkatkan akses pesertanya terhadap pasar kerja disamping meningkatnya pendapatan. Di samping itu, kemungkinan transisi dari pengangguran ke dunia pendidikan. Pendapatan diukur dengan variabel continuous.
4. Hongaria Grants for SME Modernization in the Framework of National Development Plan 2004-2006 Level: Program
Program ini menyediakan grant bagi UKM untuk dimodernisasi (dipakai untuk membeli peralatan)
Grant diberikan dalam
jumlah maksimum 25 juta HUF (kurang lebih 100.000 Euro)
Kontribusi swasta
minimum 50% Jumlah pelamar 9.000 Jumlah beneficiaries
3.500
Jenis evaluasi: Evaluasi Impact
Tujuan dari evaluasi ini
adalah untuk mengetahui: (i) apakah UKM yang dibantu ber-invest lebih?; (ii) apakah UKM yang dibantu tumbuh lebih cepat?
Metodologi: 1. Simple regression
(have to control for all important variables)
2. Difference-in-differences/DiD (unobservable factors are time invariant)
3. Propensity Score Matching/PSM (controls for time-varying unobservables)
UKM yang dibantu lebih besar dan tumbuh lebih cepat bahkan sebelum program dijalankan
Efek signifikan
terhadap investasi jangka pendek
Tidak terdapat
efek yang signifikan pada pertumbuhan (paling tidak untuk jangka pendek)
Efek signifikan
pada investasi bahkan bagi UKM yang yang melamar namun tidak diterima/dikabulkan.
Impact evaluation of grants for SME modernization in the framework of National Development Plan 2004-2006, Béres, A., National Development Agency, 2009.
25
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
5. Selandia Baru
New Economic Research Fund Level: Program
New Economic Research Fund (NERF)
diluncurkan tahun 1999 oleh Kementerian Riset Iptek Selandia Baru, bertujuan untuk memacu pertumbuhan ekonomi dengan membiayai riset dasar yang memiliki potensi untuk memunculkan industri baru.
Dialokasikan 29 juta
NZD untuk membiayai 140 proyek NERF, yang fokusnya bervariasi (nanobioteknologi, sumber energi baru, dll).
Jenis evaluasi: Evaluasi Outcome
Evaluasi outcome ini
bertujuan untuk menjawab pertanyaan seputar sejauh mana NERF: (i) mampu mempersembahkan riset yang berkelas dunia, (ii) memacu pembangunan human kapital dan skill, (iii) membuat riset mampu menciptakan platform yang menopang bidang-bidang yang bermunculan; (iv) membangun area pengetahuan baru yang bisa mengundang dukungan sumber dana lain selain pemerintah.
Data dikumpulkan dari
periset, PNS, dan stakeholder lain. Pengumpulan datanya sendiri menggunakan dua pendekatan, yakni kuantitatif dan kualitatif.
Pengumpulan data
kuantitatif dilakukan melalui survei (elektronik survei), yang dikirimkan kepada 140 pimpinan program NERF. Data yang dikumpukan terkait dengan aktivitas, output, outcome, pendanaan, dan manajemen.
Pengumpulan data
kualitatif dilakukan melalui kunjungan lapangan (site visit). Selama 4 minggu, 2 orang tim evaluasi berkunjung ke institusi riset di seluruh wilayah. Pemimpin program yang ditemui dipilih berdasarkan pada purposive
Temuan dibagi ke dalam beberapa isu, antara lain terkait dengan: kualitas sains, kepemimpinan dan SDM, program strategi, inovasi dan komersialisasi, administrasi NERF, dan keseluruhan.
Secara kualitas,
proyek-proyek NERF punya elemen-elemen yang diperlukan untuk memenuhi standar internasional.
Sebagian besar
proyek NERF melibatkan siswa/mahasiswa dalam aktivitas riset. Beberapa proyek merekrut ahli dari luar negeri untuk menjamin ekspertis yang diperlukan. Periset NERF juga melakukan perjalanan luar negeri untuk berkolaborasi dengan partner di luar negeri.
Outcome Evaluation of the New Economy Research Fund, Wellington, Gemota, G., Messeri, L., & Lal, B.,Abt. Associate Inc., 2005.
26
No. Negara Nama
Program/ Kebijakan
Deskripsi Singkat Metodologi Evaluasi Temuan Sumber
sampling strategy. Juga dilakukan meeting pada awal dan akhir site visit dengan staf Kementerian Riset Iptek, yayasan Riset Iptek, investor potensial, kalangan industri, dll.
27
REFERENSI
-- 2006, Peraturan Pemerintah Nomor 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan [Online]. Available: http://www.bappenas.go.id/node/129/51/pp-no-39-tahun-2006-tentang-tata-cara-pengendalian-dan-evaluasi-pelaksanaan-rencana-pembangunan/ [2010, February 5]
-- 2007. Yamen Social Fund for Development: 2006 Impact Evaluation Study. Yamen: ESA Consultores Internacional
BCW 2007. Evaluasi dan Monitoring, Situs Resmi Banten Corruption Watch (BCW), [Online]. Available: http://www.bcwbanten.co.cc/2007/11/evaluasi-dan-monitoring.html [2010, February 5]
Bernstein, L., Dun Rappaport, C., Olsho, L., Hunt, D., and Levin, M. (2009). Impact Evaluation of the U.S. Department of Education’s Student Mentoring Program (NCEE 2009-4047). Washington, DC: National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education.
Béres, A. 2009. Impact evaluation of grants for SME modernization in the framework of National Development Plan 2004-2006. Hungary: National Development Agency Hungary.
Delaney, A., Newstead, S., and Corben, B. 2004. Outcome Evaluation of the Effectiveness of the Safe Routes to Schools Program, Report No. 225. Monash University: Accident Research Centre
Dutton, M.A., Worrell, A., Terrell, D., Denaro, S., and Thompson, R. 2002. National Evaluation of The Rural
28
Domestic Violence and Child Victimization Enforcement Grant Program. Washington DC: National Institute of Justice of The US Department of Justice.
Gemota, G., Messeri, L., & Lal, B. 2005. Outcome Evaluation of the New Economy Research Fund. Wellington: Abt. Associate Inc.
Joao Amaral et al. 2005. Impact of Health Worker Training on Routinely Collected Child Health Indicators in Northeast Brazil. Oxford University.
Kemmenneg PPN/Bappenas 2007. Peraturan Menteri Negara Perencanaan Pembangunan Nasional/Kepala Bappenas No. 005 Tahun 2007 tentang Organisasi dan Tata Kerja Kemenneg Perencanaan Pembangunan Nasional/Bappenas [Online] Available: http://www.bappenas.go.id/node/124/183/peraturan-menteri/ [2010, February 5]
Lacey, J. H., Wiliszowski, C. H., and Jones, R. K. 2003. Impact Evaluation of Underage Drinking Prevention Project. Mid-America Research Institute.
Larsson, L. 2003. Evaluation of Swedish Yout Labor Market Programs, The Journal of Human Resources, Vol.28, No.4, pp.891-927.
Mosbi, Y.L. 2007. Impact Evaluation 2006. Papua New Guinea: PNG Justice Advisory Group.
Muhlhausen, D.B. 2006. A Report of The Heritage Center for Data Analysis: Impact Evaluation of COPS Grants in Large Cities. Washington DC: The Heritage Foundation.
Reinikka, R. and Svensson, J. 2003. The Power Of Information: Evidence From A Newspaper Campaign To Reduce Capture. Uganda: Development Research Group, The World Bank.
29
Sarah L. Barber and Paul J. Gertler 2005. Empowering Women to Obtain High Quality Care : Evidence from An Evaluation of Mexico’s Conditional Cash Transfer Programme. Oxford University.
Son, HH. and Florentino, J. 2008. Ex-ante Impact Evaluation of Conditional Cash Transfer Program on School Attendance and Poverty: The Case of the Philippine, ADB Economics Working Paper Series No.142. Manila: Asian Development Bank
Zinab, H.E. 2005. Evaluation of the Impact of Family Planning Programs on Fertility: Using Prevalence Model for Selected Districts in Iran 2001. Tehran: Population Studies and Research Center.