Evaluasi atas Dampak dari Proyek Pengembangan Kecamatan Tahap 2

& Penelitian Dasar Pedesaan - PNPM

Temuan-temuan Utama

Penelitian ini didukung oleh Pemerintah Indonesia, DSF dan Bank Dunia

Evaluasi PPK2/PNPM-PedesaanTinjauan atas Rancang Penelitian

Evaluasi PPK2– Periode: 2002 – 2007– Dasar: SUSENAS 2002 digunakan sebagai dasar dan bingkai

sampling untuk memilih kelompok-kelompok perlakuan (treatment) maupun kelompok-kelompok kontrol

– Lanjutan: Survei Evaluasi Dampak PNPM-Rural 2007 (SEDAP 2007), dilaksanakan oleh SurveyMeter, Yogyakarta

Evaluasi PPK2/PNPM-PedesaanTinjauan atas Rancang Penelitian

Evaluasi PNPM-Pedesaan: – Periode: 2007 – 2009– Dasar: Survey Evaluasi Dampak PNPM-Rural (SEDAP 2007),

dilaksanakan oleh SurveyMeter, Yogyakarta– Lanjutan: Survey SEDAP 2009 yang direncanakan

PNPM-Perkotaan akan digabungkan dengan survey 2009.Penelitian Kualitatif Dasar & Lanjutan: 2007 (dilaksanakan olehLP3ES, Jakarta) dan 2009

Tujuan Evaluasi

Penelitian tentang dampak kuantitatif dari PNPM-Pedesaan & PPK2Hal-hal yang diutamakan Pemerintah Indonesia:

– Kemiskinan– Pekerjaan– Tata Kelola dan Modal Sosial

Melihat perubahan pada indikator hasil yang disebabkan oleh PNPM-Pedesaan/PPKHasilnya akan mewakili dampak dari PNPM-Pedesaan/ PPK dibandingkan dengan wilayah-wilayah kontrol yang belum ikut serta dalam program CDD (Community Driven Development) sejenis PNPM-Pedesaan

Tinjauan Metodologi

Matching (pencocokan) di tingkat kecamatan untuk memastikan agar PPK2 dan kelompok-kelompok kontrolnya sebanding Rumahtangga-rumahtangga telah & akan diukur pada tahun 2002, 2007 dan 2009 untuk memastikan tersedianya panelPendekatan “differences-in-differences” (perbedaan dalam perbedaan) digunakan untuk mengenali dampak-dampak proyek dimaksud: perubahan pada indikator (se- belum & sesudah) dihitung baik pada PPK2 maupun wilayah-wilayah kontrol. Selisih antara perubahan-perubahan yang tampak ini merupakan dampak yang ditimbulkan oleh PPK2

Sampling

Rumahtangga-rumahtangga yang digunakan sebagai sample dalam SUSENAS 2002Dibatasi pada rumahtangga-rumahtangga pedesaanKelompok kontrol tidak mengikutsertakan kecamatan yang ikut dalam program-program CDD lain Pencocokan (matching) kelompok perlakuan (treatment) dengan kelompok kontrol dilaksanakan di tingkat kecamatanVariabel yang menjadi prasyarat dipilih dari ranking kemiskinan thn 2002 dan PODES 2003/2005Rumahtangga-rumahtangga dipilih acak dari bingkai sampling SUSENAS 2002 dari setiap kecamatan yang dijodohkan

DataEvaluasi PPK2 :

– 150 Kecamatan PPK2 – 150 Kecamatan Kontrol yang tidak ikut dalam program-program

CDDPenelitian Dasar PNPM-Rural:

– 150 Kecamatan mulai ikut dalam PNPM-Rural di thn 2007– 150 Kecamatan mulai ikut dalam PNPM-Rural di thn 2009

Sekitar 3150 rumahtangga dalam tiap kelompok yang terdiri dari 150 kecamatan diwawancarai sehingga secara keseluruhan ada 9505 rumahtangga diwawancarai dalam putaran survey 2007Semua rumahtangga dijadikan sample dalam SUSENAS 2002, SEDAP 2007 dan SEDAP 2009 demi terciptanya sebuah panel

Tinjauan atasTemuan-temuan Utama (1)

Kesejahteraan Rumahtangga (konsumsi nyata per capita): Rumahtangga yang berada di tingkat paling bawah dari perkiraan konsumsi per capita merasakan manfaat kira-kira 10% lebih besar dibandingkan dengan wilayah-wilayah kontrol antara 2002 and 2007 Kemiskinan: Rumahtangga peserta PPK2 di kecamatan miskin 9.2% lebih mungkin keluar dari kemiskinan daripada yang berada di wilayah kontrolBukti kualitatif dari Penelitian Dasar PNPM-Rural & data MIS proyek menunjukkan tingkat kehadiran yang lebih tinggi dalam pertemuan-pertemuan di antara rumahtangga-rumahtangga miskin, serta peran elit yang menjadi berkurang dalam pengambilan keputusan

Tinjauan atasTemuan-temuan Utama (2)

Akses ke Pelayanan Kesehatan: Kepala rumahtangga di wilayah PPK2 kira-kira 11.0% lebih mungkin mempunyai akses terhadap pelayanan rawat-jalan Pengangguran: Tingkat pengangguran di wilayah-wilayah kontrol meningkat 1.5% lebih tinggi dibandingkan dengan wilayah-wilayah PPK2

– Meskipun pada umumnya pengangguran meningkat sepanjang periode itu (2002-2007), orang yang kehilangan pekerjaannya di wilayah PPK2 lebih sedikit

– Peningkatan relatif dalam pekerjaan tidak mencerminkan pekerjaan temporer yang diciptakan oleh sub-proyek infrastruktur yang merupakan komponen dari proyek, namun lebih mencerminkan dampak tidak langsung dari PPK2 terhadap kesempatan-kesempatan kerja di pasar kerja setempat

PPK2 meningkatkan konsumsi per capitadi antara rumahtangga-rumahtangga miskin:

Rumahtangga yang berada di tingkat paling bawah dari perkiraan konsumsi per capita merasakan manfaat kira-kira 10% lebih besar dibandingkan dengan wilayah-wilayah kontrol antara 2002 and 200

0% 2% 4% 6% 8% 10% 12% 14% 16% 18% 20%

Consumpt ion Per Capit a

Kec Povert y Score

Predict ed Consumpt ion Per Capit a

Consumpt ion Per Capit a

Kec Povert y Score

Predict ed Consumpt ion Per Capit a

PPK2 mengentaskan Rumahtangga dari Kemiskinan: Rumahtangga peserta PPK2 di kecamatan miskin 9.2%-11.7% lebih mungkin keluar dari kemiskinan

0.00%

1.00%

2.00%

3.00%

4.00%

5.00%

6.00%

7.00%

8.00%

9.00%

10.00%

Full Sample 1st Quintile of Kec PovertyScore

Full Sample 1st Quintile of Kec PovertyScore

BPS Poverty Line WB$2 a day Poverty Line

Percentage Point Change in Households Moving Out of Poverty Attributable to KDP2

PPK2 memperluas akses ke perawatan kesehatan:Kepala rumahtangga di wilayah PPK2 11.0% lebih mungkin mendapatkan akses terhadap pelayanan rawat-jalan

0% 2% 4% 6% 8% 10% 12%

KDP2

Control

Percentage Change in Household Head Access to Outpatient Care

PPK2 mengurangi pengangguran: Tingkat pengangguran di wilayahkontrol meningkat 1,5% lebih tinggidaripada di wilayah-wilayah PPK2

0.00% 0.50% 1.00% 1.50% 2.00% 2.50% 3.00% 3.50%

KDP2

Control

Percentage Point Increase in Unemployment Rate

Temuan-temuan Utama (3)

Dampak pada Kelompok-kelompok Terkendala– Kesejahteraan Rumahtangga:

Dampak terbatas pada konsumsi per capita & kemiskinan pada rumahtangga yang dikepalai perempuan maupun rumahtangga yang kepala rumahtangganya tidak memiliki pendidikan dasarBukti kualitatif menunjukkan kelompok-kelompok yang terkendala sering termarjinalkan karena tidak ikut serta dalam kegiatan-kegiatan proyek dan karena tidak adanya fokus pada kelompok seperti itu oleh anggota masyarakat dalam kegiatan-kegiatan proyeknya

– Akses ke Pelayanan: akses ke pelayanan rawat-jalan meningkat secara signifikan bagi rumahtangga-rumahtangga yang kepala rumahtangganya tidak memiliki pendidikan dasar

Temuan-temuan Utama (4)

Dampak pada Rumahtangga-rumahtangga Kaya & Rumahtangga-rumahtangga di Wilayah Kaya

– Peningkatan konsumsi di rumahtangga-rumahtangga yang lebih kaya maupun rumahtangga-rumahtangga di kecamatan yang lebih kaya di wilayah-wilayah PPK2 tidaklah sebesar di wilayah-wilayah kontrol

– Penelitian ini tidak dapat memastikan apakah hasil yang dicapai di kecamatan-kecamatan kaya bagi rumahtangga-rumahtangga yang dibagi atas tingkatan berdasarkan konsumsi, utamanya rumahtangga-rumahtangga miskin, konsisten dengan temuan-temuan ini

Pertanyaan-pertanyaan yang Belum Terselesaikan (1)

Dampak terhadap Rumahtangga-rumahtangga Miskin di Wilayah-wilayah Lebih Kaya:

– Penelitian ini tidak dapat menjawab pertanyaan apakah rumahtangga-rumahtangga miskin di kecamatan kaya memetik manfaat dari PPK2

Dampak terhadap Akses ke Pendidikan– Tak ada dampak signifikan terhadap jumlah pendaftaran ke

sekolah dasar atau lanjutan– Analisis dibatasi oleh sample yang kecil karena keharusan utk

menyatukan jumlah pendaftaran di tingkat kecamatan– Evaluasi Dampak PNPM-Rural (2007-2009) akan mencakup

panel di tingkat individu sehingga mampu menelusuri keikutsertaan mereka dalam pendidikan baik di tahun 2007 maupun 2009

Pertanyaan-pertanyaan yang Belum Terselesaikan (2)

Dampak proyek terhadap tingkat pengangguran di antara rumahtangga-rumahtangga miskin:

– Ketiadaan panel pada tingkat individu membatasi analisis pada kesatuan di tingkat kecamatan, sehingga tidak mungkin merinci berdasarkan tingkat perkiraan konsumsi

– Evaluasi PNPM-Pedesaan (2007-2009) akan mencakup panel di tingkat individu sehingga mampu menelusuri status pekerjaan antara tahun 2007 maupun 2009, serta memungkinkan dilakukannya penilaian atas dampaknya terhadap tingkat pengangguran di kalangan orang miskin

Pertanyaan-pertanyaan yang Mengganjal (3)

Peran modal sosial dan tata kelola:– Perangkat survei yang digunakan untuk evaluasi PPK2

terbatas pada SUSENAS 2002 & tidak mencakup modal sosial ataupun indikator-indikator tata kelola

– Evaluasi PNPM-Pedesaan mendatang akan mencakup modul dinamika sosial dan tata kelola, yang akan dapat mengaitkan temuan-temuan tentang kesejahteraan ru-mahtangga dengan temuan tentang akses ke pelayan-an, dan dengan kegiatan-kegiatan proyek

Rekomendasiuntuk PNPM-Rural ke Depan

Lebih memperhatikan keikutsertaan kelompok-kelompok yang terkendala dan termarjinalkan Dengan diperluasnya program ini ke semua kecamatan pada tahun 2009, lakukan penyesuai-an strategi agar lebih efektif di kecamatan-kecamatan yang tidak terlalu miskinKumpulkan data dinamika sosial dan tata kelola agar dapat mengaitkan kegiatan proyek dengan dampak hasilnya dengan lebih baik

Penelitian Dasar PNPM-Rural

Tetapkan kondisi dasar awal bagi Evaluasi PNPM-Pedesaan yang sedang direncanakanPerangkat survey untuk penelitian dasar mencakup perangkat yang sama dari evaluasi PPK2 & tambahan modul dinamika sosial serta tata kelolaEvaluasi PNPM-Pedesaan yang direncanakan akan meliputi periode 2007 – 2009 dengan menggunakan data survey penelitian dasar 2007 yang sekarang dan survey lanjutan thd rumahtangga-rumahtangga yang sama di tahun 2009Analisisnya akan terdiri dari pengulangan analisis yang digunakan untuk evaluasi PPK2, namun juga akan memasukkan indikator-indikator modal sosial & tata kelola agar dapat melihat kaitan antara kesejahteraan rumahtangga dan akses ke pelayanan, dengan kegiatan-kegiatan proyek.

Temuan-temuan Utamadari Penelitian Dasar

Indikator tingkat konsumsi, kemiskinan dan akses ke pelayanan cukup seimbang antara kelompok-kelompok perlakuan (treatment) maupun kelompok-kelompok kontrolRumahtangga-rumahtangga ikut dalam pertemuan-pertemuan desa namun tingkat partisipasi dan kesadaran akan informasi tentang kegiatan-kegiatan desa masih rendahTingkat kepercayaan antara penduduk desa dan pejabat publik tinggiAkses ke pelayanan dasar masih merupakan masalah: kira-kira 40% rumahtangga masih kesulitan mendapatkan pendidikan, pelayanan kesehatan maupun air bersih

Indikator Modal Sosialdan Tata Kelola (1)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

Cont rol Treat ment Cont rol Treat ment Cont rol Treat ment Cont rol Treat ment

Part icipat ed in act ivit ies t o benef it t hecommunit y (% of Households)

Obt ained inf ormat ion about use of governmentdevelopment f unds (% of Households)

Percept ion of village government of f icials ast rust wort hy (% of Households)

At t ended village meet ing in t he last six mont hs (%of Households)

Indikator Modal Sosialdan Tata Kelola (2)

0%

10%

20%

30%

40%

50%

60%

70%

80%

Cont rol Treat ment Cont rol Treat ment Cont rol Treat ment Cont rol Treat ment

Part icipat ed in collect ive act ion t o benef it t hecommunit y (% of Households)

Dif f icult t o access Educat ion, Healt h Care orClean Wat er (% of Households)

Dissat isf act ion wit h village of f icial (% ofHouseholds)

Local government of f icials care f or t he needs oft he communit y (% of Households)

Kesulitan Mengakses Pelayanan% of Households With Difficulty Accessing Public Services

0

5

10

15

20

25

30

Cont rol Treat ment Cont rol Treat ment Cont rol Treat ment

Educat ion Healt h Care Clean Wat er

Alasan paling umum untuk Ketiadaan Akses– Kemiskinan -- Ongkos– Tak dapat mencapai lokasi pelayanan – Layanan tak disediakan

Penilaian Kemiskinan Parsipatoris: Lima Jawaban Paling Umum

Sebab-sebab Kemiskinan

– Penghasilan rendah– Sulit mendapat

pekerjaan– Tak punya alat

transportasi– Tak punya modal– Terlalu tua untuk bekerja

Jalan keluar dari kemiskinan

– Dapatkan pekerjaan– Kerja keras– Dapatkan alat

transportasi– Lebih banyak bantuan

dari Pemerintah– Lebih banyak dukungan

untuk orang miskin dari Pemerintah

Pertanyaan-pertanyaan yang perlu dijawab oleh Evaluasi PNPM-Rural

Apakah PNPM-Rural meningkatkan kesejahteraan rumahtangga (diukur sebagai real per capita consumption)?Apakah PNPM-Rural mengentaskan rumahtangga-rumahtangga dari kemiskinan?Apakah individu-individu di kecamatan PPK2 mempunyai akses yang lebih baik ke pendidikan, pelayanan kesehatan dan kesempatan kerja?Apa dampak indikator-indikator ini bagi kelompok-kelompok miskin dan terkendala?Apakah PNPM-Rural mempengaruhi modal sosial di masyarakat maupun mutu tata kelola?Apa peran dinamika sosial & tata kelola dalam mempengaruhi hasil kesejahteraan rumahtangga maupun akses ke pelayanan?

Untuk pertanyaan atau pernyataan kerisauan:

Salinan Evaluasi PPK2 dan Penelitian Dasar PNPM (segera terbit) tersedia untuk Anda mintaSilakan hubungi

– John Voss– jvoss1@worldbank.org– (012) 314-8175