Membangun System Pemantauan dan Evaluasi, Untuk...

IEG INDEPENDENT EVALUATION GROUP

Membangun System Pemantauan dan Evaluasi, Untuk

Mewujudkan Tata Kelola Pemerintahan

yang Lebih Baik

Keith Mackay

Diterjemahkan oleh : Rudy Harisyah Alam

ii

Daftar Isi Kata Pengantar iv

Penghargaan vii

Daftar Singkatan viii

Bab 1 Pendahuluan

1

BAGIAN I – APA YANG HARUS DITAWARKAN PEMANTAUAN

DAN EVALUASI KEPADA PEMERINTAH

6

Bab 2 Apakah Pemantauan dan Evaluasi (P&E)? – Usulan Singkat

tentang P&E

7

Bab 3 Kontribusi P&E untuk Mewujudkan Tata Kelola Pemerintah yang

baik

10

Bab 4 Berbagai Kecenderungan Utama yang Mempengaruhi Negara- negara:

Mengapa Negara-negara Membangun Sistem P&E?

22

BAGIAN II – PENGALAMAN BEBERAPA NEGARA

26

Bab 5 Negara-negara dengan Praktik P&E yang Baik:

Seperti Apakah P&E yang ”Berhasil”?

27

Bab 6 Chile 30

Bab 7 Kolumbia 38

Bab 8 Australia 46

Bab 9 Kasus Khusu Afrika 56

BAGIAN III – PELAJARAN DARI BERBAGAI PENGALAMAN

65

Bab 10 Membangun Sistem P&E Negara – Pelajaran dari Berbagai

Pengalaman

66

Bab 11 Insentif-insentif bagi P&E – Bagaimana Menciptakan Pemrintaan? 79

iii

BAGIAN IV – BAGAIMANA MEMPERKUAT SISTEN P&E

PEMERINTAH?

85

Bab 12 Pentingnya Diagnosis Negara 86

Bab 13 Menyiapkan Rencana Aksi

94

BAGIAN V – ISU –ISU LAINNYA

106

Bab 14 Isu-isu yang Belum Digarap 107

Bab 15 Kesimpulan 114

BAB VI – TANYA-JAWAB : PERTANYAAN-PERTANYAAN YANG

UMUM DIKEMUKAKAN

116

Lampiran 132

Lampiran A : Pelajaran tentang Bagaiman Memastikan agar Evaluasi

Berpengaruh

133

Lampiran B : Diagnosis Negara – Contoh Kolumbia 138

Lampiran C : Kerangka Acuan Diagnisis Mendalam terhadap Sistem P&E

Kolumbia

169

Lampiran D : Evaluasi terhadap Dukungan IEG bagi Pelembagaan Sistem P&E 175

Lampiran E : Daftar Istilah Kunci P&E 181

Catatan Akhir 194

Daftar Pustaka 204

iv

Pengantar Sejak dibentuk pada 1973, Kelompok Evaluasi Independen (Independent Evaluation Group, IEG) Bank Dunia—yang sebelumnya dikenal sebagai Departemen Evaluasi Operasi—telah mendukung upaya pemerintah di negara-negara berkembang untuk memperkuat sistem dan kemampuan pemantauan dan evaluasi (P&E) mereka. Sepanjang periode itu, IEG telah mengakumulasikan pengalaman yang sangat banyak menyangkut topik tersebut di banyak negara dan lingkungan sektor publik.

v

Pada 1998, IEG mulai membuat berbagai kertas kerja dan publikasi lainnya menyangkut topik ini guna mendokumentasikan dan menyebarluaskan pelajaran-pelajaran tersebut. Berbagai publikasi itu tersedia di situs web IEG: http://www.worldbank.org/ieg/ecd. Minat yang sangat tinggi menyangkut topik ini tercermin dalam tingginya tingkat readership atau jumlah pembaca publikasi-publikasi tersebut. Situs web itu saja telah menarik lebih dari 110.000 pengunjung setiap tahun. Angka tersebut mewakili bagian yang sangat signifikan dari keseluruhan tingkat readership IEG. Publikasi-publikasi IEG berkaitan dengan topik ini mendokumentasikan praktik-praktik sistem negara yang baik dan yang menjanjikan bagi P&E. Publikasi itu juga mencakup, antara lain, pedoman diagnosis, diagnosis negara, contoh-contoh evaluasi yang sangat berpengaruh, dan bahan pembelajaran mengenai perangkat P&E dan evaluasi dampak. Dalam konteks ini, publikasi ini bertujuan untuk mensintesiskan dan mengasimilasikan kumpulan pengetahuan itu bagi para pembaca. Bagian I dari buku ini diawali dengan fokus pembahasan tentang apa yang tepatnya harus ditawarkan P&E kepada pemerintah. Bagian ini berusaha untuk mengklarifikasi substansi yang mendasari retorika tentang P&E tersebut. Ulasan singkat mengenai P&E disediakan (dalam Bab 2), disertai dengan pembahasan mengenai cara-cara khusus informasi pemantauan dan temuan-temuan evaluasi dapat dan telah digunakan untuk memperbaiki kinerja pemerintah, seperti dalam mendukung pengambilan keputusan anggaran (Bab 3). Dikemukakan argumen bahwa pemanfaatan informasi P&E adalah syarat niscaya bagi manajemen pengeluaran publik yang efektif. Dengan kata lain, P&E adalah niscaya guna mencapai pembuatan kebijakan yang dilandaskan bukti, manajemen berbasis-bukti dan akuntabilitas berlandaskan bukti. Itulah sebabnya kebanyakan dari negara-negara yang tergabung dalam (Organisasi untuk Kerja Sama Ekonomi dan Pembangunan (OECD))—yang merupakan negara-negara terkaya di dunia—memberi penekanan yang besar pada perlunya memiliki dan menggunakan informasi P&E dalam rangka mendukung tata pemerintahan yang baik. Sebagian kecenderungan utama yang memengaruhi negara-negara untuk memberi prioritas yang lebih tinggi pada P&E juga dibahas (Bab 4). Bagian II memfokuskan pada pengalaman sejumlah negara yang telah berhasil membangun sistem P&E pemerintahan yang berfungsi dengan baik. Bab 5 mengkaji seperti apa tepatnya sistem P&E yang “sukses”. Contoh sejumlah negara—meliputi Chile

vi

(Bab 6), Kolumbia (Bab 7) dan Australia (Bab 8)—mengilustrasikan sistem yang “sukses” tersebut. Namun, perlu dicatat bahwa tema khusus terbitan ini adalah tidak ada model “terbaik” mengenai seperti apa seharusnya sistem P&E pemerintah atau sektor. Di negara-negara yang relatif lemah, fokus yang lebih hati-hati pada perubahan secara bertahap dapat saja sesuai jika memiliki potensi untuk mendemonstrasikan bahwa P&E efektif dari segi biaya. Afrika, di mana banyak terdapat hambatan kapasitas yang cukup parah, dibahas (dalam Bab 9) dari sudut pandang ini. Bagian III menganalisis pelajaran-pelajaran dari upaya membangun sistem P&E pemerintah di negara-negara tersebut dan banyak negara lainnya, baik negara berkembang maupun negara maju. Tiga belas pelajaran utama ditekankan (Bab 10). Hal ini juga sejalan dengan pengalaman internasional dalam jenis-jenis lain pembangunan kapasitas (capacity building) sektor publik. Pelajaran-pelajaran itu meliputi, misalnya, prasyarat adanya tuntutan pemerintah yang mendasar akan informasi pemantauan dan temuan-temuan evaluasi, serta peran sentral insentif. Pelajaran itu juga meliputi nilai dari dilakukannya suatu diagnosis mengenai P&E di sebuah negara, dan nilai dari memiliki kampiun (champion) P&E yang berpengaruh. Tuntutan pemerintahan yang lemah akan P&E adalah hal yang biasa dan sering kali dipandang sebagai hambatan yang sangat berat bagi upaya membangun suatu system P&E. Namun, hal itu tidaklah demikian. Ada sejumlah cara untuk meniptakan tuntutan akan P&E, dengan menggunakan perpaduan antara insentif, hukuman atau penyuluhan (Bab 11). Cara-cara untuk memperkuat sistem P&E pemerintah disajikan dalam Bagian IV. Perhatian khusus diberikan pada manfaat melakukan diagnosis negara (Bab 12). Diagnosis semacam itu dapat memberi pemahaman yang baik tentang upaya-upaya P&E yang telah berlangsung di sebuah negara, lingkungan pegawai negara, dan peluang-peluang untuk menggunakan informasi P&E untuk fungsi-fungsi inti pemerintahan, seperti pembuatan keputusan anggaran dan manajemen program dan proyek yang terus menerus. Sebuah diagnosis secara alamiah akan mengantarkan pada rencana aksi yang mengidentifikasi opsi-opsi utama untuk memperkuat sistem P&E pemerintah (Bab 13). Bab V memetakan isu-isu di mana pengalaman internasional dengan sistem-sistem P&E pemerintah tidak dipahami dengan baik atau didokumentasikan dengan baik. Hal itu meliputi isu-isu terdepan, seperti efektivitas biaya pendekatan-pendekatan alternatif untuk memperkuat sistem P&E pemerintah dan model-model praktik P&E yang baik pada tingkat sektor dan daerah. (Bab 14). Jawaban atas sejumlah pertanyaan yang sering muncul menyangkut topik sistem P&E pemerintah diberikan (dalam Bab 15). Hal ini mencakup daftar tentang bahaya dan perangkap yang harus dihindari ketika berusaha memperkuat P&E di suatu negara, seperti keyakinan keliru bahwa P&E memiliki kebaikan yang bersifat intrinsik atau menempuh pendekatan teknokratis untuk membangun kapasitas. Terakhir, Bagian VI menyediakan sekumpulan pertanyaan yang seringkali ditanyakan terkait dengan P&E—berikut jawabannya.

vii

Penghargaan Publikasi ini ditulis oleh Keith Mackay yang mengawali penyusunan kertas kerja dan publikasi-publikasi lainnya mengenai topik ini pada 1998. Publikasi ini memperoleh komentar-komentar yang berguna dari Harry Hatry dan David Shand. Adapun Heather Dittbrener bertindak sebagai penyunting volume ini. Namun demikian, pandangan-pandangan yang diungkapkan dalam terbitan ini sepenuhnya menjadi tanggung jawab pengarang dan tidak secara niscaya mewakili pandangan Bank Dunia atau IEG. Ucapan terima kasih perlu disampaikan untuk Norwegian Agency for Development Cooperation (Norad) atas dukungan finansialnya.

viii

Daftar Singkatan AfrEA African Evaluation Association ANAO Australian National Audit Office COINFO Data Coordination Committee (Columbia) CONPES National Council for Economic and Social Policy (Columbia) CRC Citizen Report Card DAC Development Assistance Committee (OECD) DANE National Statistical Office (Columbia) DDTS Directorate for sustainable Territorial Development (Columbia) DEPP Directorate for Evaluation of Public Policy (Columbia) DFID Department of International Development (United Kingdom) DIFP Directorate of Investment and Public Finance (part of DNP) DNP Department of National Planning (Columbia) DoF Department of Finance (Australia) ECD Evaluation Capacity Development GAO Government Accountability Office (United States) HMN Health Metrics Network IADB Inter-American Development Bank ICDB Columbia Institute for Family Welfare IDEAS International Development Evaluation Association IEG Independent Evaluation Group M&E Monitoring & Evaluation MEN Ministry of Education (Columbia) MDGs Millennium Development Goals MoF Ministry of Finance (Chile) NGO Non-government Organization NIMES National Integrated Monitoring and Evaluation System (Uganda) OECD Organisation for Economic Co-operation and Development OMB Office of Management and Budget (United States) PART Program Assessment Rating Tool (United States) PBB Performance-based budgeting PEAP Poverty Eradiction Action Plan (Australia) PEP Portfolio Evaluation Plan (Uganda) PETS Public Expenditure Tracking Survey (Uganda) PRSP Poverty Reduction Strategy Paper SEDESOL Secretariat for Social Development (Mexico) SENA Vocational Training Institute (Columbia) SIGOB Sistema de progamación y Gestión por Objetivos y Resultados (System of Programming and Management by Objectives and Results, Columbia) SINERGIA Sistema Nacional de Evaluación de Resultados de la Gestión Públicica (National System for Evaluation of Public Sector Performance, Columbia) SIIF Financial Manaement Information System (Columbia) ToRs Term of Reference

Pendahuluan

1

Pendahuluan Saat ini semakin banyak pemerintah yang berupaya memperbaiki kinerja mereka dengan menciptakan sistem untuk mengukur dan membantu mereka dalam memahami kinerja mereka. Sistem untuk pemantauan dan evaluasi (P&E) ini digunakan untuk mengukur kuantitas, kualitas dan penargetan barang dan jasa—keluaran (outputs)—yang disediakan negara serta guna mengukur hasil dan dampak dari keluaran tersebut. Sistem ini juga merupakan sarana untuk membantu pemerintah memahami sebab-sebab bagi kinerja yang baik dan kinerja yang buruk. Ada banyak alasan yang menyebabkan semakin meningkatnya upaya-upaya untuk memperkuat sistem P&E pemerintah. Tekanan fiskal dan harapan yang terus meningkat dari warga pada umumnya terus-menerus menjadi sumber dorongan bagi pemerintah untuk menyediakan pelayanan yang lebih banyak dengan standar kualitas yang lebih tinggi. Tekanan-tekanan tersebut juga cukup menjadi alasan yang mendorong pemerintah untuk mencari cara beroperasi yang lebih efektif dari segi biaya sehingga pemerintah dapat berbuat lebih banyak dengan pengeluaran biaya yang lebih sedikit. Negara-negara berkembang seringkali menoleh kepada negara-negara terkaya—yakni negara-negara anggota Organisasi untuk Kerja Sama Ekonomi dan Pembangunan (Organization for Economic Cooperation and Development, OECD)—dan mengadopsi perangkat manajemen sektor publik yang biasanya digunakan oleh negara-negara OECD tersebut, seperti P&E dan penyusunan anggaran berbasis-kinerja (performance budgeting). Masyarakat sipil (civil society) dan parlemen juga mendesakkan tekanan akuntabilitas pada pemerintah untuk memberikan laporan dan penjelasan kepada publik mengenai kinerja mereka. Lembaga-lembaga donor internasional pun memperoleh tekanan untuk membuktikan hasil dari pengucuran bantuan dalam jumlah besar yang menjadi tanggung jawab mereka. Pada gilirannya lembaga-lembaga donor itu pun berupaya meyakinkan dan mendukung negara-negara berkembang untuk memperkuat sistem P&E mereka. Pada tahun-tahun belakangan, dukungan lembaga donor terutama difokuskan pada negara-negara miskin, yakni negara-negara yang menyiapkan strategi penanggulangan kemiskinan sebagai bagian dari inisiatif pemberian keringanan utang. Negara-negara ini berusaha mencapai Sasaran Pembangunan Milenium (Millenium Development Goals, MDGs). Pihak donor juga mulai menunjukkan apresiasi bahwa sistem P&E negara dapat berperan dalam usaha-usaha pemberantasan korupsi. Sistem ini membantu mengenali “kebocoran” penyaluran dana pemerintah serta beberapa konsekuensi yang mungkin timbul dari korupsi—seperti ketika belanja pemerintah tidak tercermin dalam kualitas fisik infrastruktur yang dibangun atau dalam jumlah dan kualitas layanan yang diberikan. Pemantauan dan evaluasi (P&E), dan sistem untuk P&E, sering dipahami dari pengertian yang sempit dan teknokratis, yakni menyerupai pengembangan suatu manajemen keuangan atau sistem pengadaan. Padahal ada aspek-aspek P&E dan sistem P&E yang harus dikelola secara hati-hati. Akan tetapi, pendekatan teknokratis sangatlah tidak

Pendahuluan

2

memadai jika pendekatan itu mengabaikan faktor-faktor yang menentukan sejauh mana informasi P&E pada kenyataannya digunakan. Ketika sistem P&E tidak cukup banyak dimanfaatkan, hal ini bukan saja menghasilkan pemborosan sumber daya, tetapi juga akan merusak/menghancurkan kualitas informasi yang dihasilkan sistem P&E tersebut. Hal itu juga menyebabkan keberlanjutan sistem menjadi dipertanyakan. Para ahli evaluasi sering berpendapat bahwa P&E dan sistem P&E adalah “hal yang baik” dan memiliki kebaikan intrinsik. Para ahli perbaikan manajemen seringkali terlihat berpendapat bahwa manajemen berbasis-hasil atau cara-cara lain penggunaan informasi P&E menawarkan semacam obat bagi perbaikan kinerja pemerintah. Argumen-argumen advokasi yang lemah semacam ini tidak meyakinkan bagi pemerintah-pemerintah yang skeptis atau yang tengah menghadapi tekanan berlebih (overstressed). Namun demikian, contoh-contoh yang sangat meyakinkan sesungguhnya ada dari pemerintah-pemerintah yang telah mengerahkan berbagai upaya yang diperlukan untuk membangun suatu sistem P&E. Pemerintah-pemerintah ini secara maksimal menggunakan informasi P&E yang dihasilkan sistem P&E dan telah menggunakan informasi ini untuk secara signifikan memperbaiki kinerja kebijakan, program dan proyek mereka. Maksud publikasi ini adalah membantu pemerintah dalam upaya mereka membangun, memperkuat dan melembagakan sepenuhnya sistem P&E mereka, bukan sebagai tujuan pada dirinya sendiri, melainkan dalam rangka mendukung perbaikan kinerja pemerintah—dengan kata lain, tata pemerintahan yang baik (sound governance). Buku ini mengumpulkan berbagai pengalaman yang diakumulasikan oleh IEG Bank Dunia melalui program yang telah berlangsung lama guna mendukung pemerintah-pemerintah dan staf Bank Dunia dalam upaya mereka membangun sistem-sistem P&E. Selain itu, buku ini juga memanfaatkan berbagai kepustakaan yang berkembang menyangkut isu tersebut dari sumber-sumber lain. Pada saat ini penekanan yang lebih besar diberikan pada hasil-hasil dan pada kemampuan untuk membuktikan kinerja. Bagian I difokuskan pada apa yang persisnya harus ditawarkan P&E kepada pemerintah; bagian ini berupaya untuk mengklarifikasi substansi yang mendasari retorika tentang P&E. Bab 2 menyajikan ulasan singkat mengenai pemantauan dan evaluasi. Lampiran E merupakan kelanjutan dari pembahasan tersebut, yang menyajikan daftar istilah kunci menyangkut evaluasi dan manajemen berbasis-hasil yang dikembangkan Komite Bantuan Pembangunan (Development Assistance Committee, DAC) pada OECD. Bagi sebagian pejabat senior dan staf donor, P&E dapat terlihat sebagai topik yang sangat teknis dengan berbagai teknik yang sulit dipahami oleh kalangan bukan ahli. Bab ini berusaha mematahkan mitos tentang sulitnya P&E dengan cara menyediakan ulasan yang tajam mengenai berbagai tipe dan metode P&E yang berbeda. Selanjutnya di dalam Bab 3 dibahas mengenai cara-cara khusus P&E dapat dan telah digunakan untuk memperbaiki kinerja pemerintah. Yang menjadi fokus di sini adalah cara-cara yang ditempuh berbagai pemerintah dalam menggunakan P&E, seperti untuk mendukung pembuatan keputusan di bidang anggaran. Disajikan pula contoh-contoh yang memperlihatkan bagaimana berbagai kelompok masyarakat sipil (civil society)

Pendahuluan

3

menggunakan P&E untuk mengukur dan mendorong pemerintah guna meningkatkan kinerja mereka. Selain itu, dikemukakan pula sejumlah contoh tentang evaluasi-evaluasi yang berpengaruh, dan hal ini membuktikan bahwa P&E dapat menjadi sangat hemat biaya bagi pemerintah. Berbagai kecenderungan utama yang memengaruhi negara-negara dalam membangun sistem P&E dibahas secara singkat dalam Bab 4. Bagian II memusatkan perhatian pada pengalaman sejumlah negara yang telah berhasil membangun sistem P&E yang berjalan dengan baik. Bab 5 memaparkan secara umum mengenai seperti apakah sistem P&E pemerintah yang “berhasil”; tiga segi keberhasilan disajikan. Pertanyaan umum yang mengemuka adalah apakah ada negara yang telah berhasil membangun sistem P&E? Jawaban atas pertanyaan ini jelas adalah “ya”. Banyak negara maju serta sedikit negara berkembang—yang jumlahnya semakin bertambah—yang telah berhasil membangun sistem P&E pemerintah yang dapat berfungsi dengan baik. Studi kasus dari tiga negara—Chile, Kolumbia dan Australia—disajikan dalam Bab 6, 7 dan 8. Kasus khusus Afrika dibahas dalam Bab 9. Afrika jelas merupakan prioritas utama bagi komunitas internasional, dan Afrika telah menjadi fokus bantuan pembangunan dalam jumlah besar, termasuk program pembangunan kapasitas (capacity building). Upaya-upaya untuk memperkuat P&E dibuat dalam konteks persiapan bagi strategi-strategi pengurangan kemiskinan. Bab ini mengulas sejumlah kesulitan dan peluang yang dihadapi oleh negara-negara miskin dalam upaya tersebut. Banyak negara maju dan negara berkembang yang telah memiliki pengalaman penting dalam membangun sistem pemantauan dan evaluasi (P&E). Seperti halnya setiap bentuk upaya pembangunan kapasitas, ada sejumlah pelajaran yang sangat berharga mengenai apa yang dapat berjalan dengan paling baik dan apa yang tidak, dan hal tersebut didiskusikan dalam Bagian III. Konsistensi dari pelajaran-pelajaran yang berasal dari berbagai negara dan wilayah yang berbeda itu tidaklah mengejutkan; pengalaman-pengalaman itu sejalan dengan pengalaman internasional menyangkut jenis-jenis lain pembangunan kapasitas di area sektor manajemen publik, seperti reformasi sistem anggaran dan birokrasi kepemerintahan (Bab 10). Seperti telah dikemukakan sebelumnya, isu penggunaan informasi P&E sangat penting bagi kinerja dan keberlanjutan sistem P&E. Penggunaan itu bergantung pada sifat dan kekuatan tuntutan (demand) akan informasi P&E—yang pada gilirannya bergantung pada insentif untuk menggunakan P&E. Negara-negara yang tuntutannya terhadap P&E rendah atau setengah-hati mungkin tampak menghadapi kendala yang sulit diatasi untuk membangun sistem-sistem P&E. Namun, sudut pandang ini terlampau pesimistis. Ada cara-cara untuk meningkatkan tuntutan dengan memperkuat insentif, dan hal ini dibahas dalam Bab 11, yang difokuskan pada penggunaan “umpan, hukuman dan penyuluhan” (carrots, sticks and sermons), guna memastikan pemanfaatan informasi P&E. Cara-cara untuk memperkuat sistem P&E disajikan dalam Bagian IV. Salah satu pelajaran untuk membangun sistem P&E adalah pentingnya melakukan diagnosis negara

Pendahuluan

4

(country diagnosis), seperti disajikan dalam Bab 12. Diagnosis ini memberikan pemahaman yang baik mengenai upaya-upaya P&E yang telah berjalan, lingkungan sektor publik, serta peluang-peluang untuk memperkuat sistem P&E dan menggunakan informasi P&E. Informasi tersebut dapat digunakan untuk fungsi-fungsi inti pemerintahan, seperti pembuatan keputusan menyangkut anggaran serta manajemen program dan proyek yang berkesinambungan. Hal yang mungkin sama pentingnya ialah diagnosis dapat membantu para pemangku kepentingan utama (key stakeholders) dalam pemerintahan dan komunitas donor untuk fokus pada kekuatan dan kelemahan dari pengaturan P&E yang telah ada. Diagnosis semacam itu juga dapat memastikan bahwa para pemangku kepentingan memiliki kesadaran yang sama akan isu tersebut. Suatu diagnosis lazimnya bermuara pada sebuah rencana aksi yang mengidentifikasi opsi-opsi utama penguatan sistem P&E pemerintah (Bab 13). Buku ini tidak dapat dan memang tidak mencoba membahas seluruh isu yang mungkin timbul di tengah upaya membangun sebuah sistem P&E pemerintah atau memperkuat sistem P&E yang telah ada. Bagian V memetakan sejumlah isu yang pengalaman internasional tentangnya tidak dipahami atau didokumentasikan dengan baik. Isu-isu terdepan itu merupakan topik-topik penting bagi pelembagaan P&E, namun pengetahuan yang ada sekarang tentangnya tampaknya tidak memadai (Bab 14). Topik-topik itu meliputi model-model praktik yang baik dari P&E pada tingkat daerah dan sektoral; cara-cara agar pemerintah dapat secara efektif dan kredibel bekerja untuk mendukung masyarakat sipil (civil society) menyangkut isu-isu P&E terhadap kinerja pemerintah; dan keefektifan-biaya dari model-model alternatif dari dukungan donor bagi pelembagaan P&E. Beberapa catatan kesimpulan disajikan dalam Bab 15. Bagian VI menyajikan jawaban-jawaban atas sejumlah pertanyaan yang lazim muncul pada konferensi-konferensi nasional maupun internasional menyangkut isu tersebut. Sering kalinya pertanyaan-pertanyaan serupa dilontarkan membantu kita untuk mengidentifikasi isu-isu utama yang harus dibahas ketika berupaya melembagakan sebuah sistem P&E. Satu tantangan yang dihadapi oleh badan-badan evaluasi pada pihak pemerintah maupun lembaga donor adalah memastikan bahwa evaluasi yang mereka hasilkan digunakan secara intensif. Kini disadari bahwa tidaklah cukup untuk sekadar menyelesaikan sebuah laporan evaluasi, memublikasikan laporan tersebut dan mengandaikan bahwa laporan itu akan dimanfaatkan dengan sendirinya. Sebaliknya, para pengevaluasi dan badan-badan evaluasi di mana mereka bekerja perlu sangat proaktif dalam mengimplementasikan suatu strategi terperinci untuk menyebarluaskan bukan saja laporan evaluasi tersebut, melainkan juga hasil-hasil temuannya; dengan kata lain, mendorong penerimaan atas evaluasi itu dan pelaksanaan saran-saran yang dihasilkannya. Berbagai pelajaran dan kiat untuk memastikan bahwa evaluasi memiliki pengaruh dipaparkan dalam Lampiran A. Lampiran B berisi contoh tentang sebuah diagnosis negara bagi Kolumbia. Kerangka acuan (terms of reference, TOR) yang ilustratif untuk diagnosis yang lebih mendalam

Pendahuluan

5

terhadap sistem P&E Kolumbia disajikan dalam Lampiran C. Temuan-temuan dari swa-evaluasi atas dukungan IEG bagi pelembagaan sistem-sistem P&E ditampilkan dalam Lampiran D. Evaluasi ini memberikan sebuah model yang mungkin diadopsi oleh para pemerintah dan lembaga donor yang tengah mencoba mengevaluasi upaya-upaya mereka sendiri untuk membangun atau memperkuat sistem P&E sebuah negara. Terakhir, daftar istilah kunci P&E disediakan dalam Lampiran E.

6

BAGIAN I

APA YANG HARUS DITAWARKAN PEMANTAUAN

DAN EVALUASI KEPADA PEMERINTAH?

Bagian I difokuskan pada apa yang tepatnya harus ditawarkan pemantauan

dan evaluasi (P&E) kepada pemerintah. Bagian ini berusaha mengklarifikasi

substansi yang mendasari perbincangan tentang P&E. Bab 2 menyajikan

ulasan singkat mengenai pemantauan dan evaluasi. Di dalam bab ini dibahas

mengenai apakah sesungguhnya pemantauan dan evaluasi, serta

didiskusikan pula alat, metode dan pendekatan utama yang biasanya

digunakan oleh pemerintah-pemerintah dan donor-donor internasional. Hal

itu, di dalam Bab 3, dilanjutkan dengan pembahasan mengenai cara-cara

khusus P&E dapat dan telah digunakan untuk memperbaiki kinerja

pemerintah. Selanjutnya berbagai kecenderungan penting yang

memengaruhi negara-negara untuk membangun sistem P&E dibicarakan

secara singkat dalam Bab 4.

Bab 2: Apakah Pemantauan dan Evaluasi – Ulasan Singkat tentang P&E

7

Bab 2

Apakah Pemantauan dan Evaluasi (P&E)? Ulasan singkat tentang P&E Ada banyak istilah dan konsep yang saling berkaitan di bidang pemantauan dan evaluasi. Hal ini dapat menimbulkan kebingungan. Lebih dari itu, negara-negara yang berbeda dan badan-badan pembangunan yang berbeda sering kali menggunakan definisi-definisi yang berlainan untuk konsep yang serupa. DAC telah mengembangkan sebuah daftar konsep-konsep dan istilah-istilah kunci dalam rangka mengurangi kebingungan ini dan menghasilkan semacam penyelarasan (DAC 2002). Hal itu disajikan dalam Lampiran E. Bab ini menyajikan pembahasan tinjauan yang lebih luas. Indikator kinerja (performance indicators) adalah ukuran mengenai masukan, kegiatan, keluaran, hasil dan dampak dari kegiatan-kegiatan pemerintah. Level indikator dapat saja sangat tinggi, yakni dalam arti mengukur kinerja pemerintah terkait dengan SPM (Sasaran Pembangunan Milenium) atau rencana pembangunan nasional, atau dalam arti mengukur kegiatan dan keluaran kementerian dan badan-badan pemerintah. Indikator berguna untuk menetapkan target kinerja, untuk menilai kemajuan pencapaian target tersebut, serta untuk membandingkan kinerja dari organisasi-organisasi yang berbeda. Indikator merupakan alat yang murah untuk mengukur kinerja pemerintah secara berkala. Meskipun indikator kinerja dapat digunakan untuk mengenali masalah-masalah, yang dengan demikian memungkinkan diambilnya tindakan perbaikan, keterbatasannya ialah indikator kinerja biasanya tidak memperlihatkan apakah tindakan-tindakan pemerintah menghasilkan perbaikan kinerja. Namun, indikator kinerja dapat digunakan untuk menyoroti kebutuhan akan tinjauan atau evaluasi lanjutan menyangkut sebuah isu. Bahaya umum berkaitan dengan sistem indikator kinerja adalah rekayasa berlebihan terhadap sistem dengan memasukkan terlalu banyak indikator yang kurang dimanfaatkan; hal ini dapat menghasilkan data yang berkualitas buruk. Penilaian cepat (rapid appraisal) adalah metode yang cepat dan rendah-biaya untuk mengumpulkan pandangan dan umpan-balik dari pihak penerima manfaat dan pemangku


8

kepentingan lainnya. Pandangan-pandangan tersebut memberikan informasi cepat bagi pengambilan keputusan menyangkut manajemen, khususnya pada tingkat kegiatan atau program. Metode penilaian cepat meliputi wawancara, diskusi kelompok fokus (focus group discussion, FGD), observasi langsung dan survei berskala kecil (mini-surveys). Namun, temuan-temuan dari metode kualitatif ini akan sulit digeneralisasikan. Selain itu, metode ini juga kurang valid, andal dan kredibel dibandingkan survei-survei resmi. Evaluasi cepat (rapid evaluation) melibatkan tinjauan formal atas suatu kegiatan atau program pemerintah. Di Chile, misalnya, evaluasi cepat melibatkan tinjauan oleh konsultan luar terhadap tujuan program dan persiapan analisis kerangka logis (logframe analysis) (yang memetakan kaitan sebab-akibat antara kegiatan pemerintah dan hasil serta dampak yang diinginkan). Setiap data yang tersedia (termasuk indikator kinerja) dianalisis untuk menilai keefisienan dan keefektifan kegiatan tersebut. Bank Dunia menggunakan pendekatan ini dalam banyak kegiatan evaluasi proyeknya, baik sebelum atau setelah selesainya suatu proyek. Bank Dunia juga menggunakan berbagai informasi tambahan dalam evaluasi sesudah proyek, termasuk temuan-temuan dari misi pengawasan, wawancara dengan para informan kunci, dan seluruh data primer atau sekunder yang telah dikumpulkan. Kekuatan utama evaluasi cepat terletak pada kecepatan dan biaya yang relatif rendah. Kelemahan utama metode ini—dibandingkan dengan pendekatan-pendekatan yang lebih ketat—ialah bukti empiris yang dihasilkan lebih lemah dan teknik analisis data yang jauh lebih lemah. Metode ini juga mengalami kesulitan dalam mengidentifikasi hubungan sebab-akibat yang mungkin antara tindakan-tindakan pemerintah dan perbaikan-perbaikan dalam kinerja yang muncul kemudian. Evaluasi dampak (impact evaluation) memusatkan perhatian pada hasil dan dampak dari kegiatan-kegiatan pemerintah. Metode evaluasi cepat dapat digunakan untuk memperkirakan dampak, akan tetapi metode evaluasi dampak yang lebih canggih dapat menghasilkan temuan-temuan yang jauh lebih andal dan meyakinkan. Metode semacam ini melibatkan perbandingan antara penerima manfaat program dan kelompok kontrol atau pembanding, pada dua atau lebih waktu. Teknik-teknik statistik tingkat lanjut digunakan untuk mengetahui dampak sebenarnya program terhadap para penerima manfaat. Evaluasi macam ini sangat menantang dari segi data, dan dapat sangat mahal dari segi biaya. Namun, ada cara-cara untuk mengurangi secara signifikan biaya tersebut. Evaluasi-evaluasi semacam itu perlu direncanakan dengan baik sebelum saat informasi mengenai temuan-temuan evaluasi dibutuhkan, karena biasanya metode ini tidak mungkin dilakukan secara cepat. Meskipun evaluasi-evaluasi yang canggih sering kali mahal, namun metode semacam ini dapat sangat hemat-biaya tatkala melahirkan perbaikan, kendati terbatas, dalam kinerja program. Tinjauan pengeluaran menyeluruh (comprehensive spending reviews) adalah sejenis evaluasi kebijakan. Menteri Keuangan Chile menggunakan metode ini untuk meninjau seluruh program dalam suatu area fungsional tertentu, seperti sekolah. Metode ini melibatkan tinjauan terhadap persoalan ketidakefisienan dan duplikasi program. Tinjauan pengeluaran dwitahunan Inggris menyelidiki masalah-masalah seperti ini, serta hasil


9

program dan prioritas-prioritas pemerintah. Berbagai kelebihan dan kekurangan, biaya, ketrampilan dan waktu yang dibutuhkan untuk menggunakan perangkat P&E ini dibahas di dalam Monitoring and Evaluation: Some Tools, Methods and Approaches (IEG, 2004b). Lihat pula daftar istilah yang disusun oleh DAC berkaitan dengan evaluasi (2002) dan Lampiran E.

Bab 3: Kontribusi P&E untuk Mewujudkan Tata Kelola Pemerintahan yang Baik

10

Bab 3

Kontribusi P&E untuk Mewujudkan Tata Pemerintahan yang Baik Pemantauan dan evaluasi (P&E) dapat memberikan informasi yang unik tentang kinerja kebijakan, program dan proyek pemerintah. P&E dapat mengidentifikasi apa yang dapat berfungsi, apa yang tidak, dan mengapa. P&E juga menyediakan informasi tentang kinerja pemerintah, kinerja masing-masing kementerian dan badan pemerintah, serta kinerja manajer dan staf mereka. P&E juga menyediakan informasi tentang kinerja lembaga donor yang mendukung kerja pemerintah-pemerintah Memandang bahwa P&E memiliki nilai inheren adalah hal yang menarik, namun berbahaya. Nilai P&E tidak semata-mata berasal dari tindakan melakukan P&E atau menyediakan informasi P&E. Akan tetapi, nilai P&E terletak dalam hal penggunaan informasi P&E untuk membantu memperbaiki kinerja pemerintah. Seperti kita akan lihat, ada banyak pemerintah yang secara sistematis memanfaatkan informasi P&E untuk meningkatkan kinerja mereka. Cara-cara informasi P&E dapat menjadi sangat berguna bagi pemerintah dan pihak-pihak lain meliputi hal-hal berikut: • Untuk mendukung pembuatan kebijakan—terutama pembuatan keputusan di

bidang anggaran—penyusunan anggaran berbasis-kinerja dan perencanaan nasional. Proses-proses ini terfokus pada prioritas pemerintah di antara tuntutan-tuntutan dari warga negara dan kelompok-kelompok dalam masyarakat. Informasi P&E dapat mendukung pembahasan pemerintah dengan menyediakan bukti menyangkut jenis kegiatan pemerintah yang paling efektif dari segi biaya, seperti berbagai macam program penyediaan lapangan kerja, intervensi di bidang kesehatan, atau bantuan tunai bersyarat. Istilah-istilah yang menggambarkan penggunaan informasi P&E dengan cara ini meliputi pembuatan kebijakan berbasis-bukti, penyusunan anggaran berbasis-hasil, dan penyusunan anggaran berbasis-kinerja (Kotak 3.1).

Bab 3 : Kontribusi P&E untuk Mewujudkan Tata Kelola Pemerintahan yang Baik

11

Kotal 3.1 Apakah Penyusunan Anggaran Berbasis-Kinerja? Mayoritas negara-negara yang tergabung dalam OECD melakukan semacam penyusunan anggaran berbasis-kinerja (Curristine, 2005). Sebagian negara lainnya, seperti Chile, telah menciptakan sistem P&E pemerintah untuk mendukung penyusunan anggaran berbasis-kinerja, dan semakin banyak negara berkembang lainnya yang menempuh langkah serupa. P&E umumnya dipandang sebagai alat yang berguna untuk membantu pemerintah yang mengalami tekanan fiskal guna mengurangi total pengeluaran mereka dengan mengidentifikasi program-program dan kegiatan-kegiatan yang rendah dari segi efektivitas biaya. Penyusunan anggaran berbasis-kinerja juga membantu pemerintah untuk memprioritaskan proposal-proposal pengeluaran yang saling bersaing. Dengan cara ini, P&E membantu pemerintah dalam mencapai nilai yang lebih besar bagi uang yang mereka belanjakan. Penyusunan anggaran berbasis-kinerja melibatkan pemanfaatan informasi pemantauan dan temuan-temuan evaluasi. Ada tiga pendekatan utama untuk penyusunan anggaran berbasis-kinerja. Pertama adalah yang dikenal sebagai penyusunan anggaran berbasis-kinerja yang bersifat langsung (direct performance budgeting). Dalam pendekatan ini terdapat hubungan yang bersifat langsung, dan sering kali didasarkan atas suatu formula, sehingga alokasi anggaran untuk sebuah program didasarkan atas kinerja program tersebut yang diukur dari hasil yang dicapainya (yakni, keluaran [outputs] atau hasil [outcomes]). Contohnya adalah pendanaan universitas yang didasarkan atas jumlah lulusan dari setiap bidang keilmuan, seperti kedokteran atau kesenian. Pendekatan kedua adalah penyusunan anggaran berbasis-kinerja yang bersifat tidak langsung (indirect performance budgeting). Ini merupakan bentuk umum dari penyusunan anggaran berbasis-kinerja. Informasi P&E tentang hasil-hasil program menjadi masukan, tetapi hanya merupakan salah satu masukan, bagi keputusan alokasi anggaran bagi sebuah program. Informasi lainnya, serta prioritas kebijakan pemerintah (termasuk pertimbangan menyangkut keadilan), juga memengaruhi alokasi anggaran. Pendekatan ketiga adalah penyusunan anggaran berbasis-kinerja yang bersifat penyajian (presentational performance budgeting). Pemerintah menggunakan informasi P&E untuk melaporkan kinerja aktual (pada masa lalu) atau kinerja yang diharapkan (pada masa mendatang) dalam dokumen anggaran yang dikirimkan kepada Parlemen atau Kongres. Informasi ini mungkin saja tidak berpengaruh pada pembuatan keputusan menyangkut anggaran dan merupakan bentuk paling lemah dari penyusunan anggaran berbasis-kinerja. Kekeliruan pemahaman yang umum terjadi adalah bukti mengenai kinerja yang buruk harus mengarah pada pengurangan atau penghapusan sama sekali sebuah program. Meskipun hal ini mungkin saja terjadi pada kegiatan-kegiatan pemerintah yang memiliki prioritas rendah, namun sering kali lebih banyak dana yang harus dikucurkan untuk suatu program yang dinilai berkinerja buruk dalam rangka memperbaiki program tersebut, setidaknya dalam jangka waktu dekat. Misalnya, temuan evaluasi bahwa pengeluaran


12

untuk pendidikan dasar atau rumah sakit umum sangat tidak efisien, hendaknya tidak membawa pada kesimpulan bahwa program-program itu harus dihapus; program-program tersebut terlampau penting. Sebaliknya, adalah penting untuk mengidentifikasi faktor-faktor yang menyebabkan kinerja buruk program-program tersebut—hal yang harus diungkap melalui sebuah evaluasi, dan ditangani. • Untuk membantu kementerian-kementerian pemerintah dalam pengembangan

kebijakan dan analisis kebijakan serta dalam pengembangan program. • Untuk membantu kementerian-kementerian dan badan-badan pemerintah dalam

mengelola kegiatan-kegiatan pada tingkat sektor, program dan proyek. Hal ini mencakup penyediaan pelayanan pemerintah dan manajemen staf. P&E mengidentifikasi penggunaan paling efisien atas sumber-sumber daya yang tersedia. Misalnya, P&E dapat digunakan untuk mengidentifikasi kesulitan-kesulitan dalam pelaksanaan. Indikator kinerja dapat digunakan untuk membuat perbandingan biaya dan kinerja—pembuatan tolok ukur kinerja—di kalangan satuan kerja, wilayah dan distrik pemerintahan yang berbeda. Perbandingan-perbandingan juga dapat dibuat sepanjang waktu sehingga dapat membantu mengidentifikasi praktik-praktik yang baik, buruk dan yang menjanjikan, dan hal ini dapat mendorong pencarian alasan-alasan bagi kinerja tersebut. Evaluasi atau tinjauan digunakan untuk mengidentifikasi alasan-alasan tersebut (lihat, misalnya, Wholey, Hatry dan Newcomer, 2004). Ini merupakan fungsi pembelajaran dari P&E, dan sering kali diistilahkan sebagai manajemen berbasis-hasil atau manajemen berorientasi-hasil.

• Untuk meningkatkan transparansi dan mendukung hubungan akuntabilitas

dengan memperlihatkan sejauhmana pemerintah telah mencapai sasaran-sasaran yang diinginkan. P&E menyediakan bukti mendasar yang niscaya guna menopang hubungan akuntabilitas yang kokoh, seperti hubungan akuntabilitas pemerintah dengan parlemen atau kongres, dengan masyarakat sipil dan dengan lembaga donor. P&E juga mendukung hubungan akuntabilitas di dalam pemerintahan, seperti antara kementerian sektor dan kementerian pusat, di antara badan-badan pemerintah dan kementerian sektor, dan di antara menteri, manajer dan staf. Akuntabilitas yang kokoh pada gilirannya dapat memberikan insentif yang diperlukan guna meningkatkan kinerja.

Berbagai cara penggunaan P&E tersebut menempatkan P&E di pusat pengaturan tata pemerintahan yang baik sebagai prasyarat niscaya bagi manajemen pengeluaran publik yang efektif dalam rangka pengurangan kemiskinan. Dengan demikian, P&E diperlukan untuk mencapai pembuatan kebijakan berbasis-bukti, manajemen berbasis-bukti dan akuntabilitas berbasis-bukti. Penekanan pada P&E adalah salah satu cara untuk mewujudkan sektor publik yang berorientasi-hasil dan akuntabel. Dalam empat kategori luas penggunaan P&E, ada banyak kegiatan-kegiatan spesifik di mana P&E dapat digunakan. Pada saat yang sama, P&E terkait erat dengan aspek-aspek lain manajemen sektor publik:


13

• Sistem penelusuran anggaran (budgetary tracking system) dan pelaporan keuangan.

• Hubungan fiskal antar pemerintah, termasuk desentralisasi pemerintahan dan sejauh mana hubungan itu mencakup fokus pada kinerja pemerintah1

• Lembaga-lembaga akuntabilitas, seperti kantor audit nasional • Komersialisasi dan penyediaan layanan publik oleh sektor swasta (profit dan

nonprofit), misalnya, dengan mengontrakkan kepada pihak luar fungsi-fungsi pemerintahan.2 Keberhasilan dalam kegiatan-kegiatan semacam ini mensyaratkan adanya pemahaman yang jelas mengenai sasaran dan kinerja sebenarnya.

• Klarifikasi dan pelaporan publik tujuan dan sasaran program, serta strategi-strategi yang diperlukan untuk mencapainya.

• Penetapan standar pelayanan pelanggan yang jelas oleh badan-badan penyedia layanan, serta memantau dan memublikasikan sejauh mana standar itu telah dicapai.

• Pembaruan sektor kepegawaian negara (civil service reform) yang difokuskan pada kinerja, manajemen dan penilaian personel, termasuk perekrutan berbasis-prestasi, promosi dan pemecatan—yang dengan demikian menetapkan kaitan antara kinerja individu dan kinerja program atau proyek.

• Kualitas saran kebijakan kepegawaian negara dan jangkauan hingga mana saran itu didasarkan pada bukti (dengan menggunakan P&E).

• Upaya-upaya antikorupsi—P&E dapat digunakan untuk mengidentifikasi “kebocoran” dana-dana pemerintah, misalnya, melalui survei penelusuran pengeluaran publik (public expenditure tracking surveys, PETS). Pemantauan masyarakat terhadap proyek-proyek donor (atau pemerintah) dapat pula menjadi cara yang efektif untuk mengurangi korupsi dalam pelaksanaan proyek.

• Partisipasi dalam masyarakat sipil—P&E menyediakan sarana untuk memperkuat suara masyarakat sipil dan memberikan tekanan tambahan bagi pemerintah agar mencapai tingkat kinerja yang lebih tinggi.

Pengalaman negara-negara Kebanyakan pemerintah yang tergabung dalam OECD memberikan penekanan besar pada empat cara penggunaan informasi P&E—untuk mendukung pembuatan kebijakan berbasis-bukti (khususnya penyusunan anggaran berbasis-kinerja), pengembangan kebijakan, manajemen, dan akuntabilitas. Pemerintah-pemerintah anggota OECD secara kolektif memiliki banyak sekali pengalaman menyangkut topik ini: ada pemahaman umum bahwa agar pemerintah dapat memperbaiki kinerjanya sendiri, maka pemerintah perlu memberikan perhatian lebih pada upaya untuk mengukur kinerjanya. Sekretariat OECD dan pihak-pihak lainnya telah menerbitkan berbagai survei dan analisis atas kerja negara-negara anggota untuk memperkuat orientasi kinerja mereka (misalnya, OECD, 1995, 1997a, 2005; Curristine, 2005; Shand, 2006). Hal ini mencakup tinjauan yang ekstensif atas praktik-praktik dan pelajaran-pelajaran dari evaluasi pemerintah, baik menyangkut pembangunan kapasitas dan pemanfaatan evaluasi (OECD, 1997a) serta tinjauan atas praktik-praktik dan pelajaran-pelajaran dari penyusunan anggaran berbasis-kinerja:


14

Orientasi kinerja manajemen publik terletak di sini. Hal ini penting bagi pemerintah yang berhasil. Masyarakat kini terlalu kompleks untuk dikelola hanya oleh aturan-aturan bagi input, proses dan budaya berorientasi publik. Gerakan kinerja telah meningkatkan perencanaan, pelaporan dan kontrol yang diformalkan, di antara banyak pemerintah. Hal ini telah meningkatkan informasi yang tersedia bagi para manajer dan pembuat kebijakan (OECD, 2005: 81). Selama 15 tahun terakhir, mayoritas pemerintah anggota OECD telah berupaya mengalihkan penekanan penyusunan anggaran dan manajemen dari masukan (inputs) kepada fokus pada hasil (results), diukur dalam bentuk keluaran (outputs) dan/atau hasil (outcomes). Sementara isi, tempo dan metode implementasi pembaruan ini bervariasi antarnegara dan di sepanjang waktu, seluruh pembaruan itu memiliki fokus baru yang sama, yaitu pada hasil yang dapat diukur… Di mayoritas negara anggota OECD, upaya-upaya untuk menilai kinerja program dan kementerian kini dipandang sebagai bagian lazim dari pemerintah. Negara-negara menempuh metode yang berbeda-beda untuk menilai kinerja, termasuk dalam hal ukuran kinerja, evaluasi dan penolok-ukuran (Curristine, 2005: 88-89).

Keanekaragaman pendekatan P&E yang digunakan oleh masing-masing negara, dan khususnya cara informasi P&E digunakan, sangat mencolok. Contoh-contoh dari 5 negara yang sistem P&E mereka telah didokumentasikan dengan baik dan dianalisis diperlihatkan dalam Kotak 3.2. Kotak 3.2 Pemerintah-pemerintah yang memanfaatkan informasi P&E secara intensif Australia Pada 1980-an pemerintah Australia menciptakan sistem evaluasi pemerintah secara keseluruhan (whole-of-government evaluation system), yang dikelola oleh Departemen Keuangan. Seluruh kementerian diharuskan mengevaluasi setiap program mereka setiap tiga hingga 5 tahun. Mereka juga diharuskan untuk mempersiapkan rencana evaluasi portofolio (portfolio evaluation plans). Rencana tersebut menguraikan secara terperinci evaluasi yang direncanakan untuk tiga tahun berikutnya dan menunjukkan program-program yang akan dievaluasi, isu-isu yang akan dibahas dalam setiap evaluasi, dan metode evaluasi yang akan digunakan. Evaluasi tersebut dilakukan oleh kementerian lini, namun evaluasi itu ditinjau oleh Departemen Keuangan dan departemen-departemen pusat lainnya. Sebagai hasilnya, jumlah evaluasi yang dilakukan meningkat dengan pesat, dan hingga pertengahan 1990-an sekitar 160 evaluasi tengah dikerjakan. Penggunaan utama hasil-hasil evaluasi tersebut adalah dalam proses anggaran tahunan. Setiap proposal pengeluaran baru oleh kementerian lini harus secara jelas menerangkan sasaran dari proposal tersebut dan harus menyajikan temuan-temuan evaluasi yang ada mengenai keadaan sesungguhnya atau perkiraan kinerja dari kegiatan pemerintah. Serupa pula, opsi-opsi penghematan, yakni usulan untuk memangkas pengeluaran pemerintah, yang disiapkan baik oleh Departemen


15

Keuangan maupun kementerian-kementerian lini, diharuskan melaporkan setiap temuan evaluasi yang ada. Departemen Keuangan memperkirakan bahwa pada 1994 sekitar 80 persen dari proposal pengeluaran baru didasarkan atas temuan-temuan evaluasi, biasanya hingga tingkat yang cukup signifikan. Sekitar dua pertiga dari opsi-opsi penghematan juga didasarkan atas temuan-temuan evaluasi. Para pejabat Departemen Keuangan, yang menghadiri pertemuan Kabinet dalam rangka membahas proposal-proposal anggaran tersebut, menilai bahwa informasi hasil evaluasi tersebut sangat memengaruhi pembuatan keputusan anggaran oleh Kabinet. Kantor Audit Nasional Australia menemukan bahwa departemen-departemen lini juga menggunakan informasi ini secara intensif, terutama untuk membantu mereka dalam meningkatkan efisiensi operasional (lihat Bab 8 untuk uraian lebih jauh tentang Australia). Chile Kementerian Keuangan mengembangkan secara progresif sistem P&E pemerintah secara keseluruhan sejak 1994. Sistem ini mencakup sekitar 1.550 indikator kinerja, evaluasi cepat (sekitar 10 – 12 diselesaikan setiap tahun), serta evaluasi dampak yang dilakukan secara ketat (sekitar empat per tahun). Kementerian Keuangan menyerahkan pelaksanaan evaluasi kepada pihak luar, yakni kalangan perguruan tinggi dan perusahaan-perusahaan konsultan, dan menggunakan kerangka acuan (TOR) dan metodologi yang telah distandarkan untuk tiap-tiap jenis evaluasi. Para pejabat Kementerian Keuangan menggunakan informasi tersebut untuk menetapkan target kinerja bagi setiap badan pemerintah dan mendesakkan perbaikan manajemen baik pada kementerian maupun badan-badan pemerintah. Kementerian Keuangan secara hati-hati mengawasi sejauh mana tiap-tiap kementerian menerapkan perbaikan manajemen tersebut (lihat Bab 6 untuk uraian lebih lanjut mengenai Chile). Kolumbia Sistem P&E pemerintah Kolumbia, SINERGIA, dikelola oleh Departemen Perencanaan Nasional. Salah satu komponen utama sistem tersebut adalah database informasi kinerja, yang berisi sekitar 500 indikator kinerja untuk menelusuri kinerja pemerintah, dibandingkan dengan 320 tujuan yang ditetapkan oleh presiden. Untuk tiap-tiap indikator kinerja, database yang tersedia untuk publik itu merekam sasaran, strategi untuk mencapai sasaran tersebut, kinerja awal (baseline performance), target tahunan, dan jumlah dana yang dibelanjakan oleh pemerintah. Ketika target kinerja tidak tercapai, manajer yang bertanggung jawab untuk memenuhi target ini diharuskan menyiapkan sebuah pernyataan yang menjelaskan tentang mengapa target kinerja tersebut tidak tercapai. Presiden menggunakan informasi ini dalam pertemuan kontrol manajemen setiap bulan dengan masing-masing menteri dan dalam pertemuan mingguan di balai kota di kota-kota di seluruh negara tersebut (lihat Bab 7 untuk uraian lebih jauh tentang Kolumbia).


16

Inggris Pada 1998 pemerintah Inggris menciptakan sebuah sistem target kinerja, yang terkandung dalam Kesepakatan Sektor Publik (Public Sector Agreements) antara kantor Bendahara dan masing-masing dari 18 departemen utama. Di dalam Kesepakatan Sektor Publik itu dituangkan tujuan keseluruhan departemen bersangkutan, sasaran prioritas dan target-target utama kinerja. Kini ada 110 target bagi pemerintah secara keseluruhan, dan target-target itu terutama difokuskan pada area-area yang menjadi prioritas, yakni pendidikan, kesehatan, transportasi dan pengadilan kriminal. Target-target itu terutama dinyatakan dalam kerangka hasil (bukan keluaran) yang akan dicapai. Sebanyak dua kali dalam setahun departemen-departemen melaporkan secara terbuka jumlah evaluasi, sebagai bahan masukan bagi pembuatan keputusan anggaran. Prioritas pengeluaran, pagu pengeluaran dan target kinerja terkait ditetapkan dalam suatu sistem peninjauan terhadap pengeluaran tiga tahunan. Kantor Audit Nasional Inggris melaporkan bahwa departemen-departemen juga mengggunakan informasi kinerja dari Kesepakatan Sektor Publik untuk kepentingan perencanaan internal dan akuntabilitas mereka; namun, informasi ini kurang dimanfaatkan untuk kepentingan manajemen yang berkelanjutan. Amerika Serikat Pada 2002 pemerintah AS menciptakan Alat Pemeringkat Penilaian Program (Program Assesment Rating Tool, PART), yang didasarkan pada upaya-upaya terdahulu untuk mengukur kinerja pemerintah. Seluruh 1.000 program pemerintah diberi peringkat dengan menggunakan metodologi PART, yang difokuskan pada empat aspek kinerja program: (1) kejelasan sasaran dan rancangan program; (2) kualitas perencanaan strategis dan jangkauan fokus pada target program; (3) keefektifan manajemen program; dan (4) hasil-hasil aktual program yang dicapai. Kriteria terakhir ini memiliki nilai bobot sebesar 50 persen dari pemeringkatan PART bagi setiap program. Keempat kriteria di atas memberikan penekanan besar pada perlu adanya bukti yang kuat mengenai kinerja program, yang didasarkan atas informasi hasil pemantauan dan temuan-temuan evaluasi. Pemeringkatan disiapkan oleh Kantor Manajemen dan Anggaran (Office of Management and Budget, OMB) yang merupakan departemen keuangan pada pemerintah AS, bersama-sama dengan departemen-departemen dan badan-badan pemerintah; namun, keputusan akhir pemeringkatan tersebut terletak di tangan OMB. Pada tahun fiskal 2004, 44 persen program diberi peringkat “efektif” atau “cukup efektif”; 24 persen program diberi peringkat “hasil yang tidak terbukti” karena informasi P&E yang tidak memadai (angka ini turun tajam dari tahun fiskal 2002, di mana 50 persen program diberi peringkat “hasil yang tidak terbukti”). Pemeringkatan PART diharuskan untuk digunakan oleh departemen-departemen ketika mereka mengajukan permintaan pendanaan anggaran tahunan kepada OMB. Permintaan tersebut harus menyoroti pemeringkatan PART, saran-saran untuk perbaikan kinerja program, dan target kinerja. Pada gilirannya OMB juga menggunakan pemeringkatan


17

PART sebagai satu masukan ketika menyiapkan permintaan pendanaan anggaran kepada Kongres. Selain itu, OMB juga menggunakan pemeringkatan PART untuk menyetujui atau memberlakukan syarat-syarat perbaikan kinerja pada departemen-departemen. Kantor Akuntabilitas Pemerintah (Government Accountability Office, GAO) AS menyimpulkan bahwa PART telah membantu OMB untuk menganalisis informasi P&E tentang kinerja program sebagai bagian dari tugas analisis anggarannya. PART juga telah merangsang minat departemen-departemen terhadap informasi kinerja anggaran. Namun, GAO menyimpulkan bahwa pihak Kongres terus menggunakan pendekatan tradisional dalam pembahasan anggaran, dengan hanya sedikit memberi penekanan pada informasi P&E. Sumber: Australia—MacKay, 1998a, 2004; Chile—Rojas dkk., 2005; Guzman, 2003, 2005, 2006; Kolumbia—Castro, 2006a, 2006b; May dkk., 2006; Inggris—Kantor Bendahara Inggris (tanpa tahun); Kantor Audit Nasional Inggris, 2006; Amerika Serikat—OMB, 2003; GAO, 2004; Sandoli, 2005. Contoh dari 5 negara tersebut mengandung beberapa karakteristik yang memiliki persamaan, pendekatan pemerintah secara keseluruhan (whole-of-government approach) untuk mengukur kinerja pemerintah, peran menentukan oleh kementerian pusat yang berpengaruh (seperti kementerian keuangan atau perencanaan), dan penekanan pada penggunaan informasi P&E untuk mendukung proses anggaran. Tetapi, keragaman pendekatan juga terlihat jelas. Sebagian negara menekankan proses anggaran, dan sebagian lainnya menekankan perencanaan. Sebagian negara menekankan akuntabilitas, sementara sebagian lainnya menekankan pembelajaran untuk mendukung manajemen yang berkelanjutan. Sementara itu, sebagian negara menekankan pemantauan dan evaluasi, sedangkan sebagian lainnya hanya menekankan pemantauan, atau hanya menekankan evaluasi. Menarik untuk disimpulkan bahwa perbedaan antarnegara lebih besar dari persamaan yang terdapat di antara mereka. Akan tetapi, fenomena umum di kalangan semakin banyak negara adalah pendekatan sistemik terhadap P&E, yang biasanya melibatkan sistem pemerintahan secara keseluruhan (a whole-of-government system), meskipun kadang kala—seperti dalam kasus Meksiko—hanya melibatkan satu badan tertentu (badan pembangunan sosial, SEDESOL) yang menghasilkan “pulau” praktik yang baik. Karakteristik unik dari sistem Meksiko ialah bahwa, mengikuti keberhasilan P&E dalam SEDESOL, sistem P&E pemerintah secara keseluruhan kini tengah dibangun, dengan dukungan kementerian keuangan, kantor pengendali, dan dewan evaluasi nasional yang baru dibentuk (Hernandez, 2007). Banyak negara berkembang yang menoleh pada negara-negara berpendapatan tinggi—anggota OECD—untuk mencari model-model praktik terbaik tata pemerintahan yang baik, termasuk P&E. Namun, konsep ini dapat menyesatkan dan berpotensi mengandung bahaya. Lingkungan sektor publik tiap-tiap negara bersifat unik, dan negara-negara OECD sendiri mengambil pendekatan yang cukup berbeda-beda dalam menilai kinerja


18

pemerintah dan memanfaatkan informasi tersebut. Dengan demikian, kendati terdapat banyak kecenderungan serupa yang memengaruhi pemerintah untuk menciptakan sistem P&E, dan kendati ada banyak alat serupa bagi P&E di antara negara-negara, terdapat pula jurang perbedaan yang lebar dalam penekanan yang diberikan pada masing-masing alat dan pada tipe-tipe penggunaannya. Masyarakat sipil (civil society) Dalam menciptakan sistem untuk memantau dan mengevaluasi kinerja pemerintah, kita akan tergoda hanya untuk memberi fokus pada para pemain di pihak pemerintah, seperti kementerian pusat, kementerian sektor dan badan-badan pemerintah, pemerintah tingkat daerah, dan parlemen atau kongres. Hal ini akan mengabaikan peran penting yang dapat dimainkan oleh masyarakat sipil dalam pemantauan dan evaluasi terhadap kinerja pemerintah. Masyarakat sipil—organisasi nonpemerintah, universitas, lembaga riset, kelompok pemikir dan media—dapat memainkan peran dalam P&E melalui beberapa cara, baik sebagai pengguna maupun penghasil informasi P&E.3 Salah satu contoh paling kuat yang memperlihatkan kedua peran tersebut adalah kartu laporan warga yang dipelopori oleh sebuah organisasi nonpemerintah (LSM) di Bangalore, India, pada 1994. Model ini telah ditiru-terapkan di banyak kota lain di India dan di negara-negara seperti Bangladesh, Filipina, Uganda, Ukraina dan Vietnam. Kartu laporan telah digunakan LSM Bangalore untuk menyoroti kinerja yang baik dan buruk dari berbagai departemen dari pemerintah kota, dan berhasil menekan pemerintah untuk meningkatkan kinerjanya (lihat Kotak 3.3). Kotak 3.3 Kartu Laporan Warga—Alat yang Ampuh bagi Masyarakat Sipil Kartu Laporan Warga (KLW) Bangalore dipelopori oleh sebuah organisasi nonpemerintah independen, Public Affairs Centre, pada 1994. Kartu laporan itu melibatkan survei terhadap sampel acak rumah tangga di Bangalore guna menilai tingkat kepuasan mereka terhadap berbagai aspek kualitas pelayanan yang diberikan pemerintah kota dan badan-badan pelayanan publik lainnya. Aspek-aspek yang dicakup oleh survei tentang pemberian pelayanan ini meliputi perilaku staf yang melayani warga, kualitas pelayanan, informasi yang disediakan oleh staf, dan jangkauan korupsi (uang pelicin). Badan-badan pemerintah yang dimintakan penilaiannya dari warga meliputi air, listrik, pelayanan-pelayanan kota lainnya, transportasi, perumahan, telepon, perbankan dan rumah sakit. Kartu laporan pertama menemukan sejumlah persoalan: rendahnya tingkat kepuasan publik; badan-badan publik yang tidak ramah terhadap warga; kurangnya orientasi kepada pelanggan; korupsi; dan biaya tinggi yang mengakibatkan inefisiensi pada sektor publik. Survei KLW kedua pada 1999 menemukan adanya perbaikan pada tingkat kepuasan publik, namun tidak ada perbaikan dalam hal proporsi rumah tangga yang


19

membayarkan uang suap. Public Affairs Center menyebarluaskan temuan-temuan kartu laporan melalui media massa—di mana temuan-temuan itu memperoleh liputan dalam berita halaman depan di berbagai media—pertemuan-pertemuan publik, dan presentasi di hadapan badan-badan penyedia pelayanan publik. IEG melakukan penilaian terhadap dampak dua kartu laporan pertama (1994 dan 1999) berdasarkan wawancara yang dilakukan terhadap sampel dari para kepala badan pemerintah, para pejabat senior negara, kelompok-kelompok aksi warga, dan kalangan media di Bangalore. Pihak-pihak yang diwawancarai mengaku bahwa mereka pada umumnya bersikap apresiatif terhadap kartu laporan sebagai alat untuk mendapatkan umpan-balik menyangkut berbagai pelayanan publik. Mengikuti temuan-temuan KLW, banyak badan-badan pemerintah yang mulai mengambil langkah-langkah pembaruan. Kartu laporan membantu meningkatkan kesadaran publik menyangkut kualitas pelayanan dan mendorong kelompok-kelompok warga untuk menuntut pelayanan yang lebih baik. Temuan-temuan itu juga membantu para pejabat kunci untuk memahami persepsi warga negara pada umumnya dan peran masyarakat sipil (civil society) dalam tata pemerintahan kota. Bangalore mengalami sejumlah perbaikan, terutama menyusul kartu laporan kedua. Pemerintah negara bagian dan badan-badan publik tingkat kota mencanangkan sejumlah pembaruan dalam rangka memperbaiki infrastruktur dan pelayanan kota—termasuk melalui pembaruan pajak properti, pembentukan Bangalore Agenda Task Force, dan perampingan sistem dan prosedur internal di dalam badan-badan pemerintah. Sekarang ada transparansi yang lebih besar dalam operasi badan-badan pemerintah dan sikap tanggap yang lebih baik terhadap kebutuhan warga negara. Meskipun sejumlah faktor lainnya juga turut menyumbang pada proses transformasi yang terjadi di Bangalore, kartu laporan berperan sebagai katalisator dalam proses tersebut. Manfaat yang diperoleh dari kartu laporan tersebut tampaknya cukup tergantung pada sejumlah faktor. Pertama, penggunaan informasi itu oleh media massa dan kalangan masyarakat sipil. Media jelas memainkan peran penting dalam memublikasikan kinerja buruk badan-badan pemerintah, dan hal ini pada gilirannya dapat memberi dorongan bagi masyarakat sipil, bagi badan-badan pemerintah itu sendiri, dan bagi para pemangku kepentingan kunci lainnya di tubuh pemerintahan. Masyarakat sipil yang aktif dapat memainkan peranan penting dalam melanjutkan tekanan mengenai perlunya pembaruan kepada badan-badan pemerintah dan dalam memantau sejauh mana pembaruan telah benar-benar dilaksanakan. Dengan cara ini, kartu laporan juga menjalankan fungsi politis (Bank Dunia, 2003). Sikap tanggap badan-badan pemerintah, khususnya para pimpinan mereka, sangat penting. Ketika para pejabat senior peduli dengan kinerja lembaga mereka dan dengan upaya untuk melayani warga negara sedapat mungkin, hal ini kemungkinan akan menyediakan lahan yang subur bagi tindakan yang perlu diambil atas dasar temuan-temuan KLW. Tentu saja, sepanjang budaya pegawai pemerintah tidak berorientasi kepada pelanggan atau tidak peduli dengan pencapaian tingkat kinerja yang tinggi, maka hal itu akan menjadi kendala bagi apa yang seharusnya dapat dicapai, meskipun kebanyakan pejabat senior memiliki komitmen terhadap pembaruan. Pengalaman Bangalore mengilustrasikan apa yang dapat dicapai ketika sebuah organisasi yang


20

dinamis, Public Affairs Centre, mampu: (1) melakukan survei yang berbobot menyangkut tingkat kepuasan warga terhadap kinerja pemerintah; (2) memastikan bahwa temuan-temuan mereka mendapat liputan media yang luas; dan (3) berusaha meyakinkan sekaligus memberi semacam dukungan kepada badan-badan pemerintah untuk membantu mereka memperbaiki kinerja mereka. Sumber: Ravindra, 2004; Bamberger, MacKay dan Ooi, 2004. Lihat juga http://www.pacindia.org/. Contoh serupa datang dari Bogotá, Kolumbia di mana inisiatif masyarakat sipil dikembangkan secara independen dari pemerintah nasional dan pemerintah kota pada 1997. Dikenal sebagai Bogotá Cómo Vamos (Bogota, Bagaimana kabar kita?), inisiatif ini diciptakan oleh sebuah konsorsium yayasan swasta, surat kabar harian utama di Bogotá, dan Kamar Dagang. Hal ini tampaknya kini menjadi karakteristik permanen dari lanskap sosial.4 Bogotá Cómo Vamos melibatkan analisis ahli dan publikasi data secara luas tentang kinerja pemerintah kota, bersama dengan data dari survei opini publik tentang kualitas dan ketersediaan pelayanan oleh pemerintah kota. Inisiatif ini telah berhasil menekan pemerintah kota untuk memperbaiki kinerjanya. Hal ini juga telah merangsang pemerintah untuk mengumpulkan dan menerbitkan banyak informasi yang andal tentang kinerjanya. Peran lain yang dapat dijalankan masyarakat sipil adalah melakukan evaluasi. Sebagian pemerintah, seperti di Chile dan Kolumbia, telah memberikan kontrak kepada perguruan tinggi dan perusahaan-perusahaan konsultan untuk melakukan seluruh evaluasi sebagai bagian dari sistem P&E pemerintah. Salah satu alasan untuk mengontrakkan kepada pihak luar pekerjaan evaluasi itu, daripada dilakukan sendiri oleh para pejabat pemerintah, adalah agar evaluasi tersebut memiliki tingkat independensi, objektivitas dan kredibilitas yang lebih tinggi. Selain itu, hal itu dilakukan untuk menghindari potensi atau apa yang dipersepsikan sebagai konflik kepentingan yang dapat muncul dari evaluasi yang dilakukan sendiri oleh pemerintah. Alasan lainnya adalah ketersediaan keahlian untuk melakukan evaluasi di pihak pemerintah sering kali terbatas. Memberikan kontrak kepada pihak luar untuk melakukan evaluasi juga membantu memperbanyak para pelaku evaluasi di sebuah negara. Dan, ketika kebanyakan pemerintah mengumumkan hasil evaluasi tersebut—baik yang dilakukan dengan mengontrakkannya kepada pihak luar maupun yang dilakukan sendiri oleh kementerian dan badan-badan pemerintah—kualitas evaluasi menjadi terbuka untuk diselidiki oleh pihak luar. Pada gilirannya hal ini akan mencegah pemerintah untuk memproduksi hasil-hasil evaluasi yang tidak kritis, yang lebih berorientasi pada kepentingan dirinya sendiri, ataupun evaluasi yang tidak jujur. Kesimpulan Informasi pemantauan dan temuan-temuan evaluasi dapat memberi kontribusi pada terwujudnya tata pemerintahan yang baik melalui sejumlah cara: pembuatan kebijakan berbasis-bukti (termasuk pembuatan kebijakan anggaran), pengembangan kebijakan, manajemen dan akuntabilitas. Banyak pemerintah di seluruh dunia yang telah menyadari potensi ini, termasuk negara-negara anggota OECD dan sedikit negara berkembang,


21

namun yang jumlahnya semakin banyak. Hal ini diilustrasikan oleh 5 negara yang penggunaan intensif informasi P&E oleh mereka diringkaskan dalam bab ini. Negara-negara ini seluruhnya telah mengambil langkah-langkah purposif untuk menciptakan dan terus-menerus memperbaiki sistem P&E guna mendukung fungsi-fungsi inti pemerintahan. Berbagai kecenderungan yang memengaruhi pemerintah dan pelajaran-pelajaran dari pengalaman internasional dalam membangun sistem P&E pemerintah dibahas lebih lanjut masing-masing dalam Bab 4 dan Bab 5. Potensi peran penting masyarakat penting perlu pula ditekankan, baik sebagai penghasil maupun pengguna informasi P&E tentang kinerja pemerintah. Salah satu contoh adalah penggunaan kartu laporan (report cards) di Bangalore, yang telah berpengaruh terhadap pemerintah tingkat negara bagian maupun tingkat kota. Pendekatan kartu laporan telah ditiru-terapkan di banyak negara lain.

Bab 4 : Berbagai Kecenderungan Utama yang Memengaruhi Negara-negara: Mengapa Negara-negara Membangun Sistem P&E?

22

Bab 4

Berbagai kecenderungan utama yang memengaruhi negara-negara - Mengapa negara-negara membangun sistem P&E? Riset yang dilakukan OECD mengungkapkan bahwa terdapat berbagai siklus atau kecendrungan dalam tipe-tipe reformasi sektor publik yang diadopsi oleh negara-negara (misalnya, OECD, 1995, 1997a, 1997b, 1998b, 2004, 2005). Prioritas-proritas yang ditekankan oleh negara-negara maju selama era 1990-an meliputi privatisasi, standar pelayanan konsumen, manajemen berbasis-hasil, pemberian kontrak kepada pihak luar, kompensasi kinerja, desentralisasi dan penyusunan anggaran berbasis-kinerja. Berbagai kecenderungan serupa yang memengaruhi negara-negara berkembang, yang sebagian dari mereka secara sadar mencoba mengadopsi pendekatan praktik terbaik di seluruh dunia. Seperti telah dikemukakan sebelumnya, ini dapat menjadi konsep yang berbahaya bagi sistem P&E mengingat kebutuhan untuk menyesuaikan pendekatan tersebut dengan lingkungan dan prioritas negara. Pengaruh kecenderungan OECD terhadap negara-negara berkembang tampaknya berjalan terlambat beberapa tahun. Manfaat penting dari hal tersebut adalah negara-negara berkembang dapat belajar tentang keberhasilan dan kegagalan pelaksanaan di negara-negara lain. Dengan demikian, di Amerika Latin, sebagai misal, jelas bahwa semakin banyak negara—sekitar 20 negara—yang kini tengah berupaya untuk memperkuat sistem P&E pemerintah mereka (May dkk, 2006). Penjelasan kedua bagi kecenderungan ini ialah efek pembuktian yang diberikan oleh negara-negara pelopor, seperti Chile, Kolumbia, Meksiko dan Brazil. Ketiga, tekanan sosial-ekonomi yang sama mungkin lebih penting di Amerika Latin: hambatan makroekonomi dan anggaran yang terus terjadi; ketidakpuasan bahwa peningkatan pengeluaran pemerintah dalam sektor-sektor sosial tidak diimbangi


23

dengan peningkatan yang sepadan dalam kualitas atau kuantitas layanan yang diberikan; tekanan yang terus berlanjut agar pemerintah meningkatkan dan memperluas pemberian pelayanan dan bantuan pendapatan; semakin kuatnya tekanan untuk terwujudnya akuntabilitas pemerintah dan “kontrol sosial”—yakni akuntabilitas pemerintah yang lebih jelas kepada warga negara pada umumnya dan kepada kongres atau parlemen. Di Eropa Timur pengaruh tambahan juga terlihat. Negara-negara yang bergabung dalam Uni Eropa (UE) atau negara-negara calon anggota UE disyaratkan untuk memperkuat sistem P&E mereka, dan hal ini memberi dorongan lebih lanjut bagi kecenderungan tersebut (Boyle, 2005). Inisiatif-inisiatif dari pihak donor internasional, seperti Bank Dunia, juga memiliki pengaruh yang kuat terhadap negara-negara peminjam, khususnya negara-negara yang lebih bergantung pada bantuan internasional. Inisiatif pemberian keringanan utang yang dilakukan Bank Dunia untuk negara-negara miskin dengan jumlah utang yang sangat besar mensyaratkan—sebagai bentuk persyaratan yang ditetapkan oleh pihak donor—persiapan paper strategi pengurangan kemiskinan (poverty reduction strategy papers, PRSP) oleh negara-negara miskin tersebut, termasuk ukuran jangkauan keberhasilan negara tersebut dalam upaya-upaya pengurangan kemiskinan (IEG, 2002). Penekanan pihak donor pada pencapaian SPM (Sasaran Pembangunan Milenium) meniscayakan fokus serupa. PSRP mensyaratkan sebuah analisis terhadap sistem P&E masing-masing negara, khususnya kememadaian indikator kinerja yang tersedia. Namun, kebanyakan negara miskin mengalami kesulitan untuk memperkuat sistem pemantauan mereka, dari segi produksi data dan khususnya dari segi pemanfaatan data (Bank Dunia dan Dana Moneter Internasional, 2004; Bedi dkk., 2006). Pihak donor internasional sendiri menghadapi tekanan akuntabilitas yang kuat agar mereka membuktikan hasil dari milyaran dollar yang telah dikeluarkan setiap tahun dan agar mereka memberi penekanan yang lebih besar pada P&E. Bagi Bank Dunia, tekanan-tekanan tersebut telah membuahkan agenda hasil (results agenda), yang mencakup antara lain persyaratan bahwa strategi bantuan negara yang diberikan Bank Dunia difokuskan pada sejauh mana hasil-hasil telah benar-benar dicapai dan sejauh mana kontribusi Bank Dunia pada hasil-hasil tersebut (Bank Dunia, 2004a; IEG, 2006). Perkembangan ini telah mengantarkan pada fokus yang lebih besar pada ketersediaan informasi P&E tentang kinerja proyek-proyek Bank Dunia di berbagai negara, serta menyangkut isu-isu yang lebih luas tentang kinerja negara dalam kaitannya dengan sasaran-sasaran pembangunan. Pada gilirannya hal ini mengharuskan Bank Dunia untuk lebih mengandalkan sistem pemantauan yang dimiliki negara dan informasi yang dihasilkan.1 Kelemahan-kelemahan dalam sistem tersebut mendorong Bank Dunia untuk memberikan upaya lebih pada penyediaan dukungan untuk memperkuat sistem tersebut melalui pinjaman, hibah dan bantuan teknis Bank Dunia. Pada saat yang sama, ada semacam perubahan dalam hal pinjaman yang diberikan oleh Bank Dunia dan donor-donor lain, dari proyek yang didefinisikan secara sempit kepada pemberian pinjaman yang bersifat programatik. Ini melibatkan penyediaan paket


24

pendanaan (block funding), dengan akibat dukungan anggaran yang luas. Tidak didefinisikannya secara jelas kegiatan dan keluaran proyek dari pemberian pinjaman semacam itu juga mengharuskan adanya fokus pada gambaran besar mengenai hasil-hasil dari bantuan pembangunan. Pada gilirannya hal ini mengharuskan pihak donor untuk lebih bersandar pada sistem negara untuk statistik nasional dan untuk P&E program-program pemerintah. Tekanan serupa yang dihadapi oleh donor-donor lain telah melahirkan keterlibatan mereka yang lebih besar dalam isu-isu ini serta kerja sama mereka yang lebih besar. Salah satu sarana yang memungkinkan para donor untuk berbagi pengalaman menyangkut topik ini adalah Managing for Development Result Initiative, yang mempromosikan pengukuran, pemantauan dan pengelolaan yang lebih baik atas hasil-hasil oleh pihak donor maupun pemerintah. Inisiatif itu dibangun pada sebuah pertemuan bank-bank pembangunan multilateral di Monterrey, Meksiko pada 2002. Inisiatif ini telah melahirkan suatu program kegiatan-kegiatan yang ambisius, termasuk konferensi-konferensi tingkat tinggi di Marrakesh (2004), Paris (2005) dan Hanoi (2007). Inisiatif ini juga melibatkan persiapan untuk mengumpulkan lebih banyak bahan-bahan sumber daya dan studi-studi kasus dari negara-negara berkembang berkaitan dengan penerapan P&E dan manajemen kinerja pada tingkat nasional, sektor, program dan proyek.2 Kombinasi dari faktor-faktor di atas telah meningkatkan level keterlibatan donor dalam membangun atau memperkuat sistem P&E di negara-negara berkembang. Termasuk dalam upaya ini adalah fokus pada sistem statistik nasional yang mengukur kemajuan negara dalam kaitannya dengan Sasaran Pembangunan Milenium. Sebagian lainnya difokuskan pada sistem pemerintah untuk P&E atas kinerja pemerintah. (Pentingnya pembedaan ini dibahas dalam Bab 9). IEG memperkirakan bahwa pada 2002 Bank Dunia telah bekerja dengan lebih dari 30 negara berkaitan dengan pembangunan sistem tipe yang kedua (IEG, 2002). Jumlah negara-negara itu semakin bertambah sejak saat itu. Bank Dunia memiliki program regional untuk mendukung pembangunan sistem P&E di Amerika Latin, dan ini mencakup penciptaan komunitas praktik (community of practice) tingkat tinggi bagi para manajer sistem P&E dan kalangan lainnya. Bank Pembangunan Asia juga telah menciptakan komunitas praktik serupa,3 dan Bank Pembangunan Afrika juga telah mengumumkan komunitas serupa untuk Afrika. Pada 2005 Bank Pembangunan Antar-Amerika merintis sebuah program untuk mendukung negara-negara Amerika Latin dan di wilayah Karibia untuk membangun sistem P&E mereka; sekitar 20 negara telah menerima dukungan hibah melalui program ini. Donor-donor lainnya, seperti Department for International Development (DFID) Inggris, juga semakin aktif dalam wilayah ini. DFID, misalnya, memiliki fokus khusus pada sistem pemantauan kemiskinan dan pada penggunaan informasi kinerja untuk mendukung proses anggaran (misalnya, Booth dan Lucas, 2001a, 2001b; Roberts, 2003). Kecenderungan terakhir yang memengaruhi fokus pada P&E adalah pertumbuhan jumlah dan keanggotaan perhimpunan evaluasi pada tingkat nasional, regional dan global. Di Afrika, sebagai contoh, kini terdapat 16 asosiasi evaluasi tingkat nasional, dan sebagian


25

dari asosiasi-asosiasi tersebut (seperti di Nigeria, Rwanda, Kenya dan Afrika Selatan) khususnya aktif dalam tahun-tahun belakangan. Namun, mempertahankan tingkat aktivitas mereka merupakan suatu tantangan terus-menerus karena hal itu sangat tergantung pada kehadiran dan energi para pendukung di tingkat lokal. Terdapat pula sejumlah asosiasi regional, seperti African Evaluation Association (AfrEA), dan di Amerika Latin ada Preval dan asosiasi regional baru bernama ReLAC (Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe—Jaringan Evaluasi Amerika Latin dan Karibia). Pada tingkat internasional terdapat International Development Evaluation Association (IDEAS) dan International Organization for Cooperation in Evaluation. Asosiasi yang terakhir ini terdiri dari para kepala asosiasi evaluasi regional dan nasional.4 Lembaga-lembaga donor multilateral dan bilateral, termasuk Bank Dunia, telah memberikan pendanaan dan dukungan lainnya bagi sejumlah asosiasi evaluasi tersebut. Asosiasi-asosiasi di atas mencerminkan semakin tumbuhnya minat terhadap P&E dan semakin banyaknya individu-individu yang terlibat di bidang tersebut. Komunitas-komunitas praktik semacam itu berpotensi untuk memengaruhi kualitas kerja P&E dan dengan demikian memfasilitasi upaya-upaya pemerintah untuk memperkuat sistem P&E mereka. Sebagian asosiasi nasional, seperti RenSE di Nigeria, telah menjalin kerja sama yang erat dengan kalangan akademisi, konsultan, pejabat pemerintah, dan pejabat lembaga-lembaga donor. Konferensi-konferensi besar yang diadakan oleh asosiasi-asosiasi evaluasi regional dan global, seperti AfrEA dan IDEAS, juga telah mempertemukan para pihak-pihak terkait tersebut. Pertumbuhan ini berpotensi untuk menyebarluaskan kesadaran dan pengetahuan tentang P&E di kalangan pejabat pemerintah—dan dengan demikian meningkatkan tuntutan akan P&E.

26

BAGIAN II

PENGALAMAN BEBERAPA NEGARA

Fokus bagian II adalah tentang pengalaman sejumlah negara yang telah berhasil

membangun sistem P&E yang berfungsi dengan baik, di samping tentang Afrika.

Pertanyaan yang lazim dilontarkan oleh para menteri dan pejabat pemerintah yang

bersikap skeptis adalah apakah ada negara yang telah berhasil membangun sebuah sistem

P&E nasional? Jawaban atas pertanyaan ini jelas adalah “ya”. Banyak negara maju, dan

sedikit negara berkembang namun yang jumlahnya kian bertambah, yang telah berhasil

membangun sistem P&E keseluruhan pemerintah (whole-of-government M&E system).

Bab 5 menguraikan secara garis besar seperti apakah sistem P&E pemerintah yang

“berhasil”. Tiga dimensi keberhasilan dibahas. Tiga negara dengan sistem P&E

pmerintah yang “berhasil” tersebut—Chile, Kolumbia dan Australia—disajikan dalam

Bab 6, 7 dan 8. Kasus khusus P&E di Afrika, di mana terdapat berbagai hambatan

kapasitas yang sangat serius, diulas dalam Bab 9.

Bab 5 : Negara-negara dengan Praktik P&E yang Baik: Seperti Apakah P&E yang ”Berhasil”

27

Bab 5

Negara-negara dengan praktik P&E yang baik: Seperti apakah P&E yang “berhasil”? Para pejabat di negara berkembang tertarik dengan pengalaman pemerintah-pemerintah dengan sistem P&E yang berjalan dengan baik. Pemerintah-pemerintah tersebut telah mengakumulasikan berbagai pengalaman yang berguna tentang bagaimana sistem P&E berhasil dibangun dan dikelola—apa yang dilakukan, bagaimana melakukannya, dan perangkap-perangkap yang harus dihindari. Pemerintah-pemerintah ini juga membuktikan efektivitas-biaya P&E. Seperti telah dikemukakan dalam Bab 3, ada sejumlah bahaya jika kita berusaha untuk meniru-terapkan secara tidak kritis model negara lain. Di Amerika Latin, misalnya, banyak negara menoleh pada kasus Chile—yang memiliki sistem P&E yang sangat kuat dan disiplin—dan ingin menerapkannya pada negara mereka. Namun, Chile memiliki kombinasi karakteristik yang khusus dan sangat jarang: sistem anggaran yang sangat terpusat, menteri keuangan yang sangat mumpuni serta amat berpengaruh; kementerian-kementerian dan badan-badan tingkat sektor yang mengikuti secara ketat berbagai aturan dan prosedur yang ditetapkan oleh kementerian keuangan, pegawai negeri yang disiplin, serta komunitas akademis yang sangat kapabel. Ini semua adalah faktor-faktor keberhasilan bagi sistem P&E pemerintah Chile. Namun, persoalannya, hanya ada satu pemerintah Chile. Ini bukan hendak mengatakan bahwa pengalaman Chile, atau negara-negara lain dengan sistem P&E yang berhasil, tidak relevan bagi negara-negara lainnya, bahkan dengan negara-negara yang memiliki administrasi publik yang lemah. Proses membandingkan sebuah negara dengan negara lain yang memiliki sistem P&E yang berhasil adalah hal yang sangat berguna. Hal itu membantu menyingkap alasan-alasan bagi keberhasilan tersebut, serta memperlihatkan seberapa mudah atau sulit keberhasilan itu dapat ditiru di negara-negara lain.


28

Konsep sistem P&E yang sukses juga perlu dikaji. Definisi yang digunakan dalam buku ini adalah sebagai berikut:

Pelembagaan P&E yang berhasil melibatkan pembentukan sistem P&E yang berjalan dengan baik dan berkelanjutan di dalam suatu pemerintahan, di mana informasi P&E yang berkualitas baik digunakan secara intensif.

Tiga dimensi keberhasilan ditekankan di sini:

1. Penggunaan informasi P&E. Informasi itu digunakan melalui salah satu atau lebih dari empat cara mendasar yang diuraikan secara garis besar pada Bab 3, yakni untuk mendukung pembuatan kebijakan pemerintah, termasuk penyusunan anggaran berbasis-kinerja atau perencanaan nasional; untuk pengembangan dan analisis kebijakan, serta pengembangan program; untuk manajemen program dan proyek; atau untuk tujuan akuntabilitas. Pemanfaatan informasi P&E tentu saja dapat berkisar mulai dari nol hingga tingkat yang substansial (atau intensif). Penggunaan yang intensif dapat dilihat sebagai sesuatu yang mencerminkan pengarusutamaan P&E dalam fungsi pemerintah. Hal yang mengejutkan ialah bahwa kebanyakan pelaku evaluasi dan kantor evaluasi pada lembaga pemerintah dan organisasi donor kurang atau bahkan tidak mengetahui sejauh mana temuan-temuan evaluasi mereka digunakan atau tidak digunakan oleh pihak lain.

2. Informasi P&E yang berkualitas baik. Tiap-tiap pemerintah cukup berbeda-

beda dalam melakukan apa yang disebut “P&E”. Sebagian pemerintah menekankan sistem indikator kinerja—yang difokuskan pada tujuan pembangunan nasional; tujuan kementerian; serta pada tingkat yang lebih rendah terkait dengan keluaran, pemberian pelayanan dan proses-proses pada tingkat kementerian. Sebagian pemerintah yang lain memfokuskan pada pelaksanaan berbagai jenis evaluasi, seperti tinjauan cepat, evaluasi dampak yang cermat, atau jenis-jenis dan metode-metode evaluasi yang lain. Ada berbagai standar untuk mengukur P&E, guna menentukan apakah P&E tersebut berkualitas baik atau tidak.1 Kebanyakan kantor evaluasi memiliki semacam mekanisme kontrol kualitas. Namun, kebanyakan tampaknya tidak melakukan evaluasi formal terhadap kualitas kerja P&E mereka.

3. Kesinambungan. Hal ini terkait dengan kemungkinan bahwa sistem P&E akan

bertahan menghadapi perubahan dalam pemerintahan atau pergantian menteri-menteri dan para pejabat tinggi pemerintah. Ketika pengunaan informasi P&E tertanam kuat—yakni diarusutamakan—dalam proses-proses inti pemerintahan, seperti siklus anggaran, maka dapat dikatakan P&E telah terlembagakan, dan kemungkinan akan dapat bertahan sepanjang waktu. Sebaliknya, ketika P&E hanya didukung oleh sedikit orang atau digunakan sedikit, atau jika P&E lebih banyak dibiayai oleh pihak donor daripada pihak pemerintah sendiri, maka kemungkinan P&E tidak akan bertahan.


29

Tiga studi kasus tentang negara-negara dengan praktik sistem P&E pemerintah yang baik disajikan dalam bab-bab selanjutnya: Chile, Kolumbia dan Australia. Dipaparkan pula tinjauan mendalam terhadap sistem P&E mereka (Rojas dkk., 2005; MacKay dkk., 2007; MacKay, 2004). Tidak satu pun dari tiga negara tersebut yang dapat dikatakan menampilkan sistem P&E yang “sempurna” dari segi dimensi-dimensi keberhasilan yang telah diuraikan di atas. Masing-masing memiliki kekuatan dan kelemahan, seperti yang akan menjadi jelas dalam pembahasan berikut.

Bab 6 : Chile

30

Bab 6

Chile

Pemerintah Chile secara progresif telah mengembangkan sistem P&E selama bertahun-tahun, dan sebagian besar dari perkembangan itu terjadi sejak 1994. Sistem itu sebagian besar dirancang, diimplementasikan dan dikelola oleh Kementerian Keuangan yang berpengaruh, yang secara keseluruhan bertujuan untuk memperbaiki kualitas pengeluaran publik.

Pengembangan sistem juga dipengaruhi oleh tekanan-tekanan fiskal dan kebutuhan membatasi pengeluaran pemerintah secara keseluruhan. Pengaruh lainnya adalah perubahan lanskap akibat reformasi sektor publik. Dalam konteks ini, sistem tersebut telah dikembangkan secara oportunistik (yaitu, berdasarkan peluang-peluang yang muncul di tengah jalan—penerj.).

Komponen-komponen utama sistem P&E

Sistem ini memiliki 6 komponen utama. Komponen pertama yang telah berlangsung lama adalah analisis biaya-manfaat ex ante terhadap seluruh proyek investasi. Komponen ini pertama kali diperkenalkan pada 1974, dan menjadi tugas Kementerian Perencanaan. Seluruh komponen lain sistem P&E pemerintah dipusatkan di Kementerian Keuangan. Seperti dikemukakan dalam Bab 5, Chile memiliki Kementerian Keuangan yang berperngaruh dan mumpuni. Kementerian ini memainkan peranan yang dominan dalam proses anggaran dan dalam sistem P&E. Kementerian ini jauh lebih berpengaruh daripada kementerian-kementerian dan badan-badan tingkat sektor.

Komponen kedua sistem P&E Chile adalah indikator kinerja, yang pertama kali dirintis pada 1994 (lihat Kotak 6.1). Kementerian Keuangan kini menghimpun sekitar 1.550 indikator kinerja untuk seluruh sektor.

Kotak 6.1: Sistem P&E Keseluruhan Pemerintah di Chile Enam komponen utama sistem P&E Chile adalah sebagai berikut: Analisis manfaat-biaya ex-ante diwajibkan untuk seluruh proyek pemerintah (sejak 1974). Komponen ini dikelola oleh Kementerian Perencanaan. Inilah satu-satunya komponen yang tidak dikelola oleh Kementerian Keuangan.

Bab 6 : Chile

31

Indikator kinerja dikumpulkan untuk seluruh program pemerintah. Indikator kinerja pertama kali diperkenalkan melalui sebuah program percontohan pada 1994. Jumlah indikator kinerja telah meningkat dengan cepat pada tahun-tahun belakangan, dari 275 pada 2001 menjadi sekitar 1.550 pada saat ini. Dari jumlah tersebut, sebanyak 25 persen berkaitan dengan isu-isu proses, 57 persen terkait dengan keluaran pemerintah (yaitu, barang dan jasa yang dihasilkan), dan 18 persen terkait dengan hasil (outcomes). Masing-masing kementerian dan badan pemerintah memberikan informasi kepada Kementerian Keuangan. Ada sekitar 11 indikator per lembaga. Lembaga-lembaga pemerintah diharapkan melaksanakan sistem informasi manajemen untuk menghasilkan informasi tersebut. Kementerian Keuangan melakukan pengecekan data dan audit data, serta memasukkan informasi kinerja dalam rancangan anggaran yang disiapkan olehnya setiap tahun. Laporan manajemen komprehensif (1996). Masing-masing kementerian dan badan pemerintah menyiapkan laporan ini setiap tahun, berdasarkan pedoman yang diberikan Kementerian Keuangan. Laporan tersebut dimaksudkan sebagai dokumen utama yang akan disampaikan kepada publik. Laporan tersebut memaparkan tentang pengeluaran, penggunaan dana, dan kinerja. Oleh sebab itu, laporan tersebut terutama bersandar pada informasi kinerja yang harus dibuat oleh lembaga-lembaga pemerintah dan pada evaluasi-evaluasi yang dilakukan oleh Kementerian Keuangan. Laporan itu juga memaparkan kemajuan yang dicapai oleh lembaga pemerintah dalam mencapai komitemen kelembagaan formal yang telah disepakati dengan Kementerian Keuangan. Hal itu mencakup langkah-langkah spesifik yang telah dijanjikan oleh lembaga pemerintah untuk dilaksanakan guna memperbaiki kinerjanya. Draf laporan ditelaah oleh Kementerian Keuangan dan kementerian di bawah kantor kepresidenan, dan lembaga-lembaga membuat berbagai revisi yang diperlukan. Versi akhir laporan tersebut dikirim ke Kongres. Evaluasi program-program pemerintah (1996). Sekitar 185 tinjauan cepat (rapid reviews) telah dilakukan hingga saat ini (yaitu, hingga akhir 2006). Tinjauan ini mencakup klarifikasi dan kesepakatan (antara Kementerian Keuangan dan kementerian atau badan pemerintah yang programnya tengah dievaluasi) menyangkut sasaran-sasaran program yang terperinci. Analisis logframe dan tinjauan data sekunder (desk review) terhadap kinerja program dilakukan, berdasarkan informasi kinerja yang tersedia. Biaya rata-rata evaluasi tersebut sekitar 11.000 dollar, dan biasanya memakan waktu 4 hingga 6 bulan untuk diselesaikan. Evaluasi dampak yang cermat (2001). Evaluasi ini melibatkan pengumpulan data primer, analisis data yang canggih, dan seringkali penggunaan kelompok pembanding (control group). Sebanyak 18 evaluasi telah diselesaikan sejauh ini, dengan biaya rata-rata sebesar 88.000 dollar, dan memerlukan waktu hingga 18 bulan untuk diselesaikan. Di luar pengeluaran bidang pertahanan dan pengeluaran untuk gaji, lebih dari 60 persen pengeluaran pemerintah telah dievaluasi hingga saat ini.

Bab 6 : Chile

32

Tinjauan pengeluaran komprehensif (2002). Tinjauan ini melakukan penilaian terhadap seluruh program dalam area fungsional atau kementerian tertentu. Tinjauan ini mengkaji isu-isu inefisiensi dan duplikasi program. Delapan dari tinjauan atas data sekunder (desk reviews) telah dilakukan sejauh ini, dengan biaya rata-rata sebesar 48.000 Komponen ketiga—laporan manajemen komprehensif—diperkenalkan pada 1996. Laporan ini disiapkan setiap tahun oleh tiap-tiap kementerian dan badan, yang berisi laporan tentang sararan, pengeluaran dan kinerja mereka.

Komponen keempat adalah evaluasi terhadap program-program pemerintah, yang dimulai pada 1996. Evaluasi ini mengikuti suatu format yang telah distandarkan dan berupa tinjauan cepat (rapid reviews), yang meliputi analisis kerangka-kerja logis (logframe analysis) atas sebuah program, tinjauan terhadap data sekunder (desk reivew), dan analisis terhadap data yang sudah ada. Evaluasi dampak yang cermat (rigorous impact evaluation) merupakan komponen yang kelima. Komponen ini diperkenalkan pada 2001, yang mencakup pengumpulan dan analisis data primer yang biasanya didasarkan teknik-teknik statistik yang canggih.

Komponen P&E keenam yang baru diperkenalkan pada 2002 adalah tinjauan pengeluaran yang bersifat menyeluruh (comprehensive spending review). Tinjauan ini menganalisis seluruh program dalam wilayah fungsional tertentu dan membahas isu seperti inefisiensi dan duplikasi program.

Karakteristik sistem Chile yang patut dipuji ialah “pendekatan bertahap”-nya terhadap sistem P&E. Secara teratur sistem ini mengumpulkan informasi kinerja untuk seluruh program dan kegiatan. Informasi ini juga digunakan dalam evaluasi. Evaluasi terhadap program-program pemerintah dilakukan secara selektif, khususnya untuk program-program yang lebih baru. Evaluasi dampak yang lebih mendalam selanjutnya dilakukan pada saat berlangsungnya program, khususnya ketika dampak itu tidak diketahui atau ketika program itu merupakan prioritas pemerintah.

Penyusunan Anggaran Berbasis-Kinerja

Sejumlah ciri sistem P&E Chile penting bagi beroperasinya sistem tersebut. Mereka menentukan seberapa banyak informasi P&E yang dihasilkan sistem itu digunakan. Salah satu ciri tersebut ialah kaitan erat antara sistem P&E dan siklus anggaran tahunan. Bahaya terhadap sistem P&E manapun—baik sistem pemerintah secara keseluruhan maupun sistem sektoral—ialah jika P&E dikelola oleh sebuah unit spesialis yang berdiri sendiri, yang terpisah dari kegiatan-kegiatan utama kementerian pengelola P&E. Di Chile 5 komponen sistem P&E, yang merupakan tanggung jawab Kementerian Keuangan, dikelola oleh divisi kendali manajemen Kementerian tersebut. Divisi ini bekerja sama erat dengan direktur anggaran, yang kepadanya divisi itu melapor—dan yang memiliki kedudukan setara dengan kementerian serta merupakan anggota Kabinet—dan juga dengan seksi-seksi anggaran yang bertanggung jawab mengawasi keuangan dan kinerja seluruh kementerian sektor dan badan-badan pemerintah.

Bab 6 : Chile

33

Indikasi-indikasi mengenai kinerja program yang buruk digunakan di Chile sebagai satu pemicu untuk memberi pembenaran untuk dilakukannya investigasi yang lebih mendalam terhadap sebab-sebab kinerja yang buruk itu, melalui sebuah evaluasi formal: baik melalui evaluasi cepat ataupun evaluasi dampak yang canggih. Direktorat anggaran Kementerian Keuangan memainkan peranan penting dalam mengidentifikasi program-program pemerintah yang perlu dievaluasi. Dalam menyiapkan agenda evaluasi ini, Kementerian Keuangan berupaya mengantisipasi kebutuhan informasi untuk anggaran mendatang.

Agenda ini juga dibahas bersama dengan kementerian di bawah Presiden dan Kementerian Perencanaan—bahkan ketiga kementerian utama ini menjadi anggota dari komite antarkementerian yang mengawasi seluruh evaluasi—dan dengan Kongres. Namun, jelas bahwa pemain utamanya adalah Kementerian Keuangan. Kepala-kepala seksi anggaran di Kementerian Keuangan juga diharuskan memberikan komentar terperinci mengenai laporan evaluasi terkait dengan lembaga-lembaga yang menjadi tanggung jawab mereka untuk awasi, dan evaluasi itu kemudian dibahas bersama dengan direktur anggaran Kementerian Keuangan. Keputusan mengenai alokasi anggaran mungkin diambil pada tahap ini.

Selama proses anggaran, direktur anggaran bertemu dengan para staf dari divisi kendali manajemen dan seksi-seksi anggaran untuk membahas proposal anggaran masing-masing lembaga dan kinerja keseluruhan lembaga bersangkutan. Laporan ini membahas laporan manajemen komprehensif yang harus disediakan oleh masing-masing lembaga1 Laporan itu mencakup sasaran lembaga, informasi keuangan dan kinerja, temuan-temuan evaluasi, dan kemajuan yang dicapai dibandingkan dengan target-target kinerja2 yang ditetapkan pada saat periode anggaran sebelumnya.

Informasi P&E tersebut menjadi suatu masukan penting bagi pembuatan keputusan anggaran, namun itu hanya merupakan salah satu di antara masukan-masukan lainnya. Seperti dikemukakan dalam Bab 3, jarang sekali terdapat hubungan yang bersifat otomatis dan langsung antara kinerja baik atau buruk sebuah lembaga dan alokasi anggaran. Karena itu, dalam sebagian kasus, kinerja buruk sebuah lembaga boleh jadi berakibat pada pengurangan anggaran, atau penghentian sama sekali sebuah program. Namun, dalam sebagian kasus yang lain, kinerja buruk sebuah program yang dianggap sebagai prioritas pemerintah dapat saja mengharuskan peningkatan pembiayaan anggaran untuk jangka pendek guna memperbaiki masalah-masalah yang telah diidentifikasi.

Perbaikan Manajemen

Ciri yang menonjol dari Chile adalah cara Kementerian Keuangan menggunakan informasi P&E untuk memperbaiki kinerja kementerian dan badan-badan pemerintah. Hal itu dilakukan melalui dua cara. Pertama, indikator kinerja memberikan patokan awal kinerja program, dan Kementerian Keuangan menyepakati bersama masing-masing lembaga target-target kinerja untuk tahun anggaran berikutnya. Kementerian Keuangan memantau sejauh mana target-target tersebut dicapai. Pada 2003, misalnya, sekitar tiga

Bab 6 : Chile

34

perempat dari target-target tersebut dapat dicapai.3 Kedua, ketika Kementerian Keuangan mempertimbangkan saran-saran yang dihasilkan oleh evaluasi yang dilakukannya, Kementerian Keuangan membahasnya dengan lembaga-lembaga yang dievaluasi dan menyetujui perubahan-perubahan terhadap program. Selanjutnya, Kementerian Keuangan memberlakukan kesepakatan-kesepakatan tersebut—yang dikenal sebagai komitmen formal—pada lembaga-lembaga itu. Hal yang cukup unik ialah Kementerian Keuangan memaksakan secara sistematis perubahan-perubahan manajemen tersebut pada berbagai kementerian dan badan. Kementerian Keuangan Chile mampu melakukan hal ini karena peranannya yang berpengaruh di tubuh pemerintahan.

Tabel 6.1 memperlihatkan bagaimana Kementerian Keuangan menggunakan evaluasi-evaluasi yang telah dilakukannya. Hal itu meliputi perubahan kecil terhadap manajemen program (24 persen dari program yang dievluasi); perubahan besar (38 persen); perancangan ulang program atau organisasi yang substansial (25 persen); relokasi kelembagaan program (5 persen); dan penghentian program (8 persen).

Tabel 6.1: Penggunaan Evaluasi Pemerintah, 2000-2005a

Efek terhadap program

Penyesuaian kecil program, misalnya, perbaikan proses atau sistem informasi

Penyesuaian besar manajemen proses, misalnya, perubahan kriteria target, atau sistem informasi baru

Perancangan ulang mendasar terhadap program atau struktur organisasi

Relokasi kelembagaan program

Penghentian program

Persentase program yang terkena efek

24

38

25

5

8

Sumber: Guzman, 2007 a. Persentase dari program-program yang dievaluasi

Kekuatan dan Kelemahan Sistem P&E Chile

Sistem Chile dapat dinilai menurut tiga kriteria sistem P&E yang berhasil: penggunaan yang tinggi, P&E yang berkualitas baik, dan sustainibilitas atau kesinambungan. Seperti telah dikemukakan, informasi P&E digunakan secara intensif dalam analisis dan pembuatan keputusan menyangkut anggaran. Informasi itu juga digunakan untuk mendesakkan perbaikan-perbaikan program pada kementerian-kementerian dan badan-badan pemerintah. Terakhir, informasi P&E digunakan ketika menyusun laporan tentang kinerja pemerintah kepada Kongres dan masyarakat sipil.

Namun, apa yang belum tampak dari hal-hal tersebut di atas adalah penggunaan informasi P&E oleh kementerian-kementerian dan badan-badan pemerintah sendiri (selain dari perubahan-perubahan program yang didesakkan Kementerian Keuangan atas kementerian dan badan). Evaluasi yang baru-baru ini dilakukan oleh Bank Dunia

Bab 6 : Chile

35

terhadap sistem P&E Chile menemukan bahwa tingkat penggunaan tersebut rendah (Rojas dkk., 2005).4 Alasan utama bagi hal itu adalah rendahnya tingkat rasa kepemilikan—atau tingkat penerimaan—terhadap temuan-temuan evaluasi yang dilakukan oleh Kementerian Keuangan. Kelemahan sistem P&E Chile tersebut diakibatkan oleh sifat P&E yang bersifat terpusat dan dipaksakan.

Keterbatasan lain dari sistem Chile yang bersifat terpusat adalah tidak adanya insentif bagi kementerian-kementerian dan badan-badan untuk melakukan sendiri evaluasi.

Bukti yang tersedia mengenai kualitas informasi pemantauan dan evaluasi yang dilakukan oleh sistem P&E bahwa kualitas informasi itu secara umum memadai dan informasi P&E itu secara umum dapat diandalkan—namun tidak lebih baik dari itu. Meskipun verifikasi data dan sebagian audit data dilakukan, namun tidak ada pendekatan sistematis untuk melakukan audit data terhadap informasi kinerja.

Kementerian Keuangan memberikan kontrak pelaksanaan evaluasi kepada kalangan perguruan tinggi dan perusahaan konsultan guna memastikan bahwa evaluasi itu dilakukan secara independen. Kerangka acuan (TOR) yang telah distandarisasi digunakan untuk evaluasi, dan hal ini membantu mencapai keseragaman menyangkut isu-isu yang dievaluasi dan metode-metode yang digunakan. Namun, ketiadaan data terkadang memunculkan hambatan bagi kualitas evaluasi dan metode-metode evaluasi yang digunakan. Evaluasi dilakukan dalam batasan waktu yang ketat agar temuan evaluasi dapat menjadi masukan bagi analisis dan pembuatan keputusan menyangkut anggaran oleh Kementerian Keuangan. Kementerian Keuangan juga menetapkan bahwa evaluasi itu dilakukan dengan biaya yang serendah mungkin. Keterbatasan waktu dan anggaran ini terkadang melahirkan ketidakmampuan untuk mengumpulkan data primer yang dibutuhkan untuk melakukan evaluasi dampak yang cermat, misalnya.5

Sistem P&E Chile tampaknya sangat mungkin berkesinambungan. Para direktur anggaran di Kementerian Keuangan telah bekerja untuk mengembangkan secara progresif sistem P&E sebagai bagian integral proses anggaran, dan P&E kini dilekatkan sebagai fungsi inti Kementerian Keuangan. Dengan peran Kementerian Keuangan yang sangat berpengaruh, tampaknya tidak ada kecenderungan atau tekanan yang dapat mengurangi prioritas yang telah diberikan pada P&E. Seperti telah dikemukakan, salah satu kelemahannya adalah rendahnya tingkat rasa kepemilikan terhadap P&E pada kementerian-kementerian dan badan-badan tingkat sektor. Hal ini sebagian telah menyebabkan hilangnya peluang bagi pemerintah secara keseluruhan untuk menggunakan informasi P&E secara lebih intensif. Hal ini juga telah menyebabkan hilangnya kesempatan untuk mencapai budaya kinerja yang lebih kuat di dalam lembaga-lembaga tingkat sektor tersebut.

Dengan demikian, sustainibilitas atau keberlanjutan sistem P&E bersandar pada kemauan dan kemampuan Kementerian Keuangan untuk terus menerus menggerakkan sistem tersebut secara terpusat. Seandainya pemerintah memutuskan untuk mengurangi kekuasaan sentral Kementerian Keuangan, maka kekuatan dan penggunaan sistem P&E

Bab 6 : Chile

36

oleh Kementerian Keuangan mungkin akan menghadapi persoalan. Daftar lebih terlebih terperinci mengenai kekuatan dan kelemahan sistem Chile disajikan di dalam tabel 6.2. Tabel 6.2: Kekuatan dan Kelemahan Sistem P&E Chile Kekuatan Kelemahan • Pendekatan P&E yang “bertahap”. • Evaluasi dilakukan oleh pihak luar, dalam sebuah

proses yang sepenuhnya transparan, dan dipandang sangat kredibel oleh kementerian-kementerian lain dan Kongres.

• Seluruh informasi P&E dilaporkan kepada publik dan dikirim ke Kongres.

• Sistem P&E terkait erat dengan kebutuhan informasi oleh Kementerian Keuangan, khususnya untuk proses anggaran. Tingkat penggunaan informasi P&E sangat tinggi dalam penyusunan anggaran.

• Informasi kinerja digunakan untuk menetapkan target kinerja bagi kementerian dan badan pemerintah; target tersebut sebagian besar tercapai.

• Kementerian Keuangan menggunakan temuan-temuan evaluasi untuk memaksakan perubahan-perubahan manajemen pada kementerian-kementerian dan badan-badan pemerintah.

• Kementerian Keuangan memantau secara ketat jangkauan penggunaan temuan-temuan evaluasinya.

• Kualitas evaluasi yang dilakukan tidak merata; hal ini mugkin disebabkan oleh keterbatasan biaya dan waktu yang ditetapkan oleh Kementerian Keuangan.

• Chile mungkin tidak menyediakan pengeluaran yang memadai untuk evaluasi.

• Tingkat penggunaan temuan-temuan evaluasi oleh kementerian-kementerian sektor rendah—disebabkan oleh rendahnya tingkat rasa kepemilikan.

• Tidak terlihat adanya insentif bagi kementerian-kementerian dan badan-badan pemerintah untuk melakukan sendiri evaluasi.

Kesimpulan Pemerintah Chile telah berhasil menciptakan sebuah sistem di mana informasi pemantauan dan temuan-temuan evaluasi dari sistem itu digunakan secara intensif, terutama dalam proses penyusunan anggaran. Pemerintah Chile juga telah berhasil menggerakkan perbaikan-perbaikan manajemen dalam kementerian-kementerian dan badan-badan tingkat sektor. Sistem P&E mencakup apa yang sesungguhnya merupakan “pabrik evaluasi” (“evaluation factory”), untuk merencanakan, mengarahkan, mengelola, melaporkan dan menggunakan evaluasi. Pendekatan ini berhasil menjaga agar biaya evaluasi tetap rendah, sehingga keseluruhan biaya sistem evaluasi juga rendah. Setiap tahun Kementerian Keuangan membelanjakan sekitar 0,75 juta dollar untuk sistem P&E,6 suatu angka yang sangat rendah dibandingkan dengan total anggaran pemerintah sebesar 20 miliar dollar.

Penggunaan informasi P&E yang sangat intensif tersebut sungguh mengesankan, dan hal ini saja telah membuat sistem P&E Chile sebagai sistem yang terkuat di Amerika Latin dan salah satu sistem yang paling kokoh di dunia. Chile telah membuktikan bahwa sistem P&E pemerintah secara keseluruhan dapat dibangun dan dioperasikan dengan biaya yang

Bab 6 : Chile

37

relatif rendah. Banyak pemerintah lain di kawasan Amerika Latin yang mencoba meniru sistem P&E Chile, walaupun sejumlah faktor keberhasilan Chile tampaknya bersifat unik, seperti peran Kementerian Keuangan yang sangat berpengaruh dan kesediaan kementerian-kementerian dan badan-badan sektor untuk menjalankan saran-saran perbaikan yang didesakkan oleh Kementerian Keuangan.

Sistem P&E Chile tampaknya sangat efektif dari segi biaya. Kementerian Keuangan memanfaatkan secara intensif informasi P&E yang dihasilkan dan hal itu dilakukan dengan biaya yang relatif rendah. Satu masalah yang perlu dipertimbangkan pemerintah adalah apakah pemerintah telah mengalokasikan anggaran yang cukup untuk bagi sistem P&E. Evaluasi yang canggih dan bercakupan luas dapat menghabiskan biaya yang jauh lebih besar dari yang selama ini telah dikeluarkan Chile untuk melakukan evaluasi pada masa sebelumnya.

Di Meksiko, misalnya, serangkaian evaluasi dampak yang cermat terhadap Progresa, yakni bantuan tunai bersyarat pada 1990-an, menghabiskan biaya beberapa juta dollar, dibandingkan dengan total pengeluaran pemerintah untuk program tersebut sebesar 780 juta dollar pada 1999. Dengan demikian, biaya evaluasi tersebut hanya merupakan sebagian kecil dari total pengeluaran pemerintah untuk program tersebut. Evaluasi tersebut telah sangat berpengaruh dalam meyakinkan pemerintah-pemerintah selanjutnya tidak hanya untuk mempertahankan program itu, tetapi juga untuk meningkatkan skalanya secara signifikan. Pada 2005 pemerintah menghabiskan sekitar 6 miliar dollar setiap tahun untuk program tersebut (yang namanya diganti menjadi Oportunidades), yang menjangkau sekitar 21 juta pemanfaat, atau sekitar seperlima dari penduduk Meksiko.

Satu persoalan yang perlu dipertimbangkan pemerintah Chile adalah apakah ia akan pernah mengeluarkan dana yang besar untuk melakukan evaluasi terhadap salah satu programnya, bahkan jikapun itu adalah salah satu program yang merupakan prioritas pemerintah. Keengganan untuk mengeluarkan biaya yang memadai untuk evaluasi akan membatasi kedalaman dan reliabilitas temuan-temuan evaluasi, dan hal ini mungkin mungkin menjadi penyebab bagi problem kualitas dari sebagian evaluasi yang dilakukan Kementerian Keuangan.

Terakhir, tingkat penggunaan yang rendah temuan-temuan evaluasi oleh kementerian-kementerian dan badan-badan tingkat sektor merupakan peluang yang belum tergarap oleh pemerintah. Salah satu cara agar Kementerian Keuangan dapat mencapai tingkat kepemilikan yang lebih besar terhadap temuan-temuan evaluasi dan serta untuk mendorong berkembangnya budaya kinerja di kalangan pegawai negeri secara keseluruhan adalah melakukan pendekatan yang agak kurang tersentralisasi dan lebih bersifat kolegial dalam hal perencanaan dan pengawasan terhadap evaluasi-evaluasi yang dilakukan. Basis dukungan yang lebih luas bagi P&E di tubuh pemerintahan juga akan meningkatkan kemungkinan sustainibilitas atau keberlanjutan sistem P&E Chile.

Bab 7 : Kolumbia

38

Bab 7

Kolumbia

Pada 1991 pemerintah Kolumbia memutuskan untuk menciptakan sebuah sistem P&E, yang pada mulanya didasarkan atas pendekatan evaluasi yang dilakukan oleh Bank Dunia. Selanjutnya persyaratan konstitusional dibuat pada tahun itu, yang kemudian segera diikuti oleh Bank Dunia dan lembaga-lembaga donor lainnya dengan menyediakan serangkaian dukungan teknis dan finansial. Pemerintah juga membuat seperangkat undang-undang, keputusan dan aturan guna mendukung sistem P&E.

Pada tahun-tahun awal, penekanan utama sistem itu adalah lebih pada informasi pemantauan daripada evaluasi. Sistem itu telah bersinar, namun kemudian meredup. Bahkan, pada 2000 pemerintah Kolumbia mempertimbangkan untuk menghapus sistem tersebut karena pemerintah melihat kesulitan-kesulitan dalam pengelolaan sistem itu, di samping adanya keraguan menyangkut relevansi sistem itu dengan agenda pemerintah untuk reformasi sektor publik.

Angin baik perubahan mendasar datang dengan terpilihnya presiden berhaluan reformis pada 2002. Presiden mengungkapkan kekecewaannya dengan mengatakan bahwa peningkatan besar pengeluaran pemerintah dalam sektor-sektor seperti pendidikan dan pelayanan kesehatan tidak diiringi dengan peningkatan yang sebanding dalam hal kinerja (keluaran dan hasil) dalam sektor-sektor tersebut. Pada saat yang sama, ia sangat berkomitmen pada kultur baru administrasi publik yang didasarkan atas akuntabilitas sosial—atau kontrol masyarakat. Presiden menegaskan kembali komitmen pemerintah pada sistem P&E yang diperbarui, dan ini diikuti dengan suntikan segar dukungan lembaga-lembaga donor. Langkah-langkah tersebut dengan cepat memperkuat sistem P&E Kolumbia.

Komponen-komponen utama sistem P&E

Ada dua komponen utama sistem P&E Kolumbia, yang dikenal dengan singkatan dalam bahasa Spanyol SINERGIA (Sistema Nacional de Evaluación de Resultados la Gestión Pública atau Sistem Nasional Evaluasi Kinerja Sektor Publik), di samping sejumlah komponen lainnya yang telah atau kini tengah dirintis. Komponen yang paling tampak dan paling banyak digunakan adalah sistem untuk memantau kemajuan yang dicapai dalam kaitannya dengan 320 tujuan kepresidenan dan tujuan pembangunan negara (sebagaimana dituangkan dalam rencana pembangunan nasional negeri itu).

Bab 7 : Kolumbia

39

Komponen pertama adalah SIGOB (Sistema de Progamación y Gestión por Objectivos y Resultados atau Sistem Penyusunan Program dan Manajemen berdasarkan Sasaran dan Hasil). Sistem ini merekam tujuan, strategi, kinerja awal dan kinerja target, dan jumlah dana yang dibelanjakan untuk program tersebut. Para manajer tujuan (goal managers) juga diharuskan untuk memberikan penjelasan terperinci sekiranya tujuan-tujuan program tidak tercapai. Seluruh informasi ini, termasuk perincian kontrak untuk masing-masing manajer tujuan, disediakan untuk publik di situs web pemerintah (http://www.sigob.gov.co/ini). Presiden menggunakan informasi SIGOB secara intensif untuk kontrol politik dan sosial.1

Komponen utama kedua SINERGIA adalah serangkaian evaluasi yang dilakukan pemerintah (lihat Kotak 7.1). Pada akhir 2006, 15 evaluasi tengah dilakukan atau baru saja diselesaikan, selain 22 evaluasi lainnya yang direncanakan untuk 5 tahun berikutnya. Total biaya berbagai evaluasi tersebut adalah 11,1 juta dollar. Berbeda dengan di Chile, di Kolumbia tidak ada standarisasi atau pembakuan terhadap jenis-jenis evaluasi. Chile telah membakukan kerangka acuan (TOR), pendekatan evaluasi, dan batasan biaya untuk tiap-tiap jenis evaluasi yang dilakukan Kementerian Keuangan. Tiga jenis utama evaluasi di Kolumbia adalah evaluasi dampak yang cermat, evaluasi “kelembagaan”, dan evaluasi “manajemen”—dua jenis evaluasi yang terakhir difokuskan pada isu-isu manajemen dan proses. Jenis evaluasi yang paling mahal (menghabiskan sekitar 2 juta dollar) adalah evaluasi dampak yang cermat terhadap bantuan tunai bersyarat.

Kotak 7.1 Sistem P&E Keseluruhan Pemerintah di Kolumbia Komponen-komponen utama sistem P&E Kolumbia adalah sebagai berikut: Ada sekitar 500 indikator kinerja yang berkaitan dengan 320 tujuan kepresidenan, dan untuk setiap indikator, SIGOB merekam sasaran, strategi untuk mencapai sasaran tersebut, kinerja awal, target tahunan, kinerja aktual dibandingkan kinerja target, serta jumlah dana yang dihabiskan pemerintah. Dengan demikian, SIGOB mencakup sejumlah besar indikator tentang kinerja pemerintah. Informasi itu dikelompokkan berdasarkan wilayah, termasuk kota-kota besar. Selain itu, ketika sebuah target tidak tercapai, manajer tujuan (goal manager) diharuskan menyiapkan penjelasan mengenai alasan-alasan bagi kegagalan tersebut. Laporan penjelasan itu dimasukkan ke dalam database SIGOB, yang bagian intinya disediakan untuk publik secara real-time. Situs web itu juga mendorong akuntabilitas dengan mencantumkan keterangan mengenai manajer tujuan, kementeriannya dan jabatan formalnya, serta alamat e-mail. Menjadi tanggung jawab kementerian-kementerian dan badan-badan pemerintah untuk menyuplai data SIGOB kepada manajer sistem—Departemen Perencanaan Nasional (DNP)—yang kemudian melakukan pengecekan terhadap data. Namun, tidak ada sistem formal untuk audit data, dan telah muncul sejumlah kekhawatiran menyangkut tindakan kementerian dalam mempermainkan (yakni, mendistorsi) data yang mereka berikan.

Bab 7 : Kolumbia

40

Sekitar 15 evaluasi dampak secara cermat serta evaluasi kelembagaan dan manajemen tengah dilakukan, dan 22 evaluasi lainnya telah direncanakan. Biaya evaluasi tersebut berkisar antara 15.000 dollar hingga 2 juta dollar; sebagian besar berkisar antara 50.000 hingga 200.000 dollar. Pelaksanaan evaluasi itu dikontrakkan ke kalangan akademisi atau konsultan, dengan pengawasan oleh Departemen Perencanaan bekerja sama dengan badan pemerintah yang dievaluasi dan lembaga donor yang mendanai evaluasi. Evaluasi cepat (rapid evaluation) juga tengah diujicobakan, dengan tujuan untuk mengarusutamakan evaluasi tersebut dalam kerja anggaran dan perencanaan pada Departemen Keuangan dan Departemen Perencanaan. Metodologi evaluasi cepat didasarkan pada pendekatan Chile dan pendekatan pemeringkatan dari sistem PART Amerika Serikat (lihat Kotak 6.1 dan 3.2). Proyek ujicoba tersebut kini tengah dilakukan, dan diperkirakan masing-masing menghabiskan biaya antara 15.000 hingga 25.000 dollar.

Evaluasi-evaluasi tersebut merupakan usaha kolaboratif yang melibatkan departemen perencanaan, kementerian atau badan tingkat sektor yang bertanggung jawab atas program yang tengah dievaluasi, dan lembaga-lembaga donor. Sebagian besar pendanaan bagi evaluasi tersebut disediakan melalui pinjaman lembaga donor. Kebanyakan dari program-program yang dievaluasi dikelola oleh kementerian perlindungan sosial, lembaga kesejahteraan keluarga atau kementerian pendidikan. Jenis keempat evaluasi kini sedang dirintis—evaluasi cepat terhadap program-program pemerintah yang memiliki prioritas tinggi atau yang diduga memiliki masalah dengan kinerja. Evaluasi yang masih merupakan program percontohan tersebut kini dilakukan oleh Kementerian Keuangan dan Kementerian Perencanaan. Tujuannya ialah evaluasi cepat pada akhirnya akan diarusutamakan dalam analisis dan pembuatan keputusan menyangkut anggaran di dalam kedua kementerian tersebut. (Di Kolumbia terdapat pemisahan anggaran: Kementerian Keuangan bertanggung jawab atas pengeluaran yang bersifat reguler; Kementerian Perencanaan bertanggung jawab atas sisi investasi, termasuk pengeluaran sektor pendidikan dan bantuan tunai).

Sistem P&E memiliki komponen-komponen lain, namun lebih lemah dan kurang terlembagakan sepenuhnya. Salah satunya ialah upaya bermitra dengan masyarakat sipil (civil society)—seperti membangun sebuah konsorsium dengan kalangan LSM dan media—untuk menganalisis kinerja pemerintah. Dukungan lainnya adalah dukungan bagi dua pemerintah kota yang melaksanakan pemantauan kinerja dan penyusunan anggaran berbasis-kinerja.

Komponen terakhir adalah persiapan laporan anggaran berbasis-kinerja kepada Kongres. Laporan tersebut disiapkan oleh Kementerian Perencanaan sebagai lampiran pada dokumen anggaran konvensional. Laporan itu menyajikan pengeluaran pemerintah berdasarkan program dan melaporkan informasi P&E yang tersedia menyangkut kinerja program-program tersebut. Seperti telah dikemukakan dalam Kotak 3.1, model pelaporan kinerja semacam itu adalah suatu bentuk penyusunan anggaran berbasis kinerja, kendati

Bab 7 : Kolumbia

41

merupakan model yang lemah. Model semacam ini khususnya lemah di Kolumbia karena peran Kongres yang lemah dalam proses penyusunan anggaran. Laporan semacam ini hanya memberi dukungan teknis yang kecil yang memungkinkan para anggota Kongres menggali dengan mudah informasi kinerja dan temuan-temuan evaluasi. Selain itu, pembahasan Kongres menyangkut anggaran tahunan cenderung terfokus pada isu-isu politik yang lebih sempit (lihat Lampiran B). Akuntabilitas—Kontrol Politik dan Sosial

Karakter unik Kolumbia terletak pada komitmen kuat Presiden Uribe untuk menggunakan informasi P&E guna memperkuat kontrol politik pemerintah eksekutif serta mendukung kontrol sosial. Database SIGOB dimasukkan dalam komputer pribadinya, dan ia menggunakan informasi ini dalam pertemuan bulanan dalam rangka kontrol manajemen dengan tiap-tiap menteri dan Departemen Perencanaan Nasional (National Planning Department, DNP). Pada saat pertemuan tersebut dilakukan peninjauan terhadap kemajuan yang telah dihasilkan dalam mencapai tujuan-tujuan kepresidenan, dan para menteri diharuskan memberikan alasan sekiranya terdapat kekurangan menyangkut kinerja program. Indikator kinerja dan langkah-langkah untuk mencapai target kinerja juga disepakati. Presiden menggunakan informasi SIGOB ini dalam pertemuan mingguan di balai kota di berbagai kota di seluruh negeri itu, serta dalam presentasi kepada warga setiap tahun melalui televisi, di mana ia dan para menterinya membahas kinerja pemerintah dan menjawab pertanyaan-pertanyaan warga menyangkut isu-isu tersebut.

Komitmen kuat presiden untuk menggunakan informasi P&E dalam rangka memantau dan melaporkan kinerja pemerintah tampaknya merupakan suatu hal yang unik di Amerika Latin—dan mungkin bahkan di dunia. Hal ini mengirimkan sinyal yang kuat kepada masing-masing menteri dan para pegawai negeri. Namun demikian, praktik P&E itu tampaknya belum diadopsi secara luas oleh kementerian-kementerian dan pemerintah tingkat daerah. Sejumlah kementerian dan badan pemerintah dalam sektor sosial, serta dua pemerintah tingkat kota, kini tengah berupaya memperkuat sistem P&E mereka dengan bantuan dari DNP dan lembaga-lembaga donor.

Pengunaan Evaluasi untuk Mendukung Pembuatan Keputusan Pemerintah

Pada awal 2007, hanya tiga evaluasi yang telah diselesaikan, sehingga peluang untuk memanfaatkan temuan-temuan evaluasi guna mendukung pembuatan keputusan pemerintah baik menyangkut anggaran nasional maupun perencanaan nasional menjadi terbatas. Namun demikian, ada satu contoh mencolok mengenai adanya satu evaluasi yang benar-benar berpengaruh (lihat Kotak 7.2).

Bab 7 : Kolumbia

42

Kotak 7.2: Sebuah Evaluasi yang Berpengaruh di Kolumbia Familias en Acción adalah program bantuan tunai bersyarat yang memberikan dukungan penghasilan bagi keluarga-keluarga miskin yang berkomitmen untuk memastikan bahwa anak-anak mereka dapat menerima pelayanan kesehatan yang bersifat preventif, terdaftar di sekolah dan mengikuti pelajaran di kelas. Program ini diciptakan pada 1999 sebagai respons terhadap krisis ekonomi yang terjadi. Evaluasi dampak yang cermat terhadap program itu dikontrakkan kepada konsultan dari luar, di bawah pengawasan Departemen Perencanaan. Evaluasi itu menemukan bahwa program itu menghasilkan dampak yang mengesankan di bidang nutrisi, pendidikan dan kesehatan. Temuan-temuan ini meyakinkan pemerintahan Presiden Uribe, yang terpilih pada 2002, bukan hanya untuk mempertahankan program yang dirintis pemerintahan sebelumnya itu, tetapi juga untuk melipatgandakan jangkauannya, dari 500.000 menjadi 1 juta keluarga miskin. Pada akhir 2006, pemerintah memutuskan untuk meningkatkan kembali jangkauan program tersebut hingga mencakup 1,5 juta keluarga miskin. Sejauh ini evaluasi terhadap program Familias en Acción menghabiskan biaya sekitar 1,5 juta dollar. Meskipun ini merupakan jumlah yang besar, namun jumlah itu relatif kecil dibandingkan dengan total pengeluaran pemerintah yang dihabiskan untuk program tersebut (sekitar 100 juta dollar pada saat dilakukannya evaluasi). Karena pengaruhnya yang besar pada pemerintah, evaluasi ini dapat dinilai sangat hemat dari segi biaya. Sumber: Mackay dkk., 2007. Kekuatan dan Kelemahan Sistem P&E Kolumbia

Sistem Kolumbia juga dapat dinilai dari sudut tiga kriteria sistem P&E yang berhasil: penggunaan yang tinggi, kualitas P&E yang baik, dan kesinambungan. Landasan bukti untuk penilaian semacam itu bagi Kolumbia tidak sekokoh seperti halnya untuk Chile, kendati demikian sejumlah kesimpulan dapat ditarik. Pemanfaatan komponen pemantauan (SIGOB) dari sistem P&E yang dilakukan Presiden terlihat sangat tinggi, untuk tujuan kontrol politik dan sosial—yakni, dalam rangka akuntabilitas.

Kualitas data pemantauan tidak begitu jelas, namun terdapat sejumlah kekhawatiran—yang dirasakan oleh sejumlah pegawai negeri senior dan sejumlah anggota masyarakat sipil yang berpengaruh—bahwa data tersebut tidak seluruhnya dapat diandalkan, dan bahwa sebagian informasi yang diberikan oleh kementerian-kementerian sektor dan badan-badan pemerintah cenderung untuk kepentingan memoles citra dirinya sendiri. Namun demikian, komponen pemantauan ini tampaknya sangat mungkin berlanjut, kendati terjadi perubahan pemerintahan dan terpilihnya presiden baru. Hal ini disebabkan data semacam itu sangat berguna bagi DNP dan kantor kepresidenan untuk kepentingan mereka mengawasi kinerja pemerintah.

Bab 7 : Kolumbia

43

Untuk jangka pendek—yaitu untuk periode lima tahun ke depan—agenda evaluasi akan didukung oleh pinjaman baru Bank Dunia. Salah satu butir dari agenda itu adalah berkurangnya tingkat dukungan finansial lembaga donor bagi evaluasi tersebut, dengan harapan bahwa pemerintah akan mengambil-alih pendanaan untuk evaluasi itu dengan menggunakan dana anggaran mereka sendiri.3 Hal ini mungkin terjadi jika pemerintah menilai bahwa evaluasi itu sebanding dengan waktu dan tenaga yang dikeluarkan. Pada gilirannya, Departemen Perencanaan akan memikul tanggung jawab guna memastikan bahwa temuan-temuan evaluasi itu digunakan secara intensif.

Perbandingan dengan sistem P&E Chile

Ada isu-isu lain yang menonjol, khususnya jika sistem P&E Kolumbia dibandingkan dengan sistem P&E Chile. Salah satunya adalah sistem P&E Chile dikelola oleh direktorat anggaran, sehingga menjamin pengintegrasian P&E dengan kerja anggaran. Tetapi, di Kolumbia sistem P&E dikelola sebagai aktivitas yang berdiri sendiri yang hanya hampir secara kebetulan saja berada di dalam Departemen Perencanaan. Sampai sekarang sistem P&E belum diintegrasikan dengan kerja perencanaan ataupun tanggung jawab anggaran pada departemen tersebut; belum ada pula kolaborasi dengan kerja anggaran Kementerian Keuangan.

Skenario ini mungkin akan berubah. Evaluasi cepat yang kini tengah diujicobakan melibatkan direktorat P&E dan direktorat anggaran dalam Departemen Perencanaan, serta bidang anggaran pada Kementerian Keuangan. Jika proyek ujicoba ini dinilai berhasil—yakni hemat biaya untuk tujuan penyusunan anggaran berbasis-kinerja—maka kemungkinan P&E akan diarusutamakan dalam kerja anggaran pada kedua kementerian [yaitu Kementerian Perencanaan dan Kementerian Keuangan—penerj.]

Sebagian pengamat berpendapat bahwa hambatan utama penggunaan informasi P&E untuk memengaruhi pembuatan keputusan anggaran di Kolumbia diakibatkan oleh berbagai kekakuan dalam anggaran nasional. Hal ini mencakup sejumlah besar alokasi pengeluaran yang tidak dapat dengan mudah divariasikan. Akibatnya, antara 90 sampai 95 persen pengeluaran anggaran di Kolumbia tidak dapat diubah dalam jangka pendek. Berbagai argumen bantahan dapat dikemukakan di sini (lihat Lampiran B); namun pengamatan yang paling meyakinkan mungkin adalah tingkat pengaruh yang tinggi dari evaluasi Familias en Acción terhadap prioritas pemerintah dan alokasi anggarannya (kotak 7.2).

Hal terakhir yang mengemuka ketika membandingkan sistem P&E Kolumbia dengan Chile adalah tingkat kerja sama yang tinggi antara direktorat P&E pada Kementerian Perencanaan di Kolumbia dengan kementerian-kementerian dan badan-badan tingkat sektor yang program-programnya tengah dievaluasi. DNP berbagi keahlian evaluasi serta sebagian pendanaan yang dimilikinya dengan lembaga-lembaga tingkat sektor. Hubungan yang terkadang bersifat antagonistik yang terjadi di negara-negara lain ketika kementerian keuangan memainkan peran aktif dalam agenda evaluasi tampaknya tidak muncul dalam kasus Kolumbia. Pendekatan kolaboratif antara kementerian tingkat pusat

Bab 7 : Kolumbia

44

dan lembaga-lembaga pemerintah tingkat sektor ini bisa jadi berubah jika dan ketika Kolumbia mengadopsi bentuk penyusunan anggaran berbasis-kinerja yang lebih aktif.

Namun, jika penyusunan anggaran berbasis-kinerja hendak berjalan dengan baik, akan dibutuhkan kerja sama yang lebih erat di antara direktorat P&E pada Departemen Perencanaan, direktorat anggaran pada departemen tersebut, dan direktorat anggaran pada Kementerian Keuangan. Salah satu cara untuk mendukung kerja sama yang lebih erat antara kementerian-kementerian pusat dan lembaga-lembaga pemerintah tingkat sektor adalah melibatkan semua pihak tersebut dalam komite pemerintah tingkat tinggi yang memiliki tanggung jawab formal mengawasi SINERGIA. Pemerintah berencana melangkah ke arah ini.

Ikhtisar mengenai kekuatan dan kelemahan sistem P&E Kolumbia disajikan dalam Tabel 7.1. Diagnosis Bank Dunia mengenai sistem P&E Kolumbia ditampilkan dalam Lampiran B. Tabel 7.1: Kekuatan dan Kelemahan Sistem P&E Kolumbia Kekuatan Kelemahan • Sangat tingginya tingkat penggunaan subsistem

pemantauan oleh Presiden dan kantor kepresidenan.

• Informasi kinerja digunakan untuk menetapkan target kinerja untuk para menteri dan kementerian mereka serta badan-badan pemerintah. Pembuatan laporan publik tentang sejauh mana target kinerja itu dicapai; ketika target kinerja tidak tercapai, manajer harus memberikan penjelasan publik.

• Evaluasi dilakukan oleh pihak luar secara transparan dan dipandang sangat kredibel oleh kementerian-kementerian lain dan Kongres.

• Evaluasi direncanakan dan dilakukan melalui pendekatan kolaboratif yang melibatkan Departemen Perencanaan, kementerian-kementerian dan badan-badan tingkat sektor.

• Seluruh informasi P&E dilaporkan kepada publik dan dikirim ke Kongres.

• Rendahnya tingkat penggunaan informasi P&E oleh direktorat anggaran dan direktorat perencanaan pada Kementerian Perencanaan dan oleh Kementerian Keuangan.

• Adanya keprihatinan menyangkut reliabilitas data pemantauan yang diberikan oleh kementerian-kementerian sektor dan badan-badan pemerintah.

• Mengandalkan secara berlebihan pada pendanaan donor untuk agenda evaluasi.

Kesimpulan

Pemerintah Kolumbia telah berhasil menciptakan subsistem pemantauan kinerja pemerintah terkait dengan 320 tujuan kepresidenan dan tujuan-tujuan pembangunan lainnya negeri tersebut. Hal yang penting adalah presiden menggunakan subsistem ini secara intensif dalam pengawasan langsung atas kinerja para menteri dan kementerian dan dalam menyediakan laporan kepada masyarakat sipil.

Bab 7 : Kolumbia

45

Pemerintah juga memulai sebuah agenda evaluasi yang ambisius; temuan-temuan evaluasi telah memiliki pengaruh yang cukup penting terhadap keputusan-keputusan pemerintah dan pengalokasian anggaran.

Kelemahan dalam sistem Kolumbia adalah informasi P&E belum digunakan secara sistematis untuk kerja inti anggaran dan perencanaan pada dua kementerian yang bertanggung jawab atas anggaran nasional. Ada peluang baik bahwa pengarusutamaan P&E ke dalam analisis dan pembuatan keputusan menyangkut anggaran akan terjadi, namun sebelum hal itu terwujud maka akan ada hambatan terhadap jangkauan penggunaan informasi pemantauan dan temuan-temuan evaluasi. Penggunaan semacam itu juga akan meningkatkan secara signifikan kemungkinan keberlanjutan sistem P&E pusat.

Sejumlah kementerian dan badan-badan pemerintah melakukan P&E untuk kepentingan internal mereka sendiri, untuk membantu mereka dalam melakukan perencanaan, analisis dan manajemen program yang berkesinambungan. Namun, lembaga-lembaga semacam itu merupakan pengecualian. Dengan dukungan Bank Dunia, pemerintah kini tengah mengkaji pilihan-pilihan untuk memandatkan P&E secara lebih luas di tubuh kementerian-kementerian, badan-badan pemerintah dan pemerintah-pemerintah tingkat daerah.

Cukup adil untuk menyimpulkan bahwa sistem P&E Kolumbia kurang berkembang secara baik dan matang dibandingkan dengan sistem P&E Chile. Sistem P&E Chile telah dikembangkan secara progresif selama lebih dari satu dasawarsa; dan meskipun sistem P&E Kolumbia telah coba dibangun dalam suatu bentuk tertentu sejak awal 1990-an, namun baru sejak 2002 sistem itu benar-benar berkembang. Sistem P&E Kolumbia saat ini menghabiskan biaya sekitar 2 juta dollar per tahun, atau hampir tiga kali lipat dari biaya sistem Chile (yakni sekitar 0,75 juta dollar per tahun).4 Sumber perbedaan biaya ini adalah penekanan khusus pada evaluasi-evaluasi dampak dalam sistem Kolumbia. Sistem P&E di kedua negara itu memang masih dapat ditingkatkan, tetapi kedua sistem tersebut—dan khususnya sistem Chile—dapat dinilai hemat dari segi biaya.

Bab 8 : Australia

46

Bab 8

Australia

Pada 1983 pemerintah berhaluan reformis terpilih di Australia. Saat itu pemerintah menghadapi situasi makroekonomi yang sulit. Sebagai respons terhadap situasi tersebut, pemerintah mengurangi total pengeluaran pemerintah, dari 30 persen dari PDB pada 1983 menjadi 23 persen dari PDB pada 1989—suatu pengurangan yang signifikan menurut ukuran internasional.

Pada saat yang sama, pemerintah menargetkan pengeluarannya secara lebih ketat untuk kelompok masyarakat yang paling kurang diuntungkan. Pemerintah terlihat jelas berupaya mencapai nilai uang yang lebih besar dari pengeluaran pemerintah, dan dengan tujuan itu pemerintah merintis serangkaian program reformasi sektor publik yang inovatif, khususnya di bidang manajemen keuangan dan reformasi anggaran. Secara keseluruhan, berbagai reformasi tersebut menempatkan Australia di barisan terdepan negara-negara OECD dari segi manajemen sektor publik.

Berbagai reformasi tersebut memberikan otonomi yang lebih besar bagi kepala-kepala departemen lini untuk mengelola penggunaan anggaran mereka secara tepat—di bawah filosofi “biarkan para manajer mengelola”. Meskipun pada mulanya diharapkan bahwa berbagai reformasi itu akan mendorong departemen-departemen untuk mengelola secara ketat dan mengukur kinerja mereka, namun harapan itu tidak terwujud. Karena itu, dengan dukungan departemen-departemen utama lainnya, Departemen Keuangan yang berpengaruh mengembangkan suatu strategi evaluasi pemerintah secara keseluruhan (a whole-of-government evaluation strategy). Strategi ini memperoleh dukungan kuat kabinet melalui suatu keputusan formal kabinet. Strategi ini mengikuti filosofi “membiarkan para manajer mengelola”.

Komponen-komponen Utama Sistem P&E Australia2

Sistem P&E Australia umumnya berupa suatu strategi formal untuk evaluasi. Sistem ini didasari atas tinjauan diagnostik yang dilakukan pada 1988 terhadap praktik-praktik evaluasi di departemen-departemen dan terhadap keseluruhan tingkat kegiatan evaluasi di tubuh pemerintahan. Strategi itu sendiri dikembangkan secara intensif selama beberapa tahun (1987-1991). Strategi ini memiliki tiga tujuan: mendorong para manajer program untuk menggunakan evaluasi guna meningkatkan kinerja program mereka; membantu kabinet dalam membuat keputusan dan menetapkan prioritas, khususnya pada proses penyusunan anggaran tahunan, ketika berbagai proposal yang bersaing dalam jumlah

Bab 8 : Australia

47

yang besar diajukan oleh masing-masing menteri; dan memperkuat akuntabilitas dalam suatu lingkungan yang terdesentralisasi dengan menyediakan bukti formal mengenai pengawasan manajer program dan manajemen sumber daya program.3 Bagian utama strategi itu adalah perencanaan evaluasi. Hal ini dilakukan melalui rencana evaluasi portofolio (PEP) yang bersifat formal, yang harus diserahkan setiap tahun kepada Menteri Keuangan (lihat Kotak 8.1). PEP tersebut memiliki cakupan tiga tahun dan bersifat bergulir, serta mengindikasikan program-program atau subprogram-subprogram mana yang akan dievaluasi, aspek-asek apa yang akan dievaluasi, serta kapan evaluasi dilakukan. Ada persyaratan formal bahwa setiap program dievaluasi setiap 3 – 5 tahun. Evaluasi PEP digolongkan sebagai evaluasi besar (major evaluations). Departemen-departemen juga diharapkan merintis evaluasi-evaluasi lain yang lebih kecil, untuk kepentingan manajemen internal. Pada pertengahan 1990-an, sebanyak 160 evaluasi tengah dikerjakan. Kotak 8.1: Sistem P&E Keseluruhan Pemerintah di Australia Komponen-komponen utama sistem P&E Australia adalah sebagai berikut: Perencanaan evaluasi formal melalui PEP, yang membuat daftar mengenai program-program pemerintah yang hendak dievaluasi oleh kementerian dan isu-isu yang harus dibahas pada tiap evaluasi. PEP tersebut disiapkan setiap tahun, secara bergilir untuk periode tiga tahun. PEP hanya mencakup evaluasi-evaluasi besar saja, yaitu evaluasi terhadap program-program pemerintah yang dipandang memiliki arti penting strategis bagi pemerintah: program dengan anggaran yang besar; program yang memiliki arti penting kebijakan khusus; program bermasalah; dan program percontohan. Evaluasi dilakukan oleh kementerian lini sendiri, biasanya dengan semacam keterlibatan Kementerian Keuangan. Setiap program diharuskan untuk dievaluasi setidaknya sekali dalam tiga hingga lima tahun. Pada praktiknya, ini berarti bahwa sebagian aspek (seperti subprogram-subprogram tertentu) dari tiap-tiap program dievaluasi; kebanyakan evaluasi tidak berupaya untuk membahas secara komprehensif seluruh aspek kinerja dari sebuah program. Selain itu, ada keharusan untuk memublikasikan seluruh laporan evaluasi yang telah selesai, kecuali laporan yang berkaitan dengan kemanan nasional atau mengandung sensitivitas hubungan industrial. Tinjauan atas sasaran program dan pelaporan kinerja masing-masing kementerian. Tinjauan ini dilakukan bersama antara masing-masing kementerian dan Departemen Keuangan secara bergilir selama periode tiga tahun. Isu-isu utama bagi PEP adalah pilihan program-program yang akan dievaluasi dan pertanyaan-pertanyaan spesifik yang akan dibahas masing-masing evaluasi. Dengan demikian, kerangka acuan (TOR) bagi masing-masing evaluasi menjadi sangat penting. Isu-isu tersebut diputuskan melalui negosiasi antara departemen-departemen lini dan seksi-seksi anggaran Departemen Keuangan. Prioritas keuangan umumnya diberikan

Bab 8 : Australia

48

untuk departemen-departemen yang lebih lemah. Pada departemen-departemen lini yang lebih kuat, pengaruh lebih seimbang. Perselisihan-perselisihan yang tidak terpecahkan menyangkut prioritas evaluasi akan dinaikkan ke tingkat menteri atau bahkan kabinet, jika kesepakatan tidak dapat dicapai.

Departemen-departemen lini bertanggung jawab tidak hanya atas perencanaan evaluasi, tetapi juga atas pelaksanaan evaluasi terhadap program-program mereka. Sebagian departemen yang lebih besar—seperti Departemen Tenaga Kerja—memiliki divisi evaluasi yang terdiri dari sekitar 20 – 25 staf yang bertanggung jawab untuk merencanakan evaluasi, memberikan saran mengenai metodologi evaluasi, berpartisipasi dalam komite pengarah evaluasi, dan melakukan evaluasi-evaluasi besar.

Departemen-departemen lain hanya memiliki unit evaluasi yang kecil, sebagai bagian dari divisi perencanaan/koordinasi, dan menyerahkan fungsi evaluasi kepada area-area program lini; pada gilirannya mereka akan bertanggung jawab kepada pimpinan manajemen suatu departemen untuk kualitas dan kecermatan evaluasi (terutama untuk evaluasi-evaluasi yang lebih kecil, yang sering kali dalam bentuk tinjauan cepat). Sejumlah evaluasi dikontrakkan kepada pihak luar, baik individu-individu konsultan maupun perusahaan-perusahaan konsultan).

Seksi anggaran Departemen Keuangan juga melibatkan diri mereka sendiri dalam pelaksanaan evaluasi-evaluasi individual bilamana dimungkinkan. Hal ini sering kali melibatkan keanggotaan dari komite-komite pengarah antardepartemen untuk evaluasi-evaluasi besar. Komite-komite tersebut biasanya mencakup kementerian-kementerian sektor terkait lainnya dan departemen-departemen pusat yang berpengaruh seperti bendahara, departemen perdana menteri dan kabinet. Keanggotaan yang luas ini memungkinkan para pejabat anggaran untuk: (1) berupaya memengaruhi pelaksanaan evaluasi, guna memastikan bahwa masalah-masalah diselidiki sepenuhnya tidak memihak (imparsial); dan (2) memberikan komentar terhadap draf laporan evaluasi.

Salah satu karakteristik sistem P&E Australia adalah definisi evaluasi yang luas digunakan. Evaluasi didefinisikan sebagai suatu bentuk penyelidikan yang ketat (disciplined inquiry). Hal ini mencakup evaluasi cepat, tinjauan kebijakan formal, evaluasi dampak yang cermat, dan audit kinerja yang dilakukan oleh kantor audit nasional. Biaya evaluasi sangat bervariasi: sampel biaya evaluasi yang dianalisis oleh Departemen Keuangan berkisar antara 43.000 hingga 430.000 dollar (berdasarkan harga tahun 1993).4

Strategi evaluasi tersebut diperkuat pada 1991 sebagai respons terhadap hasil sebuah audit kinerja yang menemukan bahwa departemen-departemen memiliki tingkat komitmen yang bervariasi terhadap evaluasi. Laporan kantor audit mengkritik sebagian departemen karena buruk dalam memilih program-program yang dievaluasi, dan kurang fokus pada keefektifan program-program pemerintah. Menanggapi hal ini, Departemen Keuangan membuat sebuah unit evaluasi spesialis yang bertanggung jawab untuk memberikan saran, dukungan, pelatihan dan dorongan bagi departemen-departemen lain, serta kepada seksi anggaran Departemen Keuangan sendiri. Unit ini juga memantau

Bab 8 : Australia

49

perencanaan evaluasi pada departemen-departemen dan sejumlah evaluasi yang dilakukan. Pimpinan Departemen Keuangan menggunakan informasi ini untuk memberi tekanan secara informal kepada departemen-departemen lini untuk memperbaiki kegiatan-kegiatan evaluasi mereka.

Sistem P&E Australia pada dasarnya menitikberatkan pada evaluasi, yang dipandang menyediakan informasi yang mendalam dan dapat diandalkan tentang efisiensi dan efektivitas program-program pemerintah. Informasi kinerja juga dipandang penting, namun hal ini dinilai sebagai masalah yang harus dikelola oleh departemen-departemen lini. Namun, pada pertengahan 1990-an Departemen Keuangan mengungkapkan keprihatian menyangkut kualitas informasi ini dan melaksanakan tinjauan terhadap laporan tahunan departemen-departemen serta dokumentasi anggaran mereka (yang dibuatkan tabel di Parlemen).

Kelemahan-kelemahan yang ditemukan dalam laporan-laporan tersebut mendorong Departemen Keuangan untuk mewajibkan serangkaian tinjauan mendalam yang dilakukan secara bergilir terhadap tujuan program dan informasi kinerja dari tiap-tiap departemen. Tinjauan-tinjauan tersebut dilakukan oleh Departemen Keuangan bersama-sama dengan departemen lini, dan hasil rekomendasi-rekomendasi perbaikan diharuskan untuk diimplementasikan.

Penyusunan Anggaran Berbasis-Kinerja

Sistem P&E Australia memiliki tiga tujuan. Namun, dari sudut pandang Departemen Keuangan—yang merupakan perancang dan pengawas sistem P&E—tujuan yang paling ditekankan adalah mendukung pembuatan keputusan kabinet selama proses penyusunan anggaran. Departemen Keuangan memainkan peran yang sangat berpengaruh dalam proses penyusunan anggaran di Australia. Departemen Keuangan menyiapkan analisis kebijakan terhadap seluruh proposal pengeluaran yang diajukan oleh kementerian-kementerian sektor, dan berbagai analisis tersebut menyertai proposal-porposal pengeluaran yang dikirimkan ke menteri-menteri kabinet sebagai bahan pertimbangan bersama ketika membuat keputusan-keputusan menyangkut anggaran. Dengan demikian Departemen Keuangan memberikan suatu analisis kebijakan yang independen, yang biasanya merupakan kontra-pandangan terhadap pandangan kementerian yang mengajukan proposal pengeluaran. Kerja seksi anggaran Departemen Keuangan juga termasuk menyiapkan “opsi-opsi penghematan”: usulan kebijakan untuk memangkas atau menghapus program-program pemerintah yang ada.5

Proses penyusunan anggaran melibatkan semacam “pasar untuk menjajakan ide-ide” (marketplace of ideas). Dalam situasi yang pada dasarnya diwarnai oleh persaingan tersebut, memiliki temuan-temuan evaluasi mengenai kinerja program merupakan alat penting untuk memastikan landasan bukti yang dapat diandalkan untuk membuat keputusan-keputusan menyangkut anggaran. Evaluasi memiliki potensi untuk memberikan keuntungan kompetitif bagi pihak-pihak yang menjadikan evaluasi sebagai sandaran. Dengan demikian, seksi anggaran Departemen Keuangan perlu terlibat

Bab 8 : Australia

50

sepenuhnya dalam perencanaan evaluasi yang dilakukan kementerian-kementerian dan dalam pelaksanaan evaluasi-evaluasi besar. Hal ini guna memastikan bahwa para pejabat bidang anggaran di Departemen Keuangan mengenal dengan baik kualitas dan keterbatasan-keterbatasan evaluasi, menyadari sepenuhnya temuan-temuan evaluasi dan rekomendasi-rekomendasi, dan dengan demikian mampu menggunakan mereka dalam tugas analisis kebijakan mereka. Keterlibatan pejabat-pejabat itu dalam evaluasi juga akan meningkatkan pengetahuan mereka tentang tujuan program dan realitas lingkungan pelaksanaan program—pemahaman ini penting bagi kerja mereka.

Penting untuk dicatat di sini bahwa kementerian-kementerian keuangan tidak selalu menjadi pendukung bagi berbagai reformasi yang dirancang untuk meningkatkan jumlah informasi yang tersedia menyangkut kinerja pemerintah. Sebelum berbagai reformasi dilakukan, Departemen Keuangan Australia sangat terlibat dalam penyelidikan yang terperinci terhadap aktivitas-aktivitas pengeluaran berbagai departemen. Bahayanya adalah fokus yang lazim diberkan pada pengeluaran itu dapat berarti bahwa hanya sedikit perhatian yang diberikan pada hasil dari pengeluaran tersebut. Selain itu, kementerian-kementerian keuangan yang berpengaruh malah dapat menjadi penghambat bagi upaya-upaya reformasi. Memiliki Departemen Keuangan yang bertanggung jawab untuk mengawasi evaluasi memastikan bahwa terdapat pengaruh langsung atas uni-unit divisi di Departemen Keuangan yang memiliki tanggung jawab untuk mengawasi departemen-departemen lini.

Namun, untuk mencapai perubahan budaya yang dibutuhkan di tubuh Departemen Keuangan merupakan proses yang berjalan lambat dan memakan waktu bertahun-tahun, serta melibatkan banyak pergantian staf. Fokus Departemen Keuangan yang lebih besar pada isu-isu nilai uang (value for money), daripada isu-isu pengeluaran, mewarnai sifat dan kualitas saran kebijakan yang diberikan Departemen Keuangan kepada Kabinet; saran tersebut semakin didasarkan pada temuan-temuan evaluasi yang tersedia.

Ciri terpenting dari sistem P&E Australia adalah tingkat penggunaan yang sangat signifikan terhadap temuan-temuan evaluasi untuk mendukung pembuatan keputusan menyangkut anggaran di kabinet. Departemen Keuangan melakukan survei terhadap staf anggarannya setiap tahun guna memastikan pengaruh evaluasi terhadap masing-masing proposal kebijakan baru yang diusulkan oleh para menteri lini dan opsi-opsi penghematan yang diusulkan oleh Departemen Keuangan (atau oleh menteri-menteri lini jika mereka ingin mendanai kebijakan-kebijakan baru).6 Pada 1994 – 1995, sekitar 1,75 miliar dollar (atau 77 persen) proposal kebijakan baru dinilai dipengaruhi oleh temuan-temuan evaluasi, dan dalam sebagian besar kasus pengaruh itu dinilai bersifat langsung. Sementara itu, angka untuk opsi-opsi penghematan sebesar 380 juta dollar (65 persen dari total).

Temuan-temuan evaluasi memengaruhi tidak hanya opsi-opsi kebijakan yang diajukan untuk dipertimbangkan oleh kabinet, tetapi juga untuk diputuskan oleh kabinet. Survei juga dilakukan terhadap para pejabat anggaran Departemen Keuangan menyangkut sejauh mana evaluasi telah memengaruhi keputusan-keputusan kabinet pada proses penyusunan anggaran periode 1993 – 1994 dan 1994 – 1995. Bukti yang diperoleh agak

Bab 8 : Australia

51

beragam, namun mengindikasikan bahwa evaluasi memainkan peran yang mendasar. Pada 1994 – 1995, evaluasi dinilai telah memengaruhi keputusan kabinet menyangkut 68 persen dari 2,846 miliar dollar nilai proposal yang dipertimbangkan (proposal-proposal kebijakan baru ditambah dengan opsi-opsi penghematan). Kotak 8.2: Evaluasi-evaluasi yang berpengaruh di Australia. Pada periode anggaran 1996-1997 pemerintah berketetapan untuk mengurangi sekaligus memprioritaskan ulang pengeluaran pemerintah. Fokus khusus diberikan pada pasar tenaga kerja dan program-program terkait, yang menghabiskan pengeluaran sekitar 2,9 miliar dollar setiap tahun. Menteri Tenaga Kerja mengartikulasikan keseluruhan tujuan kebijakan pemerintah sebagai upaya untuk memberikan bantuan kepada orang-orang yang telah menganggur untuk jangka waktu yang lama dan orang-orang yang berisiko untuk menjadi penganggur untuk jangka waktu yang panjang. Fokus ini diambil untuk tujuan pemerataan maupun efisiensi, seperti mencapai kesesuaian yang lebih baik antara penawaran dan permintaan tenaga kerja. Pada saat yang sama, Menteri ingin mencapai nilai uang yang lebih baik dari program pasar tenaga kerja dalam kondisi anggaran yang ketat. Temuan-temuan evaluasi Australia dan internasional banyak digunakan untuk membantu memberi pedoman untuk menentukan pilihan-pilihan kebijakan. Menteri menggarisbawahi efektivitas-biaya dari program-program pasar tenaga kerja yang berbeda-beda. Ukuran pokok hal tersebut diperkirakan dengan menghitung biaya bersih yang harus dikeluarkan pemerintah untuk setiap tambahan penempatan kerja dari program-program yang berbeda—sebagaimana diukur dengan meningkatnya peluang orang yang dibantu untuk tetap bekerja selama sekitar 6 bulan setelah ia berpartisipasi dalam sebuah program pasar tenaga kerja. (Patokan dasarnya adalah kelompok pembanding yang sama yang terdiri dari individu-individu yang tidak berpartisipasi dalam program tersebut.) Temuan-temuan evaluasi memperlihatkan bahwa program JobStart, yang memberikan subsidi upah, menghabiskan biaya bersih 3.700 dollar untuk setiap tambahan penempatan kerja, sedangkan program JobSkills, yang merupakan program langsung penciptaan lapangan kerja, menghabiskan biaya bersih 57.800 dollar. Menteri mengemukakan, “Pemerintah akan…mengonsentrasikan upaya-upayanya pada program-program yang terbukti paling hemat-biaya dalam menjamin hasil riil berupa pekerjaan. Sebagai akibatnya, program JobStart dipertahankan, dan program JobSkills diperkecil jangkauannya, dan ditargetkan lebih ketat pada para pencari kerja yang kurang beruntung. Total penghematan yang diperoleh pemerintah dari pengurangan dan penetapan ulang prioritas program pasar tenaga kerja sekitar 1,14 miliar dollar selama dua tahun. Kabinet juga melakukan serangkaian evaluasi besar terhadap program-program baru pasar tenaga kerja dan terhadap pengaturan baru untuk kompetisi sepenuhnya antara penyedia jasa pekerjaan publik dan swasta.

Bab 8 : Australia

52

Tabel 8.1: Kekuatan dan Kelemahan Sistem P&E Australia Kekuatan Kelemahan • Temuan-temuan evaluasi banyak digunakan

untuk analisis anggaran, saran kebijakan, dan digunakan oleh kabinat untuk membuat keputusan menyangkut anggaran.

• Tingginya tingkat penggunaan temuan-temuan evaluasi oleh kementerian-kementerian dan badan-badan tingkat sektor.

• Evaluasi dilakukan sebagai upaya kolaboratif antara departemen keuangan, departemen-departemen pusat lainnya, dan departemen-departemen sektor.

• Kualitas evaluasi tidak merata. • Pelatihan evaluasi tingkat lanjut tidak tersedia

secara memadai. • Perhatian terhadap informasi kinerja regular

tidak memadai. • Beban administratif pada departemen-

departemen.

Namun, proporsi untuk anggaran 1993 – 1994 hanya sebesar 19 persen dari proposal. Salah satu alasan yang dapat menjelaskan perbedaan tersebut adalah revisi mendasar terhadap kebijakan-kebijakan di bidang tenaga kerja, industri, wilayah dan suku aborigin dalam anggaran 1994 – 1995. Tinjauan kebijakan utama yang menjadi dasar keputusan-keputusan tersebut sangat dipengaruhi oleh sejumlah evaluasi yang dilakukan secara khusus untuk membantu memandu tinjauan kebijakan.

Hanya sedikit program yang dihentikan sebagai hasil sebuah evaluasi. Karena dalam proses anggaran terdapat penekanan pada paket anggaran portofolio (yang didefinisikan sebagai sebuah departemen lini ditambah dengan badan-badan pelaksana)—yang dengan demikian juga penekanan pada penyusunan anggaran portofolio—setiap penghentian sebuah program sering kali mengakibatkan pengalokasian ulang pengeluaran dalam portofolio tersebut. Ada contoh-contoh menonjol di mana program-program dipangkas secara signifikan sebagai bagian penetapan ulang prioritas secara besar-besaran, misalnya, di sektor tenaga kerja dan jaminan sosial. Pemangkasan tersebut mencerminkan keinginan untuk memaksimalkan nilai uang berdasarkan prioritas-prioritas kebijakan pemerintah yang ada (Kotak 8.2). Kekuatan dan Kelemahan Sistem P&E Australia Kekuatan Sebagian komentar mengamati bahwa “evaluasi program (di Australia) telah diterapkan secara lebih luas dan sistematis dibandingkan dengan di negara-negara lain” (Kim dkk., 2006). Ciri menonjol dari sistem P&E Australia adalah tingkat penggunaan temuan-temuan evaluasi yang tinggi dalam proses anggaran, sebagai masukan kunci baik untuk saran kebijakan yang berkualitas tinggi (Uhr dan Mackay, 1996) maupun untuk pengambilan keputusan menyangkut anggaran oleh Kabinet (Tabel 8.1). Sebagaimana dikemukakan dalam pembahasan mengenai penyusunan anggaran berbasis-kinerja pada Bab 5, pengaruh temuan-temuan evaluasi terhadap keputusan pemerintah umumnya bersifat tidak langsung—mulai dari pengaruh yang besar pada sebagian kasus hingga pengaruh yang kecil atau tidak ada sama sekali pada kasus-kasus yang lain. Ini

Bab 8 : Australia

53

sesungguhnya merupakan apa yang paling dapat diharapkan dari sebuah sistem P&E keseluruhan pemerintah, dari segi pemanfaatan potensial informasi P&E yang dihasilkan oleh sistem tersebut. Auditor-jenderal Australia memberikan komentar, “Dalam pandangan saya, keberhasilan evaluasi pada pemerintah tingkat federal…sebagian besar disebabkan pengintegrasian sepenuhnya evaluasi ke dalam proses penyusunan anggaran. Ketika terdapat komitmen sumber daya, sejenis evaluasi diperlukan untuk memberikan justifikasi bagi hampir seluruh penawaran anggaran” (Barrett, 2001). Kekuatan lain sistem P&E Australia adalah tingkat penggunaan informasi P&E yang tinggi oleh badan-badan pemerintah dan departemen-departemen lini. Sebuah audit kinerja yang dilakukan oleh Kantor Audit Nasional Australia (ANAO) pada 1997 menyimpulkan bahwa departemen-departemen lini banyak menggunakan temuan-temuan evaluasi mereka untuk membantu meningkatkan efisiensi operasional. Untuk tingkat yang lebih rendah, mereka juga menggunakan temuan-temuan tersebut untuk membantu memandu keputusan alokasi sumber daya mereka sendiri dan dalam merancang perbaikan kualitas pelayanan (Australian National Audit Office, 1997). Tingkat penggunaan yang tinggi oleh departemen-departemen lini ini mencerminkan kekuatan lain dari sistem P&E Australia: evaluasi pada dasarnya merupakan upaya kerja sama antara Departemen Keuangan, departemen-departemen pusat lainnya dan departemen-departemen lini. Meskipun tanggung jawab untuk evaluasi umumnya diserahkan kepada departemen-departemen lini, keterlibatan departemen-departemen pusat dalam perencanaan dan pengawasan terhadap evaluasi-evaluasi PEP berskala besar membantu mencapai tingkat rasa kepemilikan yang luas terhadap evaluasi dan temuan-temuannya. Pendekatan ini sangat berbeda dengan di Chile, misalnya, di mana kementerian-kementerian lini umumnya memiliki sedikit atau bahkan tidak sama sekali memiliki rasa kepemilikan terhadap evaluasi-evaluasi yang dilakukan Kementerian Keuangan. Pendekatan Australia juga memastikan bahwa pengetahuan dan pemahaman mendalam departemen-departemen lini terhadap program-program mereka sendiri digunakan secara intensif dalam evaluasi-evaluasi. Bahaya sebuah sistem evaluasi yang bersandar pada evaluasi-evaluasi independen yang dilakukan secara eksternal adalah sistem itu dapat gagal memanfaatkan keahlian program tersebut. Kelemahan Namun, kelemahan pendekatan Australia yang lebih kolaboratif adalah kualitas evaluasi yang dilakukan departemen-departemen lini tidak seragam. Audit kinerja yang dilaksanakan ANAO menganalisis sampel laporan-laporan evaluasi dan menyimpulkan bahwa lebih dari sepertiga laporan memiliki semacam kelemahan metodologi. Salah satu alasan bagi hal tersebut adalah banyak area program dari departemen-departemen lini yang bertanggung jawab untuk melakukan atau melaksanakan evaluasi

Bab 8 : Australia

54

tidak memiliki ketrampilan yang memadai untuk memastikan bahwa evaluasi-evaluasi yang berkualitas tinggi dilaksanakan. Departemen Keuangan memberikan pelatihan dasar menyangkut metode-metode evaluasi dan mengeluarkan buku panduan tentang evaluasi program dan analisis manfaat-biaya. Namun, audit ANAO melaporkan bahwa 20 persen dari departemen lini menaruh perhatian pada soal tidak adanya pelatihan mengenai teknik-teknik evaluasi tingkat lanjut. Salah satu pilihan untuk mengatasi persoalan kualitas evaluasi ini adalah Departemen Keuangan mewajibkan dibentuknya unit evaluasi sentral yang cukup besar pada tiap-tiap departemen. Pilihan lainnya adalah melakukan sentralisasi keseluruhan fungsi evaluasi di Departemen Keuangan—hal ini mengharuskan dibentuknya kantor evaluasi yang sangat besar, namun hal itu bertentangan dengan sifat desentralisasi dari kebanyakan reformasi sektor publik. Dua kelemahan lain dari sistem P&E Australia patut dicatat. Pertama, pengumpulan dan penggunaan berkala informasi kinerja kurang ditekankan. Departemen Keuangan secara eksplisit menyarankan departemen-departemen mengenai pentingnya mengembangkan sasaran program yang jelas dan memiliki informasi kinerja yang baik—paling tidak untuk memfasilitasi pelaksanaan evaluasi. Baru pada 1993, sekitar 6 tahun setelah strategi evaluasi dimulai, Departemen Keuangan melakukan tinjauan secara luas terhadap laporan tahunan dan dokumentasi anggaran dari departemen-departemen. Menyusul tinjauan kritis terhadap kualitas sasaran program dan informasi kinerja tersebut, Departemen Keuangan memerintahkan serangkaian tinjauan yang mendalam secara bergilir terhadap sasaran program dan informasi kinerja seluruh departemen dan badan pemerintah. Departemen Keuangan mengharuskan bahwa rencana aksi diterapkan guna mengatasi problem-problem yang diidentifikasi. Salah satu pelajaran dari pengalaman ini adalah bahwa seluruh sistem P&E mensyaratkan tinjauan dan penyesuaian terus-menerus. Memantau dan mengevaluasi sistem P&E adalah hal yang niscaya, sebagaimana niscayanya memantau dan mengevaluasi setiap jenis reformasi sektor publik. Kelemahan terakhir sistem P&E Australia, seperti diklaim oleh sebagian sekretaris departemen, adalah persyaratan formal untuk perencanaan dan pelaporan evaluasi terlalu membebani. Sebagian departemen telah menciptakan proses internal yang kompleks bagi perencanaan evaluasi, sehingga kemudian menghasilkan PEP setebal 120 halaman. Akan tetapi, pedoman Departemen Keuangan sesungguhnya tidak menuntut kompleksitas semacam itu; dan pedoman itu merekomendasikan PEP yang jauh lebih kecil sebagai contoh praktik yang baik.

Bab 8 : Australia

55

Sistem Evaluasi—Catatan Tambahan Terpilihnya pemerintahan konservatif pada 1996 berdampak pada penyusutan pegawai negeri dalam jumlah yang cukup besar; cukup melemahnya proses pemberian saran kebijakan dan peran Departemen Keuangan, terutama dalam siklus anggaran; dan dicabutnya kontrol dan persyaratan sentral yang masih tersisa. Pada saat yang sama, tingkat otonomi yang lebih tinggi diberikan kepada pimpinan departemen-departemen lini—kembali kepada filosofi “membiarkan para manajer mengelola”. Meskipun departemen-departemen lini masih diharuskan melaporkan kinerja mereka secara terbuka kepada Parlemen, Departemen Keuangan sekarang tidak menerapkan kontrol sentral atau standar kualitas bagi P&E. Sebagai bagian dari perubahan tersebut, strategi evaluasi formal yang telah berjalan satu dasawarsa—dan demikian pula sistem P&E pemerintah—dibongkar. Auditor-jenderal Australia mencirikan reformasi ini sebagai deregulasi evaluasi. Meskipun masih ada sebagian departemen lini yang dapat dipandang sebagai “pulau” praktik P&E yang baik,8 dari segi pelaksanaan, kualitas dan penggunaan P&E, tampaknya hal itu lebih merupakan pengecualian, daripada fenomena yang lazim.9 Audit kinerja yang dilakukan ANAO menyoroti buruknya kualitas informasi kinerja yang sekarang diberikan oleh sebagian besar departemen kepada Parlemen. Meskipun Departemen Keuangan masih memberikan saran menyangkut anggaran departemen, namun Departemen Keuangan tidak memiliki informasi pemantauan dan temuan-temuan evaluasi yang sistematis dan dapat diandalkan, yang menjadi dasar bagi saran tersebut. Seperti disimpulkan OECD,

Di Australia deregulasi pelayanan publik dan dikuranginya kontrol badan-badan pusat memungkinkan adanya kebebasan manajemen, namun saat ini dipandang menghalangi Kementerian Keuangan untuk memperoleh informasi yang diperlukan agar dapat memberi saran secara memadai kepada Menteri (OECD, 2002).

Bab 9 : Kasus Khusus Afrika

56

Bab 9

Kasus Khusus Afrika Pengalaman negara-negara Afrika relevan dengan negara-negara miskin di kawasan lain, khususnya negara-negara yang tengah menyiapkan strategi penanggulangan kemiskinan. Afrika juga memberikan pelajaran tentang bagaimana membangun kapasitas P&E secara bertahap, terutama ketika terdapat peluang bantuan dari lembaga donor yang intensif. Pelajaran dari Afrika juga relevan dengan negara-negara berpenghasilan menengah, seperti negara-negara yang belum melakukan perbaikan menyeluruh terhadap sistem P&E mereka. Di negara-negara semacam itu, fokus yang lebih hati-hati pada perubahan bertahap patut diberikan jika ada potensi untuk membuktikan bahwa P&E merupakan kegiatan pemerintah yang hemat biaya. Secara luas disepakati bahwa situasi kemiskinan ekstrem yang dihadapi kebanyakan negara Afrika menunjukkan perlunya prioritas yang jelas untuk dukungan pembangunan yang intensif. Lebih dari 30 negara Afrika telah menyiapkan PRSP sementara atau final, yaitu suatu dokumen yang disyaratkan untuk dapat memperoleh keringanan utang melalui Inisiatif Negara-negara Miskin Pengutang Berat (Heavily Indebted Poor Countries Initiative).1 PRSP menetapkan target pembangunan, dan dimaksudkan untuk memberikan laporan mengenai hasil-hasil yang dicapai. Pada praktiknya, ini berarti suatu fokus pada sejauh mana sebuah negara telah mencapai Tujuan Pembangunan Milenium (TPM). Hal ini menggarisbawahi pentingnya memiliki statistik nasional yang memadai, yang pada gilirannya mengarah pada dukungan lembaga donor yang intensif bagi upaya pembangunan kapasitas statistik, seperti bantuan untuk sensus penduduk dan survei rumah tangga. Khususnya terkait dengan kantor statistik nasional, negara-negara tampak tertarik untuk menerima dukungan ini. PRSP biasanya menyajikan sistem pemantauan nasional (yakni sistem statistik) mereka sebagai hal yang sinonim dengan P&E, dan kebutuhan untuk memberikan prioritas pada P&E telah menjadi mantra yang diterima secara luas baik oleh pemerintah-pemerintah maupun lembaga-lembaga donor. Namun, dalam banyak kasus sistem pemantauan nasional pada prinsipnya dirancang untuk memenuhi persyaratan data yang ditentukan oleh pihak donor (IEG, 2004b). Lebih dari itu, PRSP pada akhirnya terfokus pada jumlah anggaran dan sumber-sumber daya lainnya yang dikeluarkan untuk prioritas-prioritas nasional dan kemajuan nasional dalam mencapai TPM. Kedua isu ini tentu saja penting, namun yang hilang dari fokus tersebut adalah apa yang diistilahkan oleh Booth dan Lucas (2001a, 2001b) sebagai


57

“bagian tengah yang hilang” (the missing middle): informasi kinerja mengenai langkah-langkah intervensi dalam rantai hasil, yang meliputi kegiatan, keluaran, dan pelayanan yang diberikan pemerintah, serta hasilnya; dan bukti evaluasi yang mendalam yang menghubungkan tindakan-tindakan pemerintah dengan hasil aktual yang dicapai di lapangan. Statistik tentang jumlah dana yang dihabiskan dan tentang tingkat kemiskinan sangat penting, namun sayangnya keduanya tidak dapat mengukur kinerja pemerintah dari segi hasil pengeluarannya—keluaran, hasil dan dampak dari pemerintah sendiri. Kebanyakan negara Afrika semata-mata terlampau miskin untuk dapat melakukan evaluasi dan tinjauan. Mereka malah bergantung pada donor untuk tugas semacam itu. Salah satu kesulitan yang muncul adalah beban yang terlampau berat yang dipundakkan pada negara-negara untuk memenuhi persyaratan-persyaratan P&E yang ditetapkan pihak donor, berupa kunjungan dalam rangka pemeriksaan, penyediaan informasi kinerja, kriteria dan metode evaluasi donor yang tidak selaras, dan seterusnya (IEG, 2003a). Tidak adanya harmonisasi di pihak donor telah mengakibakan beban berat suplai informasi pada negara-negara yang bergantung pada bantuan. Namun, kerja sama dan harmonisasi di pihak donor dapat difasilitasi melalui pendekatan pada tingkat sektor. Di Tanzania, misalnya, terdapat sebuah kelompok kerja sektor kesehatan, yang terdiri dari pemerintah dan lembaga donor, yang tidak hanya menganalisis kebijakan dan kinerja sektor, tetapi juga melakukan tinjauan terhadap sistem P&E sektor dan mengidentifikasi prioritas-prioritas pembangunan kapasitas P&E. Kelompok kerja sektor ini juga melakukan evaluasi atau riset menyangkut isu-isu tertentu (Stout, 2001). Langkah ke arah penggunaan lebih besar pemberian pinjaman yang bersifat programatis bagi negara-negara menyediakan cara lain untuk menanggulangi problem harmonisasi, karena hal ini membatasi cakupan untuk P&E khusus proyek dan dengan demikian cakupan untuk P&E donor. Di Uganda, misalnya, Bank Dunia dan lembaga-lembaga donor lainnya memberikan dukungan anggaran programatis kepada pemerintah. Dukungan programatis semacam itu menjadi semakin lazim di negara-negara Afrika dan di negara-negara lain yang mengikuti program peringanan utang. Pelajaran dari Uganda2 Sebagian pemerintah Afrika, seperti Uganda dan Tanzania, memahami dengan baik pentingnya memiliki informasi tentang kinerja yang bersifat komprehensif dan dapat diandalkan. Mereka menggunakan informasi ini secara intensif dalam menyiapkan rencana nasional mereka dan dalam menentukan prioritas anggaran (lihat, misalnya, Pemerintah Tanzania, 2001; Ssentongo, 2004; Pemerintah Uganda, 2004, 2006). Ciri yang menonjol dari kedua negara ini adalah rencana nasional mereka—di Uganda dikenal sebagai Poverty Eradication Action Plans (PEAP)—yang telah ada sebelum PRSP. Pengalaman ini membuat kedua negara itu lebih mudah untuk menyiapkan PRSP. Bahkan, mereka hanya perlu menyiapkan versi ringkasan dari rencana nasional mereka untuk memenuhi persyaratan PRSP.


58

Uganda memiliki sejumlah inisiatif dan sistem P&E. Uganda, misalnya, adalah negara pertama di mana PETS (Public Expenditure Tracking Survey) dilakukan (Kotak 9.1). Namun, diagnosis terhadap pengaturan P&E Uganda pada 2001 (lihat Tabel 9.1) dan 2003 memperlihatkan adanya sejumlah besar sistem pemantauan yang tidak terkoordinasi dan tidak selaras pada tingkat sektor dan subsektor—setidaknya terdapat 16 sistem yang terpisah (Hauge, 2003). Di samping itu, investigasi terperinci terhadap tiga sektor (kesehatan, pendidikan, serta air dan sanitasi) memperlihatkan beban pengumpulan data yang cukup besar pada tingkat distrik dan fasilitas. Kotak 9.1: Sebuah Evaluasi yang Berpengaruh di Uganda Pada awal 1990-an, Uganda, seperti banyak negara berkembang lainnya, merasa prihatin dengan kinerja buruk pelayanan-pelayanan publik, seperti pendidikan dan kesehatan. Hal yang diyakini sebagai penyebab utama adalah “kebocoran” dana yang tidak sampai ke tangan badan-badan yang berada di barisan terdepan. Dengan dukungan Bank Dunia, metodologi PETS dikembangkan dan diterapkan di sektor pendidikan dasar pada 1996. Tujuannya adalah mengukur proporsi dana yang diberikan oleh pemerintah pusat yang sampai ke sekolah-sekolah dasar, jangkauan kebocoran, serta merekomendasikan cara-cara untuk mengurangi kebocoran tersebut. PETS menganalisis waktu mengalirnya anggaran ke berbagai lapisan pemerintah dan membandingkan alokasi anggaran dengan pengeluaran aktual pada sekolah-sekolah dasar. Karena laporan publik yang memadai tentang pengeluaran aktual tidak tersedia, survey dilakukan di 250 sekolah dasar negeri di 19 distrik, dan sebuah dataset panel dibuat mengenai pengeluaran (expenditures) dan keluaran (outputs) untuk periode 1991-1995. Studi ini menemukan bahwa hanya 13 persen dari dana (non-gaji) yang dialokasikan yang benar-benar sampai ke sekolah-sekolah pada periode 1991-1995. 87 persen sisanya menghilang atau digunakan oleh para pejabat distrik untuk keperluan lain. Sekitar 20 persen dana yang dialokasikan untuk gaji guru jatuh ke tangan para “pekerja hantu”, yang sebenarnya tidak ada atau tidak bekerja sebagai guru. Temuan-temuan dari kajian tersebut menarik banyak perhatian media, dan pemerintah memutuskan bahwa informasi tentang jumlah dana yang dialokasikan untuk, dan diterima oleh, tiap-tiap sekolah harus disebarluaskan melalui surat kabar dan stasiun radio lokal, dan dipampang di sekolah-sekolah. Hal ini membantu memastikan bahwa orang tua mengetahui kondisi pendanaan yang dihadapi sekolah anak mereka. Hal ini menyediakan informasi yang mereka butuhkan untuk menuntut akuntabilitas guru dan kepala sekolah atas kurangnya tenaga guru yang tersedia atau penyediaan buku teks pelajaran yang tidak memadai. Langkah-langkah ini juga membuktikan kepada pemerintah lokal bahwa pemerintah pusat telah menjalankan fungsi pengawasannya. Dua PETS berikutnya memperlihatkan bahwa aliran dana non-gaji yang sampai ke sekolah-sekolah meningkat dari 13 persen pada 1991-1995 menjadi antara 80 hingga 90 persen pada 1999-2000. Contoh ini membuktikan bahwa data kuantitatif tentang pelayanan publik dapat menjadi alat yang ampuh untuk memobilisasi “suara” masyarakat


59

sipil. Meskipun keluhan yang bersifat individual dapat dikesampingkan, namun masukan-balik (feedback) publik yang didukung oleh data perbandingan yang sistematis sulit diabaikan dan dapat menjadi pemicu untuk terjadinya aksi publik. PETS pertama menghabiskan biaya sekitar 60.000 dollar dan diperkirakan membantu meningkatkan dana yang mencapai sekolah-sekolah sebanyak lebih dari 18,5 juta dollar per tahun. Hal ini menunjukkan bahwa PETS merupakan alat evaluasi yang sangat hemat biaya. Pemerintah Uganda kini melakukan PETS secara rutin untuk masing-masing sektor pelayanan dasar. Sistem informasi manajemen untuk tiga sektor tersebut mengumpulkan data mengenai hampir 1.000 indikator kinerja, yang melibatkan sekitar 300.000 entri data per tahun untuk masing-masing 110 distrik di Uganda. Indikator-indikator itu umumnya terfokus pada pengeluaran, aktivitas, dan kondisi fisik fasilitas, seperti sekolah dan klinik kesehatan. Namun, ukuran kepuasan klien dan ukuran hasil (outcomes), seperti status kesehatan dan hasil pendidikan, pada umumnya tidak ada. Sayangnya, kualitas data sangat tidak pasti, dan sering kali dipandang buruk. Sebagai akibatnya, kementerian-kementerian dan badan-badan tingkat sektor sangat bersandar pada kunjungan pemeriksaan daripada laporan mengenai indikator-indikator kinerja yang dibuat oleh mereka sendiri. Hauge dkk. (2002) memperkirakan bahwa inspeksi ke lokasi di sektor kesehatan saja menghabiskan biaya yang setara dengan biaya untuk 1.400 staf per tahun, dan sering kali menghabiskan waktu para tenaga medis yang berkualitas. Temuan-temuan diagnostik menyangkut keanekaragaman sistem P&E dan indikator kinerja—dan beban berat yang dipundakkan pada staf garis depan—melahirkan keprihatinan di tubuh pemerintah dan mendorong lahirnya keputusan untuk menciptakan Sistem P&E Nasional yang Terintegrasi (National Integrated M&E System, NIMES) di bawah pengawasan Kantor Perdana Menteri. Tujuan NIMES adalah menciptakan payung sistem P&E yang di dalamnya sistem-sistem yang ada akan dikoordinasikan dan diselaraskan, dan kapasitas pemerintah untuk melakukan dan menggunakan P&E diperkuat (Pemerintah Uganda, 2004, 2006). Berbagai kelompok kerja diciptakan di bawah NIMES untuk menangani isu-isu berikut: P&E pada pemerintah lokal; riset kebijakan; evaluasi; data statistik nasional; sistem informasi manajemen sektor dan data spasial; organisasi-organisasi masyarakat sipil dan P&E; serta informasi keuangan. Setidaknya ada empat lembaga donor yang menyediakan dukungan pendanaan bagi NIMES, dengan jumlah bantuan sekitar 7,4 juta dollar untuk periode 3 tahun, di samping pendanaan yang berasal dari pemerintah sendiri. NIMES mengurangi indikator kinerja yang berjumlah sangat banyak, terutama pada tingkat sektor, dengan memberi fokus lebih besar pada keluaran, hasil dan dampak, serta


60

pada penetapan target. Bank Dunia dan 7 lembaga donor lainnya kini menyiapkan sebuah strategi bersama untuk memberikan dukungan kepada Uganda, berdasarkan tujuan dan sasaran rencana nasional (PEAP), dan mereka sangat bersandar pada informasi pemantauan yang dilakukan oleh pemerintah sendiri untuk menilai kinerja mereka sendiri. Namun, pihak donor tetap melakukan evaluasi sendiri yang terpisah. Di samping NIMES, pemerintah juga memulai proses untuk memperbaiki kinerja dan akuntabilitasnya. Hal ini meliputi pengembangan manajemen berorientasi-hasil pada organisasi-organisasi pelayanan publik serta kaitannya dengan proses anggaran dan dengan proses penilaian kinerja staf. Upaya-upaya pemerintah tersebut meliputi langkah-langkah untuk memperkuat komitmen politik pada tingkat atas maupun pegawai negeri dan tuntutan akan orientasi kinerja yang lebih besar.4


61

Tabel 9.1: P&E Uganda—Ringkasan Diagnosis atas Isu-isu strategis, Tantangan dan Kemungkinan Aksi Memantau dan Memberikan Umpan-balik mengenai Kemajuan Penanggulangan Kemiskinan

Isu-isu strategis P&E

1. Koordinasi dan Harmonisasi

2. Pengembangan tujuan, target dan indikator kinerja

3. Insentif untuk Menyumbang pada Hasil

4. Pengalihan Otonomi Manajerial

5. Peran masyarakat sipil dalam menegakkan transparansi dan akuntabilitas

6. Prinsip-prinsip kemitraan PEAP

7. Pelatihan ketrampilan P&E

Unsur-unsur positif di Uganda

• Draf strategi pemantauan kemiskinan.

• Kelompok kerja sektor sebagai penghubung dari proses perencanaan, penyusunan anggaran.

• Upaya-upaya untuk menyelaraskan pelaporan kemajuan proyek.

• Pengalokasian lima persen dana penanggulangan kemiskinan untuk pemantauan dan akuntabilitas

• PEAP/PRSP sebagai keseluruhan kerangka kerja untuk prioritas-prioritas kemiskinan.

• Pelatihan tentang manajemen berorientasi-hasil tengah diujicobakan.

• “Indicator retreat” sebagai bagian dari siklus anggaran.

• Pengakuan bahwa keefektifan pemberian pelayanan merupakan keharusan bagi manajemen publik.

• NSDS 2000.

• Desentralisasi tanggung jawab atas pemberian pelayanan.

• Diberlakukannya penyusunan anggaran berorientasi-keluaran.

• Rencana distrik komprehensif.

• Pengembangan kapasitas rencana pembangunan pemerintah lokal.

• Sifat konsultatif proses PEAP.

• Transparansi proses anggaran.

• Praktik pengumuman publik.

• Kapasitas signifikan LSM-LSM.

• Dialog pemerintah-masyarakat sipil pada tingkat pusat.

• Draf prinsip-prinsip kemitraan CDF.

• Tren ke arah dukungan anggaran.

• Pertemuan kelompok konsultatif dijadualkan sebagai bagian dari siklus anggaran.

• Kesadaran mengenai pentingnya P&E.

• Tersedianya para peneliti lokal serta tradisi akademik dan pelatihan lokal.


62

Beberapa tantangan

• Format perencanaan dan pelaporan yang terpisah untuk sumber pendanaan yang berbeda-beda.

• Kebijakan, anggaran dan rencana kerja sektor/distrik ditangani sebagai kegiatan terpisah.

• Penyesuaian dan koordinasi inisiatif-inisiatif manajemen hasil yang berbeda-beda.

• Sepertiga dari bantuan pengembangan pejabat merupakan bantuan teknis di luar anggaran pemerintah.

• Kejelasan yang tidak konsisten dari tujuan-tujuan pada tingkat sektor.

• Tujuan PEAP sejalan dengan kegiatan-kegiatan kementerian daripada hasil di bidang penanggulangan kemiskinan.

• Hanya sedikit tujuan yang didefinisikan menurut kerangka waktu, patokan dasar dan target yang terukur.

• Kaitan yang lemah antara tujuan sektor dan tujuan distrik.

• Kinerja diukur dari segi pengeluaran dan kegiatan birokrasi.

• Kaitan yang lemah antara alokasi sumber daya dan kinerja.

• Imbalan diberikan pada pembuatan laporan yang baik.

• Pemberlakuan sanksi yang tidak konsisten bagi kinerja yang buruk.

• Korupsi umumnya tidak dikenai hukuman.

• Kapasitas manajemen yang umumnya lemah pada tingkat lokal.

• Rasio pengeluaran yang telah dipatok dari skema bantuan bersyarat membuat para manajer kurang fleksibel untuk membuat penyesuaian dengan kebutuhan lokal.

• Jumlah dan tingkat kedudukan ditentukan dari pusat.

• Kebutuhan untuk meningkatkan konsultasi dengan para pemangku kepentingan dalam menetapkan prioritas.


• Dialog pemerintah Uganda-LSM di tingkat pusat tidak tercermin di tingkat lokal.


• Masih ada hampir sekitar 300 proyek yang berjalan terpisah.

• 20 tinjauan program tahunan yang terpisah.

• Pihak donor lokal tidak dapat berangkat dari pedoman korporat P&E.

• Ketrampilan manajemen yang lemah pada tingkat pemerintah lokal

• Kemungkinan meningkatnya tuntutan akan manajemen dan pelaksanaan P&E yang berkaitan dengan hubungan antara pemberian pelayanan dan hasil penanggulangan kemiskinan.


63

Kemungkinan aksi untuk mengatasi tantangan

• Identifikasi sebuah kementerian atau badan yang bertanggung jawab atas P&E.

• Menetapkan pengaturan-pengaturan inti P&E (seperti melalui kerangka-kerja formal P&E), penyelarasan peristilahan, format pelaporan dan penetapan periode.

• Memperbaiki koordinasi antara badan pemeriksa dan badan audit.

• Rumuskan tujuan dan target PEAP melalui perencanaan, penganggaran, dan perencanaan kerja pada tingkat sektor, distrik dan fasilitas.

• Fokus kerangka-kerja pengeluaran jangka panjang pada penentuan tujuan dan target PEAP jangka menengah.

• Penetapan jangkauan dan hasil sebagai tolok ukur imbalan keberhasilan dan kinerja.

• Penggunaan NSDS sebagai barometer perbaikan tingkat kepuasan klien.

• Diangkatnya perhatian menyangkut nilai uang (value for money) dalam undang-undang keuangan.

• Pencanangan piagam pelayanan klien.

• Perbesar otonomi lokal atas rekrutmen, gaji, dan pengeluaran non-gaji.

• Pastikan adanya pengawasan lokal yang lebih kuat sebagai pengganti (the quid pro quo) pengawasan dari pusat

• Rintislah praktik-praktik P&E yang partisipatoris sebagai fungsi manajemen pokok.

• Perluas praktik tansparansi dari pengalokasian kepada pelaksanaan.

• Kartu laporan klien sebagai tambahan bagi NSDS

• Sediakan akses untuk LSM kepada pendanaan bagi pemantauan dan akuntabilitas dana program penanggulangan kemiskinan.

• Canangkan piagam pelayanan klien.

• Pengaruh dukungan donor untuk CDF dan PEAP guna meningkatkan sinergi dalam perencanaan, pelaporan dan tinjauan.

• Gunakan matriks kebijakan operasi untuk mendukung aksi penanggulangan kemiskinan sebagai mekanisme perencanaan dan tinjauan bersama.

• Perkuat kapasitas lokal untuk pelatihan ketrampilan evaluasi, misalnya, dengan melatih para pelatih di institusi-institusi nasional.

• Koordinasikan penggunaan dana yang dialokasikan untuk P&E di bawah dana aksi penanggulangan kemiskinan, program pembangunan pemerintah daerah, dan Program Manjemen Ekomomi dan Keuangan II.

• Dirikan asosiasi evaluasi nasional.

Sumber: Hauge, 2001. Catatan: CDF = Comprehensive Development Framework; LSM = Lembaga Swadaya Masyarakat; NSDS = National Service Delivery Survey; PEAP = Poverty Eradication Action Plan; PRSP = Poverty Reduction Stratgey Paper.


64

Beberapa Kesimpulan Uganda dan negara-negara lain Afrika telah memiliki sistem P&E. Mereka juga memperoleh dukungan dari lembaga donor untuk membangun kapasitas statistik dan memiliki akses kepada evaluasi pihak donor. Tantangan yang dihadapi oleh negara-negara ini bukanlah membangun sistem yang baru, melainkan merasionalisasi dan memperbaiki sistem yang sudah ada. Ada berbagai persoalan menyangkut kualitas data dan persyaratan donor yang tidak selaras bagi P&E—sebuah situasi di mana terdapat terlampau banyak data, namun tidak terdapat cukup informasi. Hal yang menambah kompleksitas masalah pada sisi suplai adalah fakta bahwa di kebanyakan negara-negara lain tuntutan pemerintah terhadap informasi P&E rendah. Meskipun adalah hal yang tidak realistis untuk mengharapkan kebanyakan negara-negara Afrika membangun sistem P&E yang komprehensif dan dapat diandalkan, ada sejumlah unsur penting yang mungkin mereka lakukan. Berikut ini adalah daftar mengenai apa yang dapat dilakukan oleh negara-negara Afrika dan negara-negara lainnya yang tengah menyiapkan PRSP, baik dengan ataupun tanpa bantuan lembaga donor. Keuntungan, biaya dan keterbatasan dari beberapa perangkat P&E ini dibahas dalam Monitoring and Evaluation: Some Tools, Methods and Approaches (IEG, 2004b):

• Sistem informasi manajemen keuangan untuk mendukung penelusuran finansial yang lebih baik terhadap pengeluaran pemerintah.

• Survei penelusuran pengeluaran publik (PETS) untuk mengidentifikasi “kebocoran” dan untuk melacak efek-efek dari korupsi.

• Survei pemberian pelayanan mengenai kepuasan klien dan persepsi klien mengenai kualitas pelayanan pemerintah.

• Penilaian cepat (rapid appraisal)—misalnya terhadap proyek-proyek atau program-program yang “bermasalah”.

• Pengumpulan data statistik tingkat nasional dan sektor—khususnya yang berkaitan dengan prioritas nasional, seperti TPM.

• Data administratif kementerian-kementerian sektor. Satu-satunya hal yang harus diwaspadai menyangkut daftar tersebut di atas ialah bahwa, dalam pengertian tertentu, “lebih sedikit, lebih banyak yang diperoleh” (less is more). Satu bahaya yang harus dihindari adalah melakukan rekayasa secara berlebihan terhadap sistem P&E apapun yang tengah dibangun. Karena itu, penting untuk memantau secara hati-hati sejauh mana masing-masing jenis informasi P&E digunakan. Jika tingkat penggunaan informasi itu rendah, maka perlu dilakukan identifikasi terhadap alasan-alasan yang menyebabkan hal itu, seperti kesadaran yang rendah mengenai keberadaan informasi P&E, tingkat tuntutan yang rendah terhadap informasi P&E, data berkualitas buruk yang dinilai tidak dapat diandalkan, atau ketiadaan staf yang mampu melakukan analisis dan menindaklanjuti informasi tersebut. Hal ini membantu mengidentifikasi langkah-langkah yang harus diambil untuk memperbaiki suplai atau untuk meningkatkan tuntutan terhadap informasi P&E.

Bab 11 : Insentif-insentif bagi P&E – Bagaimana Menciptakan Permintaan?

65

BAGIAN III

PELAJARAN DARI BERBAGAI

PENGALAMAN

Negara-negara maju dan berkembang banyak yang telah mengakumulasikan

pengalaman penting dalam membangun sistem P&E. Konsistensi pelajaran-

pelajaran dari berbagai negara dan kawasan yang berbeda itu tidaklah

mengejutkan. Pelajaran-pelajaran itu juga mencerminkan pengalaman

internasional berkenaan dengan tipe-tipe lain pembangunan kapasitas sektor

publik (Bab 10). Penggunaan informasi P&E merupakan isu penting bagi

kinerja dan kesinambungan dari sebuah sistem P&E. Penggunaan

bergantung pada sifat dan kekuatan tuntutan akan informasi P&E—dengan

kata lain, penggunaan bergantung pada insentif untuk menggunakan P&E.

Negara-negara dengan sedikit atau tidak ada sama sekali tuntutan akan P&E

mungkin dipandang sebagai negara-negara yang menghadapi hambatan yang

sangat berat untuk membangun sistem P&E. Namun, pandangan ini

terlampau pesimistis. Ada cara-cara untuk meningkatkan tuntutan atau

permintaan (demand) dengan memperkuat insentif, dan hal tersebut dibahas

di dalam Bab 11, yang difokuskan pada imbalan, hukuman dan dukungan

(carrots, sticks and sermons) guna memastikan bahwa informasi P&E

digunakan.

Bab 10 : Membangun Sistem P&E Negara – Pelajaran dari Berbagai Pengalaman

66

Bab 10

Membangun Sistem P&E Negara—Pelajaran dari Berbagai Pengalaman Kepustakaan yang semakin berkembang mengenai pengalaman dalam memperkuat sistem P&E pemerintah menunjukkan adanya kesepakatan luas di kalangan ahli menyangkut sejumlah pelajaran utama (Kotak 10.1) (lihat African Development Bank dan World Bank, 1998; Boyle, 2005; Compton, Baizerman dan Stockdill, 2002; DAC, 2006; Development Bank of Southern Africa, African Development Bank dan World Bank, 2000; Mackay, 1998d, 2004; May dkk., 2006; OECD, 1997a, 1997b, 1998a, 2004; Schiavo-Campo, 2005; UNDP, 2000). Pelajaran pertama dan paling utama adalah tuntutan mendasar dari pemerintah merupakan prasyarat bagi pelembagaan P&E yang berhasil. Yaitu, sistem P&E harus menghasilkan informasi pemantauan dan temuan-temuan evaluasi yang dinilai berharga oleh para pemangku kepentingan (stakeholders), yang digunakan untuk memperbaiki kinerja pemerintah, dan merespons tuntutan yang memadai akan fungsi P&E guna menjamin pendanaan dan kesinambungannya di masa mendatang. Upaya-upaya untuk membangun sistem P&E akan gagal jika tuntutan riil tidak ada atau tidak dapat secara sengaja diciptakan, khususnya dengan memastikan bahwa terdapat insentif-insentif yang ampuh untuk melaksanakan dan menggunakan P&E. Tidak cukup hanya melontarkan pernyataan bahwa P&E adalah penting dan harus dilakukan. Hal ini mungkin menjadi lip service belaka, namun pasti tidak mungkin menghasilkan informasi pemantauan dan evaluasi yang berkualitas baik. Upaya-upaya untuk menciptakan kepatuhan dari atas semacam itu, jika tidak disertai dengan sejumlah tindakan lainnya, hanya akan dengan mudah menghasilkan kepatuhan yang bersifat ritual atau bahkan resistensi aktif. Mewujudkan tuntutan yang mendasar akan P&E tidak mudah. Dan, hambatan bagi adanya tuntutan adalah ketiadaan pengetahuan tentang apa yang sesungguhnya dicakup oleh P&E, khususnya di mana keterlibatan para pemangku kepentingan utama seperti kementerian-kementerian pemerintah atau kementerian keuangan diperlukan, sebelum upaya mendasar akan dijalankan untuk menciptakan dan mendanai fungsi P&E. Dengan demikian, yang sering kali muncul adalah persoalan “ayam-dan-telur”. Tidak adanya tuntutan pemerintah akan P&E disebabkan tidak adanya


67

pemahaman tentang P&E dan tentang apa yang dapat diberikan P&E; tidak adanya pemahaman karena tidak adanya pengalaman dengannya; dan tidak adanya pengalaman diakibatkan lemahnya tuntutan atau kebutuhan akannya. Cara untuk mengatasi masalah ini adalah meningkatkan kesadaran akan P&E—cakupan alat, metode dan tekniknya—dan potensi penggunaannya. Tuntutan dapat ditingkatkan ketika para pemangku kepentingan utama di tubuh pemerintahan mulai memahami P&E dengan lebih baik, ketika mereka disajikan dengan contoh-contoh tentang sistem pemantauan dan laporan evaluasi yang sangat hemat biaya, dan ketika mereka mengetahui bahwa pemerintah-pemerintah lain telah membangun sistem P&E yang mereka pandang sangat bernilai. Menunjukkan bukti yang semakin banyak tentang sangat tingginya tingkat pengembalian investasi (ROI) dari P&E dapat meyakinkan pihak-pihak berkepentingan (Bamberger, Mackay dan Ooi, 2004). Kotak 10.1: Unsur-unsur Sistem P&E Negara yang Sukses • Tuntutan pemerintah yang kuat • Peran insentif yang kuat • Diagnosis terhadap P&E yang sudah ada sebagai langkah awal • Peran kunci “kampiun” yang berpengaruh • Digerakan secara terpusat oleh kementerian yang mumpuni • Tidak ada rekayasa berlebihan terhadap sistem • Sistem data kementerian yang dapat diandalkan • Penggunaan sebagai ukuran keberhasilan • Pelatihan mengenai P&E dan tentang penggunaan P&E • Keterbatasan mengandalkan undang-undang, dekrit, peraturan • Pengaturan struktural memastikan objektivitas dan kualitas P&E • Upaya jangka panjang, memerlukan ketekunan • Pengembangan secara non-linier, kurang dapat diprediksi • Evaluasi berkala terhadap sistem P&E sendiri Sisi suplai juga penting, yaitu penyediaan pelatihan, pedoman dan prosedur, serta mengenali konsultan P&E yang baik, dan seterusnya. Keahlian dalam P&E tentu saja penting jika hasil informasi P&E ingin bersifat reliabel atau dapat diandalkan. Orang-orang yang melihat P&E dari sudut pandang teknokratis sebagai suatu kegiatan teknis yang terpisah cenderung hanya memfokuskan pada isu-isu tersebut semata. Namun, sisi suplai produksi informasi P&E kurang penting dibandingkan sisi permintaan. Jika permintaan atau tuntutan akan P&E kuat, maka memperbaiki suplai dapat menghasilkan pengaruh langsung, akan tetapi tidak berlaku sebaliknya. Tuntutan dari pemerintah sangat penting bagi penggunaan informasi P&E dan bagi kesinambungan pendanaan kegiatan-kegiatan P&E. Oleh sebab itu, penting untuk memastikan dukungan para pemangku kepentingan kunci seperti menteri-menteri pemerintahan atau kementerian keuangan jika upaya mendasar hendak dikerahkan untuk menciptakan,


68

memperkuat atau membiayai fungsi-fungsi P&E. Bersandar pada pendanaan dari pihak donor serta pada kegiatan-kegiatan P&E donor tidak dapat dilakukan terus-menerus. Insentif adalah bagian penting dari sisi permintaan. Dibutuhkan insentif-insentif yang kuat agar P&E dapat berjalan dengan baik, dan khususnya agar informasi pemantauan dan temuan-temuan evaluasi benar-benar digunakan. Dengan kata lain, insentif yang kuat diperlukan jika fungsi P&E hendak berhasil dilembagakan (lihat Kotak 10.2 tentang pengalaman Irlandia, misalnya). Pengamatan ini juga konsisten dengan berbagai kepustakaan yang luas tentang upaya mewujudkan reformasi kelembagaan jenis apapun, khususnya dalam konteks manajemen sektor publik dan tata pemerintahan yang baik (untuk tinjauan kepustakaan yang luas, lihat World Bank, 1997a; OECD, 2004, 2005). Kotak 10.2: Pelajaran dari Irlandia Irlandia mengembangkan sistem evaluasi pemerintah sebagai respons terhadap persyaratan formal untuk bergabung ke dalam Uni Eropa (UE). Sejak bergabung dengan UE, sistem Irlandia telah diperkuat karena sejumlah alasan internal yang terkait dengan keinginan pemerintah untuk meningkatkan nilai uang (value for money) dari seluruh area pengeluaran publik. Hal ini tercermin dalam program pemerintah Expenditure Review Initiative. Bagi negara-negara berkembang, Irlandia memberikan sejumlah pelajaran tentang faktor-faktor keberhasilan dan hambatan-hambatan dalam mengembangkan sebuah sistem P&E. Salah satunya ialah bahwa tekanan eksternal yang kuat, yang terkait dengan ketersediaan sumber-sumber daya penting, dapat menjadi katalisator kunci dalam merintis sistem P&E. (Analogi bagi negara-negara miskin adalah persyaratan untuk menyiapkan strategi penanggulangan kemiskinan, dengan sistem P&E terkait, dalam konteks peringanan utang melalui program Heavily Indebted Poor Country Initiative). Ketika telah terwujud, sistem P&E dapat digunakan untuk tujuan-tujuan tambahan yang digerakkan secara nasional. Tentu saja tuntutan negara dan insentif-insentif untuk menggunakan informasi P&E sangat penting untuk pelembagaan dan kesinambungan sistem semacam itu. Kasus Irlandia lagi-lagi menggarisbawahi sulitnya memastikan kaitan langsung antara informasi P&E dan pembuatan keputusan anggaran dan proses-proses alokasi sumber daya lainnya. Prosedur-prosedur dan praktik-praktik formal mungkin diperlukan untuk membangun kaitan-kaitan yang bersifat langsung. Pelajaran lainnya adalah manfaat untuk melakukan peninjauan secara berkala terhadap kemajuan dalam mengembangkan sistem P&E dan mereorientasikan sistem—terkadang secara mendasar. Irlandia terus merintis perbaikan-perbaikan lebih lanjut bagi sistem evaluasinya. Irlandia memiliki jumlah pelaku evaluasi yang sedikit, dan ini menjadi hambatan, kendati hal itu telah memungkinkan Irlandia untuk mengembangkan dengan cepat pemahamannya tentang persyaratan-persyaratan sistem P&E. Sedikitnya ketrampilan


69

yang tersedia menggarisbawahi pentingnya upaya menggunakan sumber daya ini secara hati-hati; hal ini memiliki implikasi baik pada sisi suplai maupun sisi permintaan. Menyangkut sisi permintaan, hal itu menunjukkan pentingnya untuk tidak mengembangkan sebuah sistem yang terlalu kompleks atau banyak menuntut. Sebaliknya, fokus lebih baik diarahkan pada kegiatan-kegiatan P&E yang paling hemat biaya. Hal ini ditentukan oleh kemungkinan penggunaan informasi P&E yang dihasilkan. Berkenaan dengan sisi suplai, akan bermanfaat untuk berupaya mengembangkan kapasitas-kapasitas yang terbatas itu secara terencana—misalnya, melalui pelatihan yang terarah, pengembangan kurikulum, pengembangan ketrampilan kerja, penempatan pada lembaga lain (secondment), dukungan jaringan, peninjauan berkala terhadap kualitas P&E, atau kontrak berkala dengan perusahaan-perusahaan konsultan. Jika pegawai negeri diandalkan untuk melakukan evaluasi, maka penting untuk memastikan bahwa mereka cukup terlatih dan diberikan pedoman yang memadai serta dukungan lainnya agar mereka dapat bekerja secara efektif. Sumber: Boyle, 2005. Sekadar memiliki informasi P&E tidak menjamin bahwa informasi itu akan benar-benar digunakan, entah oleh manajer program dalam kerja keseharian mereka, oleh pejabat anggaran yang bertanggung jawab untuk memberi nasihat mengenai opsi-opsi pengeluaran, atau oleh Kongres atau Parlemen yang bertanggung jawab atas pengawasan akuntabilitas. Hal ini menggarisbawahi bahaya pandangan teknokratis yang melihat P&E sebagai seperangkat alat yang memiliki manfaat inheren, maupun kekeliruan bahwa sekadar membuat informasi P&E tersedia akan menjamin bahwa informasi itu digunakan. Tidak ada pemerintah yang membangun sistem P&E karena sistem itu dipandang memiliki manfaat hanya pada dirinya sendiri. Pemerintah membangun sistem P&E karena (1) sistem itu mendukung langsung kegiatan-kegiatan inti pemerintah, seperti proses anggaran; perencanaan nasional; pengembangan kebijakan dan program; serta manajemen kementerian, badan, program dan kegiatan; atau (2) menyediakan informasi guna mendukung hubungan akuntablitas. Dengan demikian, sistem P&E sering kali dikaitkan dengan reformasi sektor publik, seperti penyusunan anggaran berbasis-kinerja, pembuatan kebijakan berbasis-bukti, manajemen berbasis-hasil, dan semacamnya. Inisatif-inisiatif tersebut memiliki sejumlah unsur yang sama (lihat Bab 3). Dalam upaya membangun atau memperkuat sistem P&E pemerintah, akan cukup membantu jika dimulai dengan melakukan diagnosis terhadap fungsi-fungsi P&E yang ada saat ini, serta kekuatan dan kelemahannya—baik pada sisi permintaan maupun sisi pasokan. Diperlukan gambaran yang jelas mengenai jangkauan aktual (yang berbeda dari jangkauan yang diharapkan) penggunaan informasi P&E, serta cara-cara tertentu informasi itu digunakan. Diagnosis semacam itu sendiri merupakan suatu bentuk evaluasi, dan diagnosis itu berguna bukan hanya karena informasi dan pengetahuan yang dihasilkannya, tetapi juga karena diagosis dapat menjadi sarana untuk meningkatkan kesadaran para pemangku kepentingan di kalangan pemerintahan, masyarakat sipil dan


70

komunitas donor tentang pentingnya P&E dan kebutuhan untuk membangun sebuah sistem baru atau memperkuat sistem yang telah ada. Dimensi lain dari sisi permintaan, dan faktor sukses lainnya, adalah memiliki seorang pendukung atau kampiun yang berpengaruh—seorang menteri atau pejabat senior berpengaruh yang mampu mendorong pelembagaan P&E, meyakinkan kolega-koleganya mengenai prioritas P&E, dan mengerahkan berbagai sumber daya penting untuk menciptakan sebuah sistem P&E keseluruhan pemerintah (a whole-of-government M&E system). Sang kampiun ini perlu memiliki pemahaman tentang P&E, dari segi alat dan metode, dan apresiasi terhadap potensi kegunaannya bagi pemerintah—untuk salah satu atau lebih dari empat kegunaan utama P&E (diuraikan secara umum dalam Bab 3). Para pendukung dari pihak pemerintah telah memainkan peran penting dalam sebagian sistem P&E pemerintah yang lebih sukses, seperti di Chile, Kolumbia dan Australia (masing-masing negara dibahas di dalam May dkk., 2006; IEG, 2003b [Bab 11]; Mackay, 2004). Namun, pendukung yang berpengaruh hanya merupakan salah satu faktor keberhasilan. Mereka tidak menjamin kesuksesan. Ada contoh-contoh, seperti Mesir, di mana dukungan sekelompok menteri utama bagi P&E telah dibuat frustrasi oleh para pejabat tingkat menengah yang bersikap skeptis (IEG, 2004a; Schiavo-Campo, 2005). Menciptakan sebuah sistem P&E keseluruhan pemerintah—apakah hanya difokuskan pada sistem indikator kinerja atau mencakup berbagai jenis evaluasi dan tinjauan—memerlukan usaha yang signifikan. Hal itu melibatkan upaya perekrutan dan pelatihan tenaga untuk melaksanakan atau mengelola P&E serta menggunakan temuan-temuannya; membangun infrastruktur birokrasi untuk memutuskan program pemerintah mana yang harus dievaluasi dan isu-isu apa yang harus ditangani dalam tiap-tiap evaluasi; dan membangun sistem data dan prosedur-prosedur untuk mengumpulkan, mendistribusikan dan melaporkan informasi P&E. Upaya membangun sistem P&E juga membutuhkan pengawasan aktif sistem P&E oleh para pejabat senior—yang biasanya sangat sibuk. Seperti sistem-sistem lain, di bidang-bidang seperti manajemen keuangan atau pengadaan, diperlukan upaya yang berkelanjutan selama periode bertahun-tahun untuk membuat sistem P&E beroperasi secara efisien. OECD menyimpulkan bahwa:

Dibutuhkan waktu untuk mengembangkan sebuah sistem pengukuran kinerja dan untuk mengintegrasikannya ke dalam sebuah sistem manajemen. Tidak ada negara anggota OECD yang menganggap upaya mengembangkan sebuah sistem pengukuran kinerja sebagai hal yang mudah. Sebaliknya, hal itu dipandang sebagai upaya yang melelahkan yang membutuhkan pemantauan dan pengontrolan terus-menerus (OECD, 1997a: 19).

Dengan demikian, karakteristik lain dari sistem P&E pemerintah yang berhasil adalah pengawalan proses ini oleh kementerian yang mumpuni, yang dapat merancang, mengembangkan dan mengelola sebuah sistem P&E. Di banyak negara maju dan negara-negara berpenghasilan menengah-ke-atas (misalnya, Australia, Kanada, Chile dan


71

Amerika Serikat), ini berarti kementerian keuangan. Tentu saja akan membantu jika ada lembaga pengawal sistem P&E yang dekat dengan pusat pemerintah (misalnya, kantor kepresidenan) atau proses anggaran (Bedi, dkk., 2006). Kebutuhan untuk memiliki kejelasan menyangkut peran dan tanggung jawab para pemangku kepentingan utama juga tercermin dalam pengalaman Amerika Latin (Kotak 10.3). Kotak 10.3: Pengalaman Amerika Latin dengan Sistem P&E Konferensi regional Bank Dunia-Bank Pembangunan Antar-Amerika (IADB) yang diadakan pada Juni 2005 difokuskan pada pengalaman negara lima negara terkemuka atau menjanjikan di Amerika Latin: Brazil, Chile, Kolumbia, Meksiko dan Peru. Beberapa dari negara itu telah mencapai sukses yang besar dalam menciptakan sistem P&E dan melembagakannya. Dari pengalaman negara-negara itu terbukti bahwa tidak ada “tujuan” tunggal bagi negara-negara mengenai seperti apakah sistem P&E yang berjalan dengan baik itu. Sebagian negara menekankan sistem indikator kinerja, dan sebagian lainnya memfokuskan pada pelaksanaan evaluasi (tinjauan program atau evaluasi dampak yang cermat). Meskipun kebanyakan negara telah menciptakan pendekatan keseluruhan pemerintah (whole-of-government approach) yang digerakkan oleh kementerian keuangan atau kementerian perencanaan, sebagian lainnya lebih terfokus pada sistem P&E tingkat sektor. Salah satu ciri utama dari kebanyakan sistem di kawasan tersebut ialah bahwa mereka mencerminkan upaya-upaya untuk melembagakan P&E yang digerakkan oleh negara, bukan oleh lembaga donor. Pengalaman bersama negara-negara ini telah melahirkan semacam kebijaksanaan kolektif menyangkut pengembangan sistem P&E yang kokoh: • Ada kebutuhan untuk mendefinisikan secara jelas peran dan tanggung jawab

aktor-aktor utama—kementerian keuangan dan kementerian perencanaan, kantor kepresidenan, kementerian-kementerian sektor dan Kongres. Juga penting untuk menciptakan insentif-insentif yang tepat guna mendorong para pemangku kepentingan tersebut memainkan peran yang lebih besar dalam P&E.

• Upaya memperkuat sistem P&E pada dasarnya bukan hanya sebuah isu pada sisi suplai, yaitu “perbaikan teknis”. Agar sebuah sistem P&E berhasil dan berkesinambungan, informasi dan temuan-temuan P&E harus digunakan secara intensif oleh seluruh pemangku kepentingan, termasuk kementerian-kementerian sektor dan masyarakat sipil—hal terakhir ini bergantung pada bagaimana sistem itu telah dikembangkan.

• Kementerian-kementerian dan staf yang konservatif mungkin menolak upaya-upaya untuk mengimplementasikan sistem P&E dan menggunakan P&E sebagai alat manajemen dan anggaran. Dibutuhkan adanya tingkat komitmen yang tinggi dan dukungan terus-menerus dari para pendukung yang berpengaruh pada tingkat menteri dan pejabat senior.


72

• Ada perdebatan tersirat tentang bagaimana memprioritaskan evaluasi—untuk

fokus pada program-program bermasalah, proyek-proyek percontohan, program dengan pengeluaran yang besar atau dengan visibilitas yang tinggi, atau pada riset sistematis guna merespons persoalan-persoalan efektivitas program.

Sumber: May dkk., 2006. Di sebagian negara, kementerian-kementerian sektor yang mumpuni telah membangun sistem sistem P&E yang kuat. Contoh yang paling menonjol mungkin adalah Meksiko, di mana Sekretariat Pembangunan Sosial (SEDESOL), sebuah kementerian yang mumpuni dan dihormati, mengelola sebuah sistem P&E yang menitikberatkan pada evaluasi kualitatif maupun evaluasi dampak. Kementerian ini juga bekerja untuk memperkuat sistem indikator kinerja untuk mendukung lebih baik evaluasi-evaluasi yang dilakukannya (Hernandez, 2006). Upaya kementerian sektor tersebut lahir dari sebuah undang-undang yang disahkan oleh Kongres yang memberi mandat untuk dilakukannya evaluasi terhadap program-program sosial. Kongres menaruh perhatian pada kemungkinan pemerintah menggunakan program-program sosialnya untuk mendulang suara, dan Kongres menghendaki adanya bukti kuat mengenai kinerja program sebelum Kongres setuju untuk mendanai program tersebut. Undang-undang ini dipengaruhi paling tidak sebagian oleh serangkaian evaluasi dampak yang cermat terhadap program Progresa. Meksipun evaluasi-evaluasi tersebut termasuk di antara evaluasi dampak yang paling mahal, yang menghabiskan biaya jutaan dollar, namun kualitas evaluasi-evaluasi itu juga diakui secara luas, karena memiliki dampak yang sangat besar terhadap pemerintah. Evaluasi-evaluasi itu berperan dalam meyakinkan pemerintah untuk mempertahankan program Pogresa dan untuk memperluas jangkauan program itu ketika berubah-bentuk menjadi program Oportunidades. Pada 2005 pemerintah mengeluarkan 6 miliar dollar untuk program ini, yang menjangkau sekitar 21 juta penerima manfaat, atau sekitar seperlima dari penduduk Meksiko. Evaluasi-evaluasi tersebut, meskipun mahal, dapat dinilai sangat hemat biaya. Pemerintah di negara-negara lain menemukan contoh-contoh evaluasi yang sangat berpengaruh sebagai hal yang cukup meyakinkan dalam kaitannya dengan potensi manfaat evaluasi, dan keuntungan-keuntungan untuk membangun sebuah sistem P&E yang baik. Seperti telah dikemukakan di dalam Bab 3, keberhasilan P&E di dalam SEDESOL membantu meyakinkan kementerian keuangan yang berpengaruh dan kantor pengawas keuangan untuk bergabung dengan dewan evaluasi nasional untuk menciptakan sistem P&E keseluruhan pemerintah. Hal ini menunjukkan efek pembuktian yang ampuh yang dapat dimiliki oleh sebuah lembaga sektor yang sukses. Satu hal yang penting dicatat sambil lalu adalah: jarang sekali, jikapun pernah, terdapat kasus bahwa sebuah kementerian yang memutuskan untuk menciptakan sistem P&E yang


73

kuat harus berangkat dari nol. Bahkan, di negara-negara termiskin Afrika biasanya tersedia seperangkat indikator kinerja, dan juga terdapat sejumlah evaluasi yang dilakukan oleh lembaga-lembaga donor. Masalah yang lebih sering dihadapi adalah buruknya kualitas dan parsialnya cakupan informasi kinerja serta rendahnya tingkat penggunaan informasi tersebut. Kekeliruan yang umum terjadi adalah melakukan rekayasa terlalu berlebihan terhadap sistem P&E. Hal ini lebih jelas dengan indikator kinerja. Misalnya, sistem P&E Kolumbia, SINERGIA, telah mengakumulasikan sebanyak 940 indikator kinerja hingga tahun 2002. Bagi Kolumbia, jumlah ini terlampau banyak untuk penggunaan informasi itu demi kepentingan akuntabilitas, maka kemudian jumlah itu dikurangi menjadi sekitar 500 (Castro, 2006a, 2006b; Mackay dkk., 2007; lampiran B pada buku ini). Sebaliknya, sistem Chile mencakup 1.550 indikator kinerja. Jumlah ini sangat besar, namun Kementerian Keuangan yang sangat kapabel mampu menggunakan informasi tersebut secara efektif. Karena itu, Chile paling baik dipandang sebagai pengecualian yang membuktikan aturan yang lebih umum, bahwa “lebih sedikit, lebih banyak yang didapat” (less is more). Jumlah indikator kinerja yang tepat juga bergantung pada jumlah program dan pelayanan yang diberikan pemerintah, serta bergantung pada jenis indikator kinerja. Indikator dapat difokuskan pada berbagai bagian dari “rantai hasil” sebuah program (yang didefinisikan dalam Lampiran E): masukan (inputs), kegiatan (activities), keluaran (outputs), hasil (outcomes) dan dampak (impacts). Para pejabat senior akan cenderung menggunakan indikator-indikator strategis tingkat tinggi, seperti keluaran dan hasil. Sebaliknya, para manajer lini dan staf mereka cenderung akan memfokuskan pada sejumlah besar indikator operasional yang terkait dengan proses dan pelayanan. Menghasilkan secara berkala informasi kinerja yang terperinci semacam itu baru merupakan langkah awal. Para pejabat senior dan manajer biasanya tidak mempunyai waktu untuk menelaah data kasar. Akan sangat membantu mereka sekiranya para analis yang kapabel melakukan penelaahan terhadap data tersebut dan menyediakan ikhtisar dan analisis bagi para pejabat senior. Sistem data kementerian sering kali—dan mungkin biasanya—tidak terkoordinasi, sehingga satu kementerian dapat memiliki beberapa sistem semacam itu, masing-masing dengan definisi data, sumber data, periode pengumpulan dan mekanisme penentuan kualitasnya sendiri (jika pun ada). SEDESOL di Meksiko, misalnya, memiliki delapan sistem informasi manajemen terpisah pada 2004 (World Bank, 2004c). Di Uganda, satu persoalan yang dihadapi adalah jumlah sistem P&E yang tidak terkoordinasi—sebanyak 16 sistem tingkat sektor dan subsektor, yang saat ini tengah diupayakan oleh pemerintah untuk dikoordinasikan melalui sebuah strategi P&E nasional terpadu yang baru (Hauge, 2003; Pemerintah Uganda, 2006). Masalah yang dihadapi di negara-negara Afrika, dan mungkin di sebagian kawasan lainnya, adalah meskipun kementerian-kementerian sektor mengumpulkan berbagai


74

informasi kinerja, kualitas data sering kali buruk. Hal ini sebagian disebabkan beban pengumpulan data ditimpakan pada para petugas pada tingkat fasilitas yang dibebankan tugas berlebihan, yang harus menyediakan data untuk pejabat lainnya di kantor distrik dan ibu kota, namun mereka jarang menerima masukan-balik mengenai bagaimana data sesungguhnya digunakan, jika pun memang digunakan. Hal ini mengantarkan pada masalah ayam-dan-telur lainnya: data berkualitas buruk disebabkan antara lain karena data tersebut tidak digunakan; dan data tersebut tidak digunakan antara lain karena kualitas data itu buruk. Di negara-negara semacam itu, terlampau banyak data tersedia, namun tidak cukup tersedia informasi. Karena itu, pelajaran lain untuk pelembagaan sistem P&E pemerintah adalah kebutuhan untuk membangun sistem data kementerian yang reliabel—untuk membantu menyediakan data kasar (raw data) yang menjadi dasar pijakan bagi sistem P&E.1 Dalam situasi ini, audit terhadap sistem data dan diagnosis terhadap kapasitas data dapat membantu. Hal itu akan menyediakan titik awal bagi upaya rasionalisasi yang diperlukan terhadap pengumpulan data atau perbaikan kualitas data. Hal itu akan menjadikan data memiliki kredibilitas untuk digunakan. Verifikasi dan kredibilitas data sebagian merupakan isu teknis menyangkut keakuratan, prosedur dan kontrol kualitas. Terkait dengan isu kualitas teknis ini adalah kebutuhan agar data secara potensial berguna—agar informasi tersedia pada waktu yang tepat, mudah dipahami, konsisten sepanjang waktu, dan seterusnya. Selain itu, ada pula isu menyangkut kejujuran dan objektivitas; karena informasi kinerja menjadi penting—khususnya ketika digunakan untuk kepentingan akuntabilitas—akan muncul insentif untuk melakukan falsifikasi terhadap data.2 Ini jelas perlu mendapat perhatian dan diperlukan langkah-langkah khusus untuk melakukan verifikasi terhadap data, seperti melalui audit data independent. Verifikasi juga dapat melibatkan akreditasi atas proses verfikasi data yang dilakukan lembaga. Tentu saja, upaya untuk melakukan falsifikasi terhadap data dapat juga dijadikan sebagai tanda keberhasilan bahwa sistem P&E mulai memiliki dampak—yaitu benar-benar “menggigit”. Data keuangan tentang pengeluaran program mencakup suatu jenis informasi yang fundamental; kualitas dan ketersediaan harus dipastikan. Informasi ini dipasok oleh sistem informasi manajemen keuangan. Penyusunan anggaran berbasis-kinerja yang baik, manajemen program dan akuntabilitas pemerintah seluruhnya mensyaratkan bahwa informasi tentang biaya dikaitkan dengan informasi tentang hasil dari program-program pemerintah. Ironisnya, banyak evaluasi yang luput membahas biaya dari program yang tengah dievaluasi. Hal ini membuat efektivitas-biaya program sulit diukur. Sistem P&E pemerintah tidak pernah bertujuan untuk menghasilkan informasi kinerja dalam jumlah yang besar atau evaluasi berkualitas tinggi dalam jumlah yang banyak itu sendiri. Hal ini akan mencerminkan pendekatan sistem P&E yang digerakkan sisi suplai. Sebaliknya, tujuannya adalah untuk mencapai tingkat penggunaan yang intensif dari informasi P&E apapun yang ada untuk memastikan bahwa sistem P&E adalah hemat biaya—penggunaan untuk mendukung fungsi-fungsi inti pemerintahan, seperti telah dikemukakan sebelumnya.


75

Penggunaan adalah tolok ukur keberhasilan suatu sistem P&E. Sebaliknya, akan sulit untuk meyakinkan kementerian keuangan yang skeptis bahwa kementerian itu harus terus mendanai sebuah sistem P&E yang keluarannya tidak digunakan. Sistem semacam itu akan dipandang tidak berguna. Agar sebuah sistem P&E berjalan baik, dibutuhkan adanya para pejabat atau konsultan yang terlatih dengan baik, yang memiliki ketrampilan tinggi dalam P&E. Karena alasan ini, kebanyakan rencana pembangunan kapasitas memberi penekanan besar pada penyediaan pelatihan menyangkut berbagai alat, metode, pendekatan dan konsep P&E. Pemerintah-pemerintah yang mengontrakkan kepada pihak luar pelaksanaan evaluasi perlu memastikan bahwa pejabat-pejabat mereka memiliki ketrampilan dan pengalaman yang dibutuhkan untuk mengawasi dan mengelola evaluasi—hal ini mensyaratkan berbagai kompetensi yang luas lebih dari sekadar kemampuan untuk melaksanakan evaluasi. Mereka juga perlu memahami kekuatan dan keterbatasan—efektivitas-biaya relatif—dari berbagai jenis P&E. Pelatihan pengantar P&E dapat pula memunculkan kesadaran tentang, dan tuntutan akan, informasi P&E. Pelatihan juga harus diperluas hingga mencakup tema tentang penggunaan informasi P&E. Para analis anggaran dan manajer program harus mampu menafsirkan data pemantauan guna memahami kecenderungan, definisi data, keterputusan dalam data time series, dan seterusnya. Mereka juga harus menjadi konsumen evaluasi yang jeli; yaitu, mereka harus mampu mengatakan kapan ketika metodologi evaluasi mengandung cacat dan temuan-temuannya tidak reliabel atau tidak dapat diandalkan. Terakhir, anggota parlemen beserta staf mereka juga harus mampu memahami informasi P&E. Pelajaran lain adalah terdapat keterbatasan-keterbatasan ketika sebuah negara mengandalkan undang-undang, dekrit, keputusan kabinet, atau pernyataan-pernyataan lainnya dari pejabat tingkat tinggi untuk menciptakan sistem P&E. Di Amerika Latin dan di negara-negara berbahasa Prancis—yaitu negara-negara yang menganut sistem hukum ala Napoleon—ada tradisi untuk mengandalkan instrumen-instrumen legal semacam itu untuk menciptakan dan melegitimasi sistem P&E.3 Dengan demikian, negara-negara seperti Kolumbia memiliki seperangkat undang-undang dan dekrit yang memandatkan evaluasi; bahkan hal itu dimasukkan dalam Konstitusi 1991. Namun, dalam tahun-tahun pelaksanaannya, sistem evaluasi pemerintah mengalami perkembangan yang baik pada awalnya, namun kemudian merosot. Baru setelah terjadi pergantian pemerintah pada 2002, sistem itu mulai berjalan kokoh (Castro, 2006a, 2006b; Mackay, dkk. 2007). Apa yang hendak dikatakan di sini bukanlah bahwa undang-undang atau dekrit yang memandatkan P&E tidak relevan. Sebaliknya, instrumen-instrumen legal itu dapat menjadi sarana berguna untuk melegitimasi P&E, khususnya di negara-negara di mana kehadiran instrumen legal semacam itu dipandang niscaya agar reformasi yang dijalankan pemerintah dinilai berharga atau dilakukan secara serius.4 Namun, undang-undang atau dekrit saja tidak menjamin bahwa berbagai upaya penting yang diperlukan untuk membangun sistem P&E akan dilakukan.


76

Pengaturan struktural P&E merupakan hal yang penting karena berbagai alasan. Salah satunya adalah kebutuhan untuk memastikan objektivitas, kredibilitas dan keakuratan informasi P&E yang dihasilkan sistem P&E. Menyangkut aspek data, sebagian pemerintah (misalnya, Chile) mengandalkan komite audit dari luar untuk menjalankan fungsi ini, sebagian mengandalkan kantor audit nasional (misalnya, Kanada) (Mayne dan Wilkins, 2005) dan sebagian lainnya terutama mengandalkan unit audit internal di tubuh kementerian (misalnya, Australia). Sementara itu, sebagian pemerintah lainnya mengandalkan kementerian pusat yang melakukan pengecekan terhadap data yang diberikan oleh kementerian-kementerian sektor (contohnya, Kolumbia), dan sebagian lainnya tidak memiliki strategi audit (seperti Argentina) (Zaltsman, 2006a). Menyangkut aspek evaluasi, isu objektivitas dan kredibilitas khususnya penting. Seperti dikemukakan dalam Kotak 3.1, Chile (dan kebanyakan negara Amerika Latin lainnya) menangani masalah ini dengan cara mengontrakkan pelaksanaan evaluasi kepada pihak luar, seperti institusi-institusi akademis atau perusahaan-perusahaan konsultan. Lebih dari itu, evaluasi dilakukan dan dikelola oleh kementerian keuangan, bukan oleh kementerian-kementerian sektor. Di samping itu, proses penawaran dan pemberian kontrak untuk melakukan evaluasi sepenuhnya bersifat transparan.5 Kelemahan dari pendekatan ini adalah kurangnya rasa kepemilikan kementerian-kementerian sektor terhadap temuan-temuan evaluasi. Kementerian-kementerian sektor tidak banyak memanfaatkan evaluasi-evaluasi yang dilakukan oleh kementerian keuangan. Namun, hal ini mungkin tidak menjadi masalah besar di Chile, di mana terdapat kementerian keuangan berpengaruh, yang mampu menggunakan temuan-temuan evaluasi bukan hanya untuk mendukung pembuatan keputusan menyangkut anggaran, tetapi juga dapat mendesakkan perubahan-perubahan manajemen dan program pada kementerian-kementerian sektor (Rojas dkk., 2005). Sistem yang didesakkan dari pusat ini bersifat unik. Kebanyakan pemerintah negara-negara anggota OECD mengandalkan kementerian sektor untuk melakukan sendiri evaluasi (Curristine, 2005), kendati hal ini memunculkan pertanyaan soal reliabilitas swa-evaluasi tersebut. Di Amerika Serikat, OMB (Departemen Keuangan) membuat peringkat terhadap kinerja program-program pemerintah, dan memberi catatan untuk program-program yang tidak memiliki informasi P&E terkait dengan kinerjanya ataupun program-program dengan informasi P&E yang tidak dapat diandalkan (lihat Kotak 3.1). Negara-negara yang telah membangun sistem P&E pemerintah menemukan bahwa upaya membangun sistem P&E merupakan upaya jangka panjang yang memerlukan kesabaran dan ketekunan (OECD, 1997a; Mackay 1998b; Lahey, 2005; May dkk., 2006). Dibutuhkan waktu untuk menciptakan atau memperkuat sistem data; untuk merekrut dan melatih tenaga yang berkualitas; untuk merencanakan, mengelola dan melakukan evaluasi; untuk membangun sistem guna mendistribusikan informasi P&E di kalangan kementerian terkait; dan untuk melatih para staf untuk menggunakan informasi P&E dalam tugas keseharian mereka, baik menyangkut operasi program maupun analisis dan saran kebijakan. Australia dan Chile mampu menciptakan sistem evaluasi yang dapat


77

berjalan dengan baik (dari segi kualitas, jumlah dan penggunaan evaluasi) dalam kurun empat atau lima tahun. Namun, dalam kasus Kolumbia, hal itu membutuhkan waktu lebih dari satu dasawarsa. Hal ini bukan hendak mengatakan bahwa upaya membangun sistem P&E harus dilakukan secara lambat atau santai. Para pendukung di tubuh pemerintahan pada akhirnya akan hilang, dan jendela peluang—bahkan prioritas yang diberikan pemerintah pada reformasi sektor publik—dapat tertutup secepat ia terbuka. Oleh sebab itu, upaya yang terfokus, terarah dan intensif untuk membangun berbagai komponen sistem P&E diperlukan, dan pemerintah perlu melembagakan sistem P&E secepat mungkin. Terlihat bahwa kebanyakan negara-negara yang memiliki sistem P&E yang telah berjalan dengan baik tidak mengembangkan sistem itu secara linier—yaitu mulai dengan pemahaman yang jelas tentang akan seperti apakah sistem itu tatkala telah berkembang sepenuhnya dan terus berupaya untuk mencapai visi tersebut. Sebaliknya, ketika kita mengkaji pengalaman negara-negara seperti Australia (Mackay, 2004), Kanada (Lahey, 2005), Chile (Zaltsman, 2006a; lihat juga Bab 7), Kolumbia (Mackay dkk., 2007), Irlandia (Boyle, 2005), dan Amerika Serikat (Joyce, 2004; Lahey, 2005), jelas terlihat bahwa sistem P&E negara-negara tersebut dikembangkan secara bertahap dan bahkan sepotong-sepotong, dengan sejumlah kekeliruan pada tahap awal dan ketidakjelasan di pertengahan jalan. Hal ini tampaknya disebabkan antara lain oleh jumlah waktu yang berbeda yang diperlukan untuk membangun fungsi-fungsi tertentu P&E—sistem indikator kinerja yang terkait dengan pelaksanaan tinjauan program atau evaluasi dampak yang cermat. Hal itu tampaknya juga disebabkan karena berbagai koreksi atau perbaikan yang dibuat di pertengahan jalan ketika inisiatif-inisiatif P&E tertentu terbukti mengalami kemajuan atau tidak mengalami kemajuan. Adanya pengaruh faktor-faktor eksternal juga penting, seperti pergantian pemerintah, yang bukan saja dapat mengubah arah sistem P&E, tetapi dapat menyebabkan sistem P&E menguat secara signifikan, seperti kasus Kolumbia sesudah tahun 2002 dan Amerika Serikat setelah tahun 2000. Pergantian pemerintah dapat pula menyebabkan sistem P&E melemah, bahkan ditinggalkan—seperti di Australia setelah tahun 1997 (Bab 8) dan Amerika Serikat sesudah tahun 1980 (GAO, 1987). Tampaknya terdapat ketidakseimbangan yang agak mengkhawatirkan menyangkut sistem-sistem P&E pemerintah. Sistem-sistem itu dibangun dengan lambat, namun dapat melemah dengan cepat. Bagi pemerintah-pemerintah yang telah meninggalkan sistem P&E mereka, hal ini tampaknya mencerminkan preferensi ideologis untuk “pemerintahan yang kecil” daripada keputusan yang didasari pertimbangan mengenai efektivitas-biaya sistem P&E. Dengan demikian, efek terhadap sistem P&E tampaknya berupa kerusakan ikutan (collateral damage). Seringnya dilakukan koreksi pada saat sistem P&E tengah dibangun mengindikasikan suatu pelajaran penting lainnya: pentingnya melakukan evaluasi secara berkala terhadap sistem P&E itu sendiri, dengan tujuan untuk menemukan mana yang


78

berfungsi, mana yang tidak, serta mengapa. Penting untuk dilakukan identifikasi menyangkut sifat hambatan-hambatan yang dihadapi, serta perubahan-perubahan arah yang mungkin ditempuh. Evaluasi semacam itu menyediakan peluang untuk meninjau kembali sisi permintaan maupun sisi suplai, serta untuk memperjelas jangkauan aktual—yang dibedakan dari jangkauan yang diharapkan—penggunaan informasi P&E, serta cara-cara khusus informasi itu digunakan saat ini. Pengawalan hati-hati yang dilakukan oleh Kementerian Keuangan Chile terhadap sistem P&E negara tersebut dicontohkan oleh tinjauan yang diminta oleh kementerian tersebut untuk dilakukan oleh Bank Dunia terhadap dua komponen evaluasi utama dari sistem tersebut (Rojas dkk., 2005). Tinjauan ini dilakukan oleh Kementerian Keuangan antara lain untuk mendukung manajemen dan perbaikan terus-menerus sistem P&E, serta untuk menerapkan di tubuh kementerian itu sendiri standar akuntabilitas kinerja yang sama dengan yang diterapkan pada kementerian-kementerian sektor dan program-program yang mereka kelola. Selanjutnya Kementerian Keuangan Chile melaporkan temuan-temuan evaluasi Bank Dunia ke Kongres Chile. Tersedia pula sejumlah pedoman diagnosis untuk mendukung evaluasi terhadap sistem P&E pemerintah tersebut (lihat Bab 12).6


79

Bab 11

Insentif-insentif bagi P&E— Bagaimana Menciptakan Permintaan? Usaha-usaha untuk memperkuat sistem P&E pemerintah sering kali dipandang sebagai upaya perbaikan yang bersifat teknis—meliputi sistem data yang lebih baik, pelaksanaan evaluasi yang berkualitas baik, dan seterusnya. Isu-isu menyangkut sisi suplai ini tentu saja penting, namun tidak memadai untuk memperkuat sistem P&E. Di dalam Bab 10 kami telah mengemukakan bahwa aspek tuntutan atau permintaan (demand) terutama penting bagi keberhasilan pelembagaan suatu sistem P&E—yaitu penciptaan fungsi P&E yang berkesinambungan dan berjalan baik di dalam sebuah pemerintahan, di mana informasi P&E yang berkualitas baik digunakan secara intensif. Aspek permintaan terfokus pada prioritas untuk menggunakan informasi pemantauan dan temuan-temuan evaluasi dalam rangka mendukung kegiatan-kegiatan inti pemerintah. Pengunaan tersebut mencakup upaya membantu keputusan menyangkut alokasi sumber daya dalam proses anggaran; membantu kementerian-kementerian dalam perumusan kebijakan dan tugas analisis mereka; membantu manajemen dan pemberian pelayanan pemerintah; dan mendukung hubungan akuntabilitas. Namun, mewujudkan permintaan atau tuntuan yang kuat terhadap sistem P&E di sebuah negara adalah persoalan lain. Menyajikan contoh tentang negara-negara lain—seperti Chile, Kolumbia dan sejumlah negara anggota OECD—yang telah mengerahkan segala upaya yang diperlukan untuk membangun sebuah sistem P&E yang berfungsi dengan baik—dapat memiliki pengaruh yang sangat besar dalam menimbulkan minat terhadap P&E dan menciptakan tuntutan terhadap P&E. Penyajian ilustrasi tentang efektivitas-biaya dari evaluasi-evaluasi yang dilakukan di negara-negara lain juga dapat meyakinkan para pengambil keputusan menyangkut berbagai manfaat P&E. Sebagian negara, seperti Mesir, telah mengembangkan pemahaman yang baik di kalangan para menteri utama menyangkut potensi manfaat-manfaat P&E. Namun, upaya-upaya untuk melembagakan sistem P&E di Mesir sangat terkendala oleh para pejabat level menengah yang tidak memiliki visi tentang sistem P&E.


80

Isu utama yang tergambar di sini adalah kebutuhan untuk memastikan bahwa terdapat insentif yang cukup kuat di tubuh pemerintah untuk melaksanakan P&E dan untuk mencapai tingkat kualitas yang baik, serta untuk menggunakan informasi P&E secara intensif. Dengan kata lain, insentif yang kuat dibutuhkan agar fungsi P&E dapat berhasil dilembagakan. Hal ini juga menggarisbawahi pentingnya insentif yang dihadapi oleh kementerian-kementerian dan para pegawai negeri untuk melaksanakan—atau tidak melaksanakan—P&E. Lingkungan sektor publik di mana sulit bagi para manajer untuk bekerja sesuai dengan standar yang tinggi dan untuk bekerja secara konsisten menimbulkan efek yang merugikan bagi P&E. Para manajer dapat berbuat sedikit lebih banyak dari sekadar terfokus pada tugas-tugas manajemen yang didefinisikan secara sempit. Mereka enggan untuk dimintai pertanggungjawaban atas kinerja jika mereka tidak memiliki kepastian tentang sumber-sumber daya yang tersedia bagi mereka atau jika mereka tidak memiliki kontrol yang cukup besar atas keluaran dari kegiatan-kegiatan mereka. Dalam lingkungan seperti ini, dapat dipahami jika P&E dipandang tidak relevan oleh para manajer, berpotensi (dan kemungkinan) tidak adil terhadap mereka, serta dipandang sebagai ancaman, bukan sebagai bantuan. Sifat insentif bagi P&E bergantung pada bagaimana sebuah negara memiliki bayangan tentang penggunaan informasi P&E. Jika penggunaan P&E terutama dimaksudkan untuk membantu para manajer lini di seluruh kementerian dan badan tingkat sektor—fungsi pembelajaran P&E—maka budaya pegawai negeri yang luas menjadi hal yang penting. Namun, jika P&E dilakukan terutama untuk kepentingan akuntabilitas, para pemangku kepentingan utama, yang tuntutannya terhadap P&E akan tinggi, akan lebih terbatas: kantor presiden atau perdana menteri, Kongres atau Parlemen, kementerian keuangan dan kementerian perencanaan, dan auditor-jenderal. Apabila P&E dimaksudkan sebagai alat untuk penyusunan anggaran berbasis-kinerja, maka kementerian keuangan dan beberapa kementerian pusat lainnya akan menjadi pemangku kepentingan utama. Kementerian sektor juga dapat menjadi pemangku kepentingan dalam sistem penyusunan anggaran berbasis-kinerja yang luas (seperti di Australia—lihat Bab 8), namun akan memainkan peran yang jauh kurang penting di dalam sistem penyusunan anggaran yang terpusat (seperti di Chile—lihat Bab 6). Terakhir, jika P&E dimaksudkan sebagai alat untuk mendukung perumusan dan analisis kebijakan berbasis-bukti, maka kemungkinan hal itu akan melibatkan seluruh kementerian. Masing-masing tujuan penggunaan P&E ini jelas melibatkan kelompok pemangku kepentingan yang berbeda dan juga insentif yang berbeda—untuk menggerakkan sistem P&E. Seperti telah dikemukakan sebelumnya, ada kecenderungan sistem P&E pemerintah dipahami secara ambisius sehingga mencakup seluruh kemungkinan penggunaan informasi P&E (lihat, misalnya, kasus Kolumbia—Lampiran B). Pendekatan ini akan melibatkan seluruh pemangku kepentingan dan karena itu sekumpulan insentif yang lebih kompleks, dan mungkin tidak realistis.


81

Seperti kita akan lihat di dalam Bab 12, isu insentif ini penting untuk diteliti ketika melakukan diagnosis terhadap sistem P&E sebuah negara atau suatu kementerian. Hal itu juga menjadi isu penting ketika menyiapkan sebuah rencana aksi untuk memperkuat sistem P&E. Seperti juga telah disinggung, pentingnya memahami insentif ditekankan di dalam banyak kepustakaan tentang upaya mewujudkan jenis-jenis lain reformasi tata pemerintahan (Bank Dunia, 1997b, Bab 9). Tiga jenis insentif disajikan dalam Tabel 11.1: imbalan, hukuman dan penerangan.1 Banyak dari insentif-insentif tersebut telah digunakan untuk membantu melembagakan P&E pemerintah di negara-negara maju dan berkembang. Imbalan (carrots) berupa dorongan positif dan penghargaan bagi pelaksanaan P&E dan penggunaan temuan-temuannya. Imbalan itu, misalnya, meliputi pengakuan publik atau insentif keuangan bagi kementerian-kementerian yang melaksanakan P&E. Hukuman (sticks) berupa teguran atau sanksi bagi kementerian-kementerian atau para pegawai negeri yang berkinerja baik atau melaksanakan P&E secara serius—seperti hukuman finansial bagi kementerian-kementerian yang gagal mengimplementasikan rekomendasi-rekomendasi evaluasi yang telah disepakati. Terakhir, dukungan (sermons) berupa pernyataan dukungan dari pejabat tingkat tinggi dan advokasi mengenai pentingnya P&E. Hal ini juga meliputi upaya-upaya untuk meningkatkan kesadaran tentang P&E dan untuk menjelaskan kepada para pejabat pemerintah mengenai manfaat P&E bagi mereka.


82

Tabel 11.1: Insentif bagi P&E—Imbalan, Hukuman, dan Dukungan

Imbalan Hukuman Dukungan • Penghargaan—pengakuan tingkat tinggi terhadap

praktik evaluasi yang baik atau terbaik, atau terhadap pengelolaan hasil.

• Pendekatan kemitraan terhadap P&E di antara kementerian-kementerian utama—membantu menghindari suasana di mana suatu kementerian pesaing mengontrol informasi P&E.

• Insentif anggaran untuk program-program berkinerja baik—misalnya, bidding fund di Chile (Perhatian: hubungan yang dikehendaki antara kinerja dan pendanaan sering kali tidak jelas. Misalnya, terkadang perlu diberikan tambahan dana untuk memperbaiki program yang berjalan kurang baik—lihat Bagian VI, pertanyaan 15).

• Pemberian insentif terkait anggaran kepada kementerian/badan untuk meningkatkan kinerja (dengan demikian memberi insentif untuk memiliki informasi P&E guna membuktikan kinerja)—misalnya, kementerian keuangan memberikan kepastian pendanaan yang lebih besar, membuat perkiraan melalui kerangka-kerja pengeluaran jangka menengah, kesepakatan sumber daya, penganggaran portofolio, penganggaran program.

• Otonomi pengelolaan yang lebih besar diberikan bagi program-program yang berjalan dengan baik.

• Kinerja berbasis keluaran atau hasil mendorong pinjaman Bank Dunia (dan donor lainnya) untuk pemerintah—misalnya pinjaman Bank Dunia untuk mendukung program Bolsa Familia di Brazil.

• Penghargaan bagi dipenuhinya persyaratan-persyaratan formal P&E (termasuk P&E berkualitas tinggi).

• Tambahan pendanaan bagi kementerian-kementerian untuk melakukan P&E.

• Manajemen pengetahuan yang cermat terhadap temuan-temuan evaluasi—misalnya, menyediakan ringkasan eksekutif yang mudah dipahami untuk para

• Memberlakukan undang-undang, keputusan, peraturan yang memandatkan pelaksanaan P&E.

• Memiliki persyaratan formal untuk perencanaan, pelaksanaan dan pelaporan P&E—menciptakan momentum organisasional jika kementerian diharuskan untuk membentuk komite dan struktur-struktur formal lainnya bagi P&E.

• Menahan sebagian pendanaan bagi kementerian/badan yang gagal melaksanakan P&E.

• Mewujudkan transparansi yang lebih besar terkait kinerja pemerintah dan para manajer dengan menerbitkan secara berkala informasi tentang seluruh sasaran program, keluaran dan kualitas pelayanan.

• Perbandingan kinerja antarberbagai yurisdiksi (negara bagian, provinsi, distrik, kota) terutama efektif dalam menyoroti kinerja baik/buruk, menonjolkan para pelaksana yang baik, dan membuat malu para pelaksana yang buruk.

• Menggarisbawahi informasi P&E yang negatif dalam laporan-laporan yang dikirim ke Kongres/Parlemen serta disebarkan secara luas. Hal ini dapat menjadi sensitif secara politik dan sangat mempermalukan pemerintah.

• Menetapkan target-target kinerja yang menantang, namun realisitis (misalnya, tiga bulan atau setahun sekali) yang harus dipenuhi oleh masing-masing kementerian, badan atau manajer program.

• Memasukkan indikator-indikator kinerja yang relevan (keluaran, hasil) dalam penilaian kinerja tahunan terhadap para manajer.

• Mengharuskan pembuatan laporan eksepsi/penjelasan ketika target kinerja tidak tercapai—mengharuskan bidang-bidang program untuk memberi penjelasan mengenai kinerja yang buruk (Kolumbia).

• Menyoroti kualitas buruk dari perencanaan evaluasi, sistem data, indikator kinerja, teknik P&E, pelaporan

• Pernyataan dukungan dari pejabat tingkat tinggi, seperti presiden, menteri, pimpinan departemen, deputi dan seterusnya.

• Pernyataan visi pemerintah tentang reformasi sektor publik, tata pemerintahan yang baik, atau rencana nasional, yang menyoroti manfaat-manfaat P&E.

• Pengulangan pesan dukungan pada pertemuan-pertemuan kementerian dari pejabat senior kementerian, kepala seksi, staf lain.

• Seminar/lokakarya dalam rangka menumbuhkan kesadaran dan memberi penjelasan tentang P&E, meyakinkan bahwa P&E dapat dijalankan, dan menjelaskan kegunaan P&E bagi para peserta.

• Gunakan contoh-contoh P&E yang berpengaruh untuk membuktikan kegunaan dan efektivitasnya dari segi biaya.

• Beri penjelasan kepada para manajer dan staff pelayanan bagaimana P&E dapat membantu mereka memberi pelayanan yang lebih baik kepada para klien.

• Lakukan uji-coba evaluasi cepat dan evaluasi dampak untuk memperlihatkan kegunaan mereka.

• Konferensi/seminar tentang contoh praktik yang baik dari sistem P&E di kementerian-kementerian tertentu, di negara-negara lain, dan sebagainya—memperlihatkan apa yang dapat dihasilkan sistem P&E.

• Jaringan pejabat yang mengerjakan P&E—membantu menunjukkan contoh praktik-praktik yang baik dari P&E di kementerian-kementerian, memperlihatkan kelayakan mereka, dan membantu mendorong standar kualitas.

• Dukungan bagi P&E pemerintah dari donor multilateral maupun bilateral dalam pinjaman mereka untuk pemerintah—menyoroti dan memberi dukungan bagi P&E.


83

audiens utama dapat mengurangi biaya untuk mengakses dan mencari temuan-temuan.

• Mengadakan pertemuan tim (manajer dan staf) tentang “Bagaimana keadaan kita?” untuk memperjelas sasaran, meninjau kinerja tim, dan mengidentifikasi cara-cara untuk meningkatkannya.

• Kontrak kinerja atau upah kinerja bagi pegawai negeri—yakni penghargaan langsung bagi kinerja. Misalnya, pegawai negeri senior baru di Ceará (Brazil) menerima hingga 40 persen dari gaji mereka dalam bentuk bonus kinerja, yang didasarkan atas pencapaian target indikator kinerja.

• Insentif staf—gunakan pengalaman P&E sebagai salah satu kriteria untuk rekrutmen, promosi dan sertifikasi staf.

• Bantuan untuk area-area program dalam pelaksanaan P&E—melalui pemberian saran, pedoman, dan bahan-bahan sumber daya lainnya, pemberian pelatihan gratis, komentar atas TOR, draf laporan evaluasi, dan seterusnya. Hal ini mempermudah (dan mengurangi biaya) pelaksanaan P&E dan penggunaan temuan-temuannya.

• Memastikan bahwa para penyedia data—misalnya pada tingkat fasilitas—memahami bahwa data mereka digunakan dan pentingnya menyediakan data yang akurat dan tepat waktu.

• Pelatihan untuk manajer dan staf program, analis anggaran, untuk memberi penjelasan tentang P&E dan bagaimana P&E digunakan untuk memperbaiki kerja terus menerus.

• Mengenali dan menyoroti contoh-contoh praktik yang baik tentang perencanaan evaluasi, tentang teknik-teknik P&E, dan tentang pelaporan evaluasi—hal ini menyediakan model yang mudah ditiru pihak lain (lembaga audit tertinggi, kementerian pusat, seperti kementerian keuangan atau kantor kepresidenan, dan mungkin audit internal, dapat memainkan peran ini).

• Masukan-balik sistematis dari kementerian kepada kementerian mengenai kualitas saran kebijakan untuk tiap-tiap ringkasan kebijakan yang dikirim ke para menteri. Memberikan pujian atas, dan menyoroti, saran

P&E—memberi teguran atas kinerja yang buruk (lembaga audit tertinggi, kementerian pusat, seperti kementerian keuangan atau kantor kepresidenan, dan mungkin audit internal, dapat memainkan peran ini).

• Memberikan sanksi atas kegagalan dalam memenuhi rekomendasi-rekomendasi evaluasi yang telah disepakati.

• Menyelenggarakan pertemuan balai kota antara presiden dan warga negara untuk menunjukkan kinerja pemerintah yang baik/buruk (Kolumbia).

• Libatkan masyarakat sipil dalam P&E terhadap kinerja pemerintah—menghasilkan desakan untuk kinerja dan akuntabilitas yang lebih baik (Bangalore, Bogotá).

• Gunakan mekanisme akuntabilitas, seperti kartu laporan warga—publikasikan kinerja buruk badan-badan pemerintah.

• Berikan masukan-balik bagi menteri menyangkut kualitas saran kebijakan—berikan kritik terhadap saran yang berkualitas buruk (misalnya, saran yang tidak memiliki landasan bukti yang kokoh).

• Buat kontrak kinerja atau upah kinerja—sanksi langsung bagi kinerja buruk.


84

berkualitas baik—misalnya, Departemen Tenaga Kerja di Australia.

• Jaringan pejabat tingkat pemerintah yang mengerjakan P&E. Hal ini membantu memberikan identitas dan dukungan bagi para pelaksana evaluasi (yang sering kali merasa terisolasi di masing-masing kementerian/lembaga)—misalnya, Australia, Kanada, Nigeria.

• Dukungan finansial dan bantuan teknis bagi P&E pemerintah dari donor multilateral dan bilateral.

85

BAGIAN IV

BAGAIMANA MEMPERKUAT

SISTEM P&E PEMERINTAH? Salah satu pelajaran yang perlu diperhatikan ketika membangun sebuah sistem P&E adalah pentingnya melakukan diagnosis negara (Bab 12). Hal ini memberikan pemahaman yang baik mengenai upaya-upaya P&E yang sedang berlangsung, lingkungan pegawai negeri, serta peluang-peluang untuk memperkuat P&E dan menggunakan informasi P&E untuk mendukung fungsi-fungsi inti pemerintahan. Hal yang sama pentingnya mungkin adalah diagnosis membantu memfokuskan para pemangku kepentingan di dalam pemerintah dan komunitas donor pada kekuatan dan kelemahan pengaturan P&E yang ada saat ini di dalam pemerintahan. Diagnosis semacam itu dapat pula memastikan bahwa para pemangku kepentingan memiliki kesadaran yang sama menyangkut isu-isu. Sebuah diagnosis biasanya bermuara pada sebuah rencana aksi yang mengidentifikasi opsi-opsi utama untuk memperkuat sistem P&E pemerintah (Bab 13).

Bab 12 : Pentingnya Diagnosis Negara

86

Bab 12

Pentingnya Diagnosis Negara Pendekatan masing-masing negara terhadap P&E jelas sangat berbeda-beda. Negara-negara seperti Brazil menitikberatkan pada pendekatan keseluruhan pemerintah (whole-of-government approach) untuk menetapkan tujuan-tujuan program dan menciptakan sistem indikator kinerja. Negara-negara lain, seperti Kolumbia, menggabungkan pendekatan itu dengan agenda evaluasi dampak yang cermat (rigorous impact evaluation). Namun, negara-negara lain, seperti Australia, Amerika Serikat dan Inggris, memberi penekanan pada sekumpulan alat dan metode P&E yang lebih luas: indikator kinerja, tinjauan cepat, evaluasi dampak, dan audit kinerja. Sebagian negara telah berhasil membangun sistem P&E keseluruhan pemerintah. Sebagian negara lainnya, seperti Uganda, menggunakan sekitar 16 sistem pemantauan terpisah yang umumnya tidak terkoordinasi. Kebanyakan dari negara-negara miskin—yang disyaratkan oleh pihak donor multilateral untuk menyiapkan strategi penanggulangan kemiskinan—menekankan pengumpulan indikator kinerja secara berkala guna mengukur kemajuan ke arah Tujuan Pembangunan Milenium (TPM). Mengapa melakukan diagnosis? Keanekaragaman pengalaman di atas menunjukkan bahwa masing-masing negara bukan hanya memiliki titik berangkat yang berbeda, melainkan juga titik tujuan berbeda yang hendak dicapai. Tidak ada pendekatan tunggal yang terbaik bagi sistem P&E nasional atau sektor.1 Sebaliknya, pendekatan mana yang seharusnya digunakan sebuah negara bergantung pada penggunaan aktual atau maksud penggunaan informasi P&E yang akan dihasilkan sistem tersebut. Seperti dibahas di dalam Bab 3, penggunaan itu dimaksudkan untuk membantu keputusan alokasi sumber daya dalam proses anggaran, membantu menyiapkan perencanaan tingkat nasional maupun sektor, membantu manajemen dan pemberian pelayanan pemerintah, dan mendukung hubungan akuntabilitas. Upaya-upaya untuk membangun atau memperkuat sistem P&E pemerintah jelas penting untuk disesuaikan dengan kebutuhan dan prioritas masing-masing negara. Melakukan diagnosis terhadap kegiatan-kegiatan P&E diperlukan karena hal itu dapat membantu mengidentifikasi peluang-peluang bagi pelembagaan P&E. Sebuah diagnosis formal membantu mengidentifikasi kekuatan dan kelemahan sebuah negara saat ini dari segi pelaksanaan, kualitas dan penggunaan P&E. Diagnosis juga sangat berguna dalam menyediakan landasan untuk menyiapkan suatu rencana aksi. Rencana aksi hendaknya dirancang sesuai dengan penggunaan informasi pemantauan dan temuan-temuan evaluasi


87

yang diinginkan di masa mendatang. Sebuah diagnosis awal dapat membantu memberi masukan bagi pertimbangan menyangkut kemungkinan tercapainya keinginan tersebut. Diagnosis dapat dilakukan—atau dipersiapkan—oleh pemerintah atau lembaga donor, atau mungkin perlu dilakukan bersama-sama. Proses pelaksanaan diagnosis memberikan peluang untuk menarik fokus perhatian para pemangku kepentingan di tubuh pemerintah—terutama para pejabat senior pada kementerian-kementerian utama—pada isu pelembagaan sistem P&E. Sebagian besar, jika pun bukan seluruh, negara berkembang biasanya telah memiliki sejumlah kegiatan dan sistem P&E. Namun, tantangan yang umum dihadapi adalah tidak adanya koordinasi dan harmonisasi di berbagai kegiatan dan sistem tersebut, yang dapat berakibat pada pengulangan atau dupliasi upaya. Diagnosis yang menyingkapkan persoalan-persoalan semacam itu dapat mendorong pemerintah untuk mengatasi masalah-masalah tersebut, dan dengan memberikan pemahaman bersama mengenai sifat dari masalah itu, hal itu dapat mendorong dicapainya konsensus mengenai apa yang dibutuhkan untuk mengatasi masalah tersebut. Konsensus semacam itu khususnya penting bagi P&E, yang pada dasarnya merupakan kegiatan saling berkaitan yang memengaruhi seluruh kementerian dan badan. Setiap reformasi pemerintah secara keseluruhan, seperti pembentukan sistem P&E nasional, membutuhkan upaya yang mendasar dan tingkat koordinasi sentral yang tinggi, serta kerja sama aktif kementerian-kementerian dan badan-badan tingkat sektor. Mewujudkan koordinasi riil di antara para pelaku ini biasanya tidak mudah, sehingga setiap proses, seperti persiapan diagnosis P&E, memberi peluang bagi para pemangku kepentingan untuk dapat saling berbicara mengenai P&E dan untuk berusaha mencapai semacam kesepakatan mengenai apa yang harus dilakukan guna memperbaiki pendekatan pemerintah. Hal ini diilustrasikan oleh pengalaman Uganda, Meksiko dan Australia. Temuan bahwa di Uganda terdapat 16 susbsistem P&E melahirkan respons keprihatinan—bahkan keberangan—di kalangan pejabat senior. Respons tersebut penting dalam mendorong lahirnya keputusan untuk menciptakan NIMES guna mengatasi masalah harmonisasi dan tuntutan berlebihan terhadap para pemasok informasi pemantauan di kementerian-kementerian dan badan-badan tingkat sektor, serta pada tingkat fasilitas (lihat Bab 9). Selain itu, hasil diagnosis cepat terhadap kegiatan-kegiatan P&E di badan pembangunan sosial (SEDESOL) di Meksiko yang menunjukkan adanya 8 sistem pemantauan yang tidak terkoordinasi di dalam satu badan tersebut, juga mendorong manajemen senior di badan tersebut untuk mengambil langkah-langkah untuk menyelaraskan sistem-sistem tersebut (World Bank, 2004c). Proses pelaksanaan diagnosis di Australia pada 1987 menyediakan landasan bagi strategi evaluasi pemerintah. Meskipun proses ini tidak menghasilkan konsensus di kalangan kementerian-kementerian sektor, yang pada umumnya menentang diberlakukannya sejumlah persyaratan yang mengharuskan pelaksanaan evaluasi, diagnosis itu tidak hanya menyediakan landasan faktual yang kokoh bagi strategi evaluasi, tetapi juga


88

membangkitkan kesadaran para pemangku kepentingan itu pentingnya isu tersebut dan mendorong adanya penerimaan, kendati masih setengah-hati, terhadap strategi itu sendiri. Diagnosis juga menyediakan patokan awal guna mengukur kemajuan sebuah negara dari waktu ke waktu. Dibutuhkan waktu yang panjang untuk membangun dan memelihara permintaan maupun pasokan bagi P&E. Sebagaimana telah dikemukakan di dalam Bab 10, kebanyakan negara tidak mengembangkan sistem P&E mereka secara linier dan dapat diprediksi. Sebaliknya, mereka mengembangkan sistem berdasarkan kesempatan, bergantung pada peluang-peluang dan hambatan-hambatan yang muncul, dan di tengah upaya mereka memahami inisiatif mana yang bekerja dengan baik dan mana yang tidak berjalan dengan baik. Dalam situasi seperti ini, sistem P&E penting untuk dipantau dan dievaluasi secara berkala—seperti halnya setiap area reformasi sektor publik perlu dinilai secara regular. Bahkan, melakukan upaya-upaya P&E secara berkala untuk memperkuat sistem P&E merupakan salah satu cara yang dapat dicontohkan oleh pihak-pihak yang bertanggung jawab atas upaya P&E tersebut. Sebagian aspek P&E terbuka untuk dipantau secara berkala, seperti jumlah evaluasi yang diselesaikan dan sejauh mana rekomendasi-rekomendasi hasil evaluasi digunakan. Aspek-aspek lainnya mungkin memerlukan evaluasi yang mendalam dari waktu ke waktu, seperti jangkauan penggunaan informasi P&E dalam pembuatan keputusan menyangkut anggaran atau kualitas data pemantauan. Dengan demikian, diagnosis merupakan suatu jenis evaluasi serta dapat mengidentifikasi derajat kemajuan yang dicapai dan langkah-langkah perbaikan yang perlu diambil di tengah jalan. Perlu dicatat pula bahwa kantor audit nasional telah memainkan peranan penting dalam melakukan penelaahan atas kinerja sistem P&E, melalui audit kinerja (lihat, misalnya, Australian National Audit Office, 1997; Mackay, 2004; Office of the Auditor-General of Canada, 2003; GAO, 2004) serta dalam mendorong pemerintah untuk melakukan perbaikan-perbaikan yang diperlukan—misalnya Australia, Kanada dan Amerika Serikat. Isu-isu apa yang harus ditangani diagnosis? Dalam pengertian yang paling sederhana, diagnosis akan memetakan apa yang berfungsi dan apa yang tidak berfungsi—kekuatan dan kelemahan sistem P&E—dan alasan-alasan mengapa itu terjadi. Kotak 12.1: Isu-isu penting bagi diagnosis sistem P&E pemerintah 1. Asal-usul sistem P&E yang telah ada—Peran para pendukung P&E; peristiwa-

peristiwa penting yang melahirkan prioritas bagi informasi P&E (misalnya, terpilihnya pemerintah yang berorientasi pada reformasi; krisis fiskal).

2. Kementerian atau badan yang bertanggung jawab untuk mengelola sistem P&E dan

merencanakan evaluasi—Peran dan tanggung jawab para pemain inti sistem P&E,


89

3. misalnya, kementerian keuangan, kementerian perencanaan, kantor kepresidenan, kementerian sektor, Parlemen atau Kongres; kemungkinan adanya beberapa sistem P&E yang tidak terkoordinasi pada tingkat nasional dan sektor; pentingnya isu-isu pada tingkat federal/negara bagian/lokal bagi sistem P&E.

4. Lingkungan sektor publik, dan apakah lingkungan itu mempermudah atau

mempersulit para manager untuk bekerja sesuai dengan standar yang tinggi dan untuk diminta bertanggung jawab atas kinerja mereka—Insentif bagi para pemangku kepentingan untuk menangani P&E secara serius, kekuatan tuntutan terhadap informasi P&E. Apakah reformasi sektor publik berjalan, sehingga dapat memperoleh keuntungan dari penekanan yang lebih kuat pada pengukuran kinerja pemerintah, seperti strategi penanggulangan kemiskinan, penyusunan anggaran berbasis-kinerja, upaya memperkuat ketrampilan analisis kebijakan, penciptaan budaya kinerja di kalangan pegawai negeri, perbaikan dalam pemberian pelayanan seperti standar pelayanan konsumen, desentralisasi pemerintah, partisipasi masyarakat sipil yang lebih besar, atau strategi anti-korupsi?

5. Aspek-aspek manajemen sektor publik yang didukung kuat oleh sistem P&E—(i)

pembuatan keputusan menyangkut anggaran; (ii) perencanaan nasional atau sektor; (iii) manajemen program, dan (iv) hubungan akuntabilitas (dengan kementerian keuangan, kantor kepresidenan, Parlemen, kementerian sektor, dan masyarakat sipil).

• Peran aktual informasi P&E dalam berbagai tahap proses anggaran: penyusunan saran

dan perencanaan kebijakan, pembuatan keputusan anggaran, tinjauan dan pelaporan kinerja; kemungkinan terputusnya kaitan antara kerja P&E pada sektor-sektor kementerian dan penggunaan informasi tersebut dalam proses anggaran; terputusnya kaitan antara proses anggaran dan perencanaan nasional; peluang untuk memperkuat peran P&E dalam proses anggaran.

• Sejauh mana informasi P&E yang dihasilkan oleh para pemangku kepentingan utama

(seperti, kementerian keuangan) digunakan oleh pihak lain, seperti kementerian sektor; jika tidak digunakan, kendala apa yang menghalangi penggunaan tersebut; bukti kuat mengenai jangkauan penggunaan informasi P&E oleh para pemangku kepentingan yang berbeda (misalnya, tinjauan diagnostik atau survei); contoh-contoh mengenai evaluasi besar yang sangat berpengaruh terhadap pemerintah.

6. Berbagai jenis P&E yang ditekankan di dalam sistem P&E: indikator kinerja berkala,

tinjauan atau evaluasi cepat, audit kinerja, evaluasi dampak yang cermat dan mendalam; skala dan biaya dari masing-masing jenis P&E; cara prioritas-prioritas evaluasi ditetapkan—difokuskan pada program bermasalah, program percontohan, program dengan pengeluaran tinggi atau dengan visibilitas yang tinggi, atau agenda riset sistematis untuk menjawab pertanyaan-pertanyaan tentang efektivitas program.

7. Siapa yang bertanggung jawab untuk mengumpulkan informasi kinerja dan

melakukan evaluasi (misalnya, kementerian itu sendiri, atau perguruan tinggi atau lembaga konsultan); problem-problem menyangkut kualitas atau keterandalan data,


90

8. atau kualitas evaluasi yang dilakukan; kekuatan dan kelemahan suplai lokal P&E; hambatan-hambatan kapasitas yang utama serta prioritas-prioritas pembangunan kapasitas pemerintah.

9. Jangkauan dukungan donor bagi P&E pada tahun-tahun belakangan; proyek-proyek

donor yang mendukung P&E pada tingkat keseluruhan pemerintah, sektor, atau badan—Pemberian bantuan teknis, jenis pembangunan kapasitas yang lain, dan pendanaan untuk pelaksanaan evaluasi-evaluasi besar, seperti evaluasi dampak yang cermat.

10. Kesimpulan: Seluruh kekuatan dan kelemahan sistem P&E; kesinambungannya, dari

segi kerentanan terhadap pergantian pemerintah, misalnya, seberapa bergantung sistem itu pada pendanaan donor atau dukungan lain; rencana saat ini untuk memperkuat sistem P&E di masa mendatang.

Diagnosis P&E diharapkan dapat memetakan sejumlah isu penting (Kotak 12.1). Isu-isu utama tersebut relevan dengan apakah fokus diagnosis adalah pada tingkat nasional atau pada tingkat kementerian atau badan sektor, kendati dengan penekanan-penekanan yang agak berbeda. Isu-isu itu meliputi hal berikut:

• Asal-usul sistem P&E yang ada saat ini (dengan mengandaikan bahwa sejenis sistem P&E telah ada).

• Manajemen sistem P&E, serta peran dan tanggung jawab para pemangku kepentingan utama.

• Lingkungan sektor publik, dan apakah terdapat insentif-insentif untuk melakukan P&E secara serius.

• Penggunaan utama informasi P&E saat ini, terutama peran informasi P&E dalam proses anggaran serta penggunaan informasi P&E oleh kementerian-kementerian dan badan-badan tingkat sektor.

• Jenis P&E yang paling sering digunakan. • Tanggung jawab untuk mengumpulkan informasi kinerja dan melakukan evaluasi. • Jangkauan dukungan donor bagi P&E. • Seluruh kekuatan dan kelemahan sistem P&E.

Tujuan diagnosis adalah lebih dari sekadar pencatatan fakta. Diagnosis memerlukan pertimbangan yang hati-hati menyangkut keberadaan atau ketiadaan faktor-faktor keberhasilan untuk membangun sebuah sistem P&E, seperti dibahas di dalam Bab 10. Oleh sebab itu, penting dipahami seberapa kuat tuntutan pemerintah terhadap informasi P&E, dan apakah di kalangan pemerintah terdapat pendukung P&E yang berpengaruh. Sebaliknya, penting pula diketahui apakah terdapat kendala-kendala bagi upaya membangun sistem P&E, seperti tidak adanya tuntutan atau rasa kepemilikan yang kuat; tidak adanya budaya modern menyangkut pembuatan keputusan berbasis-bukti serta akuntabilitas (yang di sebagian negara disebabkan isu-isu etika atau korupsi); tidak adanya ketrampilan evaluasi, pelaporan dan audit; atau buruknya kualitas dan kredibilitas


91

informasi mengenai kinerja keuangan dan kinerja lainnya. Pemahaman ini biasanya mengantarkan pada persiapan sebuah rencana aksi untuk memperkuat sistem P&E yang sudah ada atau menciptakan sistem P&E yang baru sama sekali (dibahas di dalam Bab 13). Meskipun isu-isu tersebut di atas umumnya berlaku di semua negara, namun fokus perlu disesuaikan dengan sifat negara bersangkutan. Karena itu, negara-negara berpenghasilan menengah atau menengah-ke-atas boleh jadi memiliki komunitas evaluasi yang kuat, yang berpusat di universitas-universitas dan lembaga-lembaga riset. Namun, ketersediaan keahlian evaluasi akan jauh lebih lemah di banyak negara miskin—yaitu negara-negara yang menyiapkan strategi penanggulangan kemiskinan, misalnya (lihat Bab 9). Negara-negara yang lebih miskin kemungkinan juga memiliki fokus yang kuat pada sistem pemantauan kemiskinan secara khusus dan kemungkinan mengalami kesulitan yang jauh lebih besar dalam menghadapi persyaratan-persyaratan bagi P&E yang berjumlah banyak dan tidak selaras dari pihak donor. Tekanan pihak donor sering kali menjadi penggerak utama upaya-upaya pemerintah untuk memperkuat sistem P&E, dan rasa kepemilikan negara terhadap upaya-upaya tersebut mungkin tidak kuat. Pembahasan lebih mendalam mengenai isu-isu diagnosis disajikan oleh Mackay (1998b).2 Kedalaman diagnosis Satu pertanyaan yang sering dilontarkan adalah berapa lama waktu yang dibutuhkan untuk melakukan diagnosis P&E. Tidak ada jawaban sederhana bagi pertanyaan ini. Hal itu bergantung pada tujuan dilakukannya diagnosis, jangkauan isu yang diinvestigasi, dan waktu dan anggaran yang tersedia. Dalam sebagian kasus suatu kunjungan selama seminggu ke sebuah negara telah menyediakan titik awal yang memadai untuk memahami secara luas isu-isu utama yang dihadapi pemerintah yang berminat untuk memperkuat fungsi P&E-nya. Sementara itu di ujung yang lain terdapat evaluasi yang lebih formal, terperinci dan mendalam terhadap sistem evaluasi pemerintah, seperti yang diminta pemerintah Chile untuk dilakukan oleh Bank Dunia (Rojas dkk., 2005). Evaluasi di Chile melibatkan sebuah tim yang terdiri dari tujuh orang yang bekerja selama beberapa bulan. Evaluasi itu melibatkan beberapa kali kunjungan ke Chile dan wawancara dengan banyak pejabat pemerintah di kementerian pusat dan kementerian sektor, serta penelaahan terperinci terhadap kualitas evaluasi dan penggunaan evaluasi. Diagnosis mendalam semacam itu dapat menghabiskan biaya sebanyak ratusan ribu dollar. Isu-isu lainnya juga mungkin perlu diselidiki secara mendalam, seperti kualitas dan kredibilitas informasi pemantauan, serta kualitas dan kredibilitas sistem informasi sektor yang menyediakan informasi tersebut.3 Isu lainnya yang mungkin muncul adalah kapasitas dari universitas-universitas dan organisasi-organisasi lainnya yang menyediakan pelatihan tentang P&E; pelatihan semacam itu adalah unsur lazim dari rencana aksi untuk membantu pelembagaan P&E. Pedoman diagnosis untuk menilai organisasi-organisasi pelatihan disediakan oleh Adrien (2003); diagnosis untuk Ghana juga menggunakan pedoman tersebut (Adrien, 2001).


92

Di antara dua jenis diagnosis di atas, yaitu kunjungan seminggu dan evaluasi mendalam, adalah diagnosis yang dilakukan oleh Bank Dunia untuk Kolumbia dan Uganda. Diagnosis itu melibatkan beberapa kali kunjungan untuk mengadakan diskusi dengan para pejabat senior dan perwakilan masyarakat sipil, penelaahan dokumen (seperti pernyataan kebijakan pemerintah, dokumen-dokumen yang terkait dengan proyek donor yang relevan, dan diagnosis negara yang ada sebelumnya—yaitu diagnosis terhadap P&E, reformasi sektor publik, atau isu-isu manajemen pengeluaran publik, misalnya) dan konferensi formal atau presentasi seminar menyangkut sistem P&E pemerintah. Diagnosis untuk Kolumbia melibatkan sejumlah staf Bank Dunia yang bekerja erat dengan mitra-mitra mereka dari pihak pemerintah selama beberapa kali kunjungan ke negara tersebut (Mackay dkk., 2007). Diagnosis ini disertakan dalam Lampiran B. Ilustrasi TOR untuk diagnosis mendalam di masa mendatang terhadap sistem P&E Kolumbia disajikan dalam Lampiran C. Diagnosis Uganda—yang dilakukan pada 2001, dan dilanjutkan pada 2003—dilakukan oleh seorang konsultan Bank Dunia selama beberapa kali kunjungan ke negara itu, dengan kerja sama erat dan dukungan dari mitra-mitra dari pihak pemerintah (Hauge, 2001, 2003). Diagnosis Uganda 2001 disarikan dalam Tabel 9.1. Cakupan diagnosis sektor akan lebih sempit daripada diagnosis yang difokuskan pada pemerintah secara keseluruhan, meskipun banyak, jika bukan sebagian besar, dari isu-isu utamanya tetap sama. Diagnosis sektor perlu difokuskan, antara lain, pada peran kegiatan-kegiatan P&E sektor, dalam memberi kontribusi pada sistem P&E pemerintah secara keseluruhan (whole-of-government M&E system). Tentu saja diagnosis sektor dapat saja dilakukan sebagai bagian dari diagnosis nasional. Hal ini akan berguna untuk memahami isu-isu pelembagaan P&E pada tingkat sektor, atau jika pemerintah tengah mempertimbangkan untuk merintis inisiatif baru P&E di kementerian-kementerian sektor tertentu. Bergantung pada isu-isu yang akan dibahas dalam diagnosis, mungkin perlu untuk membentuk sebuah tim ahli yang berasal dari berbagai latar belakang yang berbeda. Tim itu mungkin akan terdiri dari invidividu-individu yang memiliki keahlian dalam sejumlah bidang berikut: manajemen sistem P&E pemerintah; indikator dan sistem kinerja; sistem statistik; evaluasi; reformasi manajemen sektor publik; dan penyusunan anggaran berbasis-kinerja. Jika diharapkan pula adanya proyek donor untuk mendukung pengembangan sistem P&E, maka penting untuk melibatkan di dalam tim diagnosis tersebut beberapa staf dari pihak donor yang memiliki pengalaman relevan. Keterlibatan intensif pejabat-pejabat senior pemerintah dalam diagnosis tentu saja penting—agar mereka dapat mengetahui dan menilai sistem P&E yang ada saat ini dan cara-cara untuk memperkuat sistem tersebut, di samping untuk memastikan agar mereka menerima temuan-temuan dan rekomendasi-rekomendasi yang dihasilkan diagnosis tersebut.


93

Kesimpulan Diagnosis terhadap sistem P&E sebuah negara dapat menyediakan pemahaman yang kokoh mengenai kekuatan dan kelemahan sistem tersebut. Hal ini jelas sangat penting dalam rangka pengembangan suatu rencana aksi yang disesuaikan secara tepat dengan visi mengenai sistem P&E yang akan datang, khususnya menyangkut bagaimana informasi pemantauan dan temuan-temuan evaluasi tersebut ingin digunakan, yang hal ini khas bagi tiap-tiap negara. Diagnosis semacam itu juga akan menyediakan patokan awal untuk mengukur kemajuan yang dicapai di masa datang, dan modifikasi lebih jauh terhadap sistem itu dapat dibuat ketika muncul berbagai peluang atau hambatan. Proses pelaksanaan diagnosis dapat menjadi sarana untuk melibatkan para pejabat senior di kementerian pusat dan kementerian sektor utama, bersama-sama dengan staf dari pihak donor, untuk mempertimbangkan maksud, penggunaan dan rancang-bangun sistem P&E pemerintah. Diagnosis dapat mengungkapkan temuan-temuan mengejutkan mengenai kemajemukan dari sistem-sistem yang tidak terkoordinasi dan tumpang-tindih. Temuan-temuan semacam itu dapat mendorong lahirnya konsensus menyangkut rencana aksi untuk memperkuat sistem tersebut. Namun, menciptakan konsensus mengenai peran dan tanggung jawab di dalam sistem P&E keseluruhan pemerintah mungkin bukan hal yang mudah. Kementerian-kementerian dan badan-badan tingkat sektor mungkin memilih untuk tidak terikat dengan persyaratan-persyaratan formal P&E yang ditentukan dari pusat. Sedangkan kementerian-kementerian pusat sendiri mungkin ingin memaksakan kendali atas sistem P&E yang baru atau yang baru disegarkan kembali.4 Karena itu, pendekatan yang lebih kolaboratif, yang kurang diwarnai oleh persaingan, dapat membantu menjembatani perbedaan-perbedaan tersebut. Diagnosis hendaknya mencakup pencatatan faktual dan pertimbangan yang hati-hati mengenai keberadaan atau ketiadaan berbagai faktor keberhasilan bagi upaya membangun sistem P&E, seperti pendukung yang berpengaruh dan memiliki komitmen terhadap P&E. Dignosis cepat dapat memberikan gambaran umum mengenai sejumlah isu utama, namun tidak dapat diharapkan lengkap atau seimbang. Diagnosis yang terperinci dan mendalam akan meliputi penggalian isu-isu spesifik yang dipandang penting bagi negara bersangkutan, seperti kualitas sistem data atau penyelidikan mendetail terhadap jangkauan penggunaan informasi P&E saat ini. Kebanyakan diagnosis tidak sangat cepat dan juga tidak sangat menghabiskan waktu atau mendalam. Diagnosis umumnya terletak di antara dua ekstrem ini. Namun demikian, diagnosis yang baik memerlukan perhatian yang besar; keahlian dan kualitas penilaian tenaga yang menyiapkan diagnosis sangat penting.

Bab 13 : Menyiapkan Rencana Aksi

94

Bab 13

Menyiapkan Rencana Aksi Tema sentral publikasi ini adalah tidak ada model “terbaik” mengenai seperti apa seharusnya sistem P&E pemerintah secara keseluruhan atau pada tingkat sektor. Negara-negara berbeda secara mendasar dalam penekanan mereka terhadap maksud atau tujuan sistem P&E—misalnya, untuk mendukung pembuatan keputusan di bidang anggaran, atau untuk manajemen aktivitas yang berkesinambungan, atau untuk kepentingan akuntabilitas. Tiap-tiap negara bersifat unik dari segi kegiatan, fungsi, dan sistem P&E serta dari segi budaya dan lingkungan sektor publik yang dimiliki. Dengan demikian, rencana aksi untuk menciptakan dan memperkuat sistem P&E pemerintah yang ada harus disesuaikan dengan kondisi negara bersangkutan. Itulah sebabnya penting dilakukan diagnosis terhadap kekuatan dan kelemahan P&E sebuah negara sebagai dasar bagi pengembangan sebuah rencana aksi (Bab 12). Visi tentang Sistem Mendatang Idealnya, diagnosis akan melahirkan sebuah pernyataan yang jelas mengenai akan seperti apakah sistem P&E yang dikehendaki di masa mendatang. Dimensi dari sistem tersebut—rancang-bangunnya—akan mencakup unsur-unsur berikut:

1. Yang mana dari empat kemungkinan penggunaan informasi P&E yang akan menjadi tujuan sistem tersebut, dengan mengenali pilihan-pilihan sulit (trade-offs) yang diimplkasikan oleh masing-masingnya: untuk mendukung pembuatan keputusan menyangkut anggaran; untuk membantu kementerian dalam perumusan kebijakan, analisis kebijakan, dan pengembangan program; untuk mendukung kementerian dan badan dalam mengelola aktivitas mereka; atau untuk memperkuat hubungan akuntabilitas (Bab 3).

2. Peran dan tanggung jawab formal dari para pemangku kepentingan utama sistem

P&E—pihak-pihak yang diharapkan akan menghasilkan informasi pemantauan dan evaluasi, serta menggunakan informasi tersebut. Tanggung jawab untuk pengelolaan atau pengawasan penting untuk diserahkan pada suatu kementerian, komite atau lembaga lain yang memiliki pengaruh.


95

3. Apakah yang ingin dikembangkan adalah sistem keseluruhan pemerintah (whole-of-government system), yang mencakup seluruh kementerian pusat, serta kementerian dan badan tingkat sektor, ataukah sistem yang lebih difokuskan pada sektor-sektor atau badan-badan tertentu. Sebagian pemerintah mengembangkan sistem P&E hanya untuk kegiatan-kegiatan yang didanai oleh lembaga donor di negeri mereka.1

4. Tingkat pemerintahan di mana sistem P&E akan dikembangkan: pusat, negara

bagian/provinsi, atau lokal.

5. Pilihan alat P&E yang akan difokuskan sistem tersebut: indikator kinerja, evaluasi cepat, evaluasi dampak yang cermat dan seterusnya. Sistem pemantauan kinerja yang reliabel mungkin saja diciptakan tanpa melakukan evaluasi sama sekali. Namun, untuk melakukan evaluasi dibutuhkan informasi kinerja yang baik, baik yang diperoleh dari sistem pemantauan atau dari survei khusus, atau dari keduanya.

Isu-isu implementasi Ketika visi tentang sistem P&E yang berfungsi sepenuhnya telah dirumuskan, maka sebuah rencana aksi untuk mencapai visi itu mungkin untuk dikembangkan. Rencana aksi ini hendaknya mempertimbangkan pelajaran-pelajaran internasional dalam membangun sistem P&E negara (Bab 10). Tentu saja tidak masuk akal untuk mengembangkan suatu rencana aksi jika tidak ada tuntutan (demand) yang kuat terhadap P&E di tubuh pemerintah. Rencana aksi dapat pula dirancang untuk memperkuat tuntutan, misalnya, dengan memastikan bahwa seluruh pemangku kepentingan utama turut memainkan peran penting dalam merencanakan atau mengelola sistem P&E, seperti melalui keterlibatan mereka dalam komite pengawas atau komite perencanaan. Insentif-insentif khusus mungkin perlu diciptakan untuk lebih memperkuat tuntutan tersebut. Insentif tersebut dapat berupa perpaduan antara imbalan, hukuman dan penyuluhan (Bab 11). Dengan kata lain, akan merupakan suatu kekeliruan untuk membuat rencana aksi yang semata-mata terfokus pada isu-isu teknokratis pada sisi suplai. Memperkuat sistem P&E yang ada atau membangun sistem yang baru sama sekali dapat dilakukan melalui banyak cara. Isu-isu implementasi yang perlu dihadapi dalam rencana aksi mencakup hal-hal berikut:

• Sejauh mana fokus akan diberikan pada upaya memperkuat apa yang sudah ada: memperbaiki sistem informasi manajemen keuangan (untuk menelusuri alokasi anggaran dan pengeluaran aktual) atau memperbaiki sistem pemantauan di kementerian, terutama data administratif tentang kegiatan-kegiatan pemerintah, penerima manfaat dan keluaran (ingat bahwa data ini biasanya dikumpulkan pada tingkat fasilitas).


96

• Apakah pendekatan-pendekatan baru perlu diujicobakan, dengan catatan bahwa jika berhasil, maka pendekatan-pendekatan itu akan diarusutamakan. Hal ini dapat meliputi implementasi persyaratan-persyaratan formal P&E yang baru di kementerian atau badan yang akan dijadikan percontohan, misalnya, kementerian atau badan yang telah memiliki komitmen yang kuat untuk melakukan dan menggunakan P&E, dan yang telah memiliki rekam-jejak yang sukses. Proyek percontohan dapat pula dikembangkan pada level pemerintahan lainnya, seperti negara bagian atau kota. Program percontohan seperti evaluasi cepat atau evaluasi dampak yang cermat dapat juga dipertimbangkan sebagai alat evaluasi khusus jika baru ada sedikit pengalaman, atau bahkan tidak ada sama sekali pengalaman, menggunakannya di negara bersangkutan.

• Kapan dan seberapa cepat pengarusutamaan harus berlangsung. Di Chile, misalnya, alat-alat P&E diarusutamakan secara bertahap: indikator kinerja pada 1994, tinjauan cepat pada 1996, evaluasi dampak yang cermat pada 2001, tinjauan pengeluaran komprehensif pada 2002 (Bab 6). Meksiko berencana untuk mengarusutamakan sistem P&E keseluruhan pemerintah yang baru selama periode tiga tahun, yaitu 2007-2009 (Hernandez, 2007).

Kecepatan implementasi sebuah rencana aksi jelas sangat penting. Di sini ada isu menyangkut “kemampuan dicerna” (“digestibility”)—seberapa banyak perubahan atau reformasi P&E dapat diserap oleh kementerian-kementerian dan badan-badan, serta seberapa cepat. Kita telah belajar dari negara-negara yang telah berhasil menciptakan sistem P&E bahwa itu merupakan upaya jangka panjang yang memerlukan kesabaran dan ketekunan (Bab 10); sebaliknya, para pendukung P&E di dalam pemerintah cenderung tidak sabar ketika mereformasi sistem P&E mereka. Pelajaran lainnya adalah sistem P&E harus dilembagakan secepatnya sebelum para pendukung P&E itu pada akhirnya berlalu. Seperti ditekankan di dalam Bab 10, akan membantu jika dilakukan pemantauan dan evaluasi secara berkala terhadap sistem P&E itu sendiri, guna mengidentifikasi seberapa sukses berbagai komponen dari sistem itu diimplementasikan. Hal ini menyediakan landasan yang kokoh untuk perubahan-perubahan yang diperlukan menyangkut sifat, skala dan waktu implementasi dari rencana aksi. Dan, hal ini jelas penting jika suatu pendekatan uji-coba telah diadopsi. Rencana aksi dapat difokuskan pada seluruh atau sebagian dari pemangku kepentingan berikut ini: kementerian dan para pejabat pemerintah, seperti kementerian pusat dan kementerian serta badan tingkat sektor; pemerintah daerah pada tingkat negara bagian, provinsi atau distrik; Parlemen atau Kongres, termasuk para wakil terpilih, komite dan staf mereka; dan kelompok-kelompok masyarakat sipil, termasuk universitas, lembaga riset dan LSM. Aksi-aksi yang umumnya diambil, misalnya, meliputi penyediaan pelatihan P&E; penetapan undang-undang, dekrit atau peraturan baru yang diperlukan; menyiapkan pedoman dan standar P&E; memperkuat dan menyelaraskan sistem pemantauan; dan melakukan berbagai jenis evaluasi, seperti tinjauan cepat (rapid reviews) dan evaluasi dampak yang cermat (rigorous impact evaluation).


97

Pilihan-pilihan Sulit (Trade-Offs) Ada banyak isu dan pilihan sulit yang perlu dipertimbangkan ketika mengembangkan sebuah rencana aksi. Salah satunya adalah bahwa sistem P&E keseleruhan pemerintah yang dikelola oleh kementerian keuangan untuk kepentingan penyusunan anggaran berbasis-kinerja perlu memastikan cakupan luas terhadap seluruh program. Salah satu cara untuk mencapai keluasan cakupan adalah bersandar pada indikator kinerja. Namun, kelemahannya adalah indikator kinerja biasanya hanya menyediakan sedikit informasi tentang mengapa suatu hasil dapat dicapai atau tidak dicapai-dengan kata lain, sebab-sebab dari kinerja yang baik atau kinerja yang buruk. Penelaahan cepat dapat memberi pengetahuan tentang sebab-akibat tersebut. Selain itu, karena penelaahan cepat lebih murah dibandingkan dengan sebagian metode evaluasi lainnya, metode tersebut dapat menjangkau program-program pemerintah secara lebih luas. Temuan-temuan evaluasi yang paling andal atau reliabel dapat diperoleh dari evaluasi dampak yang cermat, meskipun metode itu sangat mahal untuk dilakukan, sehingga metode ini lebih sulit digunakan oleh kementerian keuangan untuk mengevaluasi program-program dengan cakupan yang luas (Bab 2). Sering kali ada pilihan sulit antara antara alat P&E yang akan digunakan dan penggunaan informasi P&E yang dikehendaki. Pilihan sulit lainnya adalah antara siapa yang melakukan evaluasi dan siapa yang dimaksudkan untuk menggunakan hasil evaluasi. Kementerian Keuangan Chile melaksanakan berbagai jenis evaluasi dan menggunakannya secara efektif untuk tujuannya sendiri. Akan tetapi, kementerian-kementerian dan badan-badan tingkat sektor enggan menggunakan evaluasi tersebut untuk kepentingan internal mereka-lembaga-lembaga ini tidak merasa “memiliki” temuan-temuan evaluasi tersebut (Bab 6). Sebuah sistem P&E yang dipaksakan dari pusat akan sulit untuk diterima oleh kementerian-kementerian sektor. Departemen Keuangan Australia berusaha menangani masalah ini dengan menyerahkan kepada kementerian-kementerian sektor tanggung jawab utama untuk merencanakan dan melaksanakan evaluasi. Hal ini menjamin bahwa mereka memiliki rasa kepemilikan yang tinggi terhadap temuan-temuan evaluasi (Bab 8). Namun, rasa kepemilikian ini memiliki ongkos: sampai sepertiga dari evaluasi yang dilakukan mengandung semacam kelemahan metodologis.2 Hal ini mengindikasikan pilihan sulit lainnya: evaluasi yang dilakukan secara internal mungkin melahirkan rasa kepemilikan yang tinggi, namun evaluasi yang dilakukan pihak luar lebih mungkin untuk cermat dan objektif. Rantai hasil (results chain) sederhana ditampilkan dalam Gambar 13.1. Gambar tersebut menyediakan skema yang telah disederhanakan tentang bagaimana rencana aksi diharapkan akan menghasilkan berbagai keluaran (outputs) seperti jumlah pejabat yang dilatih tentang P&E, jumlah evaluasi yang dilakukan, dan seterusnya. Keluaran ini pada gilirannya diharapkan menghasilkan hasil-hasil jangka menengah (intermediate outcomes), seperti menguatnya tuntutan pemerintah terhadap P&E, dan kemudian menghasilkan hasil akhir (final outcomes) berupa penggunaan informasi pemantauan dan


98

hasil-hasil temuan oleh pemerintah dan pihak-pihak lainnya. Diharapkan bahwa hasil tersebut akan bermuara pada dampak akhir (final impacts), berupa meningkatnya kinerja pemerintah, meningkatnya efektivitas pembangunan, semakin baiknya pemberian pelayanan, dan berkurangnya kemiskinan. Daftar Aksi untuk Memperbaiki P&E Tabel 13.1 menyajikan daftar aksi yang mungkin diambil guna meningkatkan tuntutan atau permintaan serta pasokan P&E. Daftar ini tentu saja tidak lengkap. Ia hanya mengilustrasikan ragam dan sifat aksi yang dapat diambil untuk membangun atau memperkuat sistem pemantauan dan evaluasi. Satu contoh rencana aksi yang dibuat sebagai tindak lanjut dari diagnosis P&E di suatu negara ditampilkan di dalam Kotak 9.2 tentang Uganda.


99

Gambar 13.1 : Rantai Hasil untuk Membangun Sistem P & E Pemerintah Meningkatkan penyediaan pelayanan, pertumbuhan ekonomi dan pengurangan angka kemiskinan

Meningkatkan efektivitas pembangunan

Meningkatnya kinerja pemerintah KerangkaP&E digunakan untuk: pembuatan keputusan pemerintah menyangkut kebijakan, rencana, dan alokasi sumber daya anggaran; implementasi dan manajemen kegiatan-kegiatan pemerintah; pemantauan kegiatan, pencatatan pengeluaran, evaluasi program dan proyek; analisis pemerintah dan tinjauan kebijakan; akuntabilitas pemerintah Pemerintah Parlemen Masyarakat Sipil Kerangka-kerja atau sistem P&E dibangun oleh pemerintah, yang menghasilkan perencanaan sistematis, pelaksanaan, dan penggunaan informasi pemantauan dan temuan-temuan evaluasi Rencana aksi menghasilkan berbagai keluaran, seperti jumlah pejabat yang mendapat pelatihan P&E; sistem data yang diseleraskan; meningkatkan kualitas dan fokus dari indikator-indikator pemantauan yang ada; meningkatnya kualitas evaluasi dan jumlah evaluasi yang diselesaikan; meningkatnya insentif bagi kementrian-kementrian untuk melaksanakan dan menggunakan P&E. Paket kegiatan untuk memperkuat fungsi-fungsi P&E negara dilakukan oleh pemerintah dan lembaga donor, seperti seminar nasional tentang sistem P&E negara; diagnosis terhadap fungsi-fungsi P&E nasional/sektoral; audit terhadap sistem data; penyediaan pelatihan P&E – termasuk pelatihan untuk pelatihan – atau beasiswa bagi para pejabat, LSM, universitas/lembaga riset, staf parlemen, berbagai jenis evaluasi dilakukan sebagai percontohan/demonstrasi.

Dampak

Informasi P&E secara langsung mendukung pembuatan neraca anggaran, perencanaan nasional dan perumusan kebijakan

Informasi P&E secara langsung mendukung manajemen kegiatan-kegiatan pemerintah

Parlemen menilai dan melakukan debat tentang kinerja pemerintah

Masyarakat sipil menilai kinerja pemerintah dan memberi masukan secara bebas bagi debat kebijakan

Hasil Akhir

Menguatkan tuntutan terhadap P&E di dalam pemerintah

Menguatkan tuntutan terhadap P&E di kalangan Parlemen; menguatkan ketrampilan P&E staf parlemen

Menguatkan tuntutan terhadap P&E di kalangan masyarakat sipil; menguatkan suplai dan ketrampilan P&E masyarakat sipil

Menguatkan suplai P&E dan ketrampilan P&E di dalam pemerintah

Menguatkan system P&E pemerintah Hasil jangka

Menengah

Keluaran

Kegiatan


100

Tabel 13.1: Kemungkinan Aksi untuk Memperkuat Sistem P&E pada Tingkat Negara/Sektoral

Memperkuat tuntutan pemerintah terhadap

P&E

Memperkuat suplai dan mengembangkan ketrampilan

P&E dalam pemerintah

Memperkuat sistem P&E Memperkuat tuntuan terhadap P&E dalam masyarakat sipil,

Parlemen

Memperkuat suplai dan mengembangkan ketrampilan

P&E dalam masyarakat sipil, staf Parlemen

Menyediakan imbalan, hukuman dan dukungan untuk memperkuat tuntutan (lihat Tabel 11.1)

Donor mengadvokasikan P&E dan memfokuskan pada hasil. Menyebarkan contoh-contoh tentang evaluasi yang berpengaruh.

Donor mengadvokasikan P&E dan memfokuskan pada hasil. Menyebarkan contoh-contoh tentang evaluasi yang berpengaruh.

Donor mengumpulkan dan menyebarkan pengalaman sistem P&E negara-negara lain



Mengadakan seminar nasional untuk membahas opsi-opsi sistem P&E pemerintah

Mengoordinasikan/ menyelaraskan P&E negara dari pihak donor.

Mengadakan seminar nasional untuk membahas opsi-opsi sistem P&E pemerintah

Mengadakan seminar tentang temuan-temuan evaluasi donor (misalnya Bank Dunia) yang relevan dengan negara bersangkutan—mendemonstrasi-kan kegunaan evaluasi.

Mengadakan seminar tentang temuan-temuan evaluasi donor (misalnya Bank Dunia) yang relevan dengan negara bersangkutan—mendemonstrasikan kegunaan evaluasi.

Mengadakan seminar regional tentang sistem P&E.

Mengembangkan jaringan regional bagi para manajer dan praktisi P&E—komunitas praktik.

Mendorong koordinasi yang lebih erat dengan kerja donor-donor lain untuk memperkuat sistem P&E pemerintah pada tingkat pusat dan sektoral.


101

Melakukan diagnosis nasional/sektoral terhadap fungsi-fungsi P&E—menyoroti kendala-kendala dan peluang-peluang

Melakukan audit data nasional/sektoral. Melakukan diagnosis terhadap organisasi yang menyediakan pelatihan P&E.

Melakukan diagnosis nasional/sektoral terhadap fungsi-fungsi P&E—permintaan, suplai, sistem, opsi-opsi untuk rencana aksi.

Melakukan diagnosis nasional/sektoral terhadap fungsi-fungsi P&E—menyoroti berbagai kendala dan peluang.

Melakukan diagnosis terhadap organisasi-organisasi yang menyediakan pelatihan P&E.

Menyertakan P&E sebagai bagian manajemen sektor publik pemerintah/donor dan kerja manajemen penegeluaran publik.

Menyertakan P&E sebagai bagian dari manajemen sektor publik terkait/kerja manajemen pengeluaran publik; misalnya menyangkut penyusunan anggaran berbasis-kinerja; manajemen berbasis-hasil dan perencanaan strategis; pendekatan tingkat sektor; program reformasi sektoral; pemberian pelayanan; manajemen dan akuntabilitas keuangan, termasuk sistem informasi manajemen keuangan; membangun kapasitas sistem statistik (kantor statistik, sistem informasi manajamen kementerian, produksi statistik, termasuk survei pemberian pelayanan); membangun kapasitas kantor audit nasional; desentralisasi pemerintahan.

Mengidentifikasi dan memberi dukungan bagi pendukung P&E. Mendorong kerja sama di antara seluruh pemangku kepentingan utama di tubuh pemerintah menyangkut sistem P&E—terutama dalam perencanaan dan pengawasan sistem.

Mendorong koordinasi internal P&E yang lebih kuat di tubuh pemerintah, termasuk kaitan antara P&E, perencanaan dan kementerian, dan sistem informasi manajemen.


102

Mengupayakan mandat bagi P&E melalui keputusan pemerintah, dekrit, peraturan dan undang-undang.

Menyebarluaskan standar dan metode evaluasi.

Mengupayakan mandat bagi P&E melalui keputusan pemerintah, dekrit, peraturan dan undang-undang. Mengembangkan panduan dan manual P&E.

Mengupayakan mandat bagi P&E melalui keputusan pemerintah, dekrit, peraturan dan undang-undang. Mengusulkan pemberlakuan undang-undang kebebasan memperoleh informasi.

Menyebarluaskan standar dan metode evaluasi. Mendukung lembaga riset, universitas, LSM untuk mengevaluasi dan meninjau kinerja pemerintah—misalnya, CRC, analisis anggaran.

Menyediakan pelatihan menyangkut berbagai alat, metode dan teknik P&E bagi para pejabat—pada tingkat nasional, negara bagian, kota.

Mendorong media agar memberitakan kinerja pemerintah.

Melatih anggota parlemen dan staf mereka untuk menganalisis kinerja pemerintah. Sediakan berbagai pelatihan mengenai beragam alat, metode dan teknik P&E bagi tenaga-tenaga dari universitas, LSM dan sebagainya.

Menyediakan pelatihan P&E untuk pelatih dan mendukung pendidikan tinggi untuk pegawai negeri, misalnya, melalui program kembar dengan negara maju yang menjadi mitra.

Menyediakan pelatihan P&E untuk pelatih, dan memberi dukungan bagi universitas/lembaga riset, misalnya, melalui program kembar.

Meninjau indikator kinerja kementerian. Memperkuat sistem informasi manajemen kementerian. Mendukung survei pemberian pelayanan.

Menyediakan dana untuk evaluasi.

Membentuk/mengoperasikan unit P&E/statistik/analisis kebijakan.

Menyediakan dana evaluasi—membuka peluang bagi masyarakat sipil untuk mengakses dana tersebut.

Menyediakan dana evaluasi—membuka peluang bagi masyarakat sipil untuk mengakses dana tersebut.

Mempromosikan pendanaan donor untuk tinjauan/evaluasi dampak skala besar—untuk mendemonstrasi-kan kelayakan dan kegunaan.

Donor mendanai evaluasi/tinjauan skala besar—berdasarkan “kemaslahatan umum”

Mendukung keterlibatan masyarakat dalam penilaian partisipatoris terhadap kemiskinan, dan sebagainya.

Donor mensubkontrakkan evaluasi/tinjauan kepada universitas/ lembaga riset.

Donor perlu lebih mengandalkan keahlian P&E pemerintah bersangkutan ketika melakukan evaluasi

Donor perlu lebih mengandalkan pemerintah untuk melakukan evaluasi terhadap proyek-proyek dan program-program yang didanai donor

Mendorong penyelidikan masyarakat sipil dan parlemen terhadap laporan-laporan evaluasi pemerintah.


103

Mendukung pengembangan jaringan evaluasi pemerintah dan asosiasi evaluasi nasional

Mendukung pengembangan asosiasi evaluasi nasional.

Mencari dukungan donor untuk evaluasi bersama antara donor dan pemerintah, serta untuk evaluasi yang dilakukan sendiri oleh negara bersangkutan.

Donor memberi dukungan bagi evaluasi yang dilakukan bersama antara pihak donor dan pemerintah, serta evaluasi yang dilakukan sendiri oleh negara bersangkutan

Catatan: Jika aksi dalam lima kolom tersebut serupa atau terkait, hal ini dapat dilihat dengan menelusuri masing-masing baris. CRC = citizen report card; LSM = lembaga swadaya masyarakat.


104

Contoh lainnya adalah proyek Bank Dunia yang dikembangkan untuk membantu pemerintah Kolumbia memperkuat sistem P&E nasionalnya, SINERGIA (Bab 7; Lampiran B). Proyek berbiaya 14 juta dollar ini memiliki 4 komponen: (1) mendukung pemantauan yang lebih baik terhadap pengeluaran pemerintah pada tingkat regional dan lokal; (2) mengonsolidasikan pelembagaan SINERGIA di dalam pemerintah; (3) mendukung pengembangan sistem P&E regional dan lokal, antara lain melalui pendekatan percontohan; dan (4) membangun mekanisme untuk meningkatkan kualitas, relevansi, efektivitas-biaya informasi publik. Proyek ini didasarkan atas diagnosis Bank Dunia terhadap SINERGIA (Lampiran B). Proyek ini juga memasukkan banyak sekali rencana diagnosis menyangkut isu-isu yang terperinci dan spesifik:

• Tinjuan terhadap pengaturan kelembagaan yang telah ada, khususnya sejauh mana informasi P&E dari SINERGIA digunakan selama ini untuk mendukung perencanaan nasional dan pembuatan keputusan menyangkut anggaran. Tinjauan ini akan merekomendasikan perlunya pemerintah meningkatkan level penggunaan informasi P&E.

• Tinjauan terhadap struktur P&E, pengaturan kelembagaan dan kapabilitas di dua kementerian lini. Hal ini akan membantu membangun standar kualitas P&E, yang akan dibutuhkan oleh seluruh kementerian dan badan.

• Penilaian terhadap kapabilitas P&E dari unit di dalam DNP yang mengelola SINERGIA dan memberikan bantuan teknis bagi kementerian-kementerian dan badan-badan lain.

• Tinjauan terhadap undang-undang, dekrit dan peraturan yang telah ada yang berkaitan dengan P&E.

• Tinjauan terhadap biaya, kualitas dan efektivitas-biaya dari berbagai alat dan teknik evaluasi yang kini digunakan sistem SINERGIA.

• Diagnosis menyangkut kapasitas yang diperlukan untuk membangun PBB. • Diagnosis menyangkut kualitas dan penggunaan informasi kinerja dan sistem

informasi di dua pemerintahan kota yang dijadikan percontohan. • Penilaian terhadap mekanisme untuk akuntabilitas lokal di beberapa pemerintahan

kota yang memperlihatkan contoh praktik yang baik. • Penilaian terhadap metodologi yang kini digunakan DNP untuk menilai kinerja

1.100 pemerintahan kota di Kolumbia. • Tinjauan terhadap kualitas data dan jangkauan penyelarasan data di antara sistem-

sistem pemantauan utama di pemerintah pusat Kolumbia. • Penilaian terhadap kualitas, relevansi dan penggunaan sistem utama DNP untuk

memantau kinerja pemerintah. Kesimpulan Strategi yang berguna untuk membangun sistem pemerintah untuk P&E adalah dimulai dengan melakukan diagnosis terhadap kegiatan-kegiatan P&E yang sedang berjalan di dalam pemerintah. Pada saat yang sama, visi tentang seperti apakah P&E yang berfungsi dengan baik perlu dirumuskan. Pijakan awal ini biasanya bermuara pada pengembangan


105

sebuah rencana aksi, termasuk pendekatan bertahap terhadap implementasi rencana aksi tersebut. Sampai saat ini seharusnya telah jelas bahwa tidaklah masuk akal berupaya menerapkan pendekatan “siap-pakai” yang terstandarisasi untuk mengembangkan sebuah sistem P&E pemerintah. Rencana aksi untuk membangun sistem P&E pemerintah harus disesuaikan dengan kondisi masing-masing negara dan dengan visi pemerintah tentang sistem P&E mendatang. Visi tersebut akan mencakup penggunaan spesifik yang dikehendaki dari informasi pemantauan dan temuan-temuan evaluasi, apakah nantinya sistem ini dimaksudkan sebagai sistem untuk keseluruhan pemerintah (whole-of-government system) ataukah untuk masing-masing kementerian atau badan; level pemerintahan sistem ini akan diterapkan; alat-alat P&E yang akan digunakan; dan seterusnya. Ada banyak kemungkinan dimensi dari sistem P&E, dan ada banyak pilihan sulit yang harus dipertimbangkan secara hati-hati. Rencana aksi untuk membangun sistem P&E tidak perlu bersifat terlalu kompleks, meskipun selalu ada bahaya bahwa sistem yang dikehendaki akan dirancang terlalu berlebihan dan karena itu menjadi lebih sulit untuk diwujudkan; ini benar-benar persoalan “lebih sedikit, lebih banyak yang didapat”. Bahaya yang serupa adalah kecepatan sebuah sistem dapat dibangun akan di luar perkiraan. Rencana aksi konkret akan menyediakan fokus bagi para pemangku kepentingan utama di pihak pemerintah serta bagi pihak donor. Hal ini juga menyediakan tolok-ukur guna mengukur kemajuan yang dicapai dalam upaya mewujudkan visi tentang sistem P&E di mendatang-dengan melakukan P&E berkala terhadap sistem tersebut maupun rencana aksi. Hal ini tidak hanya akan membantu untuk mengidentifikasi peluang-peluang yang muncul, tetapi juga memungkinkan kesulitan-kesulitan implementasi dapat diidentifikasi lebih awal dan ditangani. Munculnya hambatan dan peluang tersebut dialami oleh banyak negara: karena berbagai tantangan tersebut, sistem P&E pemerintah biasanya tidak berkembang secara linier dan dapat diprediksi (Bab 10). Komunitas internasional masih mengakumulasikan pengalaman tentang bagaimana cara terbaik untuk memperkuat sistem P&E pemerintah-pendekatan dan sistem mana yang paling efektif dan di negara seperti apa, seperti negara-negara berpenghasilan menengah atau di negara-negara miskin dengan kapasitas yang sangat lemah. Hal ini menggarisbawahi pentingnya untuk lebih jauh mengumpulkan bukti-bukti mengenai cara terbaik untuk melembagakan sistem P&E. Isu-isu ini dan isu-isu utama lainnya dibahas di dalam Bagian V.

106

BAGIAN V

ISU-ISU LAINNYA Bagian V memetakan sejumlah isu-isu yang tersisa. Ada isu-isu lain terkait dengan

pengalaman internasional yang belum dipahami dengan baik atau didokumentasikan

secara baik. Ini merupakan isu-isu penting yang belum digarap — yang penting bagi

pelembagaan P&E, namun tampaknya belum dipahami secara memadai (Bab 14). Isu-isu

itu antara lain meliputi efektivitas-biaya dari berbagai pendekatan alternatif untuk

memperkuat sistem P&E pemerintah; seberapa cukup evaluasi itu dilakukan; model

praktik P&E yang baik pada tingkat sektor dan daerah; dan cara-cara untuk mendorong

keterlibatan masyarakat sipil dalam pemantauan dan evaluasi terhadap kinerja

pemerintah. Banyak dari isu-isu tersebut, jika bukan malah seluruhnya, yang memerlukan

penelitian lebih mendalam.

Baba 14 : Isu-isu yang Belum Digarap

107

Bab 14

Isu-isu yang belum digarap Pengetahuan tentang upaya membangun sistem pemerintah bagi pemantauan dan evaluasi masih terus berkembang. Ada banyak pengalaman yang telah diakumulasikan dan dianalisis di negara-negara OECD (Bab 3), dan kepustakaan tentang negara berkembang terus bertambah terutama dalam kurun 10 tahun terakhir. Namun, ada banyak isu yang tidak dipahami dengan baik atau didokumentasikan secara baik (Kotak 14.1). Sembilan isu utama dikemukakan di sini. Sebagian besar dari isu-isu tersebut, jika bukan malah seluruhnya, memerlukan penyelidikan yang lebih mendalam melalui program riset jangka panjang. Pendekatan yang hemat biaya Seperti telah dikemukakan di dalam Bab 13, salah satu isu yang penting adalah pendekatan apakah yang paling efektif untuk memperkuat sistem P&E pemerintah, dan di negara seperti apa pendekatan itu dapat diterapkan. Daftar panjang mengenai berbagai jenis tindakan telah dikemukakan di dalam buku ini, namun efektivitas-biaya dari masing-masing tindakan itu belum diketahui. Salah satu tolok ukur yang dapat dipakai adalah kriteria evaluasi yang dapat diterapkan pada setiap jenis upaya pembangunan kapasitas, seperti efisiensi, efektivitas, kesinambungan dan sebagainya.1 Pihak donor saat ini menjadi semakin aktif dalam membantu berbagai pemerintah untuk memperkuat sistem P&E mereka. Pada tahun-tahun mendatang, diperkirakan akan muncul sejumlah hasil evaluasi donor menyangkut proyek-proyek pembangunan kapasitas tersebut. Sampai saat ini, kebanyakan dukungan donor, yang telah diberikan melalui berbagai proyek pinjaman, menjadi bagian dari upaya reformasi yang lebih besar. Karena itu, ketika proyek-proyek itu dievaluasi, hanya sedikit perhatian yang diberikan pada isu-isu seperti efektivitas-biaya dari masing-masing tindakan-seperti yang didaftar di dalam Tabel 13.1. IEG, yang telah memiliki program pembangunan kapasitas P&E selama lebih dari 20 tahun, melaksanakan swa-evaluasi terhadap programnya (IEG, 2004a). Evaluasi ini dibahas di dalam Lampiran D. Evaluasi yang lebih banyak mengenai upaya-upaya donor dan pemerintah dalam membangun sistem P&E diperlukan untuk memperdalam pemahaman kita tentang sistem seperti apa yang berfungsi paling baik dalam berbagai situasi yang berbeda. Bank Dunia kini tengah menyiapkan proyek pertama yang sepenuhnya difokuskan untuk memperkuat sistem P&E pemerintah untuk Kolumbia.


108

Pemantauan dan evaluasi yang di masa mendatang terhadap pinjaman ini tentu akan memberikan berbagai pelajaran yang sangat berharga. Kepustakaan yang semakin berkembang mengenai sistem P&E pemerintah difokuskan pada negara-negara dengan praktik yang baik atau praktik yang menjanjikan (Bab 5). Hal ini dapat dimengerti paling tidak karena dua alasan. Lembaga-lembaga donor yang menggarap tema ini dan pemerintah-pemerintah yang tertarik untuk memperkuat sistem P&E mereka ingin meniru keberhasilan. Karena itu, mereka ingin memahami langkah-langkah pembangunan kapasitas yang utama serta faktor-faktor yang mendasari keberhasilannya. Kedua, lembaga-lembaga donor yang mengadvokasikan sistem P&E pemerintah sebagai alat yang berguna untuk memperbaiki tata pemerintahan yang baik perlu memiliki kemampuan untuk mengidentifikasi contoh-contoh yang kredibel dari sistem P&E yang berfungsi dengan baik. Kotak 14.1 : Upaya Memperkuat Sistem P&E Pemerintah : Isu-isu yang belum di garap • Efektivitas-biaya dari berbagai pendekatan alternatif untuk membangun atau

memperkuat sistem P&E. • Contoh negara-negara yang telah berupaya memperkuat sistem P&E, namun gagal. • Efektivitas-biaya dari berbagai jenis P&E yang berbeda. • Seberapa cukup evaluasi dilakukan? • Sistem P&E tingkat sektor. • Sistem P&E tingkat daerah. • Penyelarasan donor dan penyesuaian dengan negara. • Keterlibatan masyarakat sipil dalam memantau dan mengevaluasi kinerja

pemerintah. • Standar formal praktik P&E yang bail Apa yang luput dari pendekatan ini adalah contoh negara-negara yang telah berusaha memperkuat sistem P&E mereka, namun gagal. Sebagai pelaku evaluasi, kita mengetahui bahwa kita sering kali belajar dari kegagalan sebanyak kita belajar dari keberhasilan. Namun, contoh-contoh yang terdokumentasikan mengenai hal tersebut sangat sedikit.2 Pada saat evaluasi terhadap kerja pembangunan kapasitas telah lebih banyak dilakukan pihak donor, maka penting sekali untuk memberi perhatian secara khusus pada “kegagalan-kegagalan” tersebut. Pertanyaan menarik lainnya adalah jenis sistem P&E masing-masing dengan tujuan khususnya sendiri, seperti untuk penyusunan anggaran berbasis-kinerja atau untuk pengelolaan program yang lebih baik- yang paling hemat biaya. Salah satu tolok ukur yang dapat digunakan adalah jangkauan penggunaan informasi P&E dengan cara-cara yang berbeda serta nilai dari penggunaan tersebut-suatu argumen yang secara konsisten dikemukakan di dalam buku ini adalah bahwa penggunaan (utilization) merupakan


109

ukuran dasar keberhasilan suatu sistem P&E. Contoh yang dikemukakan di sini adalah Chile. Sistem P&E Chile menghabiskan biaya sekitar 0,75 juta dollar setiap tahun, dan informasi P&E yang dihasilkan sistem tersebut digunakan secara intensif oleh Kementerian Keuangan untuk kepentingan pembuatan keputusan menyangkut anggaran serta untuk mendesakkan perbaikan-perbaikan manajemen pada kementerian-kementerian dan badan-badan tingkat sektor (Bab 6). Nilai penggunaan P&E merupakan sebuah persoalan menarik, namun jawaban yang jelas untuk persoalan ini mungkin tidak tersedia. Hal itu banyak bergantung pada kondisi lingkungan dan tingkat permintaan atau tuntutan terhadap P&E dari masing-masing pemerintah. Sebagian jenis sistem P&E-misalnya yang mengandalkan pada evaluasi dampak yang cermat, mungkin terlalu membebani dan mahal bagi negara-negara miskin. Dalam situasi semacam itu, pihak donor mungkin dapat diandalkan untuk mendanai atau mengelola evaluasi-evaluasi semacam itu. Terkait dengan isu tersebut adalah persoalan tentang seberapa cukup evaluasi dilakukan. Berapa banyak yang harus disiapkan oleh pemerintah untuk mendanai sistem P&E mereka setiap tahun ketika sistem itu telah dibangun? Literatur tentang evaluasi umumnya tidak membahas persoalan ini. Ada sebagian pihak yang berpendapat bahwa cukup bagi pemerintah untuk mengalokasikan dana sekitar 1 persen dari total pengeluarannya untuk mendanai evaluasi. Akan tetapi, angka ini tidak memiliki landasan logis atau empiris. Namun demikian, isu ini tetap penting. Anggaran tahunan pemerintah Chile sekitar 20 miliar dollar, dan Kementerian Keuangan hanya menghabiskan sebesar 0,75 juta dollar per tahun untuk sistem P&E. Apakah jumlah tersebut cukup atau terlalu banyak? Kementerian Keuangan Chile mendanai kurang dari 20 evaluasi per tahun. Bandingkan jumlah ini dengan Australia, yang pada pertengahan 1990 melaksanakan sekitar 160 evaluasi besar (Bab 8). Seperti di Chile, di Australia hasil evaluasi digunakan secara intensif dalam proses anggaran. Negara mana yang menghasilkan jumlah evaluasi yang optimal? Ini bukan pertanyaan yang mudah dijawab. Pendekatan terlampau hemat yang diambil Kementerian Keuangan Chile tampaknya akan menyebabkan Chile tidak akan pernah mendanai serangkaian evaluasi dampak yang mahal seperti evaluasi yang dilakukan pemerintah Meksiko terhadap program Progresa (yang dibahas dalam Bab 6). Namun demikian, pemerintah Chile menggunakan informasi P&E itu secara intensif dan menganggap sistemnya sangat hemat biaya; keuntungan yang diperoleh dari investasi P&E itu pun sangat positif. Oleh karena itu, Chile seharusnya mengeluarkan lebih banyak—bahkan jauh lebih banyak—dana untuk membiayai sistem P&E-nya. Jika kita sepakat bahwa penggunaan informasi P&E merupakan ukuran dasar bagi keberhasilan sistem P&E, maka hal ini memberi suatu acuan sederhana bagi keputusan tentang seberapa banyak dana yang harus dibelanjakan untuk sistem P&E: Lanjutkan pembiayaan sistem P&E apabila keuntungan yang diperoleh dari informasi P&E dinilai tinggi; dan jika potensi keuntungan dari peningkatan pembiayaan untuk P&E juga dinilai tinggi, maka keluarkan tambahan dana—dengan menggunakan anggaran pemerintah maupun pinjaman dari lembaga donor. Dengan demikian, menjadi tanggung jawab pihak


110

yang mengelola P&E untuk membuktikan bahwa informasi P&E benar-benar digunakan secara intensif dan bahwa sistem P&E itu hemat biaya. Hal ini lagi-lagi menggarisbawahi pentingnya melakukan P&E secara berkala terhadap sistem P&E itu sendiri. Dalam situasi ketika informasi P&E tidak digunakan secara intensif, jelas perlu dilakukan analisis terhadap sebab-sebabnya. Jika dipandang terdapat masalah menyangkut reliabilitas atau keterandalan informasi P&E, maka mungkin perlu dikeluarkan lebih banyak dana untuk memperbaiki masalah tersebut. Jika ada masalah menyangkut lemahnya tingkat permintaan atau tuntutan pemerintah terhadap P&E, atau mungkin terhadap informasi yang dapat diandalkan, maka perlu dtempuh langkah-langkah guna memperkuat permintaan tersebut. Jika upaya-upaya tersebut tidak berhasil dan permintaan tidak mungkin untuk ditingkatkan, maka mungkin sistem P&E perlu diperkecil skalanya, atau bahkan dihapuskan sama sekali. Sebagian besar dari pembahasan dalam buku ini difokuskan pada sistem P&E tingkat nasional atau tingkat pemerintah secara keseluruhan (whole-of-government M&E system). Ini biasanya merupakan wilayah dari kementerian keuangan, kementerian perencanaan atau kantor kepresidenan. Pada sisi donor, staf yang menangani isu-isu semacam ini sering kali adalah para ahli di bidang manajemen sektor publik atau di bidang manajemen pengeluaran publik, yang tugasnya umumnya berkaitan dengan isu-isu sistemik tata pemerintahan yang baik. Para staf tersebut juga cenderung memusatkan perhatian pada kementerian-kementerian pusat dari suatu pemerintahan. Sistem P&E tingkat sektor Isu lainnya yang belum digarap adalah sistem P&E tingkat sektor, seperti di kementerian kesehatan dan pendidikan. Para staf donor yang bekerja pada level ini sering kali adalah para spesialis sektoral. Sistem nasional dan sistem sektoral jelas saling terkait; bahkan, sistem nasional biasanya harus mengandalkan sistem sektoral untuk banyak informasi pemantauan yang diperlukannya. Informasi tersebut mungkin berasal dari catatan-catatan administratif, atau dari survei khusus dan sensus yang dlakukan oleh lembaga-lembaga tingkat sektor maupun kantor statistik nasional. Sistem P&E sektor jelas penting baik bagi sektor itu sendiri maupun karena kontribusinya bagi sistem P&E nasional. Namun, kepustakaan tentang sistem P&E pemerintah, dan kepustakaan tentang sistem statistik pemerintah,3 umumnya terfokus pada sistem tingkat nasional. Kekurangan ini harus diisi. Ada beberapa kementerian dan badan tingkat sektor di negara-negara berkembang yang terlihat memiliki sistem P&E yang berfungsi dengan baik, terutama di sektor kesehatan, pendidikan dan kesejahteraan sosial. Namun, kita belum cukup mengetahui “pulau” praktik yang baik itu, faktor-faktor yang melatarbelakangi keberadaannya, atau kesinambungannya. Setidaknya ada beberapa contoh yang telah didokumentasikan mengenai upaya berkualitas tinggi terkait dengan sistem P&E tingkat sektor, yang perlu lebih diperhatikan. Salah satunya adalah Health Metrics Network (HMN), suatu kemitraan global yang didukung oleh Organisasi Kesehatan Dunia (WHO), yang mempromosikan


111

pengembangan sistem informasi sektor kesehatan.4 HMN telah menyiapkan suatu perangkat diagnosis yang terperinci untuk menilai kinerja sistem informasi kesehatan, mengidentifikasi kelemahan-kelemahan penting, dan memantau kinerja dari upaya-upaya untuk mengatasi kelemahan-kelemahan tersebut. Alat ini dapat digunakan untuk menentukan peringkat dari sejumlah besar dimensi sistem informasi kesehatan. Peringkat tersebut memiliki lima kategori kinerja, mulai dari “sangat memadai” hingga “tidak berfungsi”.5 Buku ini menganut pandangan bahwa pelajaran-pelajaran dari upaya melembagakan sistem P&E nasional—yang dibahas di dalam Bab 10—juga dapat diterapkan pada sistem P&E tingkat sektor. Ada sejumlah bukti untuk mendukung keyakinan ini, seperti kerja analisis yang dilakukan terkait dengan badan pembangunan sosial di Meksiko (SEDESOL) (World Bank, 2004c; Hernandez, 2006). Namun, diperlukan lebih banyak riset untuk membuktikan proposisi bahwa isu-isu P&E pada tingkat sektoral pada dasarnya merupakan mikrokosmos dari isu-isu yang dihadapi oleh sistem P&E tingkat nasional. Setidaknya akan ada beberapa perbedaan penting dalam hal penekanan. Secara keseluruhan, kita perlu memahami berbagai hal tersebut. Sistem P&E tingkat daerah Isu yang sebanding dengan sistem P&E tingkat sektor adalah sistem P&E tingkat daerah, terutama di negara yang tidak menganut sistem negara kesatuan. Banyak pemerintah yang menganut sistem federal dengan beberapa lapisan, dengan tingkat devolusi dan desentralisasi fungsi yang bervariasi. Hubungan antara berbagai lapisan pemerintahan itu dapat bersifat kompleks, termasuk hubungan akuntabilitas dan persyaratan-persyaratan formal bagi penyediaan informasi. Beberapa studi kasus mengenai sistem P&E tingkat daerah telah disiapkan. Hal itu jelas penting mengingat kompleksitas hubungan tersebut. Alasan lain bagi pentingnya isu ini adalah kenyataan bahwa sebagian besar informasi pemantauan biasanya dikumpulkan pada tingkat fasilitas. Karena itu, sifat hubungan dari masing-masing fasilitas dan kementerian/badan sektor di satu sisi dan pemerintah tingkat daerah di sisi lain, mungkin turut menentukan kualitas informasi yang disediakan, serta jangkauan penggunaan informasi itu sendiri oleh unit-unit fasilitas itu sendiri. Seperti dikemukakan dalam kasus Uganda (Bab 9), beban kerja informasi pada tingkat fasilitas dan tingkat distrik bisa jadi sangat sulit ditangani, yang kemudian berdampak sangat buruk terhadap kualitas data. Penyelarasan donor Salah satu isu yang terus mengemuka di komunitas evaluasi donor adalah soal penyelarasan donor, atau tidak adanya hal tersebut. Hal ini telah melipatgandakan beban kerja bagi negara-negara penerima donor karena keharusan mereka untuk memenuhi berbagai persyaratan P&E yang berbeda-beda yang ditetapkan oleh pihak donor. Pada Deklarasi Paris tahun 2005 lembaga-lembaga donor berjanji untuk berusaha


112

menyelaraskan berbagai persyaratan tersebut dan menyesuaikan diri mereka sedapat mungkin dengan sistem dan pendekatan negara penerima donor terhadap “kerangka-kerja dan pemantauan hasil”—yaitu penyesuaian dengan kondisi masing-masing negara (High Level Forum on Harmonisation, Alignment, Results, 2005). Pihak donor dan negara-negara juga telah berkomitmen untuk bekerja sama guna memperkuat kapasitas dan tuntutan negara terhadap manajemen berbasis-hasil. Akan menarik untuk mengetahui sejauh mana, jika pun ada, tujuan-tujuan itu telah dicapai; serangkaian evaluasi terhadap hasil Deklarasi Paris kini tengah dilakukan, dan hasilnya baru akan dilaporkan pada periode 2008-2010.6 Salah satu titik terang adalah bukti mengenai semakin banyaknya evaluasi dampak yang dilakukan oleh pihak donor/pemerintah. Bank Dunia, misalnya, saat ini sedang merencanakan atau melakukan sekitar 30 evaluasi dampak yang cermat (rigorous impact evaluation) bekerja sama dengan pemerintah-pemerintah di Amerika Latin, umumnya sebagai bagian dari proyek Bank Dunia dengan pemerintah. Tampaknya, evaluasi-evaluasi itu dilakukan dengan tingkat kerja sama yang sangat tinggi. Dari situ mungkin dapat diperoleh sejumlah pelajaran bagi pelaksanaan jenis-jenis evaluasi lainnya dan bagi evaluasi bersama donor/pemerintah di kawasan-kawasan lain. Contoh-contoh mengenai keterlibatan masyarakat sipil dalam memantau dan mengevaluasi kinerja pemerintah disajikan di dalam Bab 3, yaitu Inisiatif Kartu Laporan Warga (CRC), yang pertama kali dilakukan di Bangalore India, dan Bogotá Cómo Vamos di Kolumbia. Inisitatif-inisiatif tersebut telah berhasil mendesak pemerintah tingkat kota untuk memperbaiki kinerja mereka. CRC telah ditiru-terapkan di berbagai kota lainnya di India serta di negara-negara lain. Tantangan bagi komunitas donor adalah bagaimana mendorong agar keterlibatan masyarakat sipil semacam itu dapat direplikasi atau ditiru-terapkan di negara-negara lain. Hal ini akan bergantung antara lain pada kondisi masing-masing negara dan ruang yang dimiliki masyarakat sipil di negara bersangkutan. Bank Dunia dan beberapa lembaga donor lainnya menghadapi kesulitan tambahan karena mereka terutama berhubungan dengan pemerintah. Namun, Bank Dunia mungkin dapat menggunakan pengaruhnya di dalam sidang untuk membantu memastikan bahwa suara masyarakat sipil didengar. Bank Dunia dapat dan telah menunjukkan dengan jelas kepada organisasi-organisasi masyarakat sipil di berbagai negara contoh-contoh keterlibatan masyarakat sipil dalam upaya memantau dan mengevaluasi kinerja pemerintah. Harapannya adalah hal itu akan menstimulasi minat dan tuntutan masyarakat sipil untuk melibatkan dirinya dalam isu ini (lihat, misalnya, Mackay dan Gariba, 2000). Penting bagi komunitas donor dan kalangan masyarakat sipil sendiri untuk mengidentifikasi cara-cara lain guna mendorong keterlibatan semacam ini.


113

Standar formal Isu terakhir yang belum digarap yang dikemukakan di sini adalah apakah perlu ditetapkan standar formal bagi praktik sistem P&E yang baik. Standar-standar yang serupa telah diterapkan oleh komunitas internasional—terutama oleh para donor—untuk sistem statistik nasional dan beberapa sistem statistik tingkat sektor, serta untuk sistem manajemen keuangan pemerintah.7 Standar untuk sistem P&E pemerintah mungkin untuk dikembangkan berdasarkan daftar kriteria yang telah dikembangkan sebagai bagian dari berbagai pedoman diagnosis yang telah ada (Bab 12; Mackay, 1998b). Salah satu argumen untuk mendukung adanya standar formal itu adalah bahwa standar tersebut akan memberikan panduan yang lebih jelas bagi pemerintah mengenai standar apa yang dapat, atau mungkin seharusnya, mereka cita-citakan. Argumen kedua adalah standar tersebut akan memfasilitasi pemantauan dan evaluasi berkala terhadap sistem P&E itu sendiri. Seperti dikemukakan di dalam Bab 12 dan 13, upaya-upaya untuk memperkuat sistem P&E pemerintah penting untuk dipantau dan dievaluasi, dan penilaian terhadap sistem P&E berdasarkan kriteria yang jelas dapat membantu hal tersebut. Namun demikian, satu argumen bantahan terhadap perlunya standar formal semacam itu dapat dikemukakan di sini, yaitu bahwa tidak ada model tunggal bagi praktik sistem P&E pemerintah yang baik. Sebaliknya, kemungkinan model yang tersedia bagi sistem P&E sangat bervariasi.

Bab 15 : Kesimpulan

114

Bab 15

Kesimpulan Fokus dari buku ini adalah tentang sistem pemantauan dan evaluasi pemerintah, dan bagaimana sistem itu dapat mewujudkan pemerintahan yang lebih baik. Kebanyakan negara-negara anggota OECD, dan sejumlah kecil negara berkembang namun yang jumlahnya semakin meningkat, memberi penekanan besar pada upaya untuk memastikan tersedianya informasi pemantauan dan temuan-temuan evaluasi. Pemerintah-pemerintah itu menggunakan informasi P&E dalam empat cara: untuk mendukung pembuatan kebijakan, terutama pembuatan keputusan menyangkut anggaran; untuk membantu kementerian-kementerian pemerintah dalam tugas pengembangan dan analisis kebijakan; untuk mendukung kementerian-kementerian dan badan-badan dalam mengelola kegiatan-kegiatan mereka; dan untuk memperkuat hubungan akuntabilitas. Dikemukakan di sini bahwa keempat penggunaan P&E tersebut berada di jantung tata pemerintahan yang baik—sebagai syarat niscaya bagi manajemen pengeluaran publik yang efektif dalam rangka pembangunan ekonomi dan penanggulangan kemiskinan. Disajikan pula contoh-contoh mengenai evaluasi yang sangat berpengaruh yang telah dilakukan di negara-negara berkembang. Hal ini mengindikasikan potensi keuntungan yang sangat tinggi yang dapat diraih pemerintah dari investasi pada P&E. Tujuan publikasi ini adalah membantu pemerintah dalam upaya mereka membangun, memperkuat dan melembagakan sepenuhnya sistem P&E, bukan untuk kepentingan sistem itu sendiri, tetapi dalam rangka memperbaiki kinerja pemerintah. Berbagai studi kasus tentang sistem-sistem P&E negara yang berjalan dengan baik telah dikemukakan, beserta sejumlah pelajaran dari negara-negara tersebut dan negara-negara lainnya tentang bagaimana membangun sistem semacam itu, dan berbagai pelajaran tentang kekeliruan yang harus dihindari. Tema yang terus diusung dalam publikasi ini adalah bahwa patokan dasar “keberhasilan” sistem P&E adalah penggunaan informasi yang dihasilkan oleh sistem tersebut; tidak cukup hanya membangun sebuah sistem yang menghasilkan indikator-indikator kinerja dan evaluasi yang baik dari segi teknis. Penggunaan bergantung pada sifat dan kekuatan tuntutan terhadap informasi P&E; hal ini pada gilirannya bergantung pada insentif untuk menggunakan P&E. Sebagian pemerintah di negara-negara berkembang memiliki tingkat tuntutan yang tinggi terhadap P&E; sedangkan pada sebagian pemerintah lainnya

Bab 15 : Kesimpulan

115

tuntutan itu lemah atau setengah-hati. Untuk negara-negara terakhir ini, ada cara-cara untuk meningkatkan tuntutan dengan memperkuat insentif. Salah satu pelajaran penting yang perlu dipertimbangkan ketika membangun sebuah sistem P&E adalah pentingnya melakukan diagnosis P&E di sebuah negara. Diagnosis ini akan menyediakan pemahaman yang baik tentang kegiatan-kegiatan P&E di tubuh pemerintah dan lingkungan sektor publik, serta peluang-peluang untuk menggunakan informasi P&E guna mendukung fungsi-fungsi inti pemerintahan. Diagonsis semacam itu merupakan fondasi penting untuk menyiapkan suatu rencana aksi. Diagnosis juga dapat menjadi sarana untuk memastikan bahwa para pemangku kepentingan di pihak pemerintah maupun donor memiliki pemahaman yang sama tentang berbagai isu dan tentang pentingnya upaya memperkuat P&E. Sudah banyak pengetahuan, yang kini terus bertambah, tentang pengalaman berbagai negara dalam membangun sistem P&E, dan pelajaran-pelajaran penting itu disajikan di dalam buku ini. Selain iu, disajikan pula jawaban atas pertanyaan-pertanyaan yang sering kali dilontarkan oleh para pejabat dan pihak-pihak yang bekerja untuk memperkuat sistem P&E pemerintah. Namun, terdapat pula sejumlah isu yang belum dipahami secara memadai, seperti tentang model praktik P&E yang baik pada tingkat daerah maupun tingkat sektoral, atau cara-cara untuk mendorong keterlibatan masyarakat sipil dalam P&E. Ini merupakan isu-isu penting yang belum digarap, dan buku ini mengusulkan perlunya program riset jangka panjang untuk menggali isu-isu tersebut.

116

BAGIAN VI

PERTANYAAN DAN JAWABAN: Pertanyaan-pertanyaan yang

umum dikemukakan Pada bagian VI ini disajikan jawaban atas pertanyaan-pertanyaan yang lazim

mengemuka pada konferensi nasional maupun internasional yang membahas

tema P&E pemerintah. Seringnya pertanyaan-pertanyaan serupa dilontarkan

membantu untuk mengenali sejumlah isu penting yang harus dibahas ketika

tengah berupaya melembagakan sistem P&E.

Pernyataan dan Jawaban. Pernyataan-pernyataan yang umum dikemukakan

117

Pernyataan dan Jawaban Pertanyaan-pertanyaan yang umum dikemukakan Para pejabat, akademisi, konsultan, donor, dan pihak-pihak lain yang berminat dengan soal upaya memperkuat sistem P&E pemerintah sering kali melontarkan isu-isu yang serupa mengenai bagaimana melakukan upaya tersebut dan bagaimana mengatasi tantangan-tantangan yang muncul. Jawaban atas 21 pertanyaan yang kerap dilontarkan disajikan di sini. Isu-isu tersebut membantu untuk mengungkap banyak dimensi sistem P&E pemerintah yang saling berkaitan serta untuk memperjelas sifat dari berbagai pilihan sulit yang mungkin harus dibuat. 1. Bagaimana sistem pemantauan dan evaluasi pemerintah dapat diciptakan? Bagi negara saya, terlampau sulit untuk membangun sistem semacam itu sekaligus. Langkah awal yang baik adalah melakukan diagnosis terhadap fungsi dan sistem P&E pemerintah yang telah ada (Bab 12). Diagnosis itu akan memberikan pemahaman yang baik mengenai kekuatan dan kelemahan dari apa yang ada saat ini. Diagnosis itu juga akan membantu memperjelas siapa yang membutuhkan informasi P&E apa, untuk tujuan apa dan kapan. Pada gilirannya diagnosis itu akan membantu mengidentifikasi pilihan aksi-aksi yang mungkin diambil untuk memperkuat sistem P&E yang ada atau menciptakan sebuah sistem yang baru sama sekali (Bab 13). Jelas isu pokok yang pertama-tama perlu dihadapi adalah memperjelas maksud penggunaan utama informasi P&E di masa mendatang. Salah satu pendekatan yang mungkin ditempuh adalah mengimpelementasikan berbagai alat dan metode P&E pada tingkat keseluruhan pemerintah secara bertahap. Chile melakukan hal itu dengan cara menerapkan sistem informasi kinerja pada 1994, disusul oleh laporan manajemen komprehensif pada 1996, tinjauan cepat pada 1996, evaluasi dampak yang cermat pada 2001, dan tinjauan pengeluaran komprehensif pada 2002 (Bab 6). Namun, kebanyakan pemerintah mungkin tidak akan sabar menempuh pendekatan bertahap semacam itu. Ada sejumlah langka P&E yang, meskipun penting, dapat membutuhkan waktu yang lama untuk diwujudkan—seperti perbaikan-perbaikan yang luas pada sistem pemantauan kinerja atau evauasi dampak yang cermat—jika data yang baik belum tersedia. Para pendukung sistem P&E mungkin mau atau tidak mau menunggu ditempuhnya langkah-langkah tersebut. Bahkan, seandainya pun para pendukung itu bersabar, pada akhirnya mungkin akan menghilang, mungkin secara tidak terduga.


118

Inilah argumen mengenai perlunya dimasukkan jadual penyelesaian yang cepat di dalam rencana aksi P&E. Hal ini dapat mencakup berbagai kegiatan percontohan, seperti melakukan beberapa evaluasi cepat untuk memberi masukan bagi proses anggaran (dengan mengungkap kinerja dari masing-masing program); melaksanakan survei penelusuran pengeluaran publik (PETS) untuk mengetahui tingkat “kebocoran” dana-dana pemerintah; atau melakukan evaluasi dampak yang cermat jika data yang baik telah ada atau dapat dikumpulkan dengan segera (lihat Bab 2). Kegiatan-kegiatan pembuktian atau demonstrasi semacam itu dapat menunjukkan nilai dari informasi P&E dan dengan demikian membantu membangkitkan kesadaran mengenai P&E dan tuntutan terhadapnya. Meskipun senantiasa merupakan ide yang baik untuk memiliki rencana aksi yang telah disiapkan dengan baik, termasuk sejumlah tahap pengembangan sistem P&E, salah satu pelajaran penting yang diperoleh dari pengalaman adalah pentingnya kemampuan untuk memberi respons secara fleksibel ketika munculnya peluang-peluang baru bagi P&E (Bab 10). 2. Di dalam pemerintah saya permintaan atau tuntutan terhadap informasi pemantauan dan temuan-temuan evaluasi lemah. Bagaimana mengatasi lemahnya minat tersebut jika saya ingin membangun suatu sistem P&E pemerintah? Lemahnya tuntutan merupakan suatu kendala serius bagi upaya membangun sistem P&E pemerintah, namun ada sejumlah cara yang dapat ditempuh untuk memperkuat tuntutan atau permintaan (Bab 10 dan 11). Pertama, penting sekali untuk meningkatkan kesadaran mengenai P&E di kalangan para pejabat senior: jelaskan tentang P&E dan berbagai cara P&E dapat berguna bagi pemerintah—seperti untuk pembuatan keputusan menyangkut anggaran nasional yang didasarkan atas informasi yang lebih memadai atau untuk meningkatkan manajemen seluruh kegiatan pemerintah. Para pejabat senior sering kali dapat diyakinkan dengan contoh-contoh tentang evaluasi yang berpengaruh dan sistem P&E yang berjalan dengan baik di negara-negara lain (Bab 3). Menemukan pendukung dan sekutu yang berpengaruh juga penting, dan pada gilirannya mereka akan mengadvokasikan dan membela P&E secara lebih luas. Setiap pemerintah telah melakukan semacam kerja P&E, kendati hanya berupa sistem catatan administrasi kementerian, data sektor dari badan statistik nasional, dan informasi yang disediakan oleh pemerintah untuk pihak donor. Melakukan diagnosis cepat terhadap kegiatan-kegiatan P&E yang telah ada dan menemukan tingkat duplikasi dan inefisiensi dalam sistem pemantauan yang sudah berjalan dapat menyadarkan pemerintah. Hal itu akan mendorong upaya perampingan terhadap sistem yang ada dan memastikan bahwa sistem itu dapat menyediakan informasi yang lebih berguna bagi pemerintah, seperti yang terjadi di Uganda (Bab 12). 3. Bagaimana budaya kinerja dapat diciptakan di lingkungan pegawai negeri? Budaya kinerja sulit untuk diwujudkan, terutama di kalangan pegawai negeri yang telah menghabiskan seluruh karier mereka sesuai dengan aturan-aturan dan prosedur-prosedur yang kaku. Adalah mudah bagi pegawai negeri dan para manajer mereka untuk hanya


119

memfokuskan pada kegiatan-kegiatan atau proses-proses, seperti jumlah klinik kesehatan yang dibangun, atau jumlah dana yang dibayarkan pada para penerima bantuan kesejahteraan. Namun, idealnya mereka perlu memusatkan perhatian pada tujuan dan sasaran dari kegiatan-kegiatan tersebut, dan khususnya pada capaian-capaiannya—keluaran, hasil dan dampak dari kegiatan mereka. Tidak ada jawaban sederhana bagi persoalan ini, namun ada sejumlah langkah yang dapat membantu mengubah pola pikir pegawai negeri. Salah satunya adalah penempatan para pendukung yang memiliki komitmen dan berorientasi pada reformasi pada jabatan-jabatan yang berpengaruh di tubuh pemerintahan. Cara lainnya adalah menggunakan insentif-insentif yang kuat untuk mendorong fokus yang lebih besar pada hasil dan orientasi pada klien yang lebih besar—budaya pelayanan (lihat, misalnya, Bab 10). Melaksanakan pertemuan tim “Bagaimana keadaan kita?” secara berkala yang melibatkan para manajer dan staf mereka dapat membantu memperjelas sasaran, kinerja tim saat ini, dan cara-cara untuk memperbaikinya. Pemberian otonomi dan fleksibilitas yang lebih besar kepada para manajer yang dapat mencapai level kinerja yang tinggi—yaitu, dari segi hasil—dapat memberi insentif yang kuat, dan hal ini dapat mengalir ke para staf mereka (World Bank, 1998). Otonomi semacam itu dapat meliputi akses yang lebih besar kepada pendanaan dan kekuasaan yang lebih besar untuk merekrut dan memecat staf atas dasar kinerja mereka. Mewujudkan reformasi yang luas di seluruh badan kepegawaian negeri merupakan hal yang sulit, namun mungkin dapat dilakukan uji coba reformasi semacam itu di beberapa badan pemerintah. 4. Pemerintah saya kini telah menghadapi beban pekerjaan yang sangat banyak. Mengapa sekarang kami perlu mengerahkan upaya untuk membangun sistem P&E? Lihat jawaban untuk Pertanyaan no. 2. Pemerintah anda memang telah mengerahkan banyak upaya untuk P&E, terutama kegiatan pemantauan di berbagai kementerian serta upaya untuk memenuhi persyaratan evaluasi yang ditetapkan pihak donor. Misalnya, diagnosis di Uganda menemukan adanya 16 susbsistem pemantauan. Diagnosis lainnya menyangkut badan pembangunan sosial di Meksiko menemukan adanya 8 sistem pemantauan yang tidak terkoordinasi dalam satu badan pemerintah. Hampir dipastikan bahwa terdapat potensi untuk mengurangi inefisiensi dan duplikasi dalam sistem pemantauan pemerintah anda yang ada saat ini dan untuk menghasilkan hanya informasi inti yang pemerintah anda perlukan dan dapat gunakan. Semakin banyak negara di seluruh dunia yang telah mengerahkan upaya yang penting untuk P&E—termasuk negara-negara anggota OECD, beberapa negara berpenghasilan menengah terkemuka (seperti Chile dan Kolumbia), dan bahkan beberapa negara paling miskin, termasuk Uganda dan Tanzania. Mereka melakukan hal itu karena mereka menyadari bahwa investasi pada P&E akan menghasilkan keuntungan yang tinggi.


120

5. Pemerintah saya sangat tertarik untuk memperkuat kerja P&E kami, namun institusi-institusi yang kami miliki lemah, bagaimana kami memulainya? Jawaban singkatnya adalah membangun secara bertahap apa yang telah anda punya. Sederhanakan dan rasionalisasikan sistem pemantauan anda. Cari dukungan dan keahlian dari lembaga donor, baik untuk sistem P&E anda maupun untuk akses kepada pendanaan untuk sejumlah evaluasi dalam rangka pendemonstrasian. Prioritaskan evaluasi di bidang-bidang (seperti kesehatan dan pendidikan) di mana keputusan pemerintah yang penting akan dibuat pada masa mendatang. Yang terbaik adalah memulainya secara sederhana, guna membuktikan manfaat P&E, dan kemudian membangun secara bertahap atas dasar upaya tersebut. Hindarilah kekeliruan yang lazim untuk melakukan rekayasa sistem P&E terlalu berlebihan (Bab 10). 6. Berapa banyak dana yang harus dikeluarkan oleh pemerintah saya untuk evaluasi? Seberapa cukup dana yang dibutuhkan untuk evaluasi? Ada mitos bahwa satu persen dari pengeluaran sebuah program harus dianggarkan untuk evaluasi. Meskipun tidak ada dasar logis atau empiris untuk angka itu, namun angka tersebut mengindikasikan skala upaya dan sumber daya yang harus dialokasikan untuk setiap kegiatan evaluasi. Jika sebuah program dievaluasi setiap tiga sampai lima tahun sekali, maka bahkan biaya satu persen setara dengan hanya sepertiga atau seperlima dari satu persen berdasarkan perhitungan tahunan. Dengan demikian, agar evaluasi hemat biaya, evaluasi hanya akan menghasilkan perbaikan yang sangat kecil dalam hal efektivitas atau efisiensi program. Beberapa evaluasi yang disoroti dalam buku ini jauh lebih hemat biaya dari evaluasi tersebut (lihat pula IEG, 2004b, 2006). Biaya evaluasi akan jauh lebih rendah jika sudah ada data pemantauan yang baik, terutama tentang penerima manfaat program dan hasil (outcomes) program. Ini adalah argumen untuk membangun sistem data administrasi yang baik dan berinvestasi pada sistem statistik nasional. Tentu saja evaluasi hendaknya tidak dilakukan untuk kepentingan evaluasi itu semata. Ukuran dasar keberhasilan setiap evaluasi adalah bahwa hasil evaluasi itu digunakan secara intensif. Lampiran A memberikan pelajaran tentang bagaimana memastikan bahwa evaluasi dapat memiliki pengaruh. 7. Bagaimana kami dapat memprioritaskan evaluasi? Dana kami terbatas, dan kami tidak dapat mengevaluasi seluruh apa yang kami inginkan. Penentuan prioritas evaluasi merupakan isu umum yang dihadapi para pengelola sistem P&E yang telah terwujud. Kriteria standar yang digunakan untuk membantu memilih program-program yang akan dievaluasi mencakup hal-hal berikut: program dengan pengeluaran yang besar; program yang memiliki arti penting kebijakan yang khusus; program yang diduga memiliki masalah besar terkait dengan kinerjanya; dan program percontohan yang tengah dipertimbangkan untuk ditingkatkan skalanya oleh pemerintah. Kriteria tambahan untuk menentukan prioritas evaluasi adalah kelayakan untuk


121

melakukan evaluasi, apakah evaluasi dapat menyediakan informasi pada waktu yang tepat (seperti apakah hasil evaluasi akan tersedia pada waktu yang tepat untuk memengaruhi keputusan pemerintah), dan apakah terdapat cukup sumber daya (dana, tenaga dan seterusnya) untuk melakukan evaluasi. Seperti biasanya, ketika memutuskan program mana yang akan dievaluasi, perlu dipertimbangkan pertanyaan-pertanyaan seperti siapa yang membutuhkan informasi hasil evaluasi, untuk tujuan apa, dan kapan. Untuk sistem P&E yang belum terwujud, tantangannya adalah menjadikan setiap evaluasi berarti—untuk memastikan bahwa evaluasi memiliki visibilitas yang tinggi bagi para pengambil keputusan senior dan juga memiliki pengaruh yang sangat tinggi. Dalam konteks ini, perlu dilakukan antisipasi terhadap momen-momen keputusan penting, seperti tinjauan besar terencana terhadap pengeluaran sosial, pemerintahan mendatang, atau persiapan sebuah rencana nasional baru. Jika momen-momen keputusan ini dapat diantisipasi secara memadai jauh sebelumnya, maka adalah mungkin untuk memastikan bahwa temuan-temuan evaluasi akan tersedia pada waktu yang dibutuhkan guna memberi masukan bagi pembuatan keputusan pemerintah. Waktu yang dibutuhkan untuk melakukan evaluasi akan bergantung pada jenis evaluasi, ketersediaan data yang memadai, dan seterusnya. Untuk evaluasi “demonstrasi” itu, adalah bijaksana untuk meminimalkan risiko bahwa temuan-temuan evaluasi akan dinilai tidak relevan karena kualitasnya buruk, waktu yang tidak tepat, atau kepekaan politik.1 8. Siapa yang harus membiayai evaluasi? Evaluasi mahal, dan tidak masuk akal mengharapkan negara-negara miskin untuk membiayai evaluasi. Benar bahwa hanya sedikit sekali evaluasi yang dilakukan dan dibiayai oleh negara-negara Afrika, misalnya. Meskipun evaluasi tidak mesti mahal—seperti dikemukakan secara garis besar dalam Bab 2, tinjauan cepat dan berbagai jenis evaluasi serupa dapat dilakukan dengan cukup murah, yang hanya menghabiskan biaya sekitar beberapa ribu dollar—banyak evaluasi yang lebih mahal dari itu. Tampaknya ada argumen “kemaslahatan umum” bahwa evaluasi-evaluasi di negara miskin seharusnya dibiayai oleh pihak donor internasional, sebagian karena negara-negara itu miskin, dan sebagian karena temuan-temuan evaluasi itu mungkin dapat bermanfaat bagi negara-negara lain di kawasan tersebut.2 Selain membantu dari segi pendanaan, pihak donor juga dapat menularkan keahlian mereka. Namun, kelemahannya adalah tingkat rasa kepemilikan pemerintah terhadap temuan-temuan evaluasi akan sangat rendah jika para pejabat senior tidak memiliki peran dalam memilih program yang akan dievaluasi, manajemen evaluasi, atau pendanaannya. Hal ini memberi argumen kuat bahwa evaluasi harus dilakukan dengan menggunakan pendekatan kemitraan, yang melibatkan kerja sama antara pihak pemerintah dan pihak donor.


122

9. Bukankah evaluasi dampak yang cermat (rigorous impact evaluation), terutama yang melibatkan randomized control trials (RCT), merupakan standar evaluasi yang paling baik? Bukankah jenis evaluasi lainnya relatif lemah, bahkan tidak layak untuk dilakukan? Ini adalah isu yang sangat kontroversial.3 Sebagian pendukung evaluasi dampak yang cermat tampaknya memang mendukung argumen tersebut. Memang benar bahwa RCT atau randomized control trial (yaitu studi eksperimen dengan memberi perlakuan yang berbeda secara acak kepada subjek eksperimen dengan menggunakan kelompok pembanding—penerj.), jika dilakukan dengan baik, dapat memberikan bukti yang kuat mengenai dampak sebuah program. Ini merupakan metode eksperimental standar untuk mengukur efek dari obat-obatan baru, misalnya. Namun, hambatan serius bagi metode evaluasi dampak yang cermat semacam itu adalah metode itu sering kali tidak mungkin untuk diterapkan untuk program-program tingkat sektor atau nasional. Metode evaluasi tersebut biasanya sangat mahal, yang membuat pemerintah lebih sulit untuk membiayainya. Chile, sebagai contoh, melakukan beberapa evaluasi dampak dalam jumlah yang terbatas setiap tahun, sambil juga melakukan tinjauan terhadap data sekunder (desk review) yang lebih murah dalam jumlah yang lebih besar (Bab 6). 10. Bukan seharusnya evaluasi selalu dilakukan oleh pihak di luar lembaga yang akan dievaluasi? Di negara-negara Amerika Latin, evaluasi biasa disiapkan oleh berbagai departemen pemerintah, tetapi dilaksanakan oleh pihak luar. Keuntungan dari pendekatan ini adalah terjadinya konflik kepentingan dapat dihindari. Hal ini berguna untuk memastikan bahwa evaluasi lebih “objektif” dan independen daripada jika evaluasi dilakukan sendiri oleh pemerintah. Hal ini juga akan meningkatkan kredibilitas dan reliabilitas evaluasi. Namun, pendekatan ini memiliki kelemahan seperti yang dialami sistem P&E Chile. Kementerian-kementerian yang programnya dievaluasi umumnya memiliki rasa “kepemilikan” yang rendah terhadap temuan-temuan evaluasi dan karena itu tidak banyak menggunakan temuan-temuan tersebut. Kolumbia telah menggabungkan keuntungan dari evaluasi yang dilakukan oleh pihak luar dan keuntungan dari rasa kepemilikan kementerian sektor sendiri. Mereka menjadi mitra penuh dalam menyiapkan dan mengelola evaluasi-evaluasi yang dilakukan oleh pihak luar (Bab 7). Di negara-negara anggota OECD, evaluasi lebih lazim dilakukan secara internal. Hal ini membantu memastikan bahwa evaluasi bersandar pada keahlian program dari staf badan pemerintah. Hal itu juga mendorong badan-badan pemerintah untuk menggunakan temuan-temuan evaluasi (Curristine, 2005). Di Australia, berbagai kementerian sektor melakukan evaluasi terhadap program mereka sendiri, namun kementerian pusat biasanya memainkan semacam peran dalam mengawasi pelaksanaan evaluasi dan meninjau laporan-laporan evaluasi (Bab 8).


123

11. Berapa banyak indikator kinerja yang seharusnya dikumpulkan oleh pemerintah/kementerian/badan/program? Tidak ada jawaban sederhana untuk pertanyaan ini. Hal ini bergantung pada siapakah di dalam pemerintah yang memerlukan indikator kinerja bagi kerja mereka, berapa banyak indikator yang mereka dapat gunakan dan berapa besar biaya dibutuhkan. Kementerian Keuangan Chile mengumpulkan sekitar 1.550 indikator kinerja, suatu jumlah yang besar menurut ukuran internasional. Kementerian Keuangan tentu saja menginginkan lebih banyak informasi, namun menyadari bahwa jumlah tersebut merupakan batas yang dapat digunakan secara berarti oleh para analis anggaran. Sebaliknya, sistem yang digunakan Kolumbia untuk memantai 320 tujuan kepresidenan terdiri dari sekitar 600 indikator. Informasi ini disediakan untuk publik di situs web (Lampiran B). Mungkin berguna jika sistem indikator kinerja dilihat seperti sebuah piramida—dengan indikator tingkat tinggi yang strategis dalam jumlah sedikit yang difokuskan pada keluaran (outputs) dan hasil (outcomes) pada bagian puncak, untuk digunakan oleh para pejabat senior. Bagi para pejabat pada level menengah, lebih tepat untuk disediakan indikator operasional dalam jumlah yang lebih besar, yang difokuskan pada masukan, proses dan keluaran. Pada bagian bawah piramida, akan cocok bila disediakan indikator operasional dalam jumlah yang jauh lebih besar lagi, yang difokuskan pada proses dan pelayanan, yang oleh digunakan oleh para manajer lini dan staf mereka pada level lembaga dan fasilitas. Setiap manajer lini hanya akan berminat pada sekumpulan kecil dari indikator yang terakhir itu, yakni, yang relevan dengan satuan kerja mereka. Kekeliruan yang umum terjadi berkaitan dengan sistem pemantauan kinerja adalah mengumpulkan terlalu banyak indikator—yang mengantarkan pada situasi terlalu banyak data dan tidak cukup informasi (Bab 10). Data yang tidak digunakan dapat menciptakan disinsentif bagi para penyedia data untuk memastikan bahwa data berkualitas tinggi, dan hal ini dapat menciptakan lingkaran setan antara rendahnya tingkat penggunaan data dan rendahnya kualitas data. 12. Apakah sistem P&E pemerintah yang dirancang dan dikelola oleh kementerian keuangan merupakan pendekatan terbaik? Tidak mesti. Memang benar bahwa sejumlah negara memusatkan sistem P&E pemerintah mereka di kementerian keuangan—seperti Australia, Kanada, Chile dan Amerika Serikat. Namun, pendekatan ini mengandung sejumlah kelebihan dan kekurangan. Kementerian keuangan umumnya memiliki kekuasaan yang besar, khususnya dalam urusan-urusan yang berkaitan dengan pembiayaan anggaran. Kementerian keuangan mungkin dapat menciptakan berbagai insentif bagi kementerian sektor untuk mendukung secara aktif sistem P&E. Di beberapa negara kementerian keuangan memainkan peran sebagai arsitek atau pengawas atas reformasi sektor publik. Posisi kementerian keuangan yang berpengaruh memungkinkan kementerian tersebut untuk merintis berbagai tindakan dalam rangka memperkuat P&E di dalam pemerintah, khususnya untuk mewujudkan penganggaran berbasis-kinerja (Performance-based Budgeting, PBB).


124

Di sisi lain, kementerian keuangan dapat menjadi benteng konservatisme yang enggan menerima perubahan, baik pada level senior maupun level seksi anggaran yang mengawasi tiap-tiap kementerian dan badan tingkat sektor. Di Australia pimpinan kementerian keuangan berkomitmen untuk melakukan reformasi, termasuk pengembangan sistem P&E pemerintah. Pimpinan kementerian tersebut ingin mengorientasikan kembali kerja seksi anggaran agar tidak terlalu memusatkan perhatian pada rincian pengeluaran masing-masing item, dan sebaliknya lebih terfokus pada gambaran yang lebih besar menyangkut isu-isu relevansi kebijakan, serta efektivitas dan efisiensi pengeluaran pemerintah. Karena itu, pimpinan kementerian keuangan memulai proses perubahan budaya di tubuh kementerian tersebut, dan berupaya memengaruhi para kepala bagian, kepala seksi dan staf mereka. Upaya tersebut melibatkan proses rekrutmen yang lebih terfokus, promosi, pelatihan, pergantian staf, dan pengakuan atas praktik penggunaan informasi P&E yang baik dalam saran kebijakan yang dikeluarkan kementerian tersebut (Bab 8; Mackay, 1998a). Di sebagian negara kementerian keuangan bertindak sebagai penghalang bagi proses reformasi, seperti upaya memperkuat sistem P&E nasional. Karena alasan itu, kerja sama dari kementerian keuangan penting dalam upaya-upaya tersebut, atau setidaknya untuk menghindari adanya penentangan aktif dari pihak kementerian tersebut. Dukungan dari kementerian-kementerian pusat lainnya, seperti kantor kepresidenan dan badan kepegawaian negara, dapat juga diharapkan sebagai sebuah faktor keberhasilan—terutama jika kementerian-kementerian pusat bertindak secara kemitraan untuk mendukung sistem P&E nasional. Sebuah diagnosis dapat mengidentifikasi tingkat dukungan atau penentangan dari masing-masing kementerian pusat yang berpengaruh terhadap upaya memperkuat sistem P&E; hal ini dapat juga berperan sebagai sarana untuk mencapai pemahaman bersama tentang manfaat P&E dan membantu mendorong terciptanya konsensus mengenai rencana aksi untuk memperkuat sistem tersebut. 13. Bukankah kementerian-kementerian sektor enggan untuk menerima persyaratan-persyaratan formal—yang dirancang oleh salah satu kementerian pusat—yang dipaksakan terhadap mereka? Tidak ada orang yang suka disuruh untuk mengerjakan sesuatu, khususnya jika ia tidak memiliki suara dalam keputusan untuk menciptakan persyaratan-persyaratan formal tersebut dan jika tidak keuntungan yang jelas dari informasi P&E yang dihasilkan. Inilah yang terjadi dalam kasus Chile, di mana kementerian keuangan yang berpengaruh memberlakukan sejumlah persyaratan P&E pada kementerian dan badan tingkat sektor; lembaga-lembaga sektor tersebut hanya sedikit memanfaatkan temuan-temuan evaluasi yang dihasilkan sistem tersebut. Konsensus tentang manfaat reformasi P&E boleh jadi sulit untuk dicapai, namun upaya tersebut layak dicoba. Tidak adanya kesepakatan dapat menyebabkan kementerian dan badan sektor tidak mematuhi persyaratan-persyaratan P&E yang diberlakukan dari pusat, atau setidaknya mereka hanya bertindak sebagai lip service. Lembaga-lembaga itulah yang biasanya memiliki tanggung jawab utama untuk menyediakan data pemantauan yang dibutuhkan sistem P&E. Jika lembaga-lembaga tersebut memandang bahwa mereka


125

tidak memiliki insentif untuk memastikan tersedianya informasi yang berkualitas baik, maka keseluruhan sistem akan terkena dampaknya (termasuk kualitas evaluasi, sejauh evaluasi tersebut bersandar pada data yang diberikan oleh kementerian-kementerian). Ini merupakan salah satu pelajaran penting yang muncul dari diagnosis yang dilakukan di Uganda (Bab 9). Pelajaran lainnya adalah menghindari sistem pemantauan ganda yang tidak terkoordinasi pada tingkat pusat dan sektor. Hal ini menimbulkan banyak beban bagi pihak penyedia data, terutama pada tingkat kementerian, badan dan fasilitas. Insentif negatif—“hukuman” yang diberlakukan oleh kementerian pusat—tidak mungkin disambut dengan baik oleh kementerian sektor, kendati insentif semacam itu mungkin tetap diperlukan. Insentif positif—“imbalan” seperti kepastian pendanaan yang lebih besar bagi kementerian-kementerian yang mampu membuktikan kinerja mereka—lebih mungkin diterima (Bab 11). 14. Adakah cara untuk memastikan bahwa informasi pemantauan dan temuan-temuan evaluasi akan digunakan dalam proses anggaran? Tidak ada cara untuk menjamin bahwa informasi P&E akan digunakan dalam proses anggaran. Namun, ada berbagai cara untuk meningkatkan kemungkinan terjadinya hal itu. Jelas penting bahwa para pemangku kepentingan kunci dalam proses anggaran dan pembuatan keputusan menyangkut anggaran memiliki kebutuhan atau tuntutan terhadap informasi P&E—termasuk presiden atau perdana menteri, menteri keuangan, menteri-menteri utama lainnya, serta kementerian keuangan antara lain—sehingga mereka dapat mengembangkan secara lebih baik opsi-opsi kebijakan dan membuat keputusan-keputusan yang lebih baik. Jika tuntutan itu lemah atau tidak ada, maka dapat diambil langkah-langkah untuk meningkatkan kesadaran tentang P&E, berkaitan dengan apa yang dicakup P&E dan apa yang dapat ditawarkan oleh P&E. Mungkin tersedia pilihan-pilihan bagi para pemangku kepentingan kunci untuk memberikan insentif—imbalan, hukuman dan dukungan—guna mendorong penggunaan informasi P&E dalam anggaran (Bab 11). Insentif-insentif itu dapat berupa antara lain pernyataan dukungan yang kuat bagi P&E dari para pendukung berpengaruh di dalam pemerintahan; masukan-balik berkala dari para menteri kepada para analis kebijakan berkenaan dengan kualitas saran kebijakan yang diberikan (termasuk sejauh mana saran kebijakan itu memanfaatkan secara baik informasi P&E yang ada); memasukan pemeringkatan kinerja program di dalam dokumen-dokumen anggaran yang dipublikasikan; serta memberi dukungan kepada kementerian keuangan untuk mengujicobakan beberapa evaluasi cepat (rapid evaluation) dalam rangka membuktikan kegunaan mereka.


126

15. Bukankah penganggaran berbasis-kinerja mengimplikasikan bahwa program-program yang berkinerja buruk seharusnya memperoleh pendanaan yang lebih sedikit? Tidak mesti. Hal utama yang perlu dipertimbangkan adalah apakah program tersebut merupakan prioritas bagi pemerintah. Beberapa program—seperti pendidikan dasar—terlalu penting untuk dihapus atau dipangkas anggarannya. Dalam kasus-kasus semacam itu, tantangannya adalah memperbaiki masalah-masalah kinerja yang telah diidentifikasi melalui informasi pemantauan dan temuan-temuan evaluasi. Misalnya, pemberian pelayanan yang tidak efisien atau penentuan para penerima manfaat program tidak tepat sasaran. Oleh sebab itu, program tersebut mungkin perlu diberikan pendanaan yang lebih besar, setidaknya untuk jangka pendek, guna mengatasi masalah-masalah tersebut. Kementerian keuangan di negara-negara seperti Australia telah menggunakan kesepakatan sumber daya (resource agreement) dengan badan-badan pemerintah dalam situasi semacam itu. Kesepakatan itu menyetujui peningkatan pembiayaan untuk sebuah program prioritas untuk jangka pendek, sebagai ganti bagi pengurangan keseluruhan pendanaan dalam jangka menengah atau jangka panjang. Kesepakatan itu mensyaratkan perlunya diambil tindakan-tindakan khusus guna memperbaiki kinerja program (OECD, 1997a). Namun, untuk program-program dengan prioritas rendah, bukti mengenai kinerja yang buruk kemungkinan besar mengarah pada keputusan pemerintah untuk memangkas pendanaan program atau bahkan menghapus program itu sama sekali. Chile adalah salah satu contoh negara di mana sebuah program dapat dihentikan apabila terbukti program tersebut berkinerja buruk; tetapi ini adalah suatu pengecualian. Kementerian keuangan di kebanyakan negara-negara anggota OECD jarang sekali menghapus sebuah program kendati informasi P&E memperlihatkan bahwa program tersebut berkinerja buruk (Curristine, 2005). 16. Apakah penyusunan anggaran berbasis-kinerja (PBB) mungkin diterapkan berdasarkan suatu program percontohan, ataukah PBB harus diterapkan sekaligus untuk keseluruhan anggaran? PBB dapat diterapkan dengan memulainya sebagai suatu program percontohan. Ada tiga jenis PBB (Kotak 3.1). Jenis pertama melibatkan hubungan langsung antara pendanaan anggaran untuk sebuah program dan kinerja dari program tersebut. Pendekatan ini hanya digunakan dalam beberapa kasus yang ditentukan secara lebih sempit, seperti pendanaan berbasis-formula untuk rumah sakit atau pendidikan universitas. Oleh sebab itu, penganggaran berbasis-kinerja yang bersifat langsung semacam itu dapat diterapkan berdasarkan model percontohan untuk program-program khusus. Jenis PBB yang kedua adalah penganggaran berbasis-kinerja yang bersifat tidak langsung (indirect performance budgeting), di mana informasi P&E menyediakan masukan bagi keputusan pendanaan anggaran. Mempertimbangkan penggunaan informasi P&E sebagai masukan bagi keputusan alokasi anggaran hanya untuk segelintir program percontohan


127

mungkin terlihat aneh. Pemerintah bisa saja memiliki informasi kinerja yang cukup baik untuk seluruh program, namun hanya sedikit pemerintah yang memiliki temuan-temuan evaluasi yang baik yang tersedia untuk seluruh program di seluruh sektor. Karena itu, menggunakan informasi apa pun yang tersedia merupakan hal yang niscaya, betapa pun sedikit atau tidak sempurnanya informasi tersebut. Dengan kata lain, keputusan menyangkut anggaran harus dibuat terlepas dari apakah tersedia informasi P&E yang baik mengenai kinerja sebuah program, atau hanya tersedia sedikit sekali informasi. Oleh sebab itu, benar bahwa adalah mungkin untuk menerapkan suatu percontohan penggunaan informasi P&E guna membantu pengalokasian anggaran hanya untuk beberapa program. Apakah PBB diterapkan berdasarkan percontohan atau untuk seluruh anggaran, tidak dapat dihindari akan adanya disparitas dalam jumlah informasi P&E yang tersedia untuk program-program yang berbeda. Pada gilirannya hal ini memberi prioritas bagi perencanaan evaluasi yang baik, untuk memastikan bahwa temuan-temuan evaluasi akan tersedia guna membantu pembuatan keputusan menyangkut anggaran untuk program-program utama pemerintah. Salah satu strategi ketika mengadakan percontohan jenis PBB ini adalah melakukan evaluasi strategis terhadap isu-isu kebijakan yang “hangat” untuk mencoba memastikan penggunaan temuan-temuan evaluasi dalam anggaran—mencapai efek pembuktian/demonstrasi. Jenis PBB terakhir adalah penganggaran berbasis-kinerja berupa presentasi (presentational performance budgeting), di mana pemerintah melaporkan kepada publik kinerja sebelumnya atau kinerja yang diharapkan untuk tiap-tiap program. Lagi-lagi tingkat ketersediaan informasi P&E untuk program-program yang berbeda kemungkinan sangat bervariasi.4 Oleh sebab itu, dimungkinkan untuk menerapkan percontohan untuk PBB jenis ini. Di Kolumbia, misalnya, PBB jenis ini telah diujicobakan untuk anggaran investasi, tetapi tidak untuk anggaran rutin (Lampiran B). Pemerintah Guatemala kini tengah mengujicobakan pengalokasian anggaran berbasis-kinerja untuk kementerian pendidikan dan kesehatan. 17. Apakah penganggaran berbasis-program (program budgeting) dapat membantu upaya membangun sistem P&E? Ya. Penganggaran berbasis-program biasanya mengelompokkan seluruh kegiatan yang memiliki sasaran yang sama—seperti mewujudkan perbaikan khusus dalam gizi anak balita—ke dalam sebuah program tunggal.5 Hal ini mempermudah untuk melakukan estimasi terhadap jumlah total pengeluaran pemerintah yang dihabiskan untuk mencapai sasaran tersebut. Hal itu juga membantu pengukuran total volume keluaran (outputs) dari kegiatan-kegiatan yang berkaitan tersebut (yaitu, pengukuran awal) dan penetapan target kinerja. Kejelasan ini sangat berbeda dengan penganggaran yang lebih tradisional yang didasarkan atas item-item pengeluaran, yang mengidentifikasi jumlah total dana yang dibelanjakan oleh suatu lembaga untuk seluruh kegiatan, dan hanya menyediakan informasi tentang jenis-jenis pengeluaran, seperti gaji, sewa kantor, telepon, perjalanan dan sebagainya. Pengetahuan tentang seberapa banyak dana yang telah dibelanjakan


128

untuk mencapai masing-masing sasaran pemerintah sangat berguna bagi para pejabat senior dan analis anggaran, karena hal itu membantu mereka dalam menilai apakah jumlah pengeluaran tersebut sepadan dengan tingkat signifikansi sasaran tersebut; ini pada dasarnya merupakan perspektif manajemen berbasis-hasil. Pengetahuan itu juga membantu mereka dalam melakukan penilaian apakah hasil dari pengeluaran itu dapat menjustifikasi pengeluaran tersebut, serta untuk membandingkan opsi-opsi pengeluaran alternatif dalam rangka mencapai sasaran yang sama. Namun, sebelum penilaian-penilaian itu dapat dibuat diperlukan adanya informasi P&E berkaitan dengan efektivitas pengeluaran itu (yakni, keluaran, hasil dan dampak yang dicapai oleh pengeluaran tersebut). Keuntungan akhir dari penganggaran berbasis-program adalah bahwa hal itu mendorong fokus jangka panjang pada tujuan dan sasaran, serta pada langkah-langka jangka menengah yang diperlukan untuk mencapai tujuan dan sasaran tersebut.6 Penyelarasan penganggaran berbasis-program dengan P&E mensyaratkan penyelarasan sistem informasi. Oleh sebab itu, sistem informasi manajemen keuangan dan sistem pemantauan kinerja perlu diselaraskan. Hal ini membutuhkan upaya yang signifikan. Chile telah mampu membangun sistem P&E yang kokoh tanpa menerapkan penganggaran berbasis-program (kendati Chile kini tengah bekerja untuk membangun sebuah struktur programatis). Namun, kelemahan akibat tiadanya struktur itu adalah para pelaksana evaluasi program-program Chile harus berusaha memutuskan kegiatan-kegiatan pemerintah yang mana yang harus dipertimbangkan sebagai bagian dari program yang dievaluasi. Ini merupakan pendekatan yang ad hoc dan menghabiskan waktu. Kebanyakan negara-negara anggota OECD telah menerapkan penganggaran berbasis-program. 18. Peran apa yang seharusnya dimiliki kantor audit nasional dan Kongres atau Parlemen dalam P&E? Pada prinsipnya baik kantor audit nasional maupun lembaga legislatif pemerintah—Kongres atau Parlemen—seharusnya memainkan peran utama dalam P&E. Kantor audit nasional merupakan lembaga yang diberi kewenangan oleh badan legislatif untuk melakukan pengawasan. Kantor audit nasional biasanya melakukan compliance audit (audit untuk menguji kepatuhan) terhadap praktik manajemen keuangan di kementerian-kementerian dan badan-badan pemerintah. Semakin banyak pula kantor audit nasional yang melakukan audit kinerja (performance audit), suatu jenis evaluasi yang difokuskan pada efisiensi dan efektivitas pengeluaran pemerintah. Di beberapa negara kantor audit nasional juga melakukan tinjauan terhadap kinerja sistem P&E pemerintah dan dengan demikian mendorong pemerintah untuk melakukan perbaikan-perbaikan yang diperlukan dalam sistem tersebut (Bab 12). Lembaga legislatif pemerintah pada dasarnya juga berurusan dengan kinerja lembaga eksekutif pemerintah. Lembaga legislatif-lah yang biasanya memiliki kekuasaan untuk menyetujui—atau tidak menyetujui—permintaan pendanaan yang diajukan oleh


129

pemerintah; lembaga legislatif sering kali memiliki kekuasaan untuk memodifikasi anggaran yang diajukan sepanjang dianggap perlu. Ketika mempertimbangkan anggaran yang diajukan oleh pemerintah, lembaga legislatif juga memiliki peluang untuk melakukan tinjauan terhadap kinerja pemerintah sebelumnya—tanggung jawabnya dalam mengelola uang publik. Namun demikian, lembaga legislatif tampaknya secara umum tidak siap untuk melaksanakan tugas meninjau kinerja pemerintah; mereka biasanya tidak memiliki ketrampilan, sumber daya atau waktu untuk menjalankan fungsi tersebut. 19. Bukankah P&E untuk PRSP hanya merupakan jenis lain persyaratan dari lembaga donor? Dalam banyak hal, ya. Salah satu alasan penting PRSP memberi penekanan pada P&E adalah untuk memastikan bahwa pemerintah maupun donor hanya memusatkan perhatian pada hasil (results) yang dicapai oleh suatu negara, serta jumlah dana yang dihabiskan untuk mencapai hasil tersebut. Hal ini bahkan menjadi semakin penting sejak Bank Dunia merintis program peringanan utang bagi negara-negara miskin pengutang berat (Bab 4). Kelemahan umum dari kebanyakan PRSP adalah bahwa PRSP hanya terfokus pada kinerja suatu negara, tetapi hanya menaruh sedikit perhatian pada kontribusi spesifik pemerintah—atau masing-masing sektor pemerintah atau pemerintah tingkat daerah—atau pihak donor (atau sektor swasta) terhadap hasil tersebut (Bab 9). Penyebab kelemahan tersebut adalah lemahnya sistem P&E pemerintah dan lemahnya dukungan pihak donor terhadap sistem tersebut. Namun, di beberapa negara, seperti Uganda dan Tanzania, perhatian pemerintah terhadap P&E telah ada sebelum adanya PRSP. Dengan kata lain, pemerintah-pemerintah ini menyadari nilai dari upaya menginvestasikan waktu dan tenaga untuk membangun suatu sistem P&E pemerintah guna mendukung perencanaan nasional dan pengalokasian anggaran yang lebih baik. 20. Bukankah pihak donor malah membuat P&E menjadi lebih sulit—bukan lebih mudah—bagi negara-negara berkembang? Memang benar bahwa pihak donor telah gagal menyelaraskan persyaratan-persyaratan P&E yang mereka harap dipenuhi oleh negara-negara. Situasi ini telah menciptakan beban yang signifikan bagi sebagian negara. Salah satu tantangannya adalah semakin lemah kapasitas dan sistem pemerintah, semakin pihak donor memberlakukan sistem dan persyaratan mereka sendiri, yang dapat mengikis upaya pemerintah untuk memperkuat sistem P&E mereka sendiri. Namun, pihak donor dapat menawarkan berbagai tipe dukungan pembangunan kapasitas yang berbeda kepada pemerintah untuk memperkuat sistem P&E yang telah ada. Selain itu, kantor evaluasi donor telah melakukan banyak evaluasi selama beberapa tahun, dan secara keseluruhan hal itu menyediakan tambang emas informasi—perpustakaan tentang temuan-temuan evaluasi—yang dapat dimanfaatkan oleh berbagai pemerintah.


130

21. Apa bahaya dan perangkap utama yang harus dihindari ketika tengah berusaha memperkuat P&E di sebuah negara? Ada banyak hal. Enam tantangan utama dibahas dalam publikasi ini: • Keyakinan bahwa P&E memiliki manfaat yang bersifat intrinsik—“suatu mantra

P&E”. Argumen ini tidak meyakinkan terutama bagi kalangan pejabat pemerintah yang bersikap skeptis dan memiliki beban pekerjaan yang terlalu berlebihan. Sebaliknya, cara yang lebih meyakinkan adalah kemampuan untuk memperlihatkan adanya evaluasi-evaluasi yang sangat berpengaruh dan menunjukkan bahwa pemerintah-pemerintah lain yang serupa telah mengerahkan banyak upaya untuk membangun sebuah sistem P&E dan menjadi pendukung P&E yang gigih. Perspektif ini menekankan bahwa P&E berguna sepanjang ia benar-benar digunakan untuk memperbaiki kinerja pemerintah (Bab 3 dan Bagian II).

• Pendekatan teknokratis dalam pembangunan kapasitas yang semata-mata

terfokus pada upaya menciptakan sistem pemantauan, melaksanakan evaluasi, dan menyediakan pelatihan P&E. Kegiatan-kegiatan pada sisi suplai ini memang penting, namun jauh dari memadai untuk mewujudkan sebuah sistem P&E yang berhasil. Isu-isu pada sisi permintaan juga sangat penting, terutama sifat dan kekuatan insentif untuk melaksanakan P&E dan menggunakan informasi P&E (Bab 10 dan 11). Pelatihan dalam rangka meningkat kesadaran tentang kegunaan dan nilai P&E—kekuatan dan keterbatasannya—dapat membantu memperkuat permintaan atau tuntutan terhadap P&E.

• Mengikuti secara kaku rencana aksi yang telah ditetapkan sebelumnya dalam

rangka membangun sistem P&E. Tentu saja senantiasa berguna untuk memulai dengan visi yang baik tentang sistem P&E, bagaimana sistem itu akan beroperasi, dan penggunaan informasi P&E yang akan dihasilkan oleh sistem itu ketika telah sepenuhnya terwujud. Namun, pengalaman mengingatkan kita bahwa sistem P&E yang paling sukses dikembangkan secara oportunistik dan tidak linier, seiring dengan hambatan-hambatan yang dijumpai dan munculnya peluang-peluang baru (Bab 10). Perkembangan-perkembangan yang tidak terduga itu, misalnya, adalah perginya para pendukung utama, pergantian pemerintahan, atau krisis fiskal, yang meningkatkan arti penting bagi ketersediaan informasi P&E. Karena itu, upaya mengembangkan sistem P&E paling baik dipandang sebagai sebuah proses evolusioner, yang perlu disesuaikan dan dikelola secara hati-hati. Melakukan P&E secara berkala terhadap proses pengembangan sistem P&E akan menyediakan pemahaman yang penting untuk melakukan penyesuaian-penyesuaian yang dibutuhkan (Bab 12).

• Keterbatasan untuk bersandar pada hukum, dekrit dan peraturan sebagai

sarana utama untuk melembagakan P&E dalam pemerintah. Landasan hukum yang kuat dapat menyediakan sebagian bantuan bagi pelembagaan sistem P&E, namun lebih banyak hal lain yang dibutuhkan (Bab 10 dan 11).


131

• Bahaya melakukan rekayasa berlebihan terhadap sistem P&E, terutama dengan terlampau banyaknya sistem pemantauan dengan jumlah indikator kinerja yang terlalu berlebihan (Bab 9 dan 10).

• Mencari sistem P&E pemerintah yang ideal di negara-negara lain. Sebagian

pejabat berupaya meniru model sistem Chile, dan berkeinginan untuk meniru-terapkannya di negara mereka. Ini adalah suatu kesalahan. Hal itu disebabkan bukan saja masing-masing negara memiliki titik berangkat yang khas, tetapi titik tujuan mereka juga berbeda-beda—bergantung pada penggunaan aktual atau yang diharapkan dari informasi P&E yang akan dihasilkan oleh sistem mereka (Bab 12).

Lampiran

132

LAMPIRAN

Lampiran A: Pelajaran tentang Bagaimana Memastikan agar Evaluasi Berpengaruh

133

LAMPIRAN A PELAJARAN TENTANG BAGAIMANA MEMASTIKAN AGAR EVALUASI BERPENGARUH Sebuah tema yang terus menerus diusung dalam publikasi ini adalah bahwa penggunaan informasi pemantauan dan evaluasi (P&E) merupakan prasyarat niscaya bagi sistem P&E untuk dinilai “berhasil”. Ini antara lain merupakan suatu isu tentang upaya pemerintah memperoleh manfaat maksimal dari upaya P&E-nya—yang mencerminkan efektivitas-biaya dari sistem P&E. Namun, rendahnya tingkat penggunaan informasi P&E bukan hanya hilangnya peluang. Hal itu dapat memunculkan ancaman bagi kesinambungan sistem P&E. Para pejabat pemerintah biasanya tidak memandang evaluasi sebagai sesuatu yang memiliki manfaat pada dirinya sendiri, sehingga kemungkinan hanya ada sedikit antusiasme untuk terus menginvestasikan uang dalam jumlah yang besar pada evaluasi-evaluasi yang hasilnya tidak digunakan. Penggunaan terutama penting pada tahun-tahun awal sistem P&E, sebelum sistem itu terwujud sepenuhnya dan diterima sebagai bagian dari fungsi lazim pemerintahan. Pada periode awal ini evaluasi penting memiliki efek pembuktian—dengan mendemonstrasikan kegunaannya—guna meyakinkan para pejabat senior yang skeptis atau tidak yakin bahwa sistem P&E adalah berguna dan memiliki nilai nyata bagi pemerintah (lihat Bab 3 untuk pembahasan tentang berbagai cara evaluasi dapat digunakan oleh pemerintah). Dengan kata lain, pada fase awal sistem P&E adalah penting untuk membuat setiap evaluasi bernilai. Hal ini menjadi tanggung jawab para pengelola sistem P&E untuk merancang evaluasi mereka secara hati-hati. Definisi keberhasilan yang sama dari sistem P&E dapat pula diterapkan pada masing-masing evaluasi. Ini biasanya mengantarkan pada pertanyaan, “Apa yang harus dilakukan agar evaluasi digunakan secara intensif—menjadi berpengaruh?” Pembahasan berikut ini didasarkan atas delapan evaluasi yang terbukti sangat berpengaruh; studi ini mendaftar sejumlah pelajaran terperinci tentang bagaimana merancang sebuah evaluasi yang berpengaruh (Bamberger, Mackay dan Ooi, 2004, 2005). Pelajaran-pelajaran itu juga sejalan dengan kepustakaan akademis tentang evaluasi (misalnya, Patton, 1997), dan dengan temuan-temuan yang diperoleh IEG tentang penggunaan evaluasi-evaluasi yang dilakukannya sendiri (IEG, 2006). Lima pelajaran utama diringkaskan berikut ini: 1. Pentingnya lingkungan kebijakan atau manajemen yang kondusif. Temuan-temuan dan rekomendasi-rekomendasi sebuah evaluasi jauh lebih mungkin untuk digunakan jika terkait dengan isu-isu kebijakan penting yang kini tengah dihadapi oleh pemerintah. Misalnya, sebuah pemerintahan yang baru terpilih mungkin telah memutuskan untuk memperluas tingkat dukungan kepada kalangan masyarakat penganggur, namun tidak mengetahui secara pasti sarana apa yang paling efektif dari segi biaya untuk melakukan hal tersebut. Evaluasi mengenai berbagai alternatif program pemerintah, seperti penciptaan lapangan kerja, subsidi upah, atau pelatihan bagi para


134

penganggur, akan sangat membantu pemerintah dalam mengambil keputusan (lihat Kotak 8.2 untuk sebuah contoh dari Australia). Lingkungan kondusif juga termasuk komitmen manajemen sebuah badan pemerintah untuk melaksanakan temuan-temuan evaluasi—mungkin karena badan tersebut memiliki orientasi pelayanan yang kuat, dan para manajer dan staf sungguh-sungguh berupaya untuk memberikan kualitas pelayanan yang terbaik bagi klien mereka. Dalam situasi seperti ini dapat dikatakan bahwa badan tersebut memiliki budaya pelayanan atau kinerja yang kuat. 2. Waktu pelaksanaan evaluasi. Kemungkinan temuan-temuan dan rekomendasi-rekomendasi dari sebuah evaluasi akan digunakan akan semakin meningkat jika temuan dan rekomendasi tersebut tersedia pada waktu yang tepat untuk memberi masukan bagi pengambilan keputusan menyangkut kebijakan atau manajemen. Oleh sebab itu, Kementerian Keuangan Chile merencanakan program evaluasinya secara saksama, dengan sangat memperhatikan tenggat-waktu anggaran, guna memastikan bahwa evaluasi akan diselesaikan pada waktunya sehingga hasil evaluasi dapat digunakan oleh para analis kebijakan dan para pengambil keputusan dalam siklus anggaran yang sedang berjalan (Bab 6). Oleh sebab itu, perencanaan dan pengelolaan waktu pelaksanaan evaluasi mendapat perhatian khusus. Namun demikian, akan sulit untuk mengantisipasi berbagai peluang guna memengaruhi agenda kebijakan pemerintah, yang mungkin saja dipengaruhi oleh berbagai kondisi yang tidak dapat diduga sebelumnya, seperti pergantian pemerintahan atau krisis makro-ekonomi. Sebuah contoh tentang evaluasi yang diselesaikan terlampau lambat untuk dapat memengaruhi suatu keputusan kebijakan pemerintah disajikan dalam Lampiran B, Kotak B.2. Pemerintah Kolumbia yang baru terpilih memutuskan untuk menghentikan program penciptaan lapangan kerja sebelum temuan-temuan evaluasi tersedia. Seperti kemudian terbukti, temuan-temuan evaluasi itu sangat penting bagi kinerja program tersebut dalam kaitannya dengan sasaran program. Sebuah evaluasi dampak yang cermat dilakukan. Hal ini dapat menyediakan temuan-temuan evaluasi yang mendalam dan dapat diandalkan, namun biasanya evaluasi tersebut hanya dapat dilakukan setelah program tersebut berjalan untuk waktu yang cukup lama, ketika hasil dan dampaknya mulai terlihat. Dan evaluasi jenis ini juga dapat memerlukan waktu yang lama untuk dilaksanakan, khususnya jika ada banyak data yang harus dikumpulkan. Contoh dari Kolumbia ini menggarisbawahi beberapa pilihan sulit yang harus dipertimbangkan oleh para manajer sistem P&E ketika memutuskan program-program mana yang akan dievaluasi, jenis metodologi evaluasi apa yang akan digunakan, dan kapan terdapat peluang yang baik untuk memengaruhi debat kebijakan pemerintah.


135

3. Memahami peran potensial evaluasi. Para pelaku evaluasi perlu menghindari kekeliruan konsepsi bahwa temuan-temuan dan rekomendasi-rekomendasi mereka akan—dan harus—menjadi fakor utama yang memengaruhi para pembuat kebijakan pemerintah atau para manajer. Evaluasi biasanya hanya merupakan salah satu dari sekian banyak sumber informasi dan pengaruh bagi pemerintah; hanya salah satu potongan puzzle. Idealnya, evaluasi akan memberikan pengetahuan dan pemahaman baru. Pemerintah kadang kala menggunakan temuan-temuan evaluasi untuk menjustifikasi keputusan-keputusan mereka, terutama jika keputusan-keputusan itu bersifat tidak populer. Atau, evaluasi mungkin menjadi “paku terakhir di peti mati” bagi program yang tidak berkinerja baik. Rekomendasi-rekomendasi evaluasi yang difokuskan pada isu-isu implementasi yang terperinci biasanya kurang menimbulkan kontroversi dibandingkan dengan rekomendasi-rekomendasi yang terkait dengan keseluruhan nilai dari suatu program atau apakah suatu program harus dilanjutkan atau dihentikan. Peran yang khususnya berguna bagi pelaku evaluasi adalah menghadirkan perspektif luar yang segar. 4. Siapa yang seharusnya melakukan evaluasi. Agar sebuah evaluasi berpengaruh, dibutuhkan pelaksana evaluasi yang dipandang kredibel, objektif dan kompeten. Dalam banyak situasi, hal itu juga memerlukan pelaku evaluasi yang dipandang independen dari program—dan terkadang juga independen dari lembaga—yang tengah dievaluasi. Di negara-negara Amerika Latin, evaluasi biasanya dilakukan oleh pihak luar; hal ini berbeda dengan negara-negara anggota OECD, di mana evaluasi dilakukan oleh pihak dalam (lihat Bagian VI). Oleh sebab itu, antara objektivitas, independensi dan kredibilitas evaluasi di satu sisi, dan pemahaman pelaku evaluasi terhadap program serta rasa kepemilikan terhadap temuan-temuan evaluasi oleh para manajer dan staf di sisi lain, dapat menjadi suatu pilihan yang sulit untuk diambil. Keahlian dari para pelaku evaluasi, baik dari pihak dalam maupun pihak luar, merupakan isu lain yang perlu dipertimbangkan. Salah satu cara untuk menggabungkan keuntungan dari kedua pendekatan tersebut—evaluasi internal dan evaluasi eksternal—adalah memastikan bahwa para pemangku kepentingan dari pihak dalam maupun pihak luar sama-sama memainkan peran pengawasan dalam evaluasi, terlepas dari apakah evaluasi itu dilakukan oleh orang dalam atau orang luar. 5. Membangun hubungan dengan klien, dan mengomunikasikan serta memasarkan temuan-temuan dan rekomendasi-rekomendasi evaluasi. Kekeliruan lain, yang tampaknya dilakukan oleh banyak pelaku evaluasi dan manajer kantor evaluasi, adalah bahwa tugas pelaku evaluasi sekadar menghasilkan laporan evaluasi yang kompeten. Diseminasi temuan-temuan dan rekomendasi-rekomendasi sebuah evaluasi mungkin (secara naif) dipandang hanya sekadar mengirimkan lewat surat laporan evaluasi kepada sebuah daftar panjang nama dan alamat. Ketika melaksanakan evaluasi, pelaku evaluasi penting untuk memelihara hubungan yang baik dengan para pemangku kepentingan kunci, termasuk khususnya klien utama yang


136

menyelenggarakan evaluasi. Klien tersebut harus terus diberi informasi tentang kemajuan evaluasi, dan para pemangku kepentingan kunci hendaknya diberi tahu sebelum evaluasi dirampungkan tentang kemungkinan temuan-temuan yang diperoleh, khususnya jika temuan-temuan tersebut bersifat kontroversial. Dengan kata lain, hendaknya tidak ada kejutan. Manajemen komunikasi dan pengetahuan terutama penting bagi kantor-kantor evaluasi. Dengan demikian, fungsi penting lainnya bagi pengevaluasi maupun kantor evaluasi adalah meringkaskan temuan-temuan kunci yang mungkin paling relevan dan paling berguna bagi para pemangku kepentingan utama. Para pemangku kepentingan meliputi para pembuat kebijakan dan para manajer program. Para pejabat senior biasanya tidak memiliki waktu untuk membaca laporan evaluasi yang panjang, sehingga akan membantu jika disediakan ringkasan eksekutif yang singkat dan mudah dibaca, dan dipersiapkan dokumen ringkas yang mengidentifikasi temuan-temuan dan rekomendasi-rekomendasi yang paling penting dan relevan. Pendekatan manajemen pengetahuan yang lebih canggih, misalnya, mencakup: penggunaan situs web evaluasi (baik untuk tiap-tiap evaluasi maupun untuk perpustakaan kantor evaluasi yang memuat temuan-temuan evaluasi); peluncuran formal laporan evaluasi, termasuk seminar dan konferensi; dan pemeliharan daftar sasaran distribusi dari para pemangku kepentingan yang berminat untuk menerima ringkasan-ringkasan evaluasi. IEG, yang telah berdiri sejak 1973, kini menggunakan perpustakaannya yang luas mengenai temuan-temuan evaluasi untuk memenuhi kebutuhan segera menyangkut temuan-temuan evaluasi dan pelajaran-pelajaran dari berbagai pengalaman (IEG, 2006, Bab 3). Hal itu dilakukan oleh IEG melalui suatu jenis baru produk-produk “yang dapat disebarkan dengan cepat”, termasuk catatan, presentasi, makalah yang memuat informasi-informasi baru, untuk para manajer senior, manajer lini dan staf Bank Dunia. Salah satu contohnya adalah bahan yang disiapkan dalam bentuk pemberitahuan singkat mengenai pelajaran-pelajaran untuk menghadapi bencana alam; ini disiapkan di tengah gempa bumi besar yang melanda Pakistan pada 2005. Pentingnya Mengukur Penggunaan Terkait dengan itu semua adalah pentingnya kantor evaluasi mengetahui sejauh mana evaluasi pada kenyataannya digunakan, dan untuk kepentingan khusus apa. Ini khususnya penting bagi kantor evaluasi yang baru berdiri, yang kesinambungannya mungkin masih belum dapat dipastikan. Jika tingkat penggunaan rendah, maka perlu ditempuh berbagai langkah untuk meningkatkannya. IEG pada kenyataannya merupakan suatu model praktik yang baik. IEG menyiapkan tinjauan tahunan terhadap kegiatan-kegiatan evaluasi pada berbagai bidang operasional Bank Dunia. Tinjauan ini juga mencakup swa-evaluasi terhadap kegiatan-kegiatan evaluasi IEG sendiri, termasuk persepsi para pemangku kepentingan utama berkenaan


137

dengan nilai kerja evaluasi IEG. Para pemangku kepentingan tersebut terdiri dari Dewan dan staf Bank Dunia, termasuk para direktur negara (country director), manajer sektor, dan pemimpin tim tugas (yang mengelola proyek-proyek pinjaman Bank Dunia). Kelompok fokus dan wawancara terstruktur dilakukan dengan sampel individu dari masing-masing kelompok tersebut. Isu utama yang dibahas dalam kelompok fokus dan wawancara itu adalah penggunaan dan kegunaan temuan-temuan evaluasi, produk, dan informasi IEG, serta tantangan, insentif dan disinsentif untuk menggunakan informasi P&E dalam kerja mereka. Sebagai bagian swa-evaluasi yang sama, IEG juga melakukan survei internal terhadap sejumlah besar staf Bank Dunia, anggota Dewan, dan para penasihat mereka. IEG juga melakukan survei eksternal terhadap klien-klien dari pihak luar, seperti pemerintah, organisasi donor, LSM, akademisi dan masyarakat umum. Survei tersebut difokuskan pada laporan-laporan evaluasi IEG yang spesifik. Pertanyaan yang dilontarkan berkaitan dengan: • Tingkat membaca dan mengetahui laporan-laporan tersebut. • Persepsi mengenai kualitas laporan-laporan tersebut (relevansi, mudah dipahami,

padatnya penyajian, waktu, kegunaan rekomendasi, analisis yang objektif dan tidak bias, transparansi dan kejelasan metodologi, kokohnya kaitan antara kesimpulan dan bukti, kedalaman analisis, dan apakah seluruh informasi yang ada telah dimasukkan).

• Jangkauan pengaruh evaluasi, seperti tentang pemahaman responden mengenai bidang bahasan

• Penggunaan evaluasi (untuk staf Bank Dunia, berbagai kemungkinan kategori penggunaan evaluasi dalam kerja mereka diselidiki, seperti dalam pemberian saran, kerja mereka untuk merancang strategi baru, dan dalam memodifikasi proyek-proyek dan strategi-strategi Bank Dunia yang ada saat ini).

• Bagaimana meningkatkan kualitas rekomendasi-rekomendasi dalam evaluasi-evaluasi IEG.

Temuan-temuan dari kelompok fokus, wawancara dan survei tersebut dapat cukup mencerahkan bagi kantor evaluasi maupun para pengevaluasi. Pendekatan itu menerapkan kecermatan yang sama pada suatu kantor evaluasi seperti halnya kantor evaluasi menerapkannya pada program-program yang dievaluasi. Pada gilirannya hal ini akan membantu meningkatkan kredibilitas dan pengaruh kantor evaluasi.

Lampiran B : Diagnosis Negara – Contoh Kolumbia

138

LAMPIRAN B DIAGNOSIS NEGARA—CONTOH KOLUMBIA1 Diagnosis ini juga diterbitkan secara terpisah. (Mackay dkk., 2007). Persiapan diagnosis cepat ini merupakan upaya kemitraan yang melibatkan sejumlah staf Bank Dunia untuk kawasan Amerika Latin dan Karibia, serta koordinator IEG untuk pengembangan kapasitas evaluasi. 1. Pendahuluan Bank Dunia tengah menyiapkan pinjaman program untuk mendukung upaya pemerintah Kolumbia dalam memperkuat sistem nasional pemantauan dan evaluasi (P&E)—SINERGIA (Sistema Nacional de Evaluatión Resultados de la Gestión Pública, atau Sistem Nasional untuk Evaluasi Kinerja Sektor Publik). Diagnosis cepat ini dimaksudkan untuk membantu tim Bank Dunia dan pemerintah dalam upaya mereka untuk sama-sama memahami aspek-aspek utama sistem P&E tersebut, meliputi: • Asal-usul • Kerangka hukum • Sasaran, peran dan tanggung jawab para pemangku kepentingan utama • Komponen-komponen utama SINERGIA: SIGOB dan evaluasi dampak • Jangkauan penggunaan informasi P&E yang dihasilkan SINERGIA • SINERGIA: kekuatan, tantangan, dan arah di masa mendatang • Kesimpulan Landasan informasi yang menjadi sandaran diagnosis cepat ini meliputi sejumlah laporan dan pernyataan kebijakan pemerintah, dokumentasi tentang berbagai proyek pinjaman dan donor yang dibiayai oleh Bank Dunia, baik yang mendukung SINERGIA maupun kegiatan-kegiatan spesifik di bawah pengawasan SINERGIA, presentasi formal di berbagai konferensi oleh para pejabat senior pemerintah, informasi yang dikumpulkan oleh staf Bank Dunia dalam sejumlah persiapan proyek dan misi pengawasan, serta masukan-balik bagi diagnosis tersebut dari para pejabat pemerintah di Departemen Perencanaan Nasional (DNP, atau Departamento Nacional de Planeación). Kunjungan pihak Bank Dunia meliputi pertemuan dengan para pejabat dari kementerian pusat dan kementerian sektor, kantor umum pengawas keuangan, pemerintah tingkat kota dan kelompok-kelompok masyarakat sipil, yang membahas berbagai isu P&E, termasuk kekuatan dan kelemahan SINERGIA. Pertemuan-pertemuan tersebut merupakan sumber informasi yang sangat berharga, kendati diperlukan adanya pendekatan yang lebih terstrukutur guna menjaring pandangan-pandangan dari berbagai pejabat yang relevan agar diperoleh gambaran yang lebih cermat dan mendalam. Tulisan ini berupaya mendokumentasikan apa yang kita tahu dan apa yang kita tidak tahu tentang SINERGIA. Ini hendaknya dipandang sebagai upaya yang masih terus berjalan—sebagai sarana untuk mencari lebih jauh informasi, komentar dan penilaian lebih jauh tentang banyak aspek terperinci dari SINERGIA dan kemungkinan arahnya di masa


139

datang. Salah satu tantangan yang dihadapi oleh para pengamat dari luar adalah mencari kejelasan tentang berbagai komponen SINERGIA dan sistem lain penganggaran/perencanaan apa yang berjalan dengan baik, yang banyak didokumentasikan. Diagnosis yang lebih mendalam akan diperlukan untuk mengatasi sejumlah isu menonjol yang penting, yang bukti-bukti yang ada sekarang tentangnya lemah atau tidak konklusif. Draf kerangka acuan (TOR) untuk diagnosis tersebut disertakan di dalam Lampiran; diagnosis ini akan kemudian akan menjadi evaluasi formal terhadap SINERGIA. 2. Asal-usul dan pengembangan luas SINERGIA Asal-usul lahirnya sistem P&E Kolumbia adalah keputusan Kementerian Keuangan untuk meniru-terapkan pendekatan evaluasi yang digunakan Bank Dunia di Kolumbia. Dengan bantuan teknis dari Bank Dunia, pemerintah memetakan rancang-bangun dasar untuk sebuah sistem P&E. Tahap awal evolusi sistem tersebut berlangsung dari 1990 hingga 1996, dan memasukkan persyaratan formal untuk evaluasi di dalam Konstitusi 1991 yang telah direvisi. SINERGIA—sistem nasional untuk evaluasi manajemen dan hasil—diciptakan secara formal pada 1994. Bank Dunia terus memberi dukungan bagi SINERGIA sepanjang periode ini, terutama melalui Public Financial Management Project I (1994-2001). Tahap kedua evolusi SINERGIA, yang berlangsung dari 1996 hingga 2002, menandai periode melemhanya posisi SINERGIA di mata pemerintah, sebagai akibat munculnya persepsi mengenai kesulitan-kesulitan menyangkut pengelolaan sistem tersebut. Opsi untuk penghapusan SINERGIA muncul pada periode ini disebabkan timbulnya keraguan mengenai relevansi sistem ini dengan agenda reformasi sektor publik. Namun, adanya ketentuan untuk evaluasi di dalam Konstitusi telah menghalangi diambilnya pilihan tersebut. Menjelang akhir periode ini, yaitu pada 2001, Bank Dunia mengintensifkan dukungannya bagi SINERGIA, tidak hanya melalui Public Financial Management Project (PFMP) II, tetapi juga bersama-sama Inter-American Development Bank (IADB) mensponsori serangkaian evaluasi dampak atas dua program besar pemerintah, Empleo en Acción (program penciptaan lapangan kerja) dan Familias en Acción (program bantuan tunai bersyarat).2 Tabel B.1 Dukungan Pendanaan untuk SINERGIA: 2002-2006 ($’000) Sumber Dana 2002 2003 2004 2005 2006 Total

2002-2006

World Bank PMFP II 350 300 305 288 300 1.543Pinjaman Sektor Sosial World Bank

1.500 - 450 - - 1.950

IADB 2.666 - 2.509 - - 5.175USAID - - 50 200 200 450UNDP - - 400 - - 400Pemerintah 250 250 256,7 270 270 1.297Total 4.766 550 3.970,7 758 770 10.814Sumber : Departemen Perencanaan Nasional


140

Tahap ketiga, mulai dari 2002 hingga sekarang, diawali dengan terpilihnya seorang presiden berhaluan reformis, Álvaro Uribe. Pemerintah baru mengungkapkan kekecewaannya bahwa peningkatan besar pengeluaran pemerintah di sektor-sektor seperti sekolah dan perawatan kesehatan tidak diiringi oleh peningkatan kinerja pemerintah yang sepadan (keluaran dan hasil) di sektor-sektor tersebut (lihat CONPES, 2004; Castro, 2006a). Pada saat yang sama, Presiden Uribe menyatakan keinginan kuatnya untuk mewujudkan budaya baru administrasi publik, yang didasarkan atas akuntabilitas sosial—“kontrol sosial”. Oleh sebab itu, ia meluncurkan sebuah sistem untuk memantau dan mengevaluasi kemajuan dalam mencapai tujuan kepresidenan dan tujuan pembangunan negara tersebut (Sistema de Programación y Gestión por Objetivos y Resultados, atau Sistem Pemrograman dan Manajemen berdasarkan Sasaran dan Hasil, SIGOB). Ia secara aktif berusaha mengimplementasikan mandat yang digariskan konstitusi untuk melakukan evaluasi, dan ia telah mengeluarkan petunjuk presiden3 dan pernyataan kebijakan tentang manajemen berbasis-hasil (CONPES, 2004). Ia mengintegrasikan SIGOB ke dalam SINERGIA dan telah memberi energi baru bagi SINERGIA. Hal ini bermuara pada pengangkatan kepala baru unit evaluasi yang mengelola SINERGIA, yang berada di departemen perencanaan nasional, serta pengangkatan staf dan konsultan untuk unit ini. Pada tahap ketiga ini, Bank Dunia meningkatkan secara substansial cakupan dan tingkat dukungan yang diberikan kepada pemerintah, melalui dua pinjaman untuk penyesuaian struktural dan pinjaman bantuan teknis terkait, pinjaman jaring pengaman sosial, kerja sektoral, dan proyek manajemen keuangan publik kedua (PFMP II). Lembaga-lembaga donor lain juga bertindak aktif dalam mendukung SINERGIA dalam periode penyegaran kembali ini, seperti yang terlihat di dalam Tabel B.1. Sejak 2002, 10,8 juta dollar telah dikeluarkan untuk SINERGIA, dengan hampir separuh dari total pengeluaran itu didanai oleh IADB, 32 persen oleh Bank Dunia, dan 8 persen oleh USAID dan UNDP. Pada periode ini, saat terjadi krisis makro-ekonomi yang parah, pemerintah sendiri hanya mendanai 12 persen dari biaya SINERGIA; jelas, rendahnya tingkat dukungan finansial pemerintah tidak dapat dipertahankan untuk jangka panjang. 3. Kerangka hukum Pembahasan berikut ini didasarkan atas pendataan cepat dan analisis terhadap instrumen-instrumen hukum di Kolumbia. Bank Dunia kini tengah menyiapkan analisis yang lebih terperinci untuk mengidentifikasi tumpang-tindih dan celah, dan jenis instrumen hukum yang diperlukan untuk mengisi celah tersebut—dekrit, undang-undang, atau pernyataan kebijakan. Suatu kerangka hukum yang terperinci telah dibangun untuk mendukung SINERGIA pada tahun-tahun sejak ditetapkannya mandat untuk evaluasi di dalam Konstitusi 1991. Mandat tersebut menetapkan fokus sistem evaluasi adalah “untuk menilai manajemen dan hasil sektor publik”. Undang-Undang tahun 1993 mengatur fungsi kontrol fiskal (yang dijalankan oleh Contraloria) hingga mencakup “sistem kontrol hasil”, dan juga mengatur fungsi kontrol internal di badan-badan sektor publik hingga meliputi evaluasi manajemen dan sistem kontrol. Undang-Undang tahun 1994 memberi DNP tanggung jawab untuk


141

menciptakan SINERGIA dan untuk melaporkan hasil dari sistem evaluasi itu setiap tahun kepada Dewan Nasional Kebijakan Ekonomi dan Sosial (CONPES), suatu komite kebijakan tingkat tinggi yang dikepalai oleh presiden. SINERGIA sendiri diciptakan pada 1994 melalui sebuah resolusi DNP, yang mengoperasionalisasikan mandat konstitusional dan legal tersebut, serta menetapkan tanggung jawab pada seluruh badan di lembaga eksekutif pemerintahan untuk melaksanakan swa-evaluasi. Selain itu, DNP menetapkan untuk dirinya sendiri tanggung jawab untuk mengembangkan metodologi guna memberi panduan bagi kegiatan-kegiatan evaluasi sistem tersebut. Selanjutnya, Undang-Undang tahun 2003 menetapkan bahwa anggaran nasional harus memasukkan perincian mengenai sasaran, hasil yang diharapkan dan indikator-indikator manajemen untuk seluruh kegiatan pemerintah.4 Berbagai undang-undang lainnya yang dibuat pada periode ini telah menambah kompleksitas kerangka hukum tersebut. Di Kolumbia umumnya diakui bahwa suatu landasan hukum dan peraturan yang terperinci diperlukan untuk memberi arah dan legitimasi bagi setiap bidang reformasi pemerintahan seperti P&E. Tentu saja, sementara kerangka semacam itu dipandang niscaya, hal itu tidak memadai untuk memastikan bahwa fungsi itu berjalan dengan baik. Faktor-faktor lain yang dibahas di bawah, seperti kekuatan kepemimpinan untuk reformasi, berbagai sumber daya yang dikerahkan untuk mendukungnya, penetapan aturan dan prosedur rutin, serta berbagai insentif untuk penggunaan P&E, juga merupakan kunci bagi keberhasilan sistem P&E. Pemerintah sendiri telah mengakui bahwa banyaknya undang-undang dan dekrit telah mengakibatkan munculnya terlalu banyak konsep, metodologi dan instrumen P&E, dan kejelasan yang lebih besar kini diperlukan ketika SINERGIA tengah memasuki tahap perkembangan yang lebih matang. Hal ini menyebabkan dikeluarkannya dokumen kebijakan oleh CONPES (no. 3294) pada 2004: “Perbaikan Administrasi Publik: Manajemen berdasarkan Hasil dan Reformasi Sistem Nasional Evaluasi.” 4. Sasaran, Peran dan Tanggung Jawab 4.1 Sasaran Pernyataan kebijakan terakhir yang dikeluarkan oleh pemerintah tentang SINERGIA—CONPES 3294—merumuskan sasaran sistem P&E sebagai berikut:

1. Untuk meningkatkan efektivitas dan dampak dari kebijakan dan program pemerintah, serta lembaga-lembaga publik.

2. Untuk membantu meningkatkan efisiensi dan transparansi perencanaan dan pengalokasian sumber-sumber daya publik.

3. Untuk mendorong transparansi dalam manajemen publik, khususnya dengan mendorong munculnya pengawasan oleh masyarakat—yakni, kontrol sosial.

Sasaran yang bercakupan luas ini dapat diturunkan ke dalam enam jenis penggunaan yang diharapkan dari informasi P&E yang dihasilkan oleh SINERGIA: (1) untuk mendukung pengalokasian sumber daya dan pembuatan keputusan dalam anggaran nasional dengan menyediakan informasi tentang kinerja aktual dan potensial dari


142

prioritas-prioritas pengeluaran alternatif; (2) untuk mendukung pembuatan keputusan perencanaan nasional, baik ketika rencana nasional empat tahun dikembangkan maupun ketika prioritas-prioritas nasional diidentifikasi di dalam rencana nasional; (3) untuk memastikan kesatupaduan tindakan pemerintah berkenaan dengan prioritas-prioritas pembangunan tersebut; (4) untuk membantu kementerian-kementerian sektor dalam pengembangan kebijakan dan kerja perencanaan mereka; (5) untuk mendukung manajemen berkesinambungan dari kegiatan-kegiatan pemerintah yang dilakukan oleh kementerian-kementerian dan badan-badan; dan (6) untuk memastikan transparansi kinerja pemerintah dengan menjadikan informasi P&E tersedia untuk Kongres dan masyarakat sipil—yaitu mengembangkan akuntabilitas melalui “kontrol sosial”. Seperti akan terlihat di bagian berikutnya, di antara berbagai sasaran tersebut salah satu yang paling berhasil ditekankan oleh SINERGIA, khususnya sejak 2002, adalah kontrol sosial.


143

Kongres

Presiden/ Pemerintah

Departemen Perencanaan

Nasional Direktorat Evaluasi Kebijakan Publik

Presidencia

Masyarakat Sipil

CONPES

Komite Antarsektor Evaluasi dan Manajemen

Hasil Presidencia (Kantor

Kepresidenan) DNP

Hacienda (Kementerian Keuangan)

Kementerian/Badan yang diundang

Kementerian/ Badan Sektor



Pemerintah Daerah

Gambar B.1: SINERGIA: Peran dan Tanggung Jawab


144

4.2 Peran dan Tanggung Jawab Para Pemangku Kepentingan Utama Direktorat Evaluasi Kebijakan Publik (Dirección de Evaluación de Políticas Públicas, DEPP) di DNP adalah tonggak utama SINERGIA. Unit ini menggordinasikan sistem tersebut, memberi saran mengenai metodologi dan tipe-tipe evaluasi, dan mengelola sebagian evaluasi. DEPP juga memberi saran teknis dan dukungan finansial untuk sebagian evaluasi dampak yang canggih dan evaluasi-evaluasi jenis lain yang dilakukan oleh kementerian-kementerian dan badan-badan tingkat sektor. DEPP memberi saran kepada pemerintah daerah untuk melakukan uji coba sistem P&E, dan juga lembaga-lembaga seperti Kementerian Perlindungan Sosial (Ministerio de Protección Social, MPS), yang membangun sebuah sistem pemantauan dan evaluasi. DEPP mengelola sistem informasi yang menelusuri kemajuan dalam mencapai tujuan kepresidenan, SIGOB, dan bersama-sama dengan kantor kepresidenan (Presidencia) bertanggung jawab untuk menyiapkan laporan tahunan dan laporan akhir pemerintahan tentang kinerja pemerintah dibandingkan dengan rencana pembangunan nasional. Laporan-laporan tersebut menjadi masukan utama bagi laporan tahunan yang dibuat Presiden kepada Kongres (Gambar B.1). DEPP memiliki 31 orang staf, yang 70 persen dari mereka kini dipekerjakan sebagai konsultan.5 DEPP mengoordinasikan berbagai laporan kementerian-kementerian dan badan-badan sektor, dan pemerintah-pemerintah daerah, yang menyediakan informasi pemantauan yang dibutuhkan untuk SIGOB (dibahas di bawah). Lembaga-lembaga dan pemerintah-pemerintah daerah ini secara formal bertanggung jawab untuk mengelola hasil. DEPP juga bertindak sebagai sekretariat Komite Antarsektor Evaluasi dan Manajemen Hasil (Comité Intersectorial de Evaluación y Gestión por Resultados). Komite ini, yang dibentuk melalui sebuah dekrit pada Desember 2002, memiliki tanggung jawab formal untuk mengoordinasikan langkah-langkah P&E di antara unit-unit pemerintahan dalam memutuskan agenda evaluasi empat tahunan—sesuai dengan masa jabatan presiden—dan agenda tahunan evaluasi yang akan dilakukan. Komite ini juga memutuskan standar teknis dan memberi persetujuan atas metodologi evaluasi yang akan digunakan untuk masing-masing evaluasi. Anggota lain Komite ini meliputi direktorat-direktorat lain di DNP, Presidencia (kantor kepresidenan), Hacienda (kementerian keuangan), dan kementerian-kementerian dan badan-badan sektor diundang untuk berpartisipasi ketika program mereka sedang dievaluasi. Komite ini telah bertemu sebanyak 6 kali sejak komite tersebut dibentuk pada awal 2004, dan pada gilirannya Komite ini memberikan laporan kepada CONPES. Pada 2004 CONPES mengeluarkan pernyataan kebijakan tentang mengelola hasil dan tentang perlunya dilakukan reformasi terhadap SINERGIA. 5. Komponen-komponen utama P&E dari SINERGIA Pemantauan dan evaluasi pemerintah biasanya memiliki cakupan yang luas menyangkut alat, metode dan pendekatan yang digunakan. Hal ini dapat terlihat membingungkan bagi orang awam, namun cakupan dari berbagai alat, metode dan pendekatan tersebut penting untuk dipahami, khususnya kegunaan, keuntungan dan keterbatasan, serta biaya, ketrampilan dan waktu yang dibutuhkan untuk masing-masing alat, metode dan


145

pendekatan tersebut. Penting untuk dipahami bahwa berbagai jenis P&E itu bersifat saling melengkapi. Masing-masing memiliki kekuatan dan keterbatasan, dan tantangannya adalah memutuskan bagaimana paling baik mengombinasikan berbagai jenis P&E itu dalam sebuah sistem P&E nasional. Dua komponen utama SINERGIA adalah SIGOB—suatu sistem indikator kinerja guna melacak kemajuan yang dicapai dalam mewujudkan tujuan kepresidenan—dan agenda evaluasi dampak. 5.1 SIGOB Ada sekitar 500 indikator kinerja yang terkait dengan 320 tujuan kepresidenan,6 dan untuk masing-masing indikator SIGOB merekam sasaran, kinerja awal, target tahunan, kinerja aktual dalam mencapai target tersebut, dan jumlah dana yang dibelanjakan oleh pemerintah. Dengan demikian, SIGOB meliputi banyak sekali indikator kinerja pemerintah, yang mengukur masukan (input), proses, keluaran (output) dan hasil (outcome). Informasi itu dibagi berdasarkan wilayah, termasuk untuk kota-kota besar. Selain itu, ketika sebuah target tidak tercapai, ada keharusan bagi manajer tujuan (goal manager) menyiapkan penjelasan tentang kegagalan tersebut. Laporan “eksepsi/pembelaan” ini dimasukkan dalam database SIGOB, yang bagian intinya dipublikasikan secara real-time.7 Situs web tersebut juga mendorong akuntabilitas dengan cara menyediakan informasi tentang manajer tujuan, kementerian dan jabatan formal mereka, serta alamat e-mail mereka. Versi dasar awal SIGOB dikembangkan pada 2002 dengan dukungan UNDP, dan pada mulanya bertempat di Presidencia. Tanggung jawab itu kemudian dialihkan ke DNP pada 2005 di bawah pengawasan SINERGIA. , di mana dikembangkan sebuah paket piranti lunak baru dengan fungsi yang ditingkatkan. DNP menegosiasikan target tahunan dengan masing-masing kementerian dan badan. DEPP juga mendukung suatu proyek percontohan untuk meniru-terapkan SIGOB di pemerintah kota Pasto. Data yang berupa SIGOB disuplai oleh kementerian-kementerian dan badan-badan. Di samping kontrol data yang diterapkan oleh lembaga-lembaga yang memasok data SIGOB tersebut, DEPP sendiri berupaya mengidentifikasi berbagai masalah atau ketidakkonsistenan data, dan memiliki sebuah tim yang bertanggung jawab untuk memantau kualitas data SIGOB, dan menindaklanjuti data-data yang diduga bermasalah dengan lembaga-lembaga yang menyediakan data tersebut. Namun, karena tidak ada sistem audit data berkala yang terperinci, reliabilitas atau keterandalan data tidak diketahui dan belum terbukti. Satu pengecualian adalah Kementerian Pendidikan (MEN), yang dengan dukungan Bank Dunia, dilaporkan tengah melakukan semacam audit terbatas terhadap data yang disediakan oleh departemen-departemen dan pemerintah-pemerintah tingkat kota.8 Karena alokasi pendanaan kepada negara-negara bagian didasarkan atas data angka partisipasi sekolah, negara-negara bagian cenderung terdorong untuk melebihkan estimasi terhadap angka partisipasi sekolah.


146

Pernyataan kebijakan pemerintah tentang SINERGIA (CONPES 3294), yang drafnya disusun oleh DEPP/DNP, telah menandai kebutuhan untuk mengatasi masalah-masalah berkaitan dengan keterandalan data SIGOB, termasuk kualitas, konsistensi (di mana muncul masalah-masalah akibat sumber data yang terlalu banyak dan tidak terkoordinasi), regularitas dan verifikasi. Pernyataan kebijakan ini juga jelas memperlihatkan kepedulian menyangkut tindakan kementerian-kementerian dalam “mempermainkan” data yang mereka sediakan untuk SIGOB. 5.2 Evaluasi9 Evaluasi merupakan komponen utama kedua P&E dari SINERGIA. Sekitar 16 evaluasi kini tengah dilakukan atau telah selesai dilaksanakan, dan 17 evaluasi lainnya akan dilakukan pada periode lima tahun berikutnya (Tabel B.2). Kebanyakan dari evaluasi itu adalah evaluasi dampak dan melibatkan analisis statistik yang canggih terhadap pihak penerima manfaat program dengan menggunakan kelompok kontrol atau pembanding. Evaluasi-evaluasi itu juga biasanya memfokuskan perhatian pada efisiensi operasional dan isu-isu manajemen lainnya. Beberapa jenis evaluasi lainnya dilakukan, dan evaluasi-evaluasi tersebut lebih difokuskan pada isu-isu manajemen dan kelembagaan. Sejak 2002, setidaknya duapertiga dari jumlah total dana yang dibelanjakan untuk SINERGIA dari berbagai sumber—terutama IADB, Bank Dunia dan pemerintah—dihabiskan untuk evaluasi. Biaya untuk berbagai evaluasi itu berkisar antara 15.000 hingga 2 juta dollar untuk evaluasi dampak yang cermat terhadap komponen rural dari program Familias en Acción. Berkenaan dengan evaluasi yang memperoleh dukungan pendanaan dari Bank Dunia, sarana utama untuk dukungan ini adalah pinjaman khusus sektor, terutama sektor sosial. Tingkat dukungan finansial tambahan dari kementerian-kementerian dan badan-badan tingkat sektor untuk evaluasi-evaluasi tersebut tidak diketahui. CONPES telah mendukung evaluasi dampak sebagai instrumen kebijakan sosial (CONPES 3188). Tabel B.2 juga memperlihatkan tingginya biaya dari berbagai evaluasi itu. Hal ini diakibatkan banyak evaluasi memerlukan pengumpulan data secara terperinci karena tidak tersedianya data administrasi, rumah tangga dan lainnya. Isu ini, dan potensi efektivitas-biaya yang sangat tinggi dari jenis evaluasi ini, dibahas secara lebih mendalam di bagian bawah. DEPP telah menggunakan proses lelang yang kompetitif dalam mengontrakkan ke pihak luar evaluasi-evaluasi tersebut, yaitu kalangan akademisi dan perusahaan-perusahaan konsultan, baik nasional maupun internasional. Evaluasi-evaluasi itu dikontrakkan ke pihak luar guna membantu memastikan objektivitas, reliabilitas dan kredibilitas evaluasi, dan juga akibat langkanya keahlian untuk melakukan evaluasi dampak di kalangan pemerintah. Sasaran lainnya adalah untuk membantu membangun kapasitas lokal untuk evaluasi. DEPP dan kementerian-kementerian sektor biasanya bekerja sama erat dalam mengelola berbagai evaluasi dampak tersebut.


147

Oleh sebab itu, bagi DEPP prioritasnya adalah mampu mengelola atau mengawasi evaluasi-evaluasi tersebut, daripada melaksanakannya sendiri. Basis ketrampilan yang ada di DEPP untuk mendukung kerja evaluasi ini terbatas. DEPP mengandalkan pada tenaga kontrak—yaitu 22 dari 31 stafnya—yang hal ini mungkin menjadi hambatan bagi pengembangan ketrampilan profesional, misalnya, karena mereka tidak memenuhi persyaratan untuk memperoleh beasiswa pelatihan. Salah satu prioritas bagi DEPP adalah memperkuat kapasitanya untuk mengelola evaluasi-evaluasi tersebut. Pemerintah telah menyatakan bahwa keputusan mengenai kegiatan-kegiatan mana yang seharusnya menjadi subjek dari evaluasi dampak yang canggih didasarkan atas lima kriteria: (1) jumlah dana yang digunakan; (2) karakteristik populasi yang dilayani (misalnya, kelompok miskin atau para pengungsi); (3) arti penting kegiatan itu, dari segi apakah kegiatan itu merupakan prioritas bagi rencana pembangunan nasional; (4) segi inovatif kegiatan (misalnya, kegiatan percontohan); (5) potensi untuk ditiru-terapkan. Informasi kinerja SIGOB tampaknya tidak digunakan untuk menandai program-program pemerintah yang “bermasalah”, yang karena itu perlu dilakukan evaluasi terhadapnya. DEPP perlu mengadopsi pendekatan semacam itu. Di Chile, misalnya, indikasi tentang kinerja program yang buruk digunakan sebagai salah satu pendorong untuk dilakukannya investigasi yang lebih mendalam menyangkut sebab-sebab dari kinerja buruk tersebut melalui suatu evaluasi formal—baik evaluasi cepat atau evaluasi dampak yang canggih. Seperti telah dikemukakan sebelumnya, Komite Evaluasi Antarsektor memiliki tanggung jawab formal untuk memutuskan agenda empat-tahunan dan agenda tahunan. Namun, sejauh ini agenda evaluasi telah diputuskan lewat pola dari-bawah-ke-atas (bottom-up), daripada pola terencana dari-atas-ke-bawah (top-down). Dengan demikian, agenda evaluasi saat ini ditentukan atas dasar evaluasi-evaluasi yang didanai oleh berbagai donor internasional sebagai bagian dari pinjaman mereka kepada pemerintah, bersama dengan beberapa evaluasi tambahan yang umumnya didanai oleh masing-masing kementerian dan badan sektor, dan dengan sebagian dukungan teknis dan finansial dari DEPP. Pendekatan ini dapat diperkirakan dapat membantu mencapai tingkat penerimaan yang tinggi terhadap temuan-temuan berbagai evaluasi tersebut, di pihak kementerian-kementerian dan badan-badan yang programnya dievaluasi, serta di pihak DNP dan kementerian-kementerian pusat lainnya. Namun, hal itu juga berarti bahwa agenda evaluasi sangat bergantung pada dukungan donor dan prioritas-prioritas evaluasi. Komite Evaluasi Antarsektor perlu memainkan peran yang mendasar dalam mengawasi kinerja SINERGIA dan mengembangkan arahnya di masa datang. 5.3 Kegiatan-kegiatan P&E lainnya DNP/DEPP telah aktif dalam sejumlah aspek lain P&E, seperti upaya-upaya untuk memperkuat akuntabilitas publik dalam kinerja pemerintah, pemberian bantuan teknis kepada sebagian kementerian/badan yang sedang berusaha mengembangkan sistem P&E internal mereka, pembangunan kapasitas P&E di sektor publik dan kalangan akademisi, meluncurkan program percontohan penganggaran berbasis-kinerja pada tingkat pemerintahan kota, persiapan laporan anggaran investasi berbasis-kinerja dan


148

pengembangan pedoman kebijakan tentang P&E. Aspek-aspek dari berbagai kegiatan tersebut dibahas di bagian bawah. Tabel B.2: Agenda Evaluasi Dampak dan Evaluasi Lainnya (Di dalam kurung adalah biaya tiap evaluasi dalam dollar AS) Evaluasi yang telah selesai Evaluasi yang masih

berlangsung Evaluasi yang direncanakan

(2006-2010) Empleo en Acción (1,5 jt) Familias en Acción—Rural (2

jt) Cursos de Formación Complementaria—SENA (200.000)

Adulto Mayor (50.000) Familias en Acción—Grandes Cidudades (180.000)

SENA—Institucional (60.000)

Corpomixtas (15.000) Jóvenes en Acción (670.000) ICBF—Institucional (30.000) Programa de Apoyo Directo al Empleo—PADE (66.000)

Vivienda de Interés Social—VIS (226.800)

SENA—Otros Programas (95.000)

Programa de Renovación de la Administración Pública—PRAP (311.000)

Reinsertados (119.000)

Hogares Comunitarios (1,36 jt)

Familia Guardabosques (119.000)

Fondo Colombiano para la Modernización y Desarrollo de las Micro, Pequeñas y Medianas Empresas—Fomipyme (88.000)

Programas del Sector Agrícola (119.378)

Sistema General de Participaciones—SGP (Parte 1) (419.000)

Familias en Acción Desplazadas (119.378)

Red de Seguridad Alimentaria—RESA (125.000)

Banco de Pobres (198.000)

Programa de Paz y Desarrollo y Laboratorios de Paz (etapa 1) (206.000)

Red de Apoyo Contra la Pobreza Extrema—PEP (198.000)

Desayunos Infantiles Estratificación Socio económica (200.000)

Evaluación Programas Sector Justicia (119.000)

DANE—Institucional (60.000) MinInterior—Institucional (25.000) Evaluasi cepat percontohan

(98.000) Evaluación Plan Decenal de Cultura

(150.000) Mujer Cabeza de Familia

Microempresaria (150.000) Programas de alimentación escolar

en Colombia (600.000) Total: 1,631 juta Total: 5,786 juta Total: 2,460 juta Sumber: Departemen Perencanaan Nasional


149

6. Tingkat Penggunaan Informasi P&E yang dihasilkan SINERGIA 6.1 Akuntabilitas—Kontrol Politik dan Sosial Karakter unik Kolumbia adalah komitmen kuat Presiden Uribe untuk menggunakan informasi P&E guna meningkatkan kontrol politik terhadap pemerintah eksekutif dan guna mendukung kontrol sosial. Database SIGOB dimuat di dalam komputer pribadinya, dan ia menggunakan informasi tersebut dalam pertemuan “kontrol manajemen” bulanan dengan tiap-tiap menteri dan DNP. Pada pertemuan tersebut, dilakukan penelaahan terhadap kemajuan yang dibuat dalam mencapai tujuan kepresiden, dan para menteri diharuskan untuk memberikan penjelasan mengenai berbagai kekurangan dalam kinerja. Indikator kinerja dan tindakan-tindakan untuk mencapai target tersebut juga disepakati. Presiden telah bertemu dengan para menteri guna memastikan bahwa mereka trampil dalam menggunakan SIGOB. Presiden juga menggunakan informasi SIGOB ini dalam pertemuan mingguannya di balai kota di berbagai pemerintahan kota di negeri itu, dan dalam presentasi tahunan melalui televisi kepada warga negara, di mana presiden dan para menteri membahas kinerja pemerintah dan menjawab pertanyaan-pertanyaan warga menyangkut isu-isu tersebut. Komitmen kuat presiden dalam menggunakan informasi P&E untuk memantau dan melaporkan kinerja pemerintahannya tampaknya merupakan hal yang unik di Amerika Latin, bahkan mungkin di seluruh dunia. Hal itu mengirimkan sinyal yang kuat kepada para menteri dan para pegawai negeri di berbagai kementerian dan badan pemerintah. Hal itu dapat diperkirakan telah mendorong tumbuhnya budaya kinerja. Jangkauan aktual perkembangan budaya kinerja itu memang belum diketahui, namun hal ini dapat menjadi salah satu isu yang dapat diselidiki melalui diagnosis yang mendalam. Akan tetapi, tampaknya praktik P&E belum diadopsi secara luas oleh seluruh kementerian dan pemerintah daerah. Memang, ada sejumlah kementerian, badan dan pemerintah tingkat kota, seperti dibahas di bawah, yang kini tengah berupaya memperkuat sistem P&E mereka, yang sebagian dari mereka didukung secara aktif oleh DEPP. Isu lain yang belum diketahui adalah kredibilitas informasi yang dilaporkan pemerintah kepada masyarakat sipil.10 Beberapa wakil terkemuka dari kalangan masyarakat sipil meragukan kredibilitas data SIGOB. Argumen utamanya adalah data tersebut dihasilkan oleh pemerintah dan karena itu secara inheren data itu tidak dapat diandalkan. SINERGIA mengandalkan laporan pemerintah tentang kinerjanya sendiri, dan hal ini dipandang sebagai kelemahan struktural dari pengaturan akuntabilitas (lihat di bawah). Situs web SIGOB juga memungkinkan para pembaca untuk memberikan penilaian mereka terhadap kinerja pemerintah dibandingkan dengan janji-janjinya (seperti tercermin dalam rencana pembangunan nasional), dan tentang tingkat kemudahan akses, kualitas, dan kegunaan informasi SIGOB yang tersedia untuk publik berkenaan dengan kinerja pemerintah.11 Selain itu, DEPP melakukan survei terhadap 3.000 rumah tangga di 13 ibu kota pada Juli 2006, untuk menanyakan langsung kepada mereka mengenai sejumlah isu serupa yang diperluas, meliputi pula transparansi, daya tanggap, dan akuntabilitas pemerintah serta berbagai jenis lembaga pemerintah, ketersediaan informasi


150

tentang kinerja pemerintah, pentingnya partisipasi warga dalam manajemen publik, dan kualitas berbagai pelayanan publik.12

Aspek lain SIGOB adalah bahwa SIGOB pada dasarnya merupakan sebuah alat pemantauan. Penjelasan tentang kelebihan kinerja atau kekurangan kinerja perlu diinformasikan oleh evaluasi program dan kebijakan, yang pada gilirannya perlu didasarkan atas formulasi kebijakan dan program yang cermat, yang dikaitkan dengan tujuan kepresidenan dan tujuan pembangunan negara tersebut. DEPP telah mengembangkan sejumlah prakarsa yang ambisius guna mempromosikan lebih lanjut kontrol sosial, dan tampaknya telah ada kemajuan dalam prakarsa yang pertama. Prakarsa tersebut meliputi: • Colombia Lider—suatu kemitraan masyarakat sipil yang independen, yang terdiri dari

media, perbankan, yayasan dan organisasi-organisasi lain guna mempromosikan tata kelola pemerintahan yang baik dan kontrol sosial. Konsorsium ini, yang memperoleh dorongan dan dukungan dari DEPP, akan menyoroti kinerja baik dari para walikota, dan akan memantau rencana dan pengeluaran pemerintah, serta menganalisis dampaknya terhadap kemiskinan.

• Kemitraan dengan organisasi-organisasi masyarakat sipil untuk menyebarluaskan informasi P&E.

• Penggunaan statiun TV dan radio untuk memproduksi berbagai program tentang kinerja Pemerintah13

• Mengontrak para ahli sektoral untuk menganalisis dan melaporkan tentang kinerja pemerintah. Hal ini akan memberi semacam jaminan kualitas pelengkap untuk informasi P&E pemerintah, seperti data SIGOB.

Meskipun kemajuan menyangkut tiga prakarsa terakhir di atas terlihat kecil, upaya-upaya untuk melibatkan secara langsung masyarakat sipil akan memiliki keuntungan yang signifikan jika pada akhirnya berhasil, dan juga akan sulit dibalik di tahun-tahun yang akan datang. Contoh kuat mengenai prakarsa masyarakat sipil semacam itu, yang dikembangkan secara independen dari pemerintah nasional, adalah Bogotá Cómo Vamos. Prakarsa ini diciptakan oleh sebuah konsorsium yang terdiri dari sebuah yayasan swasta (Yayasan Corona), surat kabar utama di Bogotá (El Tiempo) dan Kamar Dagang (Cámara de Comercio de Bogotá), dan konsorsium itu tampaknya telah terlembagakan sepenuhnya.14 Bogotá Cómo Vamos melibatkan publikasi secara luas data tentang kinerja pemerintah kota, bersama dengan data dari berbagai survei opini publik. Tiga mitra dalam kerja sama ini mendukung ditiru-terapkannya pendekatan tersebut di Barranquilla, Cali, Cartagena, dan Medellín. Prakarsa ini merupakan contoh yang sangat bagus mengenai jenis mekanisme yang dapat didukung untuk mempromosikan kontrol sosial atas kinerja pemerintah. Presiden juga melaporkan secara formal kepada Kongres setiap tahun mengenai sejauh mana tujuan dan sasaran dari rencana nasional telah dicapai. Namun, tingkat kemampuan Kongres menggunakan informasi ini belum jelas. Kongres hanya memainkan peran yang lemah dalam proses anggaran (World Bank, 2005b, 2005c). Para anggota Kongres hanya


151

memperoleh sedikit dukungan teknis yang memungkinkan mereka untuk menggali dengan mudah informasi kinerja dan temuan-temuan evaluasi. Selain itu, pembahasan Kongres mengenai anggaran tahunan cenderung terfokus pada isu-isu politik yang lebih sempit. Pengalaman ini mungkin serupa dengan di negara-negara lain. Oleh sebab itu, potensi Kongres untuk memainkan peran yang signifikan dalam SINERGIA lemah—kecuali jika Kongres mengambil inisiatif untuk menuntut informasi P&E pemerintah dan melembagakan penggunaannya. 6.2 Dukungan untuk Pembuatan Keputusan Anggaran dan Perencanaan Nasional Kekakuan anggaran. DNP bertannggung jawab untuk menyiapkan rencana pembangunan nasional empat tahun, dan juga bertanggung jawab atas anggaran investasi tahunan. Yang terakhir itu mencakup investasi di bidang infrastruktur dan investasi lainnya, serta investasi di bidang sumber daya manusia (seperti pendidikan dan pelatihan); anggaran investasi terdiri dari sekitar 15 persen dari total anggaran nasional. Hacienda bertanggung jawab atas keseluruhan sisa anggaran—yaitu anggaran regular—yang juga termasuk pembiayaan untuk pegawai negeri dan kegiatan-kegiatan administratif mereka, pembayaran utang pemerintah, pembayaran uang pensiun, dan bantuan untuk pemerintah daerah. Sejauh mana informasi P&E berpotensi untuk memengaruhi pembuatan keputusan anggaran dan perencanaan nasional di Kolumbia tidak begitu jelas. Ada banyak kekakuan dalam anggaran di Kolumbia karena sejumlah alasan, termasuk bantuan untuk pemerintah daerah yang dimandatkan oleh konstitusi, serta sejumlah kewajiban permanen dan pematokan pendapatan. Sebagai akibatnya, sekitar 95 persen anggaran telah dipatok, sehingga menjadi tidak fleksibel dalam jangka pendek.15 Sementara informasi kinerja dan temuan-temuan evaluasi mungkin hanya memiliki pengaruh yang terbatas pada alokasi anggaran nasional dalam jangka pendek, namun potensi pengaruhnya untuk jangka menengah dan panjang mungkin cukup besar, khususnya jika terdapat bukti yang jelas mengenai kinerja pemerintah dalam mencapai tujuan kepresidenan dan prioritas-prioritas pemerintah lainnya (lihat Kotak B.1). Bahkan, dalam jangka pendek, pemerintah-pemerintah daerah berpotensi untuk menggunakan informasi P&E itu sendiri. Pengeluaran pemerintah daerah ini merupakan sepertiga dari pengeluaran anggaran tingkat federal, dan memiliki fleksibilitas yang lebih besar dalam pengalokasian anggaran.


152

Kotak B.1 Sebuah Evaluasi Berpengaruh di Kolumbia Familias en Acción adalah sebuah program bantuan tunai bersyarat yang digulirkan pemerintah untuk menyediakan dukungan penghasilan bagi keluarga miskin, yang memiliki komitmen untuk memastikan bahwa anak-anak mereka memperoleh perawatan kesehatan, terdaftar sebagai siswa di sekolah, serta menghadiri kelas untuk mengikuti pembelajaran. Program ini diciptakan pada 1999 sebagai tanggapan terhadap krisis ekonomi yang terjadi. Sebuah evaluasi dampak yang cermat terhadap program itu, yang tahap akhirnya akan diselesaikan pada 2006, dikontrakkan ke konsultan luar, di bawah pengawasan DNP (Departemen Perencanaan Nasional). Evaluasi itu menemukan bahwa program tersebut memiliki dampak yang mengesankan berkaitan dengan gizi, pendidikan dan kesehatan. Temuan tersebut meyakinkan pemerintahan Presiden Uribe untuk tidak hanya mempertahankan keberlangsungan program tersebut, tetapi bahkan melipatgandakan cakupannya, dari 500.000 menjadi 1 juta keluarga miskin. Pada akhir 2006, pemerintah memutuskan untuk meningkatkan kembali jangkauan program tersebut menjadi 1,5 juta keluarga miskin. Sejauh ini evaluasi terhadap program Familias en Acción telah menghabiskan biaya sekitar 1,5 juta dollar. Meskipun ini adalah jumlah yang cukup besar, namun jumlah itu relatif kecil dibandingkan dengan total pengeluaran pemerintah untuk program tersebut (yaitu sekitar 100 juta dollar pada saat dilakukannya evaluasi). Mengingat pengaruhnya yang sangat besar terhadap pemerintah, evaluasi itu dapat dinilai sangat hemat dari segi biaya. Karena itu, uji coba penganggaran berbasis-kinerja di Medellín dan Pasto penting secara potensial. Misalnya, pemerintah kota Medellín melakukan survei terhadap sekitar 23.000 rumah tangga untuk memperoleh indikator yang terperinci mengenai pembangunan manusia. Hasilnya kemudian dipetakan untuk mengidentifikasi distrik-distrik termiskin. Pengeluaran pemerintah kemudian diorientasikan kembali untuk memberi prioritas bagi distrik-distrik tersebut, dan kinerja awal dan kinerja target ditetapkan guna membantu memantau kinerja pemerintah. Tidak adanya evaluasi menjadi kendala dalam memahami hasil dari pengeluaran tersebut. Namun, pemerintah menggunakan tenaga akademisi lokal untuk menganalsis kemungkinan rantai capaian (results chain) dari opsi-opsi alternatif pengeluaran pemerintah. Hal ini membantu pemerintah untuk memutuskan jenis-jenis kegiatan yang seharusnya dibiayai oleh pemerintah. Dengan dukungan dari DEPP, pemerintah kota Pasto dan Medellín telah menyiapkan laporan anggaran berbasis-kinerja untuk tahun fiskal 2007, dan sedang menyiapkan undang-undang anggaran untuk memformalkan pendekatan ini. Kerja penyusunan anggaran berbasis-kinerja mereka didukung oleh sistem dan alat pemantauan yang serupa dengan SIGOB. Pada sisi permintaan, mekanisme kontrol sosial dan politik telah dikembangkan di kedua kota itu, dengan mengambil pelajaran dari pengalaman Bogotá Cómo Vamos. Di Pasto, aliansi lokal untuk akuntabilitas telah melakukan survei terhadap 1.300 rumah tangga mengenai topik-topik yang sama dengan survei nasional yang dilakukan oleh DEPP, namun dengan


153

penekanan lebih besar pada isu-isu tentang partisipasi warga dan tata kelola pemerintahan lokal. Sebuah studi independen tentang program pelayanan kesehatan yang disubsidi oleh pemerintah dilaksanakan dan didiskusikan secara terbuka dengan walikota. Proses ini kemudian melahirkan komitmen di pihak pemerintah lokal untuk memperbaiki berbagai aspek pemberian pelayanan. Model pemerintahan tingkat kota ini menyediakan pelajaran bagi penerapan penganggaran berbasis-kinerja di tingkat federal, departemen dan pemerintahan kota di seluruh negeri itu. Contoh tentang kemampuan pemerintah untuk menanggapi dengan cepat munculnya prioritas-prioritas adalah penciptaan program Empleo en Acción selama masa krisis ekonomi pada akhir 1990an. Pemerintah juga setuju untuk melakukan evaluasi dampak besar terhadap program ini. Namun, pemerintah memutuskan untuk menghentikan program tersebut sebelum tersedianya temuan-temuan evaluasi. Banyak pelajaran berharga untuk perencanaan evaluasi dapat ditarik dari studi kasus ini (Kotak B.2). Salah satu prakarsa anggaran berbasis-kinerja yang menarik adalah kontrak manajemen yang telah diujicobakan antara DNP/Hacienda dan dua badan sektor sosial, Lembaga Kesejahteraan Keluarga Kolumbia (Instituto Colombiano de Bienestar Familiar, ICBF) dan Lembaga Pelatihan Kejuruan (Servicio Nacional de Aprendizje, SENA), dengan dukungan Bank Dunia. Kontrak ini mencakup penetapan indikator kinerja dan target untuk pemberian pelayanan dan pelaksanaan administrasi.16 Ketika target tercapai, alokasi anggaran kedua badan itu ditingkatkan dengan membolehkan mereka untuk menahan porsi yang lebih besar dari pendapatan nonpajak yang mereka kumpulkan. Tidak jelas apakah program uji coba ini akan dipertahankan atau ditingkatkan skalanya. Perencanaan dan Penganggaran berbasis Kinerja DEPP telah menyiapkan laporan “anggaran berbasis-kinerja”, tahun 2005 dan 2006, untuk anggaran investasi Kolumbia. Laporan ini disajikan sebagai lampiran untuk dokumen anggaran rutin, yang tetap disajikan berdasarkan item anggaran. Laporan berbasis-kinerja menggunakan klasifikasi program untuk mengelompokkan kegiatan-kegiatan pemerintah menurut sasaran atau tujuan yang sama, yang pada gilirannya didasarkan atas Tujuan Kepresidenan dan rencana pembangunan nasional. Laporan itu memperlihatkan sasaran yang dinyatakan untuk masing-masing program, target kinerja (menggunakan data SIGOB), dan juga anggaran investasi untuk tahun tersebut. Namun, program-program tidak dibangun secara cermat (dengan mengikuti kerangka logis atau logframe, atau metodologi yang serupa), dan pengalokasian anggaran sering kali merupakan perkiraan terhadap dukungan finansial yang diberikan untuk program tersebut di bawah kelompok anggaran yang berbeda. Publikasi laporan ex ante tersebut—yaitu sebelum diambilnya keputusan menyangkut anggaran—adalah suatu bentuk penganggaran berbasis-kinerja, meskipun merupakan jenis yang paling lemah, karena laporan tidak mungkin memengaruhi pembuatan keputusan anggaran tanpa adanya mekanisme eksplisit untuk mencapai hal itu; laporan semacam itu paling baik dipandang sebagai dokumen akuntabilitas. Perlu dicatat bahwa ada jenis-jenis lain penganggaran berbasis-kinerja yang dapat diadopsi oleh pemerintah. Pertama adalah penganggaran


154

berbasis informasi kinerja (performance-informed budgeting), di mana informasi P&E menjadi salah satu masukan bagi pembuatan keputusan anggaran (seperti dalam kasus di Chile dan kebanyakan negara-negara anggota OECD). Kedua adalah penganggaran berbasis-kinerja yang bersifat langsung, di mana pengalokasian anggaran didasarkan atas suatu formula atau penilaian eksplisit (misalnya, pembiayaan pendidikan tinggi didasarkan atas jumlah siswa, jenis gelar dan jurusan mereka, sementara pembiayaan kesehatan didasarkan atas metode “casemix”.17 Kotak B.2 Program Empleo en Acción: Pelajaran untuk Perencanaan Evaluasi Pemerintah meminta dukungan Bank Dunia untuk sebuah program baru penciptaan lapangan kerja langsung, yang didasarkan atas kerja publik, sebagai respons terhadap krisis ekonomi yang melanda pada akhir 1990an. Pinjaman Bank Dunia mulai berlaku pada awal 2001, dan pinjaman itu termasuk untuk pembiayaan sebuah evaluasi dampak yang canggih; evaluasi ini merupakan syarat pinjaman Bank Dunia. Pelaksanaan proyek itu mengalami sejumlah keterlambatan, sementara pada saat yang sama kondisi ekonomi mulai membaik. Pada awal 2004 pemerintah memutuskan untuk menghentikan program Empleo en Acción itu; hingga saat itu program tersebut telah menghabiskan biaya sekitar 183 juta dollar. Temuan-temuan evaluasi dampak terhadap program itu, yang menghabiskan biaya sekitar 1,5 juta dollar, baru tersedia pada peridoe akhir tahun itu. Evaluasi itu menemukan bahwa program tersebut telah berhasil meningkatkan penghasilan rumah tangga paling miskin, dan telah meningkatkan peluang kerja para peserta program. Program itu juga telah menghasilkan kerja publik yang bermanfaat bagi komunitas-komunitas lokal. Namun, program itu gagal memenuhi target jumlah individu yang memperoleh manfaat dari program tersebut, dan gagal dalam memenuhi target tingkat pendapatan tahunan bersih yang diberikan program tersebut kepada para penerima manfaat. Sebuah laporan penyelesaian pelaksanaan tentang proyek Bank itu baru-baru ini menyimpulkan bahwa program tersebut, secara keseluruhan, tidak hemat-biaya dibandingkan dengan program-program penciptaan lapangan kerja langsung yang serupa di negara-negara lain, dan dibandingkan dengan jenis-jenis lain dukungan bagi kalangan masyarakat tidak bekerja atau penganggur. Meskipun evaluasi dampak itu tidak berpengaruh, namun evaluasi itu memberi sejumlah pelajaran bagi perencanaan evaluasi, dan hal itu sangat relevan dengan manajemen SINERGIA. Salah satunya adalah diperlukannya kehati-hatian yang sangat tinggi dalam merencanakan sebuah evaluasi, khususnya yang bersifat kompleks dan mahal, serta akan memerlukan beberapa waktu sebelum hasilnya dapat tersedia. Evaluasi senantiasa mungkin dihadapkan dengan peristiwa-peristiwa yang tidak dapat diperkirakan sebelumnya; karena itu, tantangannya adalah menerapkan suatu manajemen risiko. Penting pula untuk merencanakan evaluasi agar temuan-temuannya dapat tersedia untuk memberi masukan bagi momen-momen keputusan penting, seperti pemilihan presiden baru (ketika sebuah rencana nasional baru akan disiapkan), dan siklus anggaran tahunan. Isu lain bagi perencanaan evaluasi adalah penetapan prioritas evaluasi—yaitu memutuskan kegiatan-kegiatan pemerintah apa yang seharusnya dievaluasi, kapan


155

temuan-temuan itu kemungkinan diperlukan, dan seberapa dalam analisis (dan seberapa besar biaya) yang diperlukan evaluasi tersebut. Tampaknya, untuk program besar pemerintah seperti Empleo en Acción, sangat cocok jika dilakukan sebuah evaluasi dampak yang mendalam. Bahkan, kendati evaluasi itu hanya menghasilkan perbaikan kecil dalam kinerja program—yaitu, dari segi efektivitas dan efisiensinya—membelanjakan sebesar 1,5 juta dollar untuk program yang menghabiskan biaya sebesar 183 juta dollar (dan mungkin lebih), akan tetap sangat hemat dari segi biaya. Jika dana evaluasi terbatas, atau ada keterbatasan dari segi waktu, maka jenis evaluasi lainnya yang lebih cepat mungkin lebih tepat. Pelajaran terakhir bagi SINERGIA adalah nilai atau signifikansi untuk melakukan tinjauan mendalam berkala terhadap kegiatan-kegiatan P&E-nya sendiri, untuk mengetahui kegiatan mana yang efektif, kegiatan mana yang tidak efektif, serta alasan-alasan yang menyebabkan hal tersebut. Perlu dicatat bahwa evaluasi dampak terhadap Empleo en Acción telah menambah “perpustakaan” temuan-temuan evaluasi yang tersedia bagi pemerintah. Temuan-temuan ini seharusnya berguna bagi pemerintah yang kini tengah terlibat dalam perdebatan mengenai perlu atau tidaknya menciptakan sebuah program kerja publik yang baru. Tampaknya tidak ada hubungan antara level yang menjadi fokus SINERGIA—yaitu tujuan kepresidenan—dan fokus proyek yang jauh lebih mikro dari kerja DNP dalam menyiapkan anggaran investasi tahunan. Pada awal setiap pemerintahan empat-tahunan yang baru, DNP, dengan persetujuan presiden, menyerahkan rencana pembangunan nasional kepada Kongres. Hal itu mengindikasikan investasi yang diusulkan untuk periode tersebut. Investasi yang dimasukkan dalam rencana itu menjadi semacam “Bank Program dan Proyek”, yang dari situ investasi-investasi tertentu (dan hanya investasi-investasi tersebut) dapat dipilih untuk dimasukkan di dalam anggaran tahunan berikutnya. Direktorat Investasi dan Keuangan Publik (Dirección de Inversiones y Finanzas Públicas, DIFP) pada DNP menetapkan standar-standar yang harus dipenuhi oleh proyek. Lembaga-lembaga menyiapkan proyek—baik oleh mereka sendiri atau dengan bantuan pihak luar—dan mengirimkannya ke DIFP. Lalu DIFP mengecek apakah proyek-proyek itu memenuhi standar yang telah ditentukan, dan kemudian mengurutkan mereka sesuai dengan daftar prioritas pemerintah. Dalam melakukan seleksi tahunan, DIFP melaksanakan suatu evaluasi ex ante terhadap masing-masing investasi, kendati pada praktinya evaluasi itu lebih berupa “penilaian” teknis daripada sebuah evaluasi formal; tinjauan terhadap metodologi evaluasi DIFP telah diselesaikan baru-baru ini. Kementerian-kementerian dan badan-badan berniat untuk melakukan swa-evaluasi ex post, namun reliabilitas, kredibilitas dan kecermatan dari swa-evaluasi yang dilakukan itu terbuka untuk dipertanyakan, dan telah dipertanyakan oleh DIFP sendiri. Tidak jelas sejauh mana DIFP mampu menggunakan secara signifikan informasi SIGOB ataupun temuan-temuan dari sejumlah evaluasi SINERGIA yang telah diselesaikan sejauh ini. Komite pengeluaran sektoral yang baru dibentuk, yang terdiri dari DIFP, DEPP dan Hacienda, menyediakan suatu forum yang secara potensial penting bagi penggunaan informasi P&E yang dihasilkan SINERGIA di masa datang, khususnya


156

ketika jumlah temuan evaluasi meningkat dengan pesan pada tahun-tahun mendatang sebagai hasil dari agenda evaluasi yang ambisius yang kini tengah dijalankan. Suatu ujian penting tentang relevansi informasi P&E yang dihasilkan SINERGIA hingga saat ini adalah sejauh mana informasi itu digunakan di dalam rencana pembangunan nasional empat-tahun yang baru, yang disiapkan oleh DNP dan diserahkan kepada Kongres pada Nopember 2006. DEPP percaya bahwa DNP dan kementerian-kementerian sektor telah menggunakan secara baik informasi dari SINERGIA untuk merumuskan tujuan-tujuan yang diwujudkan di dalam rencana nasional, serta untuk melaporkan kinerja pemerintah (dan kementerian) dari segi sejauh mana tujuan-tujuan itu telah dicapai. Kerja P&E SINERGIA tampaknya secara umum terpisah dari kegiatan-kegiatan P&E di direktorat lain di bawah DNP, yaitu Direktorat Pembangunan Wilayah Berkelanjutan (Dirección de Desarrolo Territorial Sostenible, DDTS). DDTS bertanggung jawab melakukan pemantauan dan evaluasi18 terhadap kerja pemerintah daerah—1.100 pemerintahan tingkat kota dan 32 departemen yang mengawasi mereka—yang didanai oleh pemerintah pusat. Kualitas informasi yang disediakan kepada DDTS oleh pemerintah tingkat kota dilaporkan buruk, dengan banyak kekurangan dalam data. Perlu dicatat bahwa pemerintah-pemerintah tingkat kota secara terpisah menyediakan informasi yang menjadi sandaran kementerian-kementerian dan badan-badan sektor, yang kemudian dimasukan oleh mereka ke dalam SIGOB. Kerja DDTS pada tingkat pemerintah kota dan juga DEPP—tentang penganggaran berbasis-kinerja di sejumlah pemerintah tingkat kota, misalnya—tidak dikoordinasikan.19 Pemisahan antara anggaran investasi dan anggaran rutin juga berimplikasi pada penggunaan informasi P&E dari SINERGIA dalam persiapan anggaran rutin. Hal ini memunculkan isu tentang pertukaran informasi antara DNP dan Hacienda, koordinasi dan keputusan menyangkut prioritas-prioritas evaluasi. Pilihan untuk menyatukan sisi investasi dan sisi rutin dari anggaran tengah dipertimbangkan saat ini di kalangan pemerintah, namun belum tercapai konsensus. Pada saat ini, struktur anggaran nasional di Kolumbia membatasi cakupan penggunaan informasi P&E. Empat isu lainnya juga akan memengaruhi kemampuan pemerintah untuk menjalankan penganggaran berbasis-kinerja. Pertama adalah keputusan Desember 2005 untuk mengimplementasikan kerangka pengeluaran jangka menengah. Salah satu keuntungan dari kerangka semacam itu adalah kerangka itu memberi kepastian yang lebih besar dalam pembiayaan pada tahun fiskal berikutnya untuk kementerian-kementerian dan kegiatan-kegiatan pemerintah. Hal ini juga dapat menyediakan suatu lingkungan di mana fleksibilitas dan tanggung jawab yang lebih besar diberikan kepada kementerian-kementerian dan badan-badan, dan hal ini dapat digunakan untuk mendukung orientasi kinerja yang lebih besar di dalam pemerintah, seperti diadopsi oleh sejumlah negara anggota OECD. Isu kedua adalah tidak adanya struktur programatis bagi anggaran. “Anggaran berbasis kinerja” DEPP untuk dua tahun terakhir telah melaporkan pengeluaran anggaran yang


157

direncanakan atas dasar program, dan DEPP membangun klasifikasi programatis dari kegiatan-kegiatan secara ad hoc. Namun, anggaran investasi dan anggaran rutin tetap bersandar pada pola penganggaran konvensional berdasarkan item. Laporan anggaran berbasis-kinerja DEPP disertakan sebagai lampiran bagi laporan anggaran konvensional. Ada banyak potensi keuntungan dari pendekatan penganggaran berbasis program.20 Pendekatan ini mengaitkan antara biaya per item (yakni, kegiatan) yang memiliki sasaran yang sama, dan membantu penentuan prioritas program dan pengeluaran. Pendekatan ini juga mempermudah untuk melakukan perluasan, pengurangan atau penghentian program serta kegiatan-kegiatan yang dicakup program tersebut. Pendekatan ini memfasilitasi evaluasi dengan mengelompokkan kegiatan-kegiatan yang terkait, dan juga memfasilitasi penetapan ukuran kinerja awal dan target kinerja. Pendekatan ini membantu mengklarifikasi siapa yang bertanggung jawab atas kinerja. Namun, sementara pendekatan penganggaran berbasis program memfasilitasi penggunaan informasi P&E selama proses anggaran, hal itu bukan prasyarat bagi sistem P&E yang berfungsi dengan baik, yang digunakan secara intensif oleh pemerintah, seperti ditunjukkan oleh kasus Chile. Chile memiliki sistem P&E yang berfungsi paling baik di Amerika Latin, dari segi sebuah sistem P&E yang matang yang digunakan sepenuhnya dalam proses anggaran. Namun demikian, Chile terus bersandar pada penganggaran berdasarkan item atau kegiatan. Isu terkait ketiga bagi Kolumbia adalah lemahnya kaitan antara sistem informasi manajemen keuangan terpadu (Sistema Integral de Información Financiera, SIFF), yang menjadi landasan bagi anggaran, dan SIGOB. Hal ini membuat lebih sulit upaya untuk mengaitkan pengeluaran pemerintah untuk kegiatan-kegiatan tertentu dengan keluaran, hasil dan dampak dari kegiatan-kegiatan tersebut. Dengan demikian, laporan anggaran berbasis kinerja telah melibatkan pencocokan manual informasi kinerja SIGOB dengan data biaya yang dihasilkan SIIF. Chile harus melakukan pencocokan manual serupa—yang menghabiskan waktu—ketika memperkirakan pengeluaran anggaran untuk program-program yang dievaluasi. Terkait dengan ini adalah isu keempat: informasi terbatas yang dimiliki DIFP mengenai pengeluaran aktual pemerintah pada tingkat daerah. Sementara tersedia informasi tentang alokasi anggaran, data tentang pelaksanaan anggaran oleh masing-masing departemen dan pemerintah tingkat kota tidak tersedia. Hal ini membuat keluaran barang dan jasa pemerintah tidak mungkin dibandingkan dengan jumlah dana yang dibelanjakan untuk barang dan jasa tersebut, dan hal ini merupakan kendala bagi penganggaran dan perencanaan yang lebih baik, dan bagi penganggaran berbasis-kinerja. Analisis pendahuluan terhadap kerja DIFP dan DDTS ini menunjukkan bahwa inisiatif-inisiatif P&E dari DEPP secara umum tidak terintegrasi dengan kerja bagian-bagian lain dari DNP. Koordinasi yang lebih erat dari kerja P&E DNP dapat dipandang sebagai prasyarat untuk mewujudkan penganggaran berbasis-kinerja dan perencanaan berbasis-kinerja. Sama halnya, tidak adanya koordinasi P&E dengan kerja penganggaran Hacienda tampaknya akan menjadi kendala bagi penekanan yang lebih besar pada penganggaran berbasis-kinerja oleh kementerian kunci itu.


158

Uji-coba Evaluasi Cepat. Satu perkembangan penting baru-baru ini adalah kerja DEPP, dengan berkonsultasi dengan DIFP, untuk melakukan uji-coba dua evaluasi cepat. Evaluasi itu dimaksudkan untuk menyediakan metode evaluasi yang cepat dan rendah biaya, yang akan melengkapi dengan lebih baik evaluasi-evaluasi dampak yang lebih canggih dan biasanya lebih mahal yang sebagian besar menjadi fokus SINERGIA hingga saat ini. Evaluasi cepat itu akan memperjelas sasaran dari dua program yang tengah dievaluasi, logika rancangan program, serta akan berupaya menilai kegiatan, manajemen, biaya dan kinerja kedua program tersebut. Metodologi inovatif yang dikembangkan DEPP didasarkan atas kombinasi metodologi evaluasi cepat yang digunakan oleh pemerintah Chile dan Amerika Serikat. Metodologi baru itu dinamakan Evaluación Ejecutiva (E2). Diharapkan bahwa evaluasi tersebut dapat diselesaikan dalam waktu 3 bulan dengan biaya masing-masing sekitar 15.000-20.000 dollar. Hacienda tidak terlibat langsung dalam SIGOB maupun evaluasi, dan tidak menggunakan mereka secara langsung. Namun, perkembangan penting lainnya adalah persetujuan Hacienda baru-baru ini untuk melaksanakan uji-coba dua evaluasi cepat tambahan—evaluasi ini pada dasarnya akan berupa kajian terhadap data sekunder (desk reviews), dengan menggunakan metodologi “evaluasi program-program pemerintah” yang digunakan Chile. Hacienda juga menyelidiki kemungkinan mewujudkan penganggaran berbasis-kinerja secara sistematis. Perpaduan Alat-alat P&E. Melakukan uji-coba evaluasi cepat akan menyediakan tambahan penting bagi cakupan informasi P&E yang tersedia untuk pembuatan keputusan anggaran dan perencanaan nasional. Agar penganggaran dan perencanaan dapat berjalan dengan baik, dibutuhkan analisis dan pemberian saran tentang kinerja kegiatan pemerintah yang bercakupan sangat luas—mengenai kegiatan-kegiatan yang sedang berlangsung dan kegiatan-kegiatan baru yang mungkin dipertimbangkan. SIGOB menyediakan informasi kinerja untuk seluruh pengeluaran pemerintah, dan terfokus pada level tujuan kepresidenan. Informasi semacam itu relatif tidak mahal untuk dihasilkan, dan cakupannya pun cukup luas. Namun, keterbatasannya adalah informasi semacam itu tidak hanya memberikan pemahaman yang sedikit atau bahkan tidak ada sama sekali mengenai alasan mengapa tujuan pemerintah tercapai atau tidak tercapai. Sebaliknya, evaluasi dampak SINERGIA memiliki keuntungan berupa kedalaman dan kecermatan. Evaluasi dampak dapat mengidentifikasi hubungan sebab-akibat dan membuktikan secara lebih pasti apakah masing-masing tindakan pemerintah menghasilkan, atau tidak menghasilkan, hasil yang diharapkan. Namun, evaluasi dampak yang canggih biasanya lebih mahal dan menghabiskan waktu.21 Inilah sebabnya mengapa evaluasi cepat merupakan suatu tambahan yang berguna bagi perangkat P&E. Pelaksanaan evaluasi cepat relatif tidak mahal dan memerlukan waktu singkat, dan dapat digunakan untuk mengevaluasi spektrum kegiatan-kegiatan pemerintah yang lebih luas daripada evaluasi dampak yang besar dan hanya dilakukan sekali. Kelemahannya adalah temuan-temuan dari evaluasi cepat kurang dapat diandalkan dibandingkan dengan evaluasi dampak yang canggih. Berbagai alat P&E yang dibahas di sini bersifat saling melengkapi. Masing-masing memiliki kekuatan dan kelemahan, dan masing-masing memiliki peran untuk dimainkan


159

sebagai bagian dari perangkat P&E Kolumbia. Tantangan bagi pemerintah adalah memilih perpaduan yang dapat menghasilkan penggunaan yang paling hemat biaya dari dana yang tersedia untuk P&E. Perlu dicatat bahwa Chile telah berhasil menggunakan berbagai alat P&E dalam siklus anggarannya: Hacienda menggunakan indikator kinerja (sekitar 1.550), tinjauan cepat (14 diselesaikan dalam setiap anggaran), evaluasi dampak canggih (4 diselesaikan per anggaran), dan tinjauan pengeluaran komprehensif terhadap suatu sektor secara keseluruhan (satu per anggaran). Chile mendanai sistem P&E-nya dengan menggunakan dana anggarannya sendiri, tanpa dukungan pendanaan dari pihak donor. 6.3 Dukungan untuk Manajemen berbasis-Hasil oleh Kementerian dan Badan Ada sejumlah lembaga yang telah mengerahkan banyak upaya untuk membangun sistem P&E mereka untuk kepentingan internal mereka sendiri. DEPP memberi berbagai dukungan untuk kementerian-kementerian tersebut, bergantung pada situasinya. Untuk sebagian kementerian, hal itu dapat berupa pemberian saran atau bahkan merintis evaluasi dampak yang canggih, seperti untuk sebagian komponen dari program Familias en Acción. Untuk sebagian kementerian yang lain, dukungan itu berupa bantuan dalam menciptakan sistem pemantauan kementerian, seperti untuk MPS (Kementerian Perlindungan Sosial). Asal-usul dan motivasi yang mendasari penciptaan dan pelembagaan sistem P&E lembaga-lembaga itu perlu diselidiki, guna mengidentifikasi pelajaran-pelajaran yang mungkin dapat diterapkan secara luas di antara lembaga-lembaga pemerintah. Lembaga-lembaga itu termasuk Kementerian Pendidikan Nasional (MEN). MEN memiliki sistem informasi manajemen yang mencakup tujuan dan sasaran program, indikator kinerja, patokan awal, target, dan laporan eksepsi. Data ini dapat dibandingkan dengan SIGOB, namun mencakup lebih banyak indikator kinerja. Salah satu kesulitan yang dihadapi MEN adalah menghasilkan data untuk SIGOB. Meskipun database MEN terperinci, informasi yang disediakan database MEN tidak dapat langsung tersambung dengan SIGOB. Sebaliknya, data MEN harus diambil secara manual dan disesuaikan untuk memenuhi definisi SIGOB. Kemungkinan keterputusan itu antara lain disebabkan level fokus yang berbeda dari kedua sistem itu: SIGOB sangat jelas terfokus pada level tujuan kepresidenan, sementara sistem MEN difokuskan pada upaya melayani kebutuhan-kebutuhan yang jauh lebih spesifik dan terperinci dari perencanaan dan manajemen kegiatan kementerian. Cukup beralasan untuk berasumsi bahwa sebagian besar, jika bukan seluruh, kementerian dan badan yang lain menghadapi kesulitan yang lebih besar dalam menyediakan data untuk SIGOB. Tidak jelas apakah ada peluang untuk mencapai keselarasan yang lebih besar menyangkut indikator kinerja—dari segi definisi data, periode, cakupan geografis dan seterusnya—antara sistem SIGOB keseluruhan pemerintah dan sistem kementerian/badan. Lembaga lain yang perlu dicatat adalah Lembaga Kesejahteraan Keluarga Kolumbia (ICBF), yang telah membentuk kantor evaluasinya sendiri guna membantu manajemen


160

dan perencanaan ICBF. Kantor evaluasi ini telah menyiapkan panduan evaluasi, dan mengawasi evaluasi dampak canggih yang dikontrakkan oleh ICBF ke kalangan akademisi dan konsultan. (ICBF juga melaksanakan beberapa jenis evaluasi lainnya.) ICBF membiayai berbagai evaluasi dampak dengan bermitra dengan Bank Dunia (melalui pinjaman sektor sosial), IADB dan DEPP. ICBF juga memperoleh bantuan teknis dari lembaga-lembaga tersebut. Sebagian evaluasi terhadap program-program ICBF telah dipimpin oleh donor multilateral. Keseluruhan anggaran ICBF sekitar 500 juta dollar, sedangkan anggaran evaluasi ICBF diperkirakan sekitar 2 juta dollar pada 2006 (dibandingkan dengan 3 juta dollar pada 2005, ketika ICBF membiayai survei besar tentang gizi). Seluruh evaluasi dampak yang dilakukan ICBF dianggap oleh DNP berada di bawah dukungan SINERGIA. Sistem P&E kementerian/badan dapat diperkirakan mempermudah lembaga-lembaga untuk memuaskan kebutuhan informasi SINERGIA, namun sistem itu harus dipandang sebagai sesuatu yang cukup berbeda dari SINERGIA, yang sasarannya sangat terfokus pada level pemerintah secara keseluruhan. Dan, lembaga-lembaga dengan praktik sistem P&E yang baik tampaknya merupakan pengecualian. Seperti telah dikemukakan sebelumnya, praktik P&E belum diadopsi secara luas oleh berbagai kementerian dan badan di tubuh pemerintahan. Sebuah diagnosis mendalam perlu dilakukan untuk mengetahui apakah kementerian-kementerian dan badan-badan sektor banyak menggunakan dua komponen informasi utama SINERGIA: SIGOB dan evaluasi dampak serta evaluasi-evaluasi lainnya. Dengan kata lain, apakah kebanyakan lembaga sekadar merupakan pemasok data, yang dihasilkan secara ad hoc, untuk SINERGIA? 7. SINERGIA: Kekuatan, Tantangan dan Arah di Masa Datang 7.1 Kekuatan dan Tantangan Pemerintah Kolumbia telah mencapai keberhasilan penting dalam menciptakan dan memperkuat SINERGIA. Ini adalah salah satu sistem P&E keseluruhan pemerintah yang paling kuat di Amerika Latin, dari segi jenis-jenis P&E yang dilakukan, kredibilitasnya secara keseluruhan, dan penggunaannya. Kemajuan ini sebagian besar telah dicapai sejak 2002. Pembentukan sistem SIGOB untuk memantau kemajuan dalam mencapai tujuan kepresidenan sangat luar biasa, demikian pula penggunaan sistem ini secara intensif oleh presiden, kantor kepresidenan dan DNP. Bahkan, peran presiden sebagai pendukung utama, sekaligus pengguna, sistem pemantauan semacam itu merupakan hal yang belum pernah terjadi sebelumnya di kawasan itu. Agenda evaluasi dampak yang ambisius juga mengesankan. Dokumen kebijakan CONPES tentang SINERGIA (no. 3294) mendaftar empat tantangan yang dihadapi sistem P&E ini: (1) tidak adanya kerangka konseptual tunggal yang jelas; (2) perlunya memperjelas peran dan tanggung jawab dari organisasi-organisasi yang mendukung SINERGIA; (3) tidak adanya kaitan yang jelas antara perencanaan, penganggaran dan evaluasi; dan (4) masalah-masalah yang berkaitan dengan ketersediaan dan frekuensi data, serta yang berkaitan dengan kontrol kualitas data.


161

Diagnosis cepat ini juga menyimpulkan bahwa isu-isu mendasar ini perlu diatasi. Tantangan utama yang dihadapi oleh setiap sistem P&E pemerintah adalah pelembagaan sepenuhnya sistem itu. Hal ini tidak hanya melibatkan penciptaan sebuah sistem yang dapat menyediakan data yang berkualitas baik, tetapi juga di mana informasi digunakan secara intensif dalam mendukung tata kelola pemerintahan yang baik, dan di mana sistem itu sepenuhnya berkelanjutan—dengan kata lain, sebuah sistem yang memiliki peluang untuk dapat bertahan kendati menghadapi pergantian pemerintahan, dan terus diandalkan oleh pemerintahan-pemerintahan yang akan datang. Definisi tentang sistem P&E yang “berhasil” tersebut menyediakan tolok ukur yang dengannya SINERGIA dapat dibandingkan. Definisi itu juga menyediakan titik tujuan yang berdasarkan itu berbagai opsi perkembangan sistem itu di masa datang, serta berbagai opsi dukungan Bank Dunia, seharusnya dirumuskan. Penggunaan informasi SINERGIA penting bagi kepentingan akuntabilitas: akuntabilitas presiden kepada masyarakat sipil dan Kongres, dan akuntabilitas para menteri (dan kementerian mereka) kepada presiden. Tampaknya, penekanan unik pada akuntabilitas ini mungkin tidak akan terus setinggi ini ketika presiden saat ini meninggalkan jabatannya pada 2010. Namun, jika di tengah perjalanan proses dan dukungan rakyat terhadap akuntabilitas presiden, maka akan terus ada permintaan atau tuntutan terhadap jenis informasi yang disediakan oleh SIGOB. Baru-baru ini DEPP telah menyusun draf dokumen CONPES yang dimaksudkan untuk menetapkan pedoman kebijakan bagi akuntabilitas pemerintah dan kontrol sosial. DEPP percaya bahwa informasi SINERGIA juga telah digunakan oleh bidang perencanaan DNP dan oleh kementerian-kementerian sektor dalam kerja mereka dalam menyiapkan rencana pembangunan nasional 2006-2010. Namun, isu ini belum diselidiki secara lebih mendalam. Hanya ada sedikit bukti bahwa empat potensi penggunaan lainnya dari informasi P&E yang dihasilkan SINERGIA telah diwujudkan secara signifikan sejauh ini, yaitu: (1) untuk mendukung pengalokasikan sumber daya dan pengambilan keputusan dalam anggaran nasional; (2) untuk memastikan kesatupaduan tindakan pemerintah terkait dengan prioritas-prioritas pembangunan; (3) untuk membantu kementerian-kementerian sektor dalam tugas perencanaan dan pengembangan kebijakan; dan (4) untuk mendukung manajemen kegiatan-kegiatan pemerintah yang dilaksanakan oleh kementerian-kementerian dan badan-badan. Tinjauan mendalam terhadap penggunaan informasi P&E oleh kementerian-kementerian dan badan-badan sektor mungkin akan memperlihatkan pula bahwa penggunaan informasi SIGOB oleh presiden telah mendorong sebagian dari kementerian dan badan tersebut menggunakan informasi itu secara serius dalam kerja perencanaan dan pengembangan kebijakan mereka. Dan, kemungkinan dengan semakin meningkatnya jumlah evaluasi dampak canggih dan evaluasi cepat yang diselesaikan pada tahun-tahun mendatang, informasi tersebut akan semakin digunakan untuk kepentingan anggaran dan perencanaan nasional—meskipun adalah suatu kekeliruan untuk menganggap bahwa tersedianya temuan-temuan evaluasi akan secara otomatis akan berdampak pada penggunaan temuan-temuan tersebut.22


162

Isu yang terus mengemuka adalah tentang kualitas, ketersediaan dan biaya dari data yang digunakan oleh SINERGIA serta oleh kementerian-kementerian dan badan-badan untuk tugas mereka sendiri. Salah satu kesulitannya adalah tidak adanya penyelarasan definisi data. Kesulitan yang lain adalah tidak adanya audit data formal. Biaya evaluasi dampak menjadi semakin meningkat akibat kebutuhan untuk memperoleh informasi yang lebih terperinci daripada yang disediakan oleh survei rumah tangga berkala yang dilakukan oleh kantor statistik nasional (Departamento Administrativo Nacional de Estadística, DANE),23 maupun dari data administratif yang dihasilkan oleh lembaga-lembaga. Tampaknya, di sini ada peran penting yang dapat dimainkan baik oleh DANE maupun komite koordinasi data tingkat tinggi (Comisión Intersectorial de Políticas y Gestión de Información para la Administración Pública, COINFO, atau Komite Antarsektor untuk Kebijakan dan Manajemen Informasi), yang dibentuk pada 2003. Pemerintah telah menyadari kesulitan-kesulitan ini dan telah memutuskan untuk memberi prioritas yang tinggi pada upaya memperkuat data administratif dan data lainnya, misalnya, dengan mempromosikan penyelarasan data yang lebih besar; pengumpulan secara berkala data inti mengenai sosio-ekonomi, kesehatan dan gizi; dan pengembangan standar minimum data. Pemerintah telah memberi sinyal mengenai kebutuhan untuk meningkatkan koordinasi data melalui pemberian dukungan kepada DANE maupun COINFO. Agenda evaluasi juga cukup mahal. Biaya evaluasi dampak yang saat ini sedang berlangsung atau baru diselesaikan adalah 7,42 juta dollar, dengan tambahan 2,46 juta dollar yang akan digunakan untuk membiayai evaluasi-evaluasi baru yang direncanakan untuk lima tahun mendatang. Sementara agenda evaluasi ini mungkin terlihat mahal, biaya tersebut hanya mewakili jumlah persentase yang sangat kecil dari total pengeluaran pemerintah untuk program-program yang dievaluasi. Dengan demikian, evaluasi-evaluasi itu hanya perlu menghasilkan sedikit perbaikan saja dalam efektivitas pengeluaran pemerintah untuk membuat mereka menjadi sangat hemat biaya. Ada cara-cara di mana biaya evaluasi dapat dikurangi secara signifikan, meskipun sebagian dari opsi tersebut memerlukan waktu beberapa tahun untuk dapat dicapai (Bamberger, 2006). Sejumlah evaluasi besar harus mengumpulkan data melalui survei besar, sekali, yang mahal. Kebutuhan untuk survei-survei ad hoc semacam itu dapat dikurangi melalui perluasan kumpulan data statistik nasional, seperti database longitudinal yang menelusuri sampel dari populasi dari waktu ke waktu. Ketersediaan data yang lebih siap juga akan mengurangi lamanya waktu yang diperlukan untuk melakukan sebuah evaluasi dampak. Perluasan kumpulan data statistik nasional itu sendiri tentu saja akan memerlukan biaya yang mahal, dan akan membutuhkan waktu beberapa tahun, namun akan membantu meningkatkan lebih lanjut efektivitas-biaya SINERGIA. Opsi lainnya adalah lebih banyak bersandar pada konsultan evaluasi lokal, daripada konsultan internasional yang mahal. DEPP menggunakan evaluasi-evaluasi yang jumlahnya semakin meningkat ini sebagai peluang untuk meningkatkan suplai domestik para pengevaluasi yang kapabel. Pemerintah kini tengah menerapkan strategi yang ambisius dan bercakupan luas untuk memperkuat SINERGIA. Inisiatif-inisiatif tersebut antara lain meliputi:


163

• SIGOB • Dukungan untuk replikasi database sejenis SIGOB yang telah ditingkatkan di

pemerintahan tingkat kota yang menjadi percontohan (Medellín dan Pasto). • Agenda evaluasi dampak dan evaluasi lainnya, yang dilakukan secara bersama

dengan DNP/DEPP, kementerian/badan sektor sosial, dan lembaga donor. • Pengembangan metodologi evaluasi cepat, dan program percontohan kini tengah

direncanakan oleh DEPP/DIFP dan di Hacienda. • Upaya-upaya untuk terlibat langsung dengan masyarakat sipil, untuk mendorong

penggunaan informasi P&E. • Persiapan laporan kinerja pemerintah kepada presiden, Kongres dan masyarakat sipil. • Persiapan laporan anggaran berbasis-kinerja, yang mengaitkan kegiatan-kegiatan

rencana pembangunan nasional dengan biaya yang telah ditetapkan, berdasarkan program dan berupa percontohan.

• Dukungan untuk upaya penganggaran berbasis-kinerja di pemerintah tingkat kota (Medellín dan Pasto), dengan tujuan untuk mengarusutamakan program-program percontohan tersebut.

• Upaya-upaya untuk mengoordinasikan produksi informasi yang memasok sistem P&E, dan untuk memastikan kualitas informasi—dengan penekanan khusus pada pencatatan data untuk program-program subsidi.

• Ketentuan dalam Konstitusi, undang-undang, peraturan dan dekrit tentang evaluasi; pernyataan kebijakan CONPES tentang P&E.

• Dukungan untuk Komite Antarsektor untuk Evaluasi dan Manajemen Hasil • Dukungan untuk COINFO Strategi bercakupan luas ini bersifat oportunistik, dan hal ini sepenuhnya tepat karena dua alasan. Pertama, penting untuk menguji-coba sejumlah inisiatif untuk melihat inisiatif-inisiatif mana yang paling berhasil dalam konteks Kolumbia. Membangun suatu sistem P&E keseluruhan pemerintah adalah sebuah seni, bukan sains, dan sering kali sulit untuk menilai inisiatif-inisiatif mana yang mungkin berhasil. Tidak satu pun dari pemerintah yang telah berhasil membangun sistem P&E keseluruhan pemerintah melakukannya dengan model yang linier dan dapat diramalkan, di mana seluruh sistem dapat dibayangkan dengan jelas sejak awal dan kemajuan dibuat secara bertahap, langkah demi langkah, untuk mencapai visi tersebut. Sebaliknya, negara-negara yang berhasil seperti Chile, Australia dan Kanada, telah memulainya dengan semacam gambaran tentang seperti apakah sistem P&E yang “berhasil”, tetapi juga berusaha menciptakan sistem keseluruhan pemerintah dengan cara yang oportunistik, yaitu menyesuaikan rencana mereka dengan peluang-peluang yang muncul dan kendala-kendala yang dihadapi. Berbagai peluang dan kendala tersebut bukan hanya khas negara, tetapi juga khas pemerintah, sesuai dengan kekuatan dan kelemahan masing-masing kementerian dan lembaga-lembaga lain (seperti kantor audit nasional), dan sesuai dengan tingkat komitmen terhadap fokus hasil dari para pemangku kepentingan di dalam pemerintah. Datang dan perginya seorang kampiun P&E seperti Presiden Uribe jelas sangat berpengaruh, namun hal itu merupakan sesuatu yang tidak dapat diduga. Sama halnya, pertimbangan Hacienda tentang kemungkinan menerapkan penganggaran berbasis kinerja memberi jendela peluang yang jelas untuk mewujudkan penggunaan informasi SINERGIA yang secara potensial signifikan.


164

Kelemahan dari pendekatan yang oportunistik ini adalah tidak adanya kaitan kuat antara berbagai inisiatif tersebut. Dari sudut pandang ini, dapat dikatakan bahwa SINERGIA bukanlah sebuah sistem P&E yang cukup terintegrasi, melainkan merupakan kumpulan kegiatan-kegiatan yang terkait dengan kinerja dengan dua komponen utama (yang pada dasarnya tidak terkait): SIGOB dan agenda evaluasi dampak. Selain bermacam-macamnya inisiatif tersebut, dukungan donor juga terlihat sangat terpecah-pecah. Karena SINERGIA kini memasuki periode konsolidasi, maka penekanan yang lebih besar perlu diberikan pada upaya mencapai koordinasi yang lebih baik di antara lembaga-lembaga donor. Salah satu praktik yang baik dari manajemen SINERGIA yang dilakukan DEPP adalah keinginannya untuk mengangkat berbagai pendekatan, metode dan hasil SINERGIA ke dalam perdebatan publik melalui berbagai konferensi internasional yang disponsori DEPP—pada 2004, 2006 dan setiap tahun di masa akan datang.24 Berbagai konferensi itu juga menjadi forum di mana rencana untuk memperkuat sistem P&E nasional dapat diperdebatkan. Peninjauan dan penyesuaian terus menerus strategi-strategi yang mendasari sistem P&E nasional sangat diperlukan. Argumen kedua untuk strategi bercakupan luas adalah pelembagaan SINERGIA dapat diharapkan menjadi lebih kuat, dengan semakin besarnya orientasi kinerja dari berbagai pemangku kepentingan di dalam maupun di luar pemerintahan—seperti kementerian/badan sektor, pemerintah daerah, Contraloria, Kongres, dan masyarakat sipil. Tuntutan dari para pemangku kepentingan itu terhadap informasi P&E mungkin akan terus bertambah dan saling memperkuat. Hal itu mungkin juga akan mengarah pada upaya-upaya untuk memperkuat sisi suplai P&E—seperti perbaikan kualitas data yang dipasok ke dalam SIGOB, dan dalam hal ketersediaan data untuk evaluasi. Karena itu, semakin besar sinergi di antara inisiatif-inisiatif P&E yang berorientasi kinerja, semakin besar peluang bagi SINERGIA untuk berkembang. Namun, kelemahan dari kompleksitas semacam ini adalah semakin bertambahnya beban yang harus dipikul DEPP berkenaan dengan manajemen dan koordinasi. Oleh sebab itu, perlu dicapai keseimbangan yang hati-hati antara keluasan dan kedalaman. Ada banyak kegiatan-kegiatan yang terkait dengan kinerja yang tidak berada langsung di bawah pengawasan SINERGIA—seperti kerja evaluasi proyek yang dilakukan DIFP dan lembaga-lembaga, penilaian kinerja pemerintah kota oleh DDTS, dan sistem-sistem P&E yang diciptakan oleh lembaga-lembaga sektor sosial untuk kepentingan internal mereka. Sejauh kegiatan-kegiatan lain yang terkait dengan kinerja itu diperkuat, hal itu akan menyediakan pembuktian yang berguna mengenai nilai P&E, yang pada gilirannya akan memperkuat pelajaran bagi kementerian-kementerian dan badan-badan lain, dan juga akan membantu memperkuat legitimasi P&E (dan SINERGIA) di dalam pemerintah. DNP perlu mempertimbangkan secara hati-hati sejauh mana DEPP terlibat dalam berbagai upaya tersebut, yang banyak dari upaya-upaya itu tidak terkait langsung dengan perkembangan SINERGIA. Hubungan yang paling jelas antara SINERGIA dan kegiatan-kegiatan P&E lainnya tersebut muncul dari kebutuhan untuk terwujudnya penyelerasan persyaratan, standar dan prosedur data. Namun, sejauh mana terjadi tumpang-tindih aktual (atau potensial) antara SINERGIA dan sistem-sistem serta kegiatan-kegiatan P&E


165

lainnya tidak begitu jelas. Ini merupakan isu lain yang membutuhkan tinjauan yang mendalam. Upaya-upaya DEPP untuk melembagakan SINERGIA dapat digolongkan ke dalam tiga kategori secara berturut-turut: pembuktian; perluasan; dan konsolidasi (Tabel B.3). Hal itu selanjutnya dapat dikategorikan lagi menjadi: upaya-upaya yang memiliki semacam keberhasilan, upaya-upaya yang tingkat keberhasilannya tidak pasti, dan upaya-upaya yang menghadapi tantangan-tantangan yang nyata. Namun, tingkat keberhasilan tidak dapat dinilai secara jelas, dan idealnya perlu dilakukan sebuah diagnosis mendalam untuk menilai hal tersebut secara lebih pasti. Kemajuan pelembagaan SINERGIA seharusnya juga terus menerus dipantau, melalui indikator dan target kinerja yang telah disepakati, dan evaluasi berkala. Karena itu, pemerintah harus menaruh harapan yang tinggi pada SINERGIA dengan melakukan pemantauan dan evaluasi berkala yang kredibel terhadapnya. Ini merupakan potensi peran yang penting dari Komite Evaluasi Antarsektor. Tabel B.3: Tahap-tahap Pematangan Kegiatan SINERGIA Demonstrasi Ekspansi Konsolidasi Lebih sukses • Percontohan SIGOB

di pemerintah tingkat kota

• SIGOB • Evaluasi dampak

Tidak jelas • Percontohan evaluasi cepat

• Percontohan penganggaran berbasis-kinerja di pemerintah tingkat kota

• “Insentif kelembagaan”, berupa pengakuan publik terhadap organisasi dan pegawai negeri yang berkinerja tinggi

• Laporan anggaran berbasis-kinerja

• Laporan yang mudah dibaca tentang informasi P&E (untuk masyarakat sipil dan Kongres)

• Kerangka kelembagaaan untuk akuntabilitas (draf dokumen CONPES)

• Kerangka regulasi, termasuk Komite Evaluasi Antarsektor

Kurang sukses

• Keterlibatan langsung dengan masyarakat sipil

Jelas bahwa kegiatan-kegiatan dalam rangka pembuktian hanya perlu diperluas jika kegiatan-kegiatan itu telah mencapai ukuran keberhasilan tertentu. Kegiatan-kegiatan pada tahap perluasan, seperti laporan anggaran (investasi) berbasis kinerja, dapat diperluas hingga mencakup anggaran rutin. Kegiatan-kegiatan pada tahap kematangan,


166

seperti kerja Komite Evaluasi Antarsektor—yang peran, tanggung jawab dan anggota-anggotanya masih perlu ditentukan sepenuhnya—akan terbantu untuk meningkat dan mencapai konsolidasi secara cepat. 7.2 Opsi-opsi untuk konsolidasi SINERGIA Dalam kerangka ini, dan dengan adanya jendela peluang yang khas selama tiga setengah tahun ke depan periode kedua pemerintahan Presiden Uribe, langkah-langkah apa yang mungkin memiliki potensi paling besar untuk mencapai tingkat pelembagaan SINERGIA yang tinggi, serta memaksimalkan prospek kesinambungannya? Prioritas-prioritas untuk mengonsolidasikan SINERGIA tampaknya mencakup hal-hal berikut: • Memastikan pendekatan perencanaan evaluasi yang strategis dan jauh lebih terfokus,

di bawah kepemimpinan Komite Evaluasi Antarsektor, guna menjamin bahwa keluasan dan kedalaman evaluasi-evaluasi SINERGIA mendukung sebaik-baiknya pembuatan keputusan anggaran oleh pemerintah dan perencanaan nasional.

• Menumbuhkan rasa kepemilikan yang jauh lebih besar terhadap informasi SINERGIA di kalangan kementerian-kementerian dan badan-badan sektor melalui keterlibatan mereka yang lebih luas di dalam Komite Evaluasi Antarsekor, serta melalui peran, tanggung jawab dan fungsi yang lebih jelas bagi Komite.

• Memberikan kepada Komite Evaluasi Antarsektor tanggung jawab untuk mempertimbangkan dan menyetujui rekomendasi-rekomendasi dari berbagai evaluasi yang akan diselesaikan pada tahun-tahun mendatang, dan untuk memastikan pelaksanaan rekomendasi-rekomendasi tersebut dengan melakukan pemantauan terhadapnya secara cermat.

• Mewujudkan efek pembuktian, mendorong berbagai kementerian dan badan sektor untuk melakukan evaluasi melalui pembentukan semacam dana evaluasi untuk mendukung berbagai evaluasi dampak dan evaluasi cepat. Dana tersebut, yang idealnya diawasi oleh Komite Evaluasi Antarsektor, dapat membantu memastikan keberlanjutan agenda evaluasi pemerintah. Hal itu juga dapat menarik pendanaan dari pihak donor.

• Mendukung program percontohan evaluasi cepat yang akan diujicobakan oleh Hacienda dan DNP, dengan maksud agar jika program percontohan itu dinilai berhasil, maka hal ini akan mempercepat perluasan dan konsolidasi evaluasi tersebut. Mendukung terwujudnya kerja sama erat di antara kedua kementerian ini dalam upaya-upaya tersebut.

• Melakukan identifikasi terhadap praktik yang baik dari berbagai pendekatan P&E yang diadopasi oleh lembaga-lembaga sektor sosial (seperti MEN dan ICBF), dan menggunakan hal ini sebagai dasar bagi Komite Evaluasi Antarsektor untuk menetapkan fungsi-fungsi khusus P&E yang harus dilaksanakan oleh seluruh kementerian dan badan.

• Memperkuat pemerintah-pemerintah kota yang tengah melakukan uji coba penerapan penganggaran berbasis-kinerja, dan memperluas proyek percontohan itu hingga mencakup pemerintah-pemerintah kota yang jauh lebih lemah. Hal ini dimaksudkan agar jika proyek percontohan itu terbukti berhasil dan dapat ditiru-terapkan, maka


167

pendekatan itu akan terkonsolidasi pada pemerintah tingkat daerah—yang melibatkan standar dan persyaratan yang ditetapkan oleh pemerintah pusat.

• Memastikan lebih terjaminnya kualitas data yang disediakan oleh kementerian, badan dan pemerintah daerah untuk SIGOB—audit data independen akan diperlukan jika tingkat kredibilitas data SIGOB yang tinggi hendak dicapai.

• Melakukan tinjauan terhadap berbagai sistem data yang dipelihara oleh kementerian-kementerian pusat, dalam rangka mewujudkan penyelarasan, penyederhanaan dan koordinasi guna menyiapkan seperangkat standar dasar untuk data administratif.

• Memastikan bahwa baik DANE maupun COINFO memainkan peran penting untuk menjamin kualitas data yang digunakan oleh SINERGIA—di dalam SIGOB dan evaluasi—dan untuk mengurangi biayanya.

• Mengeksplorasi cara-cara untuk mengurangi lebih jauh biaya evaluasi dampak yang dilakukan di bawah SINERGIA—seperti melalui perluasan kumpulan data statistik nasional, dan lebih mengandalkan konsultan evaluasi lokal.

• Mewujudkan kaitan penting antara tujuan pembangunan negara, kebijakan (yang distrukturkan secara tepat), program dan proyek; hanya setelah kaitan itu dibangun, maka baru dapat dilakukan evaluasi yang memadai terhadap tujuan kepresidenan. Evaluasi-evaluasi kebijakan semacam itu hendaknya diujicobakan.

8. Kesimpulan SINERGIA merupakan sebuah sistem P&E keseluruhan pemerintah yang berjalan dengan baik. Tantangan utama yang kini dihadapi adalah pelembagaan sepenuhnya SINERGIA, sehingga sistem itu akan terus berkembang dan mendukung tata kelola pemerintahan yang baik meskipun terjadi pergantian pemerintahan. Agar SINERGIA sepenuhnya berkelanjutan, dibutuhkan upaya memperkuat sisi suplai dan sisi permintaan dari P&E, yang kedua sisi itu saling terkait erat. Sisi suplai dapat diperkuat dengan cara meningkatkan kualitas dan kredibilitas informasi pemantauan, mengurangi biaya pasokan data, serta meningkatkan volume dan jangkauan dari jenis-jenis evaluasi yang dilakukan. Sisi permintaan atau tuntutan dapat diperkuat dengan cara menumbuhkan kesadaraan dan keyakinan yang lebih besar terhadap informasi pemantauan dan temuan-temuan evaluasi yang dihasilkan sistem tersebut—kesadaran di kalangan para menteri, pegawai negeri dan masyarakat sipil. Penggunaan lebih besar informasi P&E akan memerlukan para menteri dan kementerian mereka—terutama Presidencia, DNP dan Hacienda—memainkan peran yang menonjol dan bahkan lebih berpengaruh dalam mendukung kegunaan informasi P&E yang dihasilkan oleh SINERGIA. Dukungan ini akan memerlukan lebih dari sekadar advokasi, dan perlu mencakup langkah-langkah untuk memastikan penggunaan informasi P&E guna mendukung pembuatan keputusan anggaran dan perencanaan nasional, dan akuntabilitas sosial. Para menteri sektor dan kementerian mereka juga berperan untuk memastikan penggunaan informasi P&E, dalam perencanaan dan pengembangan kebijakan sektor sosial, dan dalam manajemen kegiatan-kegiatan pemerintah oleh berbagai kementerian dan lembaga. Penggunaan informasi P&E oleh mereka diharapkan mencakup baik


168

informasi yang dihasilkan oleh SINERGIA maupun informasi P&E yang dikumpulkan oleh kementerian mereka sendiri. Dengan demikian, pada sisi permintaan maupun sisi suplai, diperlukan kejelasan dan fokus yang lebih besar menyangkut peran, tanggung jawab dan akuntabilitas P&E. Dikemukakan argumen di sini bahwa CONPES dan Komite Antarsektor untuk Evaluasi dan Manajemen Hasil hendaknya memainkan peran penting dalam melakukan pengawasan terhadap SINERGIA dan memastikan pelembagaan sepemuhnya guna memperkuat lebih jauh tata kelola pemerintahan yang baik.

Lampiran C : Kerangka Acuan Diagnosis Mendalam terhadap Sistem P&E Kolumbia

169

LAMPIRAN C KERANGKA ACUAN DIANGOSIS MENDALAM TERHADAP SISTEM P&E KOLUMBIA Pendahuluan Sejak 1990 pemerintah Kolumbia telah berupaya untuk membangun sistem P&E yang kokoh dan berkesinambungan. Bank Dunia dan lembaga-lembaga donor lain telah memberikan berbagai dukungan bagi upaya tersebut, baik berupa pinjaman maupun bantuan teknis. Tujuan dari penugasan saat ini adalah untuk menyiapkan sebuah diagnosis mengenai kekuatan dan kelemahan yang dihadapi upaya pelembagaan P&E di Kolumbia. Perhatian khusus, namun bukan satu-satunya, akan diberikan pada sistem P&E pemerintah, yaitu SINERGIA. Bank Dunia telah menerbitkan sebuah panduan yang memberikan ulasan umum mengenai berbagai konsep dan isu, dan akan digunakan untuk membantu diagnosis ini. Tugas Kerangka acuan (TOR) ini menguraikan tugas-tugas yang akan dijalankan dalam penugasan ini. 1. Menyiapkan diagnosis, dengan panjang sekitar 60-80 halaman, yang memberikan

ulasan umum mengenai pendekatan P&E pemerintah Kolumbia, dengan fokus khusus pada SINERGIA. Ragam isu yang akan dibahas di dalam paper ini akan meliputi hal-hal sebagai berikut (dan daftar yang lebih panjang mengenai isu-isu tersebut disertakan di dalam lampiran TOR ini): • Asal-usul pendekatan P&E pemerintah • Kerangka hukum dan kelembagaan • Penggunaan P&E untuk kontrol politik dan sosial • Peran P&E dalam anggaran • Peran P&E dalam persiapan rencana pembangunan nasional • Penggunaan P&E oleh kementerian/lembaga sektor • P&E dan manajemen berbasis-hasil • Jenis dan kualitas P&E yang dilakukan di bawah SINERGIA • Kerja P&E lainnya di bawah pengawasan SINERGIA • Strategi P&E Kolumbia secara keseluruhan • Kesimpulan dan ringkasan rekomendasi

2. Persiapan paper diagnosis diharapkan melibatkan tinjauan terhadap berbagai analisis

dan laporan yang telah ada mengenai SINERGIA dan mengenai reformasi sektor publik terkait. Hal itu juga memerlukan pengenalan lebih jauh mengenai produk-produk SINERGIA dan kerja unit di DNP (Direktorat Evaluasi Kebijakan Publik)


170

3. yang mengelola sistem tersebut. Kepala unit tersebut, Bapak/Ibu [sisipkan nama], akan menjadi pejabat penghubung dari pihak pemerintah untuk kepentingan diagnosis ini. Diharapkan juga dilakukan wawancara terhadap para informan kunci dari kalangan pemerintah, Kongres, masyarakat sipil dan komunitas donor.

4. Anda akan menyelesaikan paper tersebut, yang ditulis dalam bahasa Inggris, pada

[sisipkan tanggal]. Anda akan diberi tiket pesawat kelas bisnis ke Kolumbia, dan akan diberi pengganti untuk biaya hotel dan biaya-biaya lainnya menurut standar per diem Bank Dunia. Anda akan dibayar sebesar $ [masukkan angka] setelah menyelesaikan paper diagnosis ini dengan memuaskan.


171

LAMPIRAN Diagnosis Sistem P&E Kolumbia—Isu-isu lebih terperinci Asal-usul Pendekatan Pemerintah Bagaimana asal-usul P&E di Kolumbia? Siapa yang mendorong prakarsa ini dan mengapa? Bagaimana SINERGIA berkembang dari waktu ke waktu, dan peristiwa dan situasi utama apa yang mendasari evolusi SINERGIA? Apa tujuan-tujuan yang telah dinyatakan dari SINERGIA (misalnya, perencanaan nasional atau sektoral; pembuatan keputusan anggaran; manajemen program berkelanjutan atau manajemen berbasis-hasil; hubungan akuntabilitas dengan DNP dan Hacienda, dengan kantor kepresidenan, dengan Kongres, dengan kementerian sektor, dengan masyarakat sipil—“kontrol sosial”), dan apakah tujuan-tujuan yang telah dinyatakan itu mengalami perubahan dari waktu ke waktu? Bagaimana prioritas untuk P&E dinyatakan, dari segi kaitan langsung dan tidak langsung, dalam konteks reformasi sektor publik utama di Kolumbia? Jenis-jenis P&E apa yang ditekankan ketika SINERGIA berkembang dalam tiga tahap selama periode tersebut (yaitu sejak 1991)? Kerangka Hukum dan Kelembagaan Apa undang-undang, peraturan, dan sebagainya, yang mengatur sistem P&E di Kolumbia (misalnya, ketentuan konstitusi, dokumen kebijakan CONPES, dan seterusnya)? Siapa yang bertanggung jawab untuk memantau berbagai peraturan dan perundang-undangan tersebut, dan bagaimana berbagai peraturan dan perundang-undangan itu diterapkan? Apakah terdapat kekurangan dan tumpang-tindih di dalam berbagai peraturan dan perundang-undangan tersebut? Apa kerangka kelembagaan bagi berlangsungnya P&E? Apa peran DNP, Komite Antarsektor untuk Evaluasi dan Manajemen Hasil, CONPES, kementerian sektor, dan seterusnya, dalam pelaksanaan evaluasi? Apa peran/tanggung jawab lain dari para pemangku kepentingan utama di dalam SINERGIA?—DNP, Hacienda, kantor kepresidenan, kementerian dan lembaga sektor, Contraloria, tingkat pemerintahan yang lebih rendah, dan Kongres? Insentif apa yang tersedia bagi para pemangku kepentingan tersebut untuk menangani P&E secara serius? Seberapa kuat tuntutan terhadap informasi P&E? Penggunaan P&E untuk kontrol politik dan sosial Seberapa penting dukungan presiden saat ini terhadap SINERGIA? Bagaimana presiden menggunakan informasi dari SINERGIA? Seberapa efektif P&E dari segi perbaikan kualitas implementasi kebijakan publik? Kesuksesan/kegagalan terbesar apa yang ada selama ini? Apakah Kongres menuntut informasi tentang kinerja sektor publik? Apakah Kongres menggunakan informasi P&E yang disediakan lewat SINERGIA? Apakah Kongres memiliki struktur insentif yang memadai? Informasi apa yang tersedia untuk publik, dan bagaimana informasi itu digunakan? Seberapa kredibel informasi P&E SINERGIA di mata masyarakat sipil? Bagaiamana penggunaan data P&E ditingkatkan guna mewujudkan akuntabilitas yang lebih besar?


172

Peran P&E dalam anggaran Bagaimana penggunaan aktual informasi P&E dari SINERGIA oleh DNP (DIFP) dan Hacienda selama berbagai tahap proses anggaran (yang terpisah)—yaitu, untuk mendukung perencanaan dan pemberian saran kebijakan, pembuatan keputusan anggaran, tinjauan kinerja, dan pelaporan anggaran? Apa implikasi dari pemisahan anggaran rutin/investasi dan apa implikasi dari tingkat kekakuan yang sangat tinggi dari anggaran dalam jangka pendek? Seberapa berguna inisiatif DNP untuk menyajikan dokumen pelengkap untuk anggaran investasi, yang melaporkan keluaran pemerintah berdasarkan program? Jenis penganggaran berbasis-kinerja seperti apa yang layak diterapkan di Kolumbia? Aapakah ada keterputusan antara kerja P&E kementerian-kementerian sektor dan penggunaan informasi P&E dalam proses anggaran? Peluang-peluang apa yang tersedia untuk memperkuat peran P&E dalam anggaran? Peran P&E dalam Menyiapkan Rencana Pembangunan Nasional Sejauh mana DNP pada kenyataannya menggunakan informasi P&E dari SINERGIA dalam pengembangan Rencana Pembangunan Nasional 2006-2010? Sejauh mana rencana itu menyoroti informasi pemantauan dan temuan-temuan evaluasi? Penggunaan P&E oleh Kementerian/Lembaga Sektor Apakah kementerian-kementerian sektor menggunakan informasi P&E yang dihasilkan oleh SINERGIA? Jika ya, bagaimana (misalnya, untuk perencanaan dan pengembangan kebijakan, pengalokasian anggaran, manajemen program, keharusan akuntabilitas di dalam sektor atau dengan pihak luar)? Jika informasi P&E hanya digunakan sedikit atau tidak digunakan sama sekali, mengapa? Apakah terdapat “model praktik P&E yang baik” di kementerian/lembaga sektor? Dokumentasikan secara mendetail setidaknya dua sistem P&E kementerian/lembaga yang berhasil (misalnya, ICBF atau MEN). Seberapa meyakinkan model ini bagi kementerian-kementerian lain? Sejauh mana SINERGIA memberi kontribusi bagi perkembangan sistem tersebut? P&E dan Manajemen berbasis-Hasil Cukup beralasankah bagi Kolumbia untuk mengharapkan sektor publiknya bergerak ke arah manajemen berbasis-hasil? Perubahan-perubahan apa yang diperlukan dalam administrasi publik (penganggaran, manajemen sumber daya manusia, pengauditan dan kontrol, dan sebagainya) agar hal itu terjadi? Apakah ada minat dan tuntutan yang sungguh-sungguh dari para pemangku kepentingan utama terhadap manajemen berbasis-hasil?


173

Jenis-jenis dan Kualitas P&E yang dilakukan di bawah SINERGIA Jenis-jenis P&E Jenis-jenis alat P&E apa yang ditekankan di dalam SINERGIA—indikator kinerja, tinjauan atau evaluasi cepat, evaluasi dampak yang mendalam? Berapa besar biaya dari masing-masing jenis P&E tersebut? Laporkan total biaya dari masing-masing evaluasi dampak dan evaluasi-evaluasi jenis lainnya yang telah dilakukan selama ini, dan uraikan perincian biaya ke dalam pengumpulan data, analisis data, manajemen dan diseminasi. Berapa biaya tahunan SINERGIA dalam tahun-tahun belakangan? Apa implikasi-implikasi dari pengandalan yang terlalu berlebihan pada pendanaan donor untuk SINERGIA? Indikator Kinerja dan Sistem Data Apakah ada keterputusan antara fokus SIGOB pada tujuan kepresidenan dan fokus kementerian/badan sektor—apakah lembaga-lembaga lebih terfokus pada isu-isu tingkat proyek bersifat mikro? Apakah terdapat banyak sistem indikator kinerja pada tingkat sektor atau lembaga? Sejauh mana SINERGIA dan sistem data kementerian/lembaga diselaraskan? Dapatkah mereka diselaraskan (dari segi definisi data, periode, cakupan geografis dan sebagainya), apa implikasi-implikasinya bagi pengoordinasian P&E dan beban pada tingkat fasilitas? Bagaimana persyaratan-persyaratan data ditentukan? Apakah indikator kinerja SIGOB difokuskan pada pengeluaran, proses administratif, keluaran dan pemberian pelayanan, hasil dan dampak nasional? Bagaimana data dikumpulkan pada tingkat lembaga? Apakah ada kontrol yang memadai terhadap kualitas dan isi data? Apakah pernah dilakukan audit data oleh kementerian/lembaga sektor, atau oleh DNP, atau oleh pihak lain? Pilihan-pilihan apa yang tersedia untuk mengurangi biaya evaluasi dengan cara lebih banyak mengandalkan pengumpulan data statistik nasional, dan menguranginya pada survei data yang bersifat ad hoc? Apakah data diproses secara memadai oleh SINERGIA dan disajikan dengan cara yang berguna? Bagaimana data dikirimkan ke DNP? Apakah penggunaan data terlalu banyak, terlalu sedikit atau cukup? Bagaimana tentang jadual waktu? Dapatkah manajemen informasi ditingkatkan? Bagaimana laporan akhir dipersiapkan dan disajikan ke presiden, Kongres dan masyarakat? Evaluasi Dampak Siapa yang menyelenggarakan dan mengelola evaluasi dampak? Siapa para pemangku kepentingan yang terlibat dalam menentukan program-program mana yang seharusnya dievaluasi dan isu-isu apa yang diselidiki—apakah evaluasi difokuskan pada “program-program bermasalah”, program percontohan, atau program dengan pengeluaran yang besar atau visibilitas yang tinggi, atau apakah evaluasi itu didasarkan atas suatu agenda riset sistematis yang hendak menjawab pertanyaan-pertanyaan menyangkut efektivitas program? Siapa yang melakukan evaluasi dampak dan apakah proses kontrol kualitas diikuti? Program-program pemerintah yang mana yang menjadi sasaran evaluasi dampak? Apakah ditemukan kelemahan-kelemahan di dalam evaluasi dampak yang


174

dilakukan selama ini di bawah SINERGIA? Apakah evaluasi dampak tersebut memiliki dampak terhadap keputusan kebijakan atau manajemen program? Sektor-sektor apa yang layak menjadi sasaran evaluasi dampak di masa datang? Apa kekuatan dan kelemahan dalam suplai lokal P&E? Apa hambatan-hambatan kapasitas yang utama dan apa prioritas-prioritas pembangunan kapasitas? Jenis-jenis lain Evaluasi Lakukan penilaian terhadap kegunaan evaluasi cepat percontohan (didasarkan atas pendekatan evaluasi yang digunakan Chile dalam mengevaluasi program-program pemerintah) yang sedang dilakukan oleh DNP dan Hacienda. Jenis-jenis proses kepemerintahan apa—perencanaan nasional, pembuatan keputusan anggaran, manajemen kementerian/lembaga, kontrol sosial—yang dapat didukung oleh berbagai jenis evaluasi yang tengah dilakukan di bawah dukungan SINERGIA? Isu-isu dan tantangan-tantangan apa yang akan dihadapi oleh pemerintah jika pemerintah memutuskan untuk memperluas ragam jenis evaluasi yang diselenggarakannya? Kerja-kerja P&E lain di bawah dukungan SINERGIA Buat penilaian cepat terhadap seluruh kegiatan pembangunan kapasitas P&E lainnya yang dilakukan oleh DNP/DEPP, termasuk percontohan SIGOB di berbagai pemerintah tingkat kota, percontohan penganggaran berbasis-kinerja di pemerintah tingkat kota, “insentif-insentif kelembagaan”, dan seterusnya. Keseluruhan strategi P&E Kolumbia Seberapa komprehensif dan tepat stategi yang diusulkan oleh dokumen kebijakan CONPES tentang P&E (CONPES 3294)? Apa kekuatan dan kelemahannya? Sejauh mana implementasinya? Isu-isu apa yang perlu diatasi agar strategi itu dapat menjadi lebih efektif? Apakah minat para pemangku kepentingan cukup memadai? Peluang-peluang apa yang tersedia bagi evaluasi dan tinjauan tambahan yang membutuhkan biaya yang lebih rendah? Keseimbangan seperti apa yang tepatnya dicapai antara swa-evaluasi dan evaluasi yang dilakukan secara independen, atau dapatkah keuntungan dari kedua jenis evaluasi itu diperoleh sambil membuang kelemahan-kelemahan dari keduanya? Apa ancaman-ancaman bagi keberlanjutan SINERGIA? Kesimpulan dan Ringkasan Rekomendasi Apa kekuatan utama SINERGIA, dan tantangan apa yang masih harus dihadapi olehnya? Faktor-faktor sukses penting dan opsi-opsi utama apa yang dihadapi pelembagaan SINERGIA dan P&E secara lebih luas, di dalam pemerintah? Dapatkah kesinambungan SINERGIA dipastikan meski menghadapi pergantian pemerintahan? Ringkasnya, pelajaran-pelajaran penting apa yang dapat dipetik oleh negara-negara lain?

Lampiran D : Evaluasi terhadap Dukungan IEG bagi Plembagaan Sistem P&E

175

LAMPIRAN D EVALUASI TERHADAP DUKUNGAN IEG BAGI PELEMBAGAAN SISTEM P&E Isu-isu Evaluasi dan Metodologi Pada 2004 IEG menyelesaikan swa-evaluasi atas dukungan yang diberikannya kepada pemerintah-pemerintah untuk membantu mereka melembagakan sistem P&E mereka (IEG, 2004a). Metodologi yang digunakan dalam evaluasi ini, dan jenis-jenis isu yang dihadapi, mungkin menarik bagi lembaga-lembaga donor lain yang tengah berupaya melakukan evaluasi terhadap kegiatan-kegiatan yang serupa. Kegiatan-kegiatan semacam itu dapat dilakukan oleh kantor evaluasi donor maupun oleh kantor wilayah operasi donor. Isu-isu metodologis berkaitan dengan soal evaluabilitas (evaluability), yaitu sejauh mana upaya-upaya pelembagaan sistem P&E itu dapat dievaluasi. Skala Salah satu ciri kontekstual penting dari evaluasi IEG adalah relatif kecilnya skala dukungan pembangunan kapasitas yang menjadi fokus evaluasi tersebut. Sebagai lembaga evaluasi independen di bawah Bank Dunia, IEG memiliki program dukungan yang telah berlangsung lama di bidang ini.1 Tingkat sumber daya yang dimiliki juga cukup kecil, dengan dua orang staf penuh-waktu dan total anggaran sekitar 1 juta dollar dalam tahun-tahun belakangan. Sumber daya ini digunakan untuk membantu sejumlah negara di seluruh dunia. Skala dukungan ini kecil jika dibandingkan dengan jumlah pinjaman dan hibah yang diberikan donor kepada masing-masing negara. Pinjaman donor, yang juga mencakup komponen-komponen untuk pelembagaan sistem P&E, mungkin menghabiskan beberapa juta dollar, dan terkadang lebih, tergantung pada kegiatan-kegiatan spesfik yang didanai. Dengan demikian, skala kegiatan, keluaran, hasil dan dampak dari dukungan negara semacam itu dapat diharapkan jauh lebih besar; juga dapat diperkirakan ada sinergi yang kuat di antara berbagai kegiatan tersebut. Kontribusi versus Atribusi Ketika mengevaluasi dukungan donor bagi sebuah pemerintah, relatif mudah untuk memantau berbagai keluaran (seperti diagnosis negara) dan hasil jangka menengah (seperti pembentukan kerangka formal P&E oleh pemerintah) yang terhadap hal ini donor memiliki kontribusi. (Lihat Gambar 13.1 untuk daftar mengenai kemungkinan kegiatan, keluaran, hasil jangka menengah, hasil akhir dan dampak). Namun, sering kali jauh lebih sulit untuk mengatributkan atau menisbatkan hasil tersebut dengan kontribusi suatu lembaga donor, khususnya ketika jumlah donor yang terlibat atau ketika dukungan donor secara keseluruhan kecil dibandingkan dengan upaya-upaya yang dilakukan sendiri oleh pemerintah—seperti dalam kasus Chile. Faktor-faktor eksternal, seperti pergantian


176

pemerintah atau berlalunya pendukung utama P&E, dapat juga memiliki efek yang signifikan terhadap keberhasilan upaya-upaya donor.2

Tidak ada pendekatan yang telah dibakukan untuk melembagakan P&E Seperti telah ditekankan berulang-ulang di dalam publikasi ini, belum ada sekumpulan tindakan yang telah dibakukan untuk melembagakan sistem P&E. Kumpulan tindakan yang cocok untuk sebuah negara akan bergantung pada titik berangkat negara bersangkutan dan titik tujuan yang diinginkan, dari segi berbagai kemungkinan penggunaan informasi P&E. Karena tidak ada kumpulan tindakan yang baku, maka tidak bisa ada pendekatan baku untuk mengevaluasi tindakan-tindakan tersebut. Pendekatan evaluasi harus disesuaikan dengan tindakan-tindakan spesifik yang diambil, skala dari tindakan-tindakan tersebut dan konteks negara bersangkutan. Keragaman Tindakan Upaya untuk melembagakan P&E sering kali mencakup suatu daftar panjang tindakan, seperti yang diperlihatkan dalam Tabel 13.1. Setiap tindakan dapat dievaluasi dengan cara yang spesifik dan sering kali berbeda. Tiap-tiap tindakan, seperti konferensi tingkat tinggi, mungkin dapat menghasilkan kontribusi yang berguna dalam meningkatkan kesadaran tentang penggunaan P&E di kalangan para pejabat senior. Namun, sulit dalam sebuah evaluasi untuk mengidentifikasi secara terpisah kontribusi dari kegiatan yang relatif kecil ini (Perrin dan Mackay, 1999). Kegiatan-kegiatan pelatihan, yang merupakan komponen penting dalam kebanyakan upaya pelembagaan P&E, khususnya jika skala dari kegiatan itu besar. Dan telah ada metodologi yang telah diakui untuk melakukan evaluasi semacam itu (Kirkpatrick dan Kirkpatrick, 2006).3,4 Kegiatan-kegiatan seperti diagnosis dan evaluasi percontohan, dapat dievaluasi dari segi kualitas dan kedalaman mereka. Rantai Capaian Salah satu pendekatan evaluasi adalah memfokuskan pada rantai capaian untuk membangun atau memperkuat sistem P&E pemerintah (Gambar 13.1). Rantai capaian ini terdiri dari sekumpulan kegiatan, keluaran, hasil jangka menengah, hasil akhir dan dampak. Pada setiap tahap, indikator-indikator kinerja mungkin untuk dikumpulkan. Isu-isu evaluasi yang lebih dalam mungkin digali, misalnya, melalui wawancara atau survei terhadap para pejabat senior, studi kasus terperinci, dan sebagainya. Diagnosis Jenis evaluasi yang dipertimbangkan di sini serupa dengan banyak cara untuk melakukan diagnosis terhadap sistem P&E sebuah negara (Bab 12). Tentu saja sebuah evaluasi biasanya lebih bersifat formal, dan dapat mencakup diagnosis awal dan diagnosis lanjutan untuk mengukur perubahan dari waktu ke waktu. Sebuah evaluasi dapat mencakup tinjauan terhadap isu-isu spesifik (lihat daftar diagnosis mendalam yang direncanakan untuk Kolumbia, Bab 13).


177

Evaluasi IEG Swa-evaluasi yang dilakuan IEG menyediakan sarana untuk mengklarifikasi tujuan IEG dan strateginya yang terdiri dari delapan bagian untuk membantu para pemerintah (dan mitra-mitra Bank Dunia) memperkuat sistem P&E mereka (IEG, 2004a). Swa-evaluasi itu menyediakan informasi tentang jumlah dana yang dihabiskan IEG untuk mencapai tujuan tersebut, yang digolongkan menurut berbagai jenis kegiatan seperti seminar, penyediaan pelatihan dan beasiswa P&E, dan kerja dukungan berdasarkan negara. Swa-evaluasi itu juga memetakan rantai capaian bagi upaya-upaya tersebut dan menyajikan indikator-indikator kinerja bagi keluaran dan hasil jangka menengah dari kerja tersebut. (Tentu saja dari berbagai hasil tersebut, hanya sebagian saja yang dapat dinisbatkan kepada IEG—lihat pembahasan sebelumnya). Indikator-indikator ini meliputi hal-hal berikut: • Jumlah negara yang telah menjadi sasaran diagnosis • Apakah prioritas untuk P&E pemerintah telah dimasukkan dalam strategi Bank Dunia

untuk tiap-tiap negara yang dibantu oleh IEG • Apakah Bank Dunia telah menyetujui pinjaman untuk maksud ini dengan pemerintah • Apakah kerangka P&E pemerintah telah dibangun Tinjauan mendalam terhadap upaya-upaya intensif IEG di dua negara—Uganda dan Mesir—dilakukan oleh seorang konsultan dari luar. Tinjauan itu terdiri dari tinjauan dokumen, wawanara dengan para pejabat senior pemerintah dan staf senior Bank Dunia dan lembaga-lembaga donor lainnya. Konsultan itu memberikan penilaian terhadap kerja IEG di masing-masing negara berdasarkan kriteria baku IEG untuk mengevaluasi setiap proyek Bank Dunia: relevansi, efikasi (yaitu, efektivitas), efisiensi, hasil, keberlanjutan dan kinerja IEG. Selain itu, evaluasi IEG memanfaatkan berbagai evaluasi yang sebelumnya telah dilakukan menyangkut program pelatihan eksternal utamanya (Program Internasional Pelatihan Evaluasi Pembangunan). Evaluasi mencakup informasi kinerja tentang sejumlah paper riset yang disiapka oleh IEG berkaitan dengan topik ini dan tentang tingkat permintaan terhadap paper-paper tersebut. Dengan bersandar pada seluruh informasi P&E tersebut, evaluasi itu berusaha mengidentifikasi keluaran dan hasil spesifik yang sesuai dengan masing-masing bagian dari delapan bagian strategi IEG. Evaluasi itu ditutup dengan analisis terhadap sejumlah opsi strategis yang perlu dipertimbangkan oleh IEG dalam membingkai kerjanya di bidang ini di masa datang. Evaluasi ini dipresentasikan secara formal kepada Dewan Bank Dunia dan disediakan untuk publik (lihat http://www.worldbank.org/ieg/edc/ evaluating_institutionalization_efforts.html).


178

Evaluasi IEG: Ringkasan Eksekutif Perlu dicatat bahwa ringkasan eksekutif berikut ini menggunakan istilah “pembangunan kapasitas evaluasi” (evaluation capacity development, ECD) untuk menggambarkan upaya-upaya untuk membangun atau memperkuat sistem P&E pemerintah. Istilah itu tidak menggambarkan secara baik sifat dari upaya-upaya tersebut. Istilah itu menekankan evaluasi, sedangkan kebanyakan sistem pemerintah mengandalkan baik pemantauan maupun evaluasi. Penggunaan frase “pengembangan kapasitas” mengesankan pendekatan sisi suplai. Pada kenyataannya, sisi dan isu-isu permintaan dari pelembagaan mungkin lebih penting. Istilah ECD masih digunakan oleh IEG dan lembaga donor multilateral serta beberapa organisasi donor bilateral. Komunitas pembangunan memberi penekanan yang tinggi pada pencapaian hasil, dan memiliki komitmen untuk membantu negara-negara peminjam untuk memperkuat kemampuan mereka dalam mengukur dan mengelola hasil. Bagian penting dari upaya ini adalah upaya untuk membantu negara-negara membangun sistem pemantauan dan evaluasi (P&E) mereka sendiri… Sistem-sistem P&E yang kuat dapat memberi kontribusi penting bagi terwujudnya tata kelola pemerintahan yang baik di berbagai negara. Kapasitas negara yang lebih kuat untuk P&E juga akan memfasilitasi kualitas P&E Bank Dunia sendiri—baik swa-evaluasi yang dilakukan oleh kantor-kantor operasi Bank Dunia menyangkut program-program pembangunan yang mereka rancang dan awasi, maupun evaluasi independen yang dilakukan IEG terhadap program-program tersebut. IEG telah menjadi penganjur gigih ECD sejak IEG dibentuk pada 1973, dan ECD telah menjadi bagian dari mandat formal IEG sejak 1986. Dalam upaya mewujudkan mandat tersebut, IEG memiliki program ECD, yang ditangani oleh dua orang staf yang bekerja penuh-waktu, yang menyediakan saran ECD dan dukungan lainnya kepada negara-negara dan kantor-kantor operasi di dalam Bank Dunia. Maksud dari laporan swa-evaluasi ini adalah untuk mengevaluasi kerja ECD dari IEG, dan dengan demikian menilai sejauh mana IEG telah melaksanakan mandat ECD-nya. Laporan ini memaparkan strategi ECD yang digunakan IEG—pola kerja IEG dalam melaksanakan mandatnya. Dalam melaksanakan strategi ini, IEG telah memainkan peran sebagai katalisator yang dimaksudkan untuk mengarahkan pengarusutamaan kerja ECD di dalam Bank Dunia dan di negara-negara, dan untuk mewujudkan praktik ECD yang baik. Tiga komponen strategi ini yang saling terkait erat adalah dukungan internal yang diberikan IEG kepada Bank Dunia, dukungan eksternal, dan pembangunan landasan ECD. IEG telah berhasil memainkan peran utama dalam mempertahankan P&E dan ECD di dalam agenda Bank Dunia, dengan dukungan kuat dari Dewan Bank Dunia dan Komite Efektivitas Pembangunan di dalam Bank Dunia. Agenda Hasil Bank Dunia yang terus berkembang, pada gilirannya, memperkuat fokus kantor-kantor operasi Bank Dunia menyangkut hasil kerja mereka, dan ini memberikan semacam fokus tambahan pada ECD. Sejak 1999, ketika IEG meningkatkan sumber dayanya yang diarahkan untuk ECD,


179

ada pertumbuhan yang mendasar dalam jumlah tim negara (country teams) Bank Dunia yang menerapkan ECD dengan negara-negara peminjam; advokasi dan dukungan yang diberikan IEG kepada hampir seluruh tim negara tersebut merupakan salah satu faktor yang memberi kontribusi. Setidaknya 31 dari tim negara ini—dari sekitar 150 tim negara Bank Dunia—saat ini terlibat dalam ECD. Pertumbuhan ini menggambarkan kemajuan penting ke arah pengarusutamaan ECD di dalam Bank Dunia, kendati jelas jalan yang harus ditempuh masih panjang. Sejumlah kendala menyangkut evaluabilitas kerja ECD yang dilakukan IEG diidentifikasi di dalam laporan ini, seperti kesulitan untuk melakukan atribusi atau penisbatan; sifat “dari-bawah-ke-atas” dari kerja ECD yang dilakukan IEG; tidak adanya pendekatan baku untuk ECD; kecilnya skala dari kebanyakan kegiatan-kegiatan ECD dari IEG; dan sebagian dari kerja itu baru berada pada tahap awal. Namun demikian, laporan ini juga meningkatkan evaluabilitas kerja itu melalui: pemetaan rantai hasil ECD; perumusan indikator-indikator kinerja ECD; dan persiapan kriteria terperinci untuk memberikan penilaian terhadap ECD pada tingkat negara. Laporan ini menyajikan bukti tentang sejumlah keluaran dan hasil dari kerja ECD yang dilakukan IEG. IEG telah menyediakan dukungan ECD tingkat negara kepada 34 negara (beserta tim negara Bank Dunia mereka masing-masing) sejak 1999: dukungan dengan intensitas tinggi diberikan untuk 2 negara (Uganda dan Mesir), dukungan dengan intensitas menengah untuk 15 negara, dan dukungan tidak langsung untuk 17 negara lainnya. “Jejak” besar dukungan IEG itu telah membantu mengangkat profil ECD di tubuh Bank Dunia, yang selanjutnya hal ini memungkinkan munculnya efek demonstrasi bagi tim negara-negara lain. Kerja yang terfokus pada negara ini menjadi bagian kunci dari strategi ECD dari IEG. Temuan penting dalam laporan ini adalah banyak dari negara-negara yang telah mendapat dukungan dengan intensitas tinggi dan menengah dari IEG telah mencapai kemajuan mendasar dalam ECD—dari segi keluaran ECD, seperti diagnosis ECD, identifikasi ECD sebagai prioritas dalam strategi bantuan negara Bank Dunia, dan penciptaan proyek-proyek Bank Dunia dengan komponen ECD. Selain itu, kemajuan itu dicapai juga dalam hal hasil jangka menengah, seperti penguatan tuntutan negara terhadap P&E dan penguatan kapasitas negara untuk melakukan dan menggunakan P&E. Walaupun tidak semua dari kemajuan itu dapat dinisbatkan kepada IEG, namun IEG merupakan kontributor penting bagi hasil-hasil ECD tersebut. Tinjauan mendalam terhadap dua negara yang menerima dukungan dengan intensitas tinggi dari IEG—Uganda dan Mesir—membenarkan peran menonjol IEG dalam ECD pada tahun-tahun belakangan. Kinerja IEG di kedua negara dinilai memuaskan. Di Uganda kekuatannya adalah dalam hal penyediaan dukungan dengan intensitas yang tinggi dan berkelanjutan, yang mewujudkan sinergi di antara berbagai kegiatan ECD yang berbeda, dan telah mengantarkan pada sejumlah hasil ECD yang signifikan. Tinjauan mendalam tersebut menyimpulkan bahwa kerja ECD di Uganda mencerminakan praktik ECD yang baik. Namun, situasi di Mesir agak berbeda. Tidak memadainya tuntutan dari para pemangku kepentingan kunci di dalam pemerintah hingga tahap tertentu telah membuat frustrasi kerja ECD. Pengalaman ini menegaskan kembali pelajaran yang dipetik oleh sejumlah negara ketika tuntutan atau permintaan lemah:


180

bahwa tuntutan yang lemah dapat mengakibatkan rentannya upaya-upaya ECD. Untuk alasan ini, IEG perlu menaruh perhatian yang lebih besar pada sisi permintaan dalam kerja ECD di suatu negara, baik pada tahap awal diagnosis maupun pada tahap pembangunan kapasitas selanjutnya. Kerja pembangunan landasan ECD oleh IEG meliputi persiapan bahan-bahan sumber daya ECD, berbagi pelajaran dari pengalaman ECD, penyediaan pelatihan P&E dan ECD, serta berbagai inisiatif kerja sama, seperti evaluasi bersama dan penyelarasan P&E di pihak donor. IEG telah memainkan peran penting dalam mengidentifikasi dan menyebarluaskan berbagai pelajaran dari pengalaman ECD—dan juga riset ECD—dan hal ini tercermin dalam sangat tingginya tingkat permintaan terhadap bahan-bahan sumber daya ECD dari IEG. Evaluasi IEG baru-baru ini terhadap Program Internasional Pelatihan Evaluasi Pembangunan, kursus IEG terpenting berkenaan dengan P&E, menemukan tingginya tingkat kepuasan peserta terhadap pelatihan, dan juga menemukan bahwa para peserta memperlihatkan pencapaian pengetahuan yang signifikan. Ada pula temuan-temuan evaluasi yang sangat positif berkenaan dengan kursus-kursus P&E/ECD lain yang IEG terlibat di dalamnya. Namun demikian, ada sejumlah kekurangan dalam informasi evaluasi IEG berkenaan dengan hasil kerja ECD dari IEG, dan kekurangan ini perlu diatasi. Tidak ada bukti mengenai adanya konflik kepentingan berkaitan dengan kegiatan-kegiatan ECD IEG. Terdapat berbagai preseden penting baik di dalam maupun di luar Bank Dunia di mana tanggung jawab hukum atau fidusier direkonsiliasikan dengan pemberian dukungan pembangunan kapasitas untuk kerja operasional. Rekonsiliasi ini dicapai melalui pendekatan pelindung sederhana. Swa-evaluasi ini menyajikan tiga opsi utama yang perlu dipertimbangkan oleh manajemen IEG dalam membingkai strategi ECD-nya di masa datang. Pertama, opsi keluar (exit option) untuk mentransfer kegiatan-kegiatan ECD IEG. Kedua, opsi peningkatan (scale-up option) yang melibatkan kerja sama lebih erat dengan unit-unit sentral Bank Dunia, dan pendekatan kerja ECD yang lebih terarah dengan tim-tim negara Bank Dunia dan dengan Regional Vice Presidential Units Bank Dunia. Ketiga, fokus yang diperbarui kembali tentang mengambil pelajaran ECD. Kesimpulan dari laporan ini adalah dengan tingkat sumber daya yang cukup kecil yang diberikan untuk ECD, IEG telah terlibat sangat aktif dalam ECD, dan strategi ECD dari IEG telah memberi kontribusi pada sejumlah hasil ECD—keluaran dan hasil—selama lima tahun terakhir. Tugas yang kini dihadapi oleh IEG adalah memperkuat lebih lanjut kerja ECD-nya—mencapai tujuannya yang saling terkait yaitu pengarusutamaan ECD dan mewujudkan ECD yang berkualitas tinggi secara lebih luas. Semakin tumbuh peluang untuk mencapai orientasi pada hasil di dalam Bank Dunia dan di negara-negara, dan prioritas untuk ECD belum pernah lebih tinggi sebelumnya.

Lampiran E : Daftar Istilah Kunci P&E

181

LAMPIRAN E DAFTAR ISTILAH KUNCI P&E Sumber: Development Assistance Committee (DAC). 2002. Glossary of Terms in Evaluation and Result-Based Management. Paris: OECD. Daftar istilah ini tersedia dalam bahasa Inggris, Cina, Prancis, Italia, Jepang, Portugal, Rusia dan Spanyol. Informasi lebih jauh dapat diperoleh dari OECD, Development Co-operation Directorate, 2 rue André-Pascal, 75775 Paris Cedex 16, France. Situs web: www.oecd.org/dac/evaluation. Accountability (Akuntabilitas) Kewajiban untuk membuktikan bahwa kerja telah dilakukan sesuai dengan aturan-aturan dan standar-standar yang disepakati, atau untuk melaporkan secara jujur dan akurat tentang hasil kinerja dibandingkan dengan rencana dan/atau peran yang dimandatkan. Hal ini mungkin membutuhkan pembuktian yang hati-hati, bahkan dapat dipertahankan secara legal, bahwa kerja itu sesuai dengan syarat-syarat kontrak. Catatan: Akuntabilitas dalam pembangunan dapat mengacu pada kewajiban para mitra untuk bertindak sesuai dengan tanggung jawab, peran dan harapan kinerja yang telah ditetapkan secara jelas, sering kali berkaitan dengan penggunaan sumber daya secara hati-hati. Bagi pengevaluasi, akuntabilitas berarti tanggung jawab untuk menyediakan laporan pemantauan dan penilaian kinerja yang akurat, jujur dan kredibel. Bagi para manajer skctor publik dan pembuat kebijakan, akuntabilitas adalah kepada pembayar pajak/warga negara. Activity (Aktivitas atau Kegiatan) Tindakan yang diambil atau kerja yang dilaksanakan dalam rangka memobilisasi masukan (input) seperti dana, bantuan teknis dan jenis-jenis sumber daya lainnya, guna menghasilkan keluaran (output) tertentu. Istilah terkait: program pembangunan Analytical Tools (Alat Analisis) Metode yang digunakan untuk memproses dan menafsirkan informasi selama evaluasi. Appraisal (Penilaian) Penilaian secara keseluruhan mengenai relevansi, kelayakan dan potensi keberlanjutan suatu program pembangunan sebelum diambil keputusan pembiayaan.

182

Catatan: Dalam badan-badan pembangunan, bank dan sebagainya, tujuan penilaian adalah untuk memungkinkan para pembuat keputusan untuk memutuskan apakah kegiatan tersebut mencerminkan penggunaan sumber daya korporat secara tepat. Istilah terkait: evaluasi ex ante Assumptions (Asumsi) Hipotesis atau dugaan mengenai faktor-faktor atau risiko-risiko yang dapat memengaruhi kemajuan atau kesuksesan suatu langkah intervensi pembangunan. Catatan: Asumsi dapat juga dipahami sebagai kondisi-kondisi yang diduga berkaitan dengan validitas evaluasi itu sendiri, misalnya, menyangkut karakteristik populasi ketika merancang prosedur pengambilan sampel untuk sebuah survei. Asumsi dibuat eksplisit dalam evaluasi yang didasarkan atas teori di mana evaluasi menelusuri secara sistematis rantai hasil yang diantisipasi. Attribution (Atribusi atau Penisbatan) Penetapan hubungan sebab-akibat antara perubahan-perubahan yang teramati (atau diharapkan teramati) dan langkah intervensi spesifik. Catatan: Atribusi mengacu pada apa yang harus diakui memiliki peran dalam perubahan yang diamati atau hasil yang dicapai. Atribusi mencerminkan sejauh mana efek-efek pembangunan yang teramati dapat dinisbatkan kepada suatu langkah intervensi spesifik atau kinerja dari satu atau lebih mitra dengan mempertimbangkan intervensi-intervensi lainnya, faktor-faktor yang membingungkan (yang terduga atau tidak terduga), dan berbagai goncangan eksternal. Audit (Audit) Suatu kegiatan penjaminan yang objektif dan independen yang dirancang untuk menambah nilai dan meningkatkan operasi sebuah organisasi. Audit membantu sebuah organisasi mencapai tujuannya melalui suatu pendekatan yang sistematis dan ketat untuk menilai dan meningkatkan efektivitas manajemen risiko, kontrol dan proses-proses tata kelola. Catatan: Pembedaan dibuat antara audit (keuangan) reguler yang difokuskan pada kesesuaian dengan anggaran dasar dan peraturan yang berlaku; dan audit kinerja, yang terkait dengan relevansi, keekonomisan, efisiensi, dan efektivitas. Audit internal menyediakan penilaian terhadap kontrol internal yang dilakukan oleh sebuah unit yang memberi laporan ke pihak manajemen, sedangkan audit eksternal dilakukan oleh sebuah organisasi independen.


183

Base-line study (Studi Kondisi Awal) Analisis yang menggambarkan situasi sebelum dilakukannya suatu intervensi pembangunan, yang berdasarkan situasi tersebut kemajuan dapat dinilai atau perbandingan dapat dibuat. Benchmark (Tolok ukur) Titik atau standar acuan yang menjadi dasar penilaian kinerja atau pencapaian. Catatan: Tolok ukur mengacu pada kinerja yang telah dicapai belakangan ini oleh organisasi-organisasi yang sebanding, atau apa yang dapat disimpulkan dicapai dalam situasi tersebut. Beneficiaries (Penerima manfaat) Individu, kelompok atau organisasi, baik yang menjadi target atau bukan, yang memperoleh manfaat, secara langsung maupun tidak langsung, dari intervensi pembangunan. Istilah terkait: kelompok jangkauan, kelompok target. Cluster evaluation (Evaluasi kelompok) Evaluasi terhadap serangkaian kegiatan, proyek, dan/atau program yang terkait. Conclusion (Kesimpulan) Kesimpulan memperlihatkan faktor-faktor keberhasilan dan kegagalan dari langkah intervensi yang dievaluasi, dengan perhatian khusus diberikan pada hasil dan dampak yang dikehendaki dan tidak dikehendaki, dan secara lebih umum pada setiap kekuatan dan kelemahan. Sebuah kesimpulan didasari pada pengumpulan data dan analisis yang dilakukan, melalui rantai argumen yang transparan. Counterfactual (Kontra-faktual) Situasi dan kondisi yang secara hipotetis mungkin terjadi pada individu, organisasi atau kelompok di mana tidak ada intervensi pembangunan. Country program evaluation/country assistance evaluation (Evaluasi program negara/evaluasi bantuan negara) Evaluasi terhadap satu atau lebih portofolio intervensi pembangunan oleh lembaga donor atau badan, dan strategi bantuan di balik mereka, di sebuah negara mitra. Data collection tools (Alat pengumpulan data) Metodologi-metodologi yang digunakan untuk mengidentifikasi sumber-sumber informasi dan mengumpulkan informasi selama evaluasi.


184

Catatan: Contohnya adalah survei informal dan formal, observasi langsung dan partisipatoris, wawancara dengan masyarakat, kelompok fokus, opini ahli, studi kasus, penelusuran literatur. Development intervention (Intervensi pembangunan) Suatu instrumen dukungan (donor dan non-donor) mitra yang ditujukan untuk mendukung pembangunan. Catatan: Contohnya adalah saran kebijakan, proyek dan program. Development objective (Sasaran pembangunan) Dampak yang dikehendaki memberi kontribusi bagi manfaat fisik, keuangan, kelembagaan, sosial, lingkungan atau manfaat lainnya bagi masyarakat, komunitas, kelompok orang, melalui satu atau lebih intervensi pembangunan. Economy (Keekonomisan) Tidak ada hal yang disia-siakan untuk keluaran (output) tertentu. Catatan: Suatu kegiatan dinilai ekonomis ketika biaya dari sumber daya yang langka digunakan sesuai dengan kebutuhan minimal yang diperlukan untuk mencapai tujuan yang direncanakan. Effect (Efek) Perubahan yang dikehendaki atau tidak dikehendaki akibat suatu intervensi secara langsung atau tidak langsung. Istilah terkait: capaian (results), hasil (outcome) Effectiveness (Efektivitas atau Keefektifan) Jangkauan sejauh mana sasaran intervensi pembangunan tercapai, atau diharapkan tercapai, dengan mempertimbangkan arti penting relatif mereka. Catatan: Efektivitas juga digunakan sebagai ukuran agregat (atau penilaian terhadap) nilai atau kegunaan dari sebuah kegiatan, yaitu sejauh mana suatu intervensi telah mencapai, atau diharapkan mencapai, sasaran utamanya yang relevan dengan secara berkelanjutan dan dengan dampak pembangunan kelembagaan yang positif. Istilah terkait: efikasi Efficiency (Efisiensi) Ukuran tentang bagaimana sumber daya/masukan secara ekonomis (dana, keahlian, waktu dan sebagainya) dikonversikan menjadi hasil.


185

Evaluability (Evaluabilitas) Jangkauan sejauh mana suatu kegiatan atau program dapat dievaluasi secara andal dan kredibel. Catatan: Penilaian evaluabilitas memerlukan tinjauan awal terhadap kegiatan yang diusulkan guna memastikan apakah sasaran kegiatan itu dirumuskan secara memadai dan hasilnya dapat diverifikasi. Evaluation (Evaluasi) Penilaian sistematis dan objektif terhadap sebuah proyek, program, atau kebijakan yang telah selesai atau masih berlangsung, serta rancangan, implementasi dan hasilnya. Tujuannya adalah untuk menentukan relevansi dan realisasi tujuan, efisiensi pembangunan, efektivitas, dampak dan keberlanjutan. Evaluasi harus memberikan informasi yang berguna dan dapat dipercaya, yang memungkinkan dimasukkannya berbagai pelajaran ke dalam proses pembuatan keputusan baik di pihak penerima maupun pihak lembaga donor. Evaluasi juga mengacu pada proses penentuan nilai atau arti penting dari suatu kegiatan, kebijakan atau program. Suatu penilaian, sesistematis dan seobjektif mungkin, terhadap suatu intervensi pembangunan yang direncanakan, tengah berlangsung atau telah selesai. Catatan: Dalam beberapa kasus evaluasi melibatkan definisi tentang standar yang sesuai, penelaahan kinerja berdasarkan standar tersebut, penilaian tentang hasil aktual dan hasil yang diharapkan, dan identifikasi pelajaran-pelajaran yang relevan. Istilah terkait: tinjauan Ex ante evaluation (Evaluasi ex ante) Evaluasi yang dilakukan sebelum implementasi suatu intervensi pembangunan. Istilah terkait: penilaian (appraisal) Ex post evaluation (Evaluasi ex post) Evaluasi terhadap suatu intervensi pembangunan setelah intervensi tersebut selesai dilaksanakan. Catatan: Evaluasi dapat dilakukan pada saat tidak lama sesudah atau lama setelah berakhirnya intervensi pembangunan. Hal itu dimaksudkan untuk mengidentifikasi faktor keberhasilan atau kegagalan, untuk menilai keberlanjutan hasil dan dampak, dan untuk menarik kesimpulan yang mungkin dapat memberi informasi bagi intervensi-intervensi yang lain.


186

Feedback (Masukan-balik) Penyebaran temuan-temuan yang dihasilkan proses evaluasi kepada pihak-pihak yang bagi mereka temuan-temuan itu relevan dan berguna, sehingga memfasilitasi pembelajaran. Hal ini mungkin melibatkan pengumpulan dan penyebarluasan berbagai temuan, kesimpulan, rekomendasi dan pelajaran dari pengalaman. Finding (Temuan) Temuan menggunakan bukti dari satu atau lebih evaluasi sebagai dasar bagi suatu pernyataan faktual. Formative evaluation (Evaluasi Formatif) Evaluasi yang dimaksudkan untuk meningkatkan kinerja, dan paling sering dilakukan pada fase impelementasi proyek atau program. Catatan: Evaluasi formatif juga dapat dilakukan untuk keperluan lain, seperti bukti kepatuhan (compliance), persyaratan legal, atau sebagai bagian dari prakarsa evaluasi yang lebih besar. Istilah terkait: evaluasi proses Goal (Tujuan) Sasaran lebih tinggi yang hendak dicapai oleh intervensi pembangunan. Istilah terkait: sasaran pembangunan Impacts (Dampak) Efek primer dan sekunder dalam jangka panjang, baik positif maupun negatif, yang dihasilkan sebuah intervensi pembangunan, langsung atau tidak langsung, dikehendaki maupun tidak dikehendaki. Independent evaluation (Evaluasi independen) Evaluasi yang dilakukan oleh lembaga atau individu yang bebas dari kontrol pihak-pihak yang bertanggung jawab dalam merancang dan melaksanakan intervensi pembangunan. Catatan: Kredibilitas evaluasi bergantung antara lain pada seberapa independen evaluasi itu dilakukan. Independensi menyiratkan kebebasan dari pengaruh politik dan tekanan organisasi. Independensi dicirikan oleh akses penuh terhadap informasi dan otonomi penuh dalam melaksanakan penyelidikan dan melaporkan temuan.


187

Indicator (Indikator) Faktor atau variabel kuantitatif atau kualitatif yang menyediakan sarana yang sederhana dan andal untuk mengukur pencapaian, untuk mencerminkan perubahan yang terkait dengan intervensi, atau untuk membantu menilai kinerja aktor pembangunan. Inputs (Masukan) Sumber daya keuangan, manusia dan material yang digunakan untuk intervensi pembangunan. Institutional Development Impact (Dampak Pembangunan Kelembagaan) Jangkauan sejauh mana suatu intervensi memperkuat atau memperlemah kemampuan sebuah negara atau kawasan untuk menggunakan sumber daya manusia, keuangan dan alamnya secara lebih efisien, merata, dan berkelanjutan, misalnya, melalui: (a) definisi, stabilitas, transparansi, keberlakuan dan keteramalan yang lebih baik dari pengaturan kelembagaan dan/atau (b) penyesuaian lebih baik misi dan kapasitas sebuah organisasi dengan mandatnya, yang berasal dari pengaturan kelembagaan tersebut. Dampak itu dapat mencakup efek yang dikehendaki dan yang tidak dikehendaki dari suatu tindakan. Internal Evaluation (Evaluasi internal) Evaluasi terhadap intervensi pembangunan yang dilakukan oleh suatu unit dan/atau individu yang dilaporkan kepada manajemen donor, mitra atau organisasi pelaksana. Istilah terkait: swa-evaluasi Joint evaluation (Evaluasi bersama) Evaluasi yang dilakukan bersama oleh lembaga donor dan/atau mitra yang berbeda. Catatan: Ada bermacam-macam tingkat “kebersamaan” bergantung pada sejauh mana masing-masing mitra berkerja sama dalam proses evaluasi, menggabungkan sumber daya evaluasi mereka dan mengombinasikan pelaporan evaluasi mereka. Evaluasi bersama dapat membantu mengatasi masalah-masalah atribusi dalam menilai efektivitas program dan strategi, saling melengkapinya upaya-upaya yang didukung oleh mitra-mitra yang berbeda, kualitas koordinasi bantuan, dan sebagainya. Lessons learned (Pelajaran-pelajaran yang dipetik) Generalisasi-generalisasi yang didasarkan atas pengalaman evaluasi dengan proyek, program atau kebijakan yang diabstraksikan dari situasi spesifik kepada situasi yang lebih luas. Sering kali pelajaran-pelajaran memperlihatkan kekuatan atau kelemahan dalam persiapan, rancangan, dan implementasi yang memengaruhi kinerja, hasil dan dampak.


188

Logical framefork (logframe) (Kerangka logis) Piranti manajemen yang digunakan untuk meningkatkan rancangan intervensi, paling sering pada tingkat proyek. Hal itu melibatkan pengidentifikasian unsur-unsur strategis (masukan, keluaran, hasil, dampak) dan hubungan sebab-akibat mereka, indikator-indikator dan asumsi-asumsi atau risiko-risiko yang mungkin memengaruhi keberhasilan dan kegagalan. Dengan demikian piranti tersebut memfasilitasi perencanaa, pelaksanaan dan evaluasi terhadap suatu intervensi pembangunan. Istilah terkait: manajemen berbasis-hasil Meta-evaluation (Meta-evaluasi) Istilah ini digunakan untuk evaluasi-evaluasi yang dirancang untuk mengumpulkan temuan-temuan dari serangkaian evaluasi. Istilah ini dapat pula digunakan dalam arti evaluasi terhadap sebuah evaluasi guna menilai kualitasnya dan/atau menilai kinerja para pengevaluasi (evaluator). Mid-term evaluation (Evaluasi pertengahan) Evaluasi yang dilakukan di pertengahan periode implementasi intervensi. Istilah terkait: evaluasi formatif Monitoring (Pemantauan) Sebuah fungsi berkesinambungan yang menggunakan pengumpulan data secara sistematis mengenai indikator-indikator tertentu untuk menyediakan pihak manajemen dan para pemangku kepentingan utama dari suatu intervensi pembangunan yang tengah berlangsung dengan indikasi-indikasi mengenai tingkat kemajuan dan pencapaian sasaran dan kemajuan dalam penggunaan dana yang dialokasikan. Istilah terkait: pemantauan, indikator kinerja Outcome (Hasil) Efek yang dicapai atau yang mungkin dicapai dalam jangka pendek dan menengah dari keluaran (outputs) suatu intervensi. Istilah terkait: capaian, keluaran, dampak, efek Outputs (Keluaran) Produk, barang modal dan jasa yang dihasilkan dari suatu intervensi pembangunan; mungkin juga termasuk perubahan-perubahan yang dihasilkan dari intervensi tersebut yang relevan dengan pencapaian hasil (outcomes).


189

Participatory evaluation (Evaluasi partisipatoris) Metode evaluasi di mana wakil-wakil lembaga dan para pemangku kepentingan (termasuk penerima manfaat) bekerja bersama-sama dalam merancang, melaksanakan dan menafsirkan sebuah evaluasi. Partners (Mitra) Individu-individu dan/atau organisasi-organisasi yang bekerja sama untuk mencapai sasaran yang disepakati bersama. Catatan: Konsep kemitraan mengandung konotasi tujuan bersama, tanggung jawab bersama atas hasil, akuntabilitas yang jelas dan kewajiban timbal-balik. Mitra dapat mencakup pemerintah, masyarakat sipil, organisasi nonpemerintah, universitas, asosiasi profesi dan bisnis, organisasi multilateral, perusahaan swasta, dan sebagainya. Performance (Kinerja) Tingkat sejauh mana suatu intervensi pembangunan atau mitra pembangunan beroperasi sesuai dengan kriteria/standar/pedoman spesifik atau mencapai hasil sesuai dengan rencana atau tujuan yang dinyatakan. Performance indicator (Indikator kinerja) Sebuah variabel yang memungkinkan verifikasi perubahan-perubahan dalam intervensi pembangunan atau memperlihatkan hasil yang terkait dengan apa yang direncanakan. Istilah terkait: pemantauan kinerja, pengukuran kinerja Performance measurement (Pengukuran kinerja) Sebuah sistem untuk menilai kinerja intervensi pembangunan dibandingkan dengan tujuan yang dinyatakan. Istilah terkait: pemantauan, indikator kinerja Performance monitoring (Pemantauan kinerja) Proses mengumpulkan dan menganalisis data secara terus menerus untuk membandingkan seberapa baik sebuah proyek, program atau kebijakan diimplementasikan, dibandingkan dengan hasil-hasil yang diharapkan. Process evaluation (Evaluasi proses) Evaluasi terhadap dinamika internal organisasi-organisasi pelaksana, instrumen kebijakan mereka, mekanisme pemberian pelayanan mereka, praktik manajemen mereka, dan kaitan di antara hal-hal tersebut. Istilah terkait: evaluasi formatif


190

Program evaluation (Evaluasi program) Evaluasi terhadap serangkaian intervensi, yang dihimpun untuk mencapai sasaran pembangunan spesifik pada tingkat global, regional, negara atau sektor. Catatan: Sebuah program pembangunan merupakan intervensi yang terikat oleh waktu, yang melibatkan banyak kegiatan yang mungkin bersifat lintas sektor, tema, dan/atau area geografis. Istilah terkait: Evaluasi strategi/program negara Project evaluation (Evaluasi proyek) Evaluasi terhadap suatu intervensi pembangunan yang dirancang untuk mencapai sasaran spesifik dalam jadual implementasi dan dengan sumber daya tertentu, sering kali dalam kerangka sebuah program yang lebih luas. Catatan: Analisis manfaat-biaya merupakan instrumen utama evaluasi proyek untuk proyek-proyek dengan manfaat yang dapat diukur. Ketika manfaat tidak dapat dikuanitifikasi, efektivitas-biaya merupakan pendekatan yang tepat. Project or program objective (Sasaran proyek atau program) Hasil fisik, keuangan, kelembagaan, sosial, lingkungan atau hasil pembangunan lainnya yang sebuah proyek atau program diharapkan memberi kontribusi terhadapnya. Purpose (Maksud) Sasaran-sasaran program atau proyek pembangunan yang dinyatakan secara publik. Quality assurance (Penjaminan kualitas) Penjaminan kualitas mencakup setiap kegiatan yang terkait dengan penilaian dan peningkatan nilai atau harga dari suatu intervensi pembangunan atau kesesuaiannya dengan standar yang berlaku. Catatan: Contoh kegiatan penjaminan kualitas meliputi penilaian (appraisal), manajemen berbasis-hasil, tinjauan pada saat implementasi, evaluasi dan sebagainya. Penjaminan kualitas dapat pula mengacu pada penilaian kualitas suatu portofolio dan efektivitas pembangunannya. Reach (Kelompok Jangkauan) Para penerima manfaat dan para pemangku kepentingan lainnya dari suatu intervensi pembangunan. Istilah terkait: penerima manfaat


191

Recommendations (Rekomendasi) Usulan-usulan yang ditujukan untuk meningkatkan efektivitas, kualitas atau efisiensi dari suatu intervensi pembangunan; untuk merancang ulang sasaran-sasaran; dan/atau untuk menglokasikan ulang sumber daya. Rekomendasi hendaknya dikaitkan dengan kesimpulan. Relevance (Relevansi) Tingkat sejauh mana sasaran suatu intervensi pembangunan sejalan dengan persyaratan penerima manfaat, kebutuhan negara, prioritas global dan kebijakan mitra dan donor Catatan: Persoalan relevansi sering kali menjadi persoalan menyangkut apakah sasaran intervensi atau rancangannya masih sesuai dengan situasi yang berubah. Reliability (Reliabilitas atau Keterandalan) Konsistensi atau tingkat keterandalan data dan penilaian evaluasi, dengan mengacu pada kualitas instrumen, prosedur, dan analisis yang digunakan untuk mengumpulkan dan menafsirkan data evaluasi. Catatan: Informasi evaluasi dapat diandalkan ketika observasi yang dilakukan berulang-ulang dengan menggunakan instrumen yang serupa dalam kondisi yang serupa menghasilkan hasil yang serupa. Results (Capaian) Keluaran, hasil atau dampak (dikehendaki atau tidak dikehendaki, positif dan/atau negatif) dari suatu intervensi pembangunan. Istilah terkait: hasil, efek, dampak Results chain (Rantai capaian) Sekuensi sebab-akibat untuk suatu intervensi pembangunan yang menetapkan sekuensi yang niscaya untuk mencapai sasaran yang dikehendaki, dimulai dengan masukan, melalui kegiatan dan keluaran, dan berakhir pada hasil, dampak dan masukan-balik. Di sebagian lembaga, kelompok jangkauan merupakan bagian dari rantai capaian. Istilah terkait: asumsi, kerangka capaian Results framework (Kerangka capaian) Logika program yang menjelaskan bagaimana sasaran pembangunan hendak dicapai, termasuk hubungan sebab-akibat dan asumsi-asumsi yang mendasari. Istilah terkait: rantai capaian, kerangka logis


192

Results-based Management (Manajemen Berbasis-Hasil) Sebuah strategi manajemen yang difokuskan pada kinerja dan pencapaian keluaran, hasil dan dampak. Istilah terkait: kerangka logis Review (Tinjauan) Penilaian terhadap kinerja suatu intervensi, secara berkala atau berdasarkan kasus khusus. Catatan: Sering kali “evaluasi” digunakan untuk penilaian yang lebih komprehensif dan/atau lebih mendalam dibandingkan “tinjauan”. Tinjauan cenderung menekankan aspek-aspek operasional. Terkadang istilah “tinjauan” dan “evaluasi” digunakan sebagai sinonim. Istilah terkait: evaluasi Risk analysis (Analisis risiko) Analisis atau penilaian terhadap faktor-faktor (yang disebut asumsi di dalam logframe) yang memengaruhi atau mungkin memengaruhi keberhasilan pencapaian sasaran intervensi. Penelaahan terperinci terhadap potensi konsekuensi-konsekuensi yang negatif dan tidak diinginkan terhadap kehidupan manusia, kesehatan, harta benda, atau lingkungan yang dihadapi intervensi pembangunan; sebuah proses sistematis untuk menyediakan informasi berkaitan dengan konsekuensi-konsekuensi yang tidak dikehendaki semacam itu; proses kuantifikasi peluang-peluang dan dampak-dampak yang diperkirakan bagi risiko-risiko yang diidentifikasi. Sector program evaluation (Evaluasi program sektor) Evaluasi terhadap kelompok intervensi pembangunan dalam sebuah sektor di sebuah negara atau di berbagai negara, yang seluruhnya memberi kontribusi bagi pencapaian tujuan pembangunan yang spesifik. Catatan: Sebuah sektor mencakup kegiatan-kegiatan pembangunan yang biasanya dikelompokkan bersama demi keperluan tindakan publik, seperti kesehatan, pendidikan, pertanian, transportasi, dan sebagainya. Self-evaluation (Swa-evaluasi) Evaluasi yang dilakukan oleh pihak yang dipercaya untuk merancang dan melaksanakan intervensi pembangunan.


193

Summative evaluation (Evaluasi Sumatif/Keseluruhan) Studi yang dilakukan pada akhir sebuah intervensi (atau sebuah fase dari intervensi tersebut) untuk menentukan sejauh mana hasil-hasil (outcomes) yang diharapkan terwujud. Evaluasi sumatif dimaksudkan untuk menyediakan informasi tentang nilai program. Istilah terkait: evaluasi dampak Sustainability (Keberlanjutan) Kesinambungan manfaat dari suatu intervensi pembangunan setelah bantuan pembangunan besar diselesaikan. Kemungkinan berlanjutnya manfaat dalam jangka panjang. Daya tahan manfaat-bersih (net benefit) terhadap risiko sepanjang waktu. Target group (Kelompok sasaran) Individu atau organisasi tertentu yang menjadi sasaran penerima manfaat suatu intervensi pembangunan. Terms of reference (Kerangka acuan) Dokumen tertulis yang menyajikan maksud dan cakupan evaluasi, metode yang digunakan, standar untuk menilai dan menganalisis kinerja, sumber daya dan waktu yang dialokasikan, dan syarat-syarat pelaporan. Dua istilah lainnya yang terkadang digunakan dengan arti yang sama adalah “cakupan kerja” dan “mandat evaluasi”. Thematic evaluation (Evaluasi tematis) Evaluasi terhadap intervensi pembangunan tertentu, yang seluruhnya membahas prioritas pembangunan tertentu yang bersifat lintas negara, kawasan dan sektor. Triangulation (Triangulasi) Penggunaan tiga atau lebih teori, sumber-sumber atau jenis-jenis informasi, atau jenis-jenis analisis untuk memverifikasi dan menyokong suatu penilaian. Catatan: Dengan mengombinasikan banyak sumber data, metode, analisis atau teori, pengevaluasi berusaha mengatasi bias yang berasal studi-studi yang hanya didasarkan pada informan tunggal, metode tunggal, pengamat tunggal atau teori tunggal. Validity (Validitas atau keabsahan) Tingkat sejauh mana strategi dan instrumen pengumpulan data mengukur apa yang seharusnya diukur.

Catatan Akhir

194

CATATAN AKHIR Bab 3

1. Contoh praktik yang baik dari perbandingan antara kinerja pemerintah tingkat federal dan tingkat negara bagian/teritori di Australia diberikan oleh Steering Committee for the Review of Government Service Provision (2007).

2. Dikenal pula sebagai “manajemen publik baru” (lihat, misalnya, OECD, 1995). 3. Konsep-konsep terkait tentang keterlibatan masyarakat sipil dalam P&E adalah

P&E partisipatoris, di mana warga negara biasa adalah peserta aktif dalam P&E, bukan sekadar sumber informasi; dan akuntabilitas sosial, yang mencakup berbagai macam mekanisme, termasuk berbagai jenis P&E yang dapat diminta warga untuk dilaksanakan oleh negara. Jenis-jenis P&E lainnya itu termasuk kartu penilaian warga, survei penelusuran pengeluaran publik, dan audit sosial. Lihat World Bank (2006b).

4. http://www.bogotacomovamos.org/bogotacv/scripts/index.php. Lihat pula Sanchez (tanpa tahun) dan Fiszbein (2005, h. 42).

5. Kementerian Keuangan Chile, yang mengelola sistem evaluasi keseluruhan pemerintah, mengumumkan secara on-line tender untuk pelaksanaan evaluasi yang diadakan oleh kementerian tersebut. Kerangka acuan (TOR) evaluasi, peserta tender (baik individu maupun perusahaan) yang berhasil, dan laporan akhir evaluasi seluruhnya diumumkan secara terbuka pada situs web kementerian tersebut pada saat seleksi pesera tender. Hal ini membantu memperkuat transparansi proses evaluasi dan objektivitas evaluasi itu sendiri. Bab 4

1. Kebanyakan sistem P&E pemerintah tidak mengevaluasi proyek-proyek donor. Ada dua pengecualian, yaitu Chile dan Kolumbia.

2. http://www.mfdr.org/ 3. http://www.adb.org/MfDR/CoP/about.asp 4. http://www.afrea.org/;http://www.preval.org/mapa.php?idioma=8;

http://www.ideas-int.org/; http://www.internationalevaluation.com/index.shtml Bab 5

1. Mengenai kriteria untuk menilai kualitas indikator kinerja, lihat, misalnya, Hatry (2006) dan Wholey (2006). Mengenai standar evaluasi, lihat, misalnya, Wholey, Hatry dan Newcomer (2004).

Catatan Akhir

195

Bab 6

1. Kementerian Keuangan menganalisis dan berusaha melakukan verifikasi terhadap informasi yang terkandung di dalam laporan-laporan tersebut. Sebagian dari database dan sistem informasi kementerian diaudit oleh komite umum audit internal pemerintah (lihat Blondal dan Curristine, 2004).

2. Target ini mencakup keluaran barang dan jasa, kualitas mereka, serta tingkat kepuasan pengguna.

3. Alasan-alasan bagi tidak tercapainya target yang telah ditetapkan antara lain: faktor-faktor eksternal yang di luar kendali organisasi; target yang terlalu tinggi dan tidak realistis; dan buruknya kinerja manajemen dalam organisasi (Guzman, 2006).

4. Salah satu cara kementerian sektor menggunakan informasi P&E dalam proses anggaran adalah ketika mereka meminta dana tambahan dari bidding fund Kementerian Keuangan. Dana ini telah digunakan dalam sebagian—tidak seluruh—anggaran baru-baru ini untuk mengalokasikan dana tambahan yang tersedia pada akhir proses normal anggaran. Jika kementerian-kementerian itu ingin mengakses dana ini, mereka harus menyerahkan penawaran (bid) dengan menggunakan pendekatan kerangka logis (logframe), dan memperlihatkan sasaran yang dikehendaki dari pengeluaran yang diusulkan, indikator dan target kinerja, populasi target, hasil yang diharapkan, dan kemungkinan kontribusi bagi tujuan strategis. Kementerian Keuangan meninjau penawaran tersebut berdasarkan kriteria teknis, khususnya relevansi penawaran tersebut dengan prioritas-prioritas pemerintah. Keputusan akhir pengalokasian anggaran dibuat oleh presiden (Blondal dan Curristine, 2004).

5. Evaluasi program pemerintah dan evaluasi dampak yang dilakukan Chile tidak selalu melaporkan metodologi yang digunakan atau kurang memberi perhatian pada logika program (logframe). Sebagian dari evaluasi dampak tidak memenuhi standar kualitas yang ditetapkan oleh Kementerian Keuangan sendiri disebabkan masalah-masalah seperti tidak adanya kelompok kontrol atau data patokan awal (baseline data). Evaluasi-evaluasi itu juga cenderung menekankan metode kuantitatif, dan kurang memanfaatkan informasi kualitatif seperti tingkat kepuasan penerima manfaat.

6. Angka ini tidak termasuk biaya-biaya yang harus ditanggung oleh lembaga-lembaga sektor, seperti biaya pengumpulan, pemrosesan, dan pengiriman informasi kinerja ke Kementerian Keuangan, serta biaya untuk menyiapkan laporan manajemen kompehensif. Bab 7

1. Sistem SIGOB di Guatemala dan Honduras dan sistem indikator kinerja di negara bagian Ceará di Brazil digunakan untuk memberi peringkat bagi kinerja program, seperti menggunakan model lampu lintas, yaitu “peringkat” hijau, kuning dan merah. Pendekatan ini menyoroti secara jelas kinerja setiap program. Pemerintah Meksiko tengah mempertimbangkan untuk menerapkan sistem serupa.

2. Departemen Perencanaan, yang mengelola SINERGIA, telah mengembangkan suatu metodologi evaluasi cepat yang didasarkan atas kombinasi evaluasi program pemerintah yang digunakan Chile dan PART pemerintah yang digunakan AS. Untuk

Catatan Akhir

196

lebih terperinci, lihat Mackay dkk. (2007). Evaluasi oleh Departemen Perencanaan ini (yang disebut “evaluasi eksekutif”) diperkirakan menghabiskan biaya sekitar 25.000 dollar untuk setiap evaluasi. Berbagai evaluasi cepat percontohan yang dilakukan Kementerian Keuangan didasarkan atas metodologi evaluasi program pemerintah Chile dan masing-masing menghabiskan biaya sekitar 15.000 dollar.

3. Pemerintah kini hanya mendanai 12 persen dari agenda evaluasi senilai 11,1 juta dollar.

4. Estimasi biaya untuk Kolumbia merupakan perkiraan. Estimasi untuk Kolumbia dan Chile tidak termasuk biaya yang ditanggung oleh kementerian-kementerian dan badan-badan sektor dalam menyediakan informasi pemantauan dan informasi lainnya untuk sistem P&E. Bab 8

1. Reformasi Australia ini mencakup, antara lain, pengurangan jumlah departemen dan pemberian otonomi yang jauh lebih besar untuk departemen-departemen yang dikonsolidasikan; penggantian penganggaran berbasiskan item pengeluaran (line-item budgeting) dengan sistem biaya berjalan (system of running costs) (yang terdiri dari satu item untuk gaji dan item lainnya untuk pengeluaran administratif), selain pengeluaran program; dan diperkenalkannya penganggaran berbasis-program; diperkenalkannya kerangka pengeluaran jangka menengah dengan estimasi tiga tahun ke depan.

2. Perkembangan sistem evaluasi Australia dibahas oleh Mackay (1998a), dan perbandingan dengan sistem manajemen kinerja yang menggantikan sistem evaluasi tersebut disajikan oleh Mackay (2004).

3. Meskipun hubungan akuntabilitas biasanya dilihat dari segi akuntabilitas para menteri dan departemen-departemen kepada parlemen, dalam kasus Australia hubungan akuntabilitas lainnya terbukti lebih kuat: akuntabilitas departemen-departemen kepada Departemen Keuangan.

4. Biaya evaluasi-evaluasi tersebut jika dihitung per tahun kira-kira setara dengan kurang dari 1 persen dari total pengeluaran pemerintah untuk program-program yang dievaluasi tersebut.

5. Kementerian-kementerian sektor terkadang menyiapkan sendiri opsi-opsi penghematan, sebagai satu sarana untuk membantu membiayai proposal-proposal pengeluaran baru. Sekitar sepertiga dari seluruh opsi penghematan disiapkan oleh kementerian-kementerian sektor; dan sisanya disiapkan oleh Departemen Keuangan.

6. Ada sejumlah contoh di mana proposal-proposal kebijakan baru para menteri lini tidak didukung oleh temuan-temuan evaluasi, meskipun Departemen Keuangan berargumen bahwa mereka sebenarnya dapat, dan karena itu Kabinet menuntut dilaksanakannya sebuah evaluasi sebelum Kabinet akan mempertimbangkan proposal tersebut. Dan ketika terjadi perselisihan antara Departemen Keuangan dan sebuah departemen lini menyangkut kualitas atau keterandalan temuan-temuan dari sebuah evaluasi besar—sebuah isu yang pasti akan membangkitkan kegeraman Kabinet—persoalan itu akan diserahkan kembali kepada para pejabat untuk diselesaikan dengan cara melakukan sebuah evaluasi baru. Ini biasanya akan membutuhkan waktu untuk diselesaikan; akibatnya, proposal menteri lini tersebut mungkin harus menunggu tahun

Catatan Akhir

197

berikutnya untuk dapat dipertimbangkan kembali. Penundaan tersebut memberi insentif nyata bagi kementerian-kementerian lini untuk menghindari perselisihan dengan Departemen Keuangan menyangkut kualitas evaluasi mereka.

7. Lihat Mackay (2004) untuk analsis terperinci mengenai reformasi tersebut dan dampaknya terhadap P&E di dalam pemerintah federal.

8. Contohnya meliputi departemen keluarga; departemen pelayanan masyarakat dan urusan pribumi; departemen pekerjaan dan hubungan kerja; departemen pendidikan, sains dan pelatihan; dan departemen kesehatan dan lanjut usia.

9. Dengan tidak adanya tekanan akuntabilitas yang kuat pada departemen-departemen lini, dan dalam sebuah lingkungan di mana proses kebijakan dan anggaraan telah melemah, insentif bagi departemen-departemen lini agar melaksanakan P&E kinerja secara serius harus diciptakan dari dalam. Hal ini pada gilirannya akan bergantung pada prioritas dan komitmen sekretaris dari tiap-tiap departemen. Bab 9

1. Di seluruh dunia sekitar 64 negara yang telah menyiapkan PRSP atau PRSP Interim. Lihat http://www.worldbank.org/prsp.

2. Bagian ini terutama bersandar pada kerja konsultan yang dilakukan oleh IEG. Lihat Hauge (2001, 2003), IEG (2004a, Lampiran D), dan Schiavo-Campo (2005).

3. Hal ini dikenal sebagai Strategi Bantuan Bersama (Joint Assistance Strategy). Lihat World Bank dll. (2006).

4. http://www.worldbank.org/external/projects/main?pagePK=64283627&piPK=73230&theSitePK=40941&menuPK=228424&Projectid=P050440. Bab 10

1. Perlu dicatat pula mengenai pentingnya data yang dikumpulkan oleh kantor statistik nasional, seperti sensus penduduk dan survei rumah tangga. Sebuah contoh yang baik mengenai tinjauan terhadap data yang ada yang dikumpulkan oleh kementerian-kementerian dan kantor statistik nasional di Uganda disediakan oleh Kiryegyera, Nuwagaba, dan Ochen (2005).

2. Misalnya, hal ini terjadi dengan data mengenai daftar tunggu rumah sakit di Inggris (Schick, 2001).

3. Sebuah analisis yang menarik, kendati mungkin kontroversial, tentang sifat dan dampak penerapan hukum Napoleonik di negara-negara berkembang disajikan oleh Beck, Demirguc-Kunt, dan Levine (2002). Sebaliknya, negara-negara dengan sistem pemerintahan Westminster cenderung menafsirkan keputusan pemerintah, seperti tercermin dalam keputusan Kabinet misalnya, dalam cara yang lebih pragmatis, yang menekankan pemberlakuan yang sejalan dengan lingkungan yang berkembang. Kekuatan keputusan Kabinet terletak dalam hal bahwa itu merupakan keputusan kolektif yang melibatkan banyak menteri pemerintahan; dukungan kolektif Kabinet terhadap sistem evaluasi di Australia merupakan suatu faktor sukses penting di negara tersebut (Mackay, 1998a).

Catatan Akhir

198

4. Adanya legislasi bagi P&E memberi keuntungan tambahan. Legislasi dapat memastikan bahwa kementerian-kementerian pusat dapat mengakses data yang dikumpulkan dan dipelihara oleh kementerian-kementerian dan badan-badan sektor. Legislasi dapat pula menjamin bahwa laporan evaluasi disediakan secara terbuka, dan legislasi juga dapat memastikan kerahasiaan data yang bersifat personal.

5. Laporan-laporan evaluasi tersebut tersedia di situs web kementerian: http://www.dipres.cl/fr_control.html.

6. Salah satu dari yang pertama dipublikasikan oleh Departemen Evaluasi Operasi Bank Dunia (yang kemudian namanya berubah menjadi Independent Evaluation Group pada 2005). Lihat Mackay (1998b). Contoh menonjol lainnya adalah Bedi dkk. (2006). Bab 11

1. Trikotomi ini—imbalan, hukuman dan dukungan—pada awalnya dikembangkan oleh Vedung (1991) ketika menyajikan taksonomi instrumen-instrumen kebijakan (peraturan, insentif ekonomi dan informasi). Toulemonde (1999) juga telah menggunakan trikotomi tersebut untuk mengembangkan taksonomi insentif-insentif untuk melaksanakan P&E. Bab 12

1. Compton, Baizerman, dan Stockdill (2002) telah mencirikan pembangunan kapasitas P&E sebagai upaya yang mengandung unsur seni, ketrampilan dan sains.

2. Panduan terperinci untuk menilai sistem pemantauan kemiskinan telah disiapkan oleh Bedi dkk. (2006).

3. Penyelidikan tersebut dapat berupa penelaahan terhadap indikator-indikator kinerja yang telah ada dibandingkan dengan kriteria praktik yang baik seperti SMART—untuk menilai apakah indikator-indikator tersebut bersifat specific (khusus), measurable (terukur), attributable (dapat diklaim), realistic (realistis) dan timely (tepat waktu) (lihat Australian National Audit Office, 2001). Atau, hal itu dapat berupa penelaahan terhadap data yang ada yang dikumpulkan oleh kementerian-kementerian dan kantor statistik nasional, untuk melihat data apa yang tersedia untuk bidang-bidang prioritas pemerintah (seperti kesehatan atau pendidikan dasar) serta tingkat keselarasan atau kekurangan data. (Contoh yang baik untuk Uganda disediakan oleh Kiryegyera, Nuwagaba, dan Ochen, 2005). Penyelidikan itu dapat pula melibatkan serangkaian audit data mendalam terhadap sistem data kementerian sektor. Standar penilaian kualitas data yang digunakan oleh Dana Moneter Internasional (IMF) menyajikan suatu kerangka diagnosis yang ilustratif: http://dsbb.imf.org/Applications/web/dqrs/dqrsdqaf/.

4. Argentina, misalnya, memiliki tiga sistem P&E nasional yang tidak terkoordinasi (Zaltsman, 2006a). Dua dari sistem itu merupakan sistem keseluruhan pemerintah (whole-of-government system), sementara yang ketiga mencakup seluruh pengeluaran sosial.

Catatan Akhir

199

Bab 13

1. Ini merupakan salah satu cara untuk mencapai keselarasan dari berbagai persyaratan P&E yang banyak dan sering kali bertentangan dari lembaga-lembaga donor yang berbeda. Hal itu juga menyediakan titik awal—“pijakan terdepan”—untuk perluasan sistem P&E di masa datang hingga mencakup seluruh kegiatan pemerintah, termasuk kegiatan-kegiatan yang dibiayai dari anggaran pemerintah sendiri.

2. Namun, seperti dikemukakan dalam Bab 6, bahkan sistem P&E Chile yang dijalankan secara terpusat, yang dikelola oleh kementerian keuangan yang mumpuni dan berpengaruh, menghasilkan sejumlah evaluasi yang mengidap persoalan kualitas. Bab 14

1. Kriteria evaluasi yang diterapkan oleh Bank Dunia untuk proyeknya terdiri dari: (1) hasil aktual atau potensial—(a) relevansi sasaran dan rancangan proyek, (b) keefektifan (yaitu, pencapaian sasaran), dan (c) efisiensi; (2) risiko hasil pembangunan (yaitu, risiko bahwa hasil aktual atau potensial tidak akan dapat dipertahankan); (3) kinerja Bank Dunia; (4) kinerja pihak peminjam; (5) rancangan, implementasi dan penggunaan P&E; dan (6) isu-isu lainnya—pemenuhan perlindungan (safeguard compliance), pemenuhan amanat (fiduciary compliance), dan dampak positif atau negatif yang tidak terduga.

2. Satu contoh adalah dukungan Bank Dunia terhadap upaya pemerintah Mesir untuk menerapkan penganggaran berbasis-kinerja. Hasil dari upaya ini dinilai cukup tidak memuaskan (IEG, 2004a, lampiran G). Laporan tersebut menyajikan sejumlah pelajaran dari pengalaman tersebut.

3. Lihat, misalnya, kerja Bank Dunia berkaitan dengan pembangunan kapasitas statistik, dan kerja Kemitraan Statistik untuk Pembangunan pada Abad ke-21 (PARIS21, sebuah konsorsium terkemuka yang terdiri dari donor internasional, pemerintah, lembaga profesi, dan akademisi: http://intranet.worldbank.org/WBSITE/INTRANET/UNITS/DEC/DATA/SCBINTRANET/0,,contentMDK:20100922~pagePK:229337~piPK:232609~theSite PK:239411,00.html http://www.paris21.org/.

4. http://www.who.int/healthmetrics/en/. Sasaran dari jaringan ini relevan dengan sektor-sektor lainnya dan juga dengan sistem informasi nasional: Sistem informasi kesehatan sebuah negara terdiri dari banyak subsistem dan sumber data yang secara keseluruhan memberi kontribusi bagi upaya menghasilkan informasi kesehatan, termasuk registrasi vital, sensus dan survei, pengawasan dan penanganan penyakit, statistik pelayanan dan informasi manajemen kesehatan, data keuangan, dan penelusuran sumber daya. Tidak adanya konsensus mengenai kekuatan, kegunaan, kelayakan dan efisiensi-biaya dari berbagai metode pengumpulan data yang berbeda telah menghasilkan terlalu banyak sistem yang terpisah dan sering kali tumpang-tindih. Terlalu sering, metode pengumpulan data yang partikular digunakan secara tidak tepat, misalnya, penggunaan survei rumah tangga untuk menghasilkan informasi tentang mortalitas orang dewasa. Para mitra HMN sepakat untuk menggunakan suatu kerangka bersama yang menetapkan berbagai standar untuk sistem informasi kesehatan. Kerangka

Catatan Akhir

200

HMN akan berperan untuk menentukan sistem yang dibutuhkan pada tingkat negara dan tingkat global, beserta standar, kapasitas dan proses untuk menghasilkan, menganalisis, menyebarluaskan dan menggunakan informasi kesehatan…[Kerangka] ini memfokuskan masukan (inputs) dari lembaga donor dan lembaga-lembaga teknis di sekitar rencana yang disiapkan suatu negara untuk pengembangan informasi kesehatan, yang dengan demikian dapat mengurangi tumpang-tindih dan duplikasi.

5. Piranti HMN untuk penilaian dan pemantauan guna memperkuat sistem informasi kesehatan negara tersedia di http://www.who.int/healthmetrics/documents/ hmn_assessment_tool_guide_english_vl_96.pdf.

6. Lihat DAC Evaluation Network di bawah OECD: http://www.oecd.org/ document/60/0,2340,en_21571361_34047972_38242748_1_1_1_1,00.html.

7. Lihat pembahasan sebelumnya tentang pembangunan kapasitas statistik (khususnya PARIS21) dan HMN. Kriteria untuk menilai sistem manajemen keuangan dikembangkan oleh komunitas donor guna memastikan agar negara-negara yang akan memperoleh manfaat dari prakarsa peringanan utang memiliki sistem yang cukup andal—yaitu, persyaratan fidusier (fiduciary requirement), yang dikenal sebagai prakarsa pengeluaran publik dan akuntabilitas keuangan. Lihat http://web.worldbank.org/WBSITE/EXTERNAL/ TOPICS/EXTPUBLICSECTORANDGOVERNANCE/EXTPUBLIC-FINANCE/ 0,,contentMDK:20687844~pagePK:148956~piPK:216618~theSite PK:1339564,00.html. Bagian VI

1. Di Australia pemerintah membubarkan Biro Riset Pasar Tenaga Kerja pada 1986 setelah biro tersebut mengadakan peluncuran yang mendapat liputan luas media tentang evaluasinya terhadap program utama pemerintah untuk penciptaan lapangan kerja; evaluasi itu sangat kritis terhadap program tersebut. (Pemerintah kemudian menghapus program tersebut pada tahun berikutnya). Pengalaman ini tentu saja bukan untuk mendukung pandangan bahwa evaluasi perlu dilakukan secara tidak jujur dan objektif. Namun, pengalaman itu menunjukkan bahwa temuan-temuan evaluasi harus dikelola secara taktis. Jika lembaga pemerintah yang melaksanakan evaluasi merupakan suatu lembaga yang baru berdiri, maka lembaga tersebut perlu hati-hati dalam memilih program-program mana yang akan dievaluasi.

2. Tingkat sejauh mana temuan-temuan sebuah evaluasi dapat diterapkan atau relevan dengan negara-negara lain—dan dengan demikian tidak sekadar mewakili lingkungan atau kondisi lokal yang spesifik—mencerminkan validitas eksternal evaluasi tersebut.

3. Lihat, misalnya, artikel-artikel yang dipublikasikan dalam Boston Review pada 2006 dan Davidson (2006), Cook (2006) dan Scriven (2006). White (2006a, 2006b) telah berargumen bahwa porsi dari bantuan pembangunan yang dapat dijadikan sasaran evaluasi dampak secara acak sangat terbatas.

4. Di Amerika Serikat kesenjangan ketersediaan informasi P&E ditangani melalui PART (Program Assessment Rating Tool) (Kotak 3.2). Dengan demikian, program-program dengan bukti P&E yang buruk menyangkut kinerja mereka memperoleh nilai atau skor yang jauh lebih rendah.

Catatan Akhir

201

5. Hal ini jauh lebih mudah dilakukan di dalam sebuah departemen, dibandingkan dengan situasi di mana sebuah program ditangani oleh beberapa departemen.

6. Satu alat analisis yang sangat berguna untuk memfasilitasi pendekatan strategis adalah analisis logframe. Versi lebih canggih dari pendekatan ini disediakan oleh evaluasi berbasis-teori. Ulasan umum mengenai kedua pendekatan tersebut disajikan dalam Monitoring and Evaluation: Some Tools, Methods and Approaches (IEG, 2004b). Lampiran B

1. Tim yang menyiapkan diagnosis ini terdiri dari Gladys Lopez-Acevedo, Fernando Rojas, Miguel Mercado-Díaz, Wendy Cunningham, Jairo Arboleda, Tarsicio Castañeda, Rodrigo Garcia, Marcela Rubio, dan Juan Manuel Quesada, dengan Mackay sebagai pengarang utama.

2. Dokumen-dokumen proyek untuk pinjaman Bank Dunia ini dan lainnya dicantumkan di dalam daftar pustaka.

3. Directiva Presidencial 10 de 2002. 4. Ley 819 de 2003 o Ley de Responsabilidad Fiscal. 5. Rendahnya jumlah staf permanen ini mencerminkan ketatnya kontrol

pemerintah atas jumlah total pegawai negeri. 6. Programas de Acción Gubernamental. Hal itu tercermin dalam Rencana

Pembangunan Nasional. 7. http://www.sigob.gov.co/ini/. 8. Kolumbia merupakan republik kesatuan yang memiliki 32 departemen (tingkat

pemerintahan daerah) ditambah distrik Bogotá. Tiap-tiap departemen mengawasi sejumlah pemerintah tingkat kota. Di Kolumbia terdapat sekitar 1.100 pemerintah tingkat kota.

9. Evaluasi dikenal sebagai “evaluasi strategis” atau Evaluaciones Stratégicas. 10. Selain database SIGOB yang tersedia untuk publik, seluruh evaluasi SINERGIA

dan berbagai laporan mengenai kinerja pemerintah juga tersedia untuk publik di situs web DNP (www.dnp.gov.co). Namun, kemampuan warga negara biasa untuk menggunakan informasi ini tidak jelas, walaupun kalangan akademisi dan sebagian organisasi nonpemerintah jelas memiliki potensi untuk menggunakan informasi tersebut.

11. Daftar pertanyaan atau kuesioner itu tersedia di: http://sinergia.dnp.gov.co/sinergia/opi.

12. Hasil survei ini diperkirakan akan diterbitkan pada 2007. 13. DEPP telah mendukung 20 seri program radio tentang hasil-hasil kebijakan

sosial pemerintah dan tentang cara-cara warga negara dapat meminta dukungan dari pemerintah. Program-program radio itu telah disiarkan di 80 stasiun radio komunitas di seluruh negeri tersebut.

14. http://www.bogotacomovamos.org/bogotacv/scripts/index.php. 15. Namun, Hacienda dilaporkan menggunakan kekuasaan yang tidak terikat dalam

mengeluarkan dana untuk mengesahkan pengeluaran. Sejauh itu terjadi, maka hal itu dapat meningkatkan fleksibilitas anggaran dalam jangka pendek.

16. Pendekatan sebanding dengan penetapan target kinerja adalah “kesepakatan efisiensi”, yang dimaksudkan untuk disepakati dalam konteks Rencana Indikatif, yang

Catatan Akhir

202

harus disepakati oleh kementerian dan badan dengan DNP dan Hacienda. Lihat CONPES (1999). Tidak begitu jelas apakah ada konsekuensi-konsekuensi bagi lembaga-lembaga yang gagal memenuhi target mereka.

17. Metode “casemix” adalah sarana untuk menggolongkan pasien rumah sakit menurut sifat diagnosis mereka dan tingkat perawatan yang dibutuhkan. Pendanaan yang disediakan bagi tiap-tiap rumah sakit didasarkan atas jumlah tiap kategori pasien yang mendapat penanganan dan biaya rata-rata untuk menyediakan tingkat penanganan yang sesuai. Biaya rata-rata didasarkan atas sistem kesehatan secara keseluruhan.

18. Kerja evaluasi DDTS tampaknya terdiri dari penilaian terhadap kinerja pemerintah kota yang didasarkan atas informasi kinerja yang dikumpulkan.

19. Salah satu cara P&E pada tingkat pemerintah daerah dikembangkan di negara-negara lain adalah dengan memublikasikan perbandingan tolok ukur dari kuantitas dan kualitas penyediaan pelayanan oleh pemerintah-pemerintah daerah. Hal ini memungkinkan diidentifikasinya pemerintah yang berkinerja tinggi dan pemerintah yang berkinerja rendah.

20. Pembahasan ini difokuskan pada struktur program berbasis-sasaran. Sruktur program alternatif dapat dibangun, misalnya, didasarkan atas jenis kegiatan (sebagai misal, rumah sakit) atau kelompok target (misalnya, kelompok lanjut usia).

21. DEPP telah memperkirakan bahwa agenda evaluasi SINERGIA mencakup sekitar 24 persen dari anggaran investasi. Angka ini berkaitan dengan kegiatan-kegiatan pemerintah yang menjadi sasaran berbagai evaluasi di bawah SINERGIA. Tentu saja, statistik ini hendaknya tidak dipahami bahwa tidak diperlukan evaluasi lebih lanjut terhadap kegiatan-kegiatan tersebut. Karena, jarang sekali, jikapun ada, sebuah evaluasi dampak yang mahal dapat mengevaluasi secara komprehensif seluruh kemungkinan isu yang berkaitan dengan implementasi program, keluaran, pemberian pelayanan, keefektifan penargetan, hasil dan dampak, dan termasuk seluruh cakupan geografis sebuah program. Dengan demikian, kebanyakan evaluasi hanya membahas sebagian dari isu-isu tersebut. Lebih dari itu, bahkan kegiatan-kegiatan pemerintah yang telah berjalan dengan baik pun tetap memerlukan evaluasi secara berkala.

22. Ada banyak kendala untuk mewujudkan penggunaan temuan-temuan evaluasi. Berbagai aspek pada sisi suplai harus diwujudkan agar penggunaan itu terjadi, seperti kerangka waktu sebuah evaluasi dan kredibilitasnya. Dan, sisi permintaan merupakan kunci: kesadaran akan temuan-temuan evaluasi dan kesiapan para analis kebijakan, pembuat keputusan, dan manajer kegiatan-kegiatan pemerintah untuk menggunakan temuan-temuan evaluasi tersebut (lihat World Bank, 2005b).

23. Bank Dunia menyediakan dana hibah untuk pengembangan kelembagaan sebesar 0,29 juta dollar untuk membantu DANE meningkatkan survei rumah tangga yang dilakukannya.

24. Dua konferensi diadakan pada 2005 dan 2006. Masing-masing konferensi itu dihadiri sekitar 800 peserta, suatu jumlah yang sangat tinggi. Hal ini mengindikasikan cukup tingginya persepsi mengenai pentingnya pemantauan dan evaluasi terhadap kinerja pemerintah.

Catatan Akhir

203

Lampiran D

1. Sejarah keterlibatan IEG dalam topik pembangunan sistem P&E pemerintah dibahas oleh Mackay (2003).

2. Staf donor sering kali berargumen bahwa karena alasan itu, mereka hendaknya tidak dimintai pertanggungjawaban atas hasil dan dampak dari kerja mereka; hanya masuk akal jika mereka dimintai pertanggungjawaban atas kegiatan dan keluaran yang mereka capai. Namun, argumen ini tidak berdasar. Meskipun staf donor umumnya tidak memiliki kontrol langsung atas hasil dan dampak dari kerja mereka, namun demikian mereka tetap memberi kontribusi bagi capaian tersebut. Oleh sebab itu, senantiasa mungkin untuk membuat penilaian yang beralasan menyangkut kontribusi mereka terhadap capaian tersebut. Penilaian tersebut dapat dibuat oleh mitra mereka—staf donor lain yang bekerja di negara yang sama dan mitra pemerintah (dan mungkin juga masyarakat sipil) di negara tersebut. (Analoginya adalah para manajer menyiapkan sebuh laporan referensi atau evaluasi kerja terhadap staf mereka).

3. Metodologi ini mengidentifikasi empat tingkatan evaluasi pelatihan: reaksi peserta dan penilaian tentang pelatihan; tingkat pembelajaran peserta (misalnya, diukur dengan menggunakan ujian sebelum dan sesudah pelatihan); perubahan perilaku peserta (yaitu, perubahan dalam cara mereka melaksanakan pekerjaan); dan hasil bagi organisasi di mana peserta bekerja (yaitu, bagaimana perbedaan kinerja organisasi itu setelah staf mereka memperoleh pelatihan).

4. Misalnya, Buchanan (2004) telah melaksanakan empat tingkat evaluasi terhadap International Program for Development Evaluation Training yang diselenggarakan IEG.

Daftar Pusataka

204

DAFTAR PUSTAKA Adrien, Marie-Hélène. 2003. Guide to Conducting Reviews of Organizations Supplying

M&E Training. Evaluation Capacity Development Working Paper Series No. 9. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/.

———. 2001. “Assessment of Ghanaian Organizations Involved in the Delivery of Monitoring and Evaluation Training.” Laporan yang disiapkan untuk Independent Evaluation Group. World Bank, Washington, DC. http://www.worldbank.org/ieg/ecd/.

African Development Bank dan World Bank. 1998. Evaluation Capacity Development in Africa. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/.

Australian National Audit Office. 2001. Performance Information in Portfolio Budget Statements (Report No. 18, 2001-02). Canberra: AGPS.

———. 1997. Program Evaluation in the Australian Public Service (Report No. 3, 1997–98). Canberra: AGPS.

Bamberger, Michael. 2006. Conducting Quality Impact Evaluations under Budget, Time and Data Constraints. Washington, DC: World Bank.

Bamberger, Michael, Keith Mackay, dan Elaine Ooi. 2005. Influential Evaluations: Detailed Case Studies. Washington, DC: World Bank.

———. 2004. Influential Evaluations: Evaluations that Improved Performance and Impacts of Development Programs. Washington, DC: World Bank.

Barberie, Alain. 1998. Indonesia’s National Evaluation System. Evaluation Capacity Development Working Paper Series No. 3. Washington, DC: World Bank.

Barrett, Pat. 2001. “Evaluation and Performance Auditing: Sharing the Common Ground. A Review of Developments.” Pidato di depan Masyarakat Evaluasi Australasia, Canberra, 10 October. http://www.anao.gov.au/uploads/documents/Evaluation_and_Performance_ Auditing_Sharing_the_Common_Ground.pdf.

Beck, Thorsten, Asli Demirguc-Kunt, dan Ross Levine. 2002. Law and Finance: Why Does Legal Origin Matter? (Paper No. 9379). Cambridge, UK: National Bureau of Economic Research.

Bedi, Tara, Aline Coudouel, Marcus Cox, Markus Goldstein, dan Nigel Thornton. 2006. Beyond the Numbers: Understanding the Institutions for Monitoring Poverty Reduction Strategies. Washington, DC: World Bank.

Blondal, Jon R., dan Teresa Curristine. 2004. “Budgeting in Chile.” OECD Journal on Budgeting 4 (2): 7–45.

Booth, David, dan Henry Lucas. 2001a. Desk Study of Good Practice in the Development of PRSP Indicators and Monitoring Systems: Initial Review of PRSP Documentation. London: Overseas Development Institute.

———. 2001b. Desk Study of Good Practice in the Development of PRSP Indicators and Monitoring Systems: Final Report. London: Overseas Development Institute.

Boston Review. 2006. “Making Aid Work.” http://bostonreview.net/BR31.4/contents.html Boyle, Richard. 2005. Evaluation Capacity Development in the Republic of Ireland.

Evaluation Capacity Development Working Paper Series No. 14. Washington, DC: World Bank.

Daftar Pusataka

205

Brushett, Stephen. 1998. Evaluation Capacity Development in Zimbabwe: Issues and Opportunities. Evaluation Capacity Development Working Paper Series No. 2. Washington, DC: World Bank.

Buchanan, Heather. 2004. “Evaluation of the International Progam for Development Evaluation Training.” Laporan konsultan yang disiapkan untuk Independent Evaluation Group dan Carleton University, World Bank, Washington, DC. http://www.ipdet.org/IPDET2004%20Evaluation%20Report.pdf.

Castro, Manuel Fernando. 2006a. “Colombia’s National System for Evaluating Management and Results.” Dalam Ernesto May, David Shand, Keith Mackay, Fernando Rojas, dan Jaime Saaverdra (ed.). Towards the Institutionalization of Monitoring and Evaluation Systems in Latin America and the Caribbean: Proceedings of a World Bank/Inter-American Development Bank Conference, 29–35. Washington, DC: World Bank.

———. 2006b. “Performance-based management of country planning and budgeting: The case of Colombia.” Presentasi pada Konferensi International tentang Pemantauan dan Evaluasi terhadap Politik dan Perencanaan Negara, Beijing, Oktober 2006.

Compton, Donald W., Michael Baizerman, dan Stacey H. Stockdill (ed.). 2002. The Art, Craft, and Science of Evaluation Capacity Building. San Francisco: Jossey-Bass.

CONPES (Consejo Nacional de Política Económica y Social). 2004. “Renovación de la administración: Gestión por resultados y reforma del sistema nacional de evaluación.” CONPES 3294.

———. 2002. “Evaluación de impacto de programas sociales.” CONPES 3188. ———. 1999. “Acuerdos de eficiencia: Estrategia de evaluación del plan nacional de

desarrollo ‘Cambio para Construir la Paz.’” CONPES 3048. Cook, Thomas D. 2006. “Describing What Is Special about the Role of Experiments in

Contemporary Educational Research: Putting the ‘Gold Standard’ Rhetoric into Perspective.” Journal of MultiDisciplinary Evaluation 6 (November): 1–7.

Curristine, Teresa. 2005. “Performance Information in the Budget Process: Results of the OECD 2005 Questionnaire.” OECD Journal on Budgeting 5 (2): 87–131.

DAC (Development Assistance Committee of the Organisation for Economic Co-operation and Development). 2006. The Challenge of Capacity Development: Working Towards Good Practice. Paris: OECD.

———. 2002. Glossary of Key Terms in Evaluation and Results Based Management. Paris: OECD.

DAC Network on Development Evaluation. 2006. Fact-Finding Survey on Evaluation Capacity Development (ECD) in Partner Countries. Paris: OEDC.

Davidson, E. Jane. 2006. “The RCTs-Only Doctrine: Brakes on the Acquisition of Knowledge?” Journal of MultiDisciplinary Evaluation 6 (November): ii–v.

DNP (Department of National Planning). 2005. “Strategic Plan for Strengthening and Consolidating Information and Performance-Based Monitoring and Evaluation 2005–2010.” Paper diskusi, Departemen Perencanaan Nasional, Bogotá.

Departmento Nacional de Planeacion y Alta Conserjería Presidencial. 2005. Presupuesto de inversión por resultados 2006. Bogotá: Pemerintah Kolumbia.

Daftar Pusataka

206

Development Bank of Southern Africa, African Development Bank, and World Bank. 2000. Monitoring and Evaluation Capacity Development in Africa. Johannesburg: Development Bank of Southern Africa. http://www.worldbank.org/ieg/ecd/.

Fiszbein, Ariel (ed.). 2005. Citizens, Politicians and Providers: The Latin American Experience with Service Delivery Reform. Washington, DC: World Bank.

GAO (Government Accountability Office). 2004. “Performance Budgeting: OMB’s Program Assessment Rating Tool Presents Opportunities and Challenges for Budget and Performance Integration.” Highlights of GAO-04-439T, kesaksian di hadapan Subcommittee on Government Efficiency and Financial Management, Committee on Government Reform, House of Representatives. http://www.gao.gov/new.items/d04439t.pdf.

———. 1987. “Federal Evaluation: Fewer Units, Reduced Resources, Different Studies from 1980.” PEMD-87-9. Washington, DC: General Accounting Office.

Government of Colombia (Pemerintah Kolumbia). 2006. Visión Colombia 2019. Bogotá: Pemerintah Kolumbia.

Government of Tanzania (Pemerintah Tanzania). 2001. Poverty Monitoring Master Plan. Dar es Salaam: Pemerintah Tanzania.

Government of Uganda (Pemerintah Uganda). 2006. The National Integrated Monitoring and Evaluation Strategy Framework. Kampala: Kantor Perdana Menteri, Pemerintah Uganda. http://www.nimes.go.ug/index.php?option=com_frontpage&Itemid=1.

———. 2004. Poverty Eradication Action Plan (2004/5–2007/8). Kampala: Kementerian Keuangan, Perencanaan dan Pembangunan Ekonomi, Pemerintah Uganda.

Guerrero, R. Pablo O. 1999. Comparative Insights from Colombia, China and Indonesia. Evaluation Capacity Development Working Paper Series No. 5. Washington, DC: World Bank.

Guzmán, Marcela S. 2007. “Monitoring and Evaluation.” Presentasi untuk World Bank-Government of Bolivia Workshop on Managing for Results, La Paz, Bolivia, 22–23 Januari.

———. 2006. “The Chilean Experience.” Dalam Ernesto May, David Shand, Keith Mackay, Fernando Rojas, dan Jaime Saaverdra (ed.) Towards the Institutionalization of Monitoring and Evaluation Systems in Latin America and the Caribbean: Proceedings of a World Bank/Inter-American Development Bank Conference, 11–16. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/.

———. 2005. Sistema de control de gestión y presupuestos por resultados: La experiencia Chilena. Santiago: Kementerian Keuangan, Direktorat Anggaran, Pemerintah Chile. http://www.dipres.cl/control_gestion/publicaciones/Control_Gestion_Presupuestos_Exp_Chilena_Sept_2005.html.

———. 2003. Systems of Management Control and Results-Based Budgeting: The Chilean Experience. Santiago: Kementerian Keuangan, Pemerintah Chile.

Hatry, Harry P. 2006. Performance Measurement: Getting Results, Edisi ke-2. Washington, DC: The Urban Institute Press.

Daftar Pusataka

207

Hauge, Arild. 2003. The Development of Monitoring and Evaluation Capacities to Improve Government Performance in Uganda. Evaluation Capacity Development Working Paper Series No. 10. Washington, DC: World Bank.

———. 2001. Strengthening Capacity for Monitoring and Evaluation in Uganda: A Results-Based Management Perspective. Evaluation Capacity Development Working Paper Series No. 8.Washington, DC: World Bank.

Hauge, Arild, Wenkere Kisembo, Med Makumbi, dan Omiat Omongin. 2002. “Effective Implementation of Uganda’s Poverty Eradication Action Plan: The Role of Monitoring and Evaluation in the Health, Education and Water Sectors.” Paper yang disiapkan untuk Kementerian Keuangan, Perencanaan dan Pembangunan Ekonomi, Kampala.

Hentschel, Jesko. 2004. “Using Rapid City Surveys to Inform Municipal Social Policy—An Application in Cali, Colombia.” World Bank Policy Research Working Paper No. 3369, World Bank, Washington, DC.

Hernandez, Gonzalo. 2007. “The Monitoring and Evaluation System in Mexico: 2007.0 Version.” Presentasi di World Bank, Washington, DC, 12 Maret.

———. 2006. “M&E of Social Programs in Mexico.” Dalam Ernesto May, David Shand, Keith Mackay, Fernando Rojas, dan Jaime Saaverdra (ed.) Towards the Institutionalization of Monitoring and Evaluation Systems in Latin America and the Caribbean: Proceedings of a World Bank/Inter-American Development Bank Conference, 47–52. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/docs/proceedings_la_eng.pdf.

High Level Forum on Harmonisation, Alignment, Results. 2005. Paris Declaration on Aid Effectiveness: Ownership, Harmonisation, Alignment, Results and Mutual Accountability. Paris: High Level Forum on Harmonisation, Alignment, Results. http://www.oecd.org/document/18/0,2340,en_2649_3236398_35401554_1_1_1_1,00.html.

IEG (Independent Evaluation Group). 2006. 2006 Annual Report on Operations Evaluation. Washington, DC: World Bank.

———. 2004a. Evaluation Capacity Development: OED Self-Evaluation. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/.

———. 2004b. Monitoring and Evaluation: Some Tools, Methods and Approaches, edisi ke-2. Washington, DC: World Bank.

———. 2004c. The Poverty Reduction Strategy Initiative: An Independent Evaluation of the World Bank’s Support through 2003. Washington, DC: World Bank.

———. 2003a. Toward Country-Led Development: A Multi-Partner Evaluation of the Comprehensive Development Framework.Washington, DC: World Bank.

———. 2003b. World Bank Operations Evaluation Department: The First 30 Years.Washington, DC: World Bank.

———. 2002. Annual Report on Evaluation Capacity Development. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/.

Joyce, Philip G. 2004. Linking Performance and Budgeting: Opportunities in the Federal Budget Process. Washington, DC: IBM Center for The Business of Government. http://www.businessofgovernment.com/pdfs/Joyce_Report.pdf.

Kim, Dong Yeon, William Dorotinsky, Feridoun Sarraf, dan Allen Schick. 2006. “Paths toward Successful Introduction of Program Budgeting in Korea.” Dalam John M.

Daftar Pusataka

208

Kim (ed.) From Line-Item to Program Budgeting: Global Lessons and the Korean Case, 23–134. Seoul: Korea Institute of Public Finance dan World Bank. http://www1.worldbank.org/publicsector/pe/bookprogrambudget.pdf.

Kirkpatrick, Donald L., dan James D. Kirkpatrick. 2006. Evaluating Training Programs: The Four Levels, Edisi ke-3. San Francisco: Berrett-Koehler Publishers.

Kiryegyera, Ben, Augustus Nuwagaba, dan Eric A. Ochen. 2005. “Results-Based Monitoring and Evaluation Plan for the Poverty Eradication Action Plan.” Laporan tidak dipublikasikan yang disiapkan untuk Kantor Perdana Menteri, Uganda, Kampala.

Lahey, Robert. 2005. “A Comparative Analysis of Monitoring and Evaluation in Four Selected Countries: Canada, United States, Australia and United Kingdom.” Manuskrip yang tidak diterbitkan.

Mackay, Keith. 2004. Two Generations of Performance Evaluation and Management Systems in Australia. Evaluation Capacity Development Working Paper Series No. 11. Washington, DC: World Bank.

———. 2003. “Evaluation Capacity Development.” Dalam Partick G. Grasso, Sulaiman Wasty, dan Rachel Weaving (ed.) World Bank Operations Evaluation Department: The First 30 Years, 105–14. Washington, DC: World Bank.

———. 2002. Evaluation Capacity Development (ECD) and the Poverty Reduction Strategy Initiative: Emerging Opporunities. Proseding Konferensi AfrEA 2002. Nairobi: African Evaluation Association.

———. 1998a. The Development of Australia’s Evaluation System. Evaluation Capacity Development Working Paper Series No. 4.Washington, DC: World Bank.

———. 1998b. Evaluation Capacity Development: A Diagnostic Guide and Action Framework. Evaluation Capacity Development Working Paper Series No. 6. Washington, DC: World Bank.

———. 1998c. Lessons from National Experience. Evaluation Capacity Development Working Paper Series No. 1. Washington, DC: World Bank.

———. 1998d. Public Sector Performance—The Critical Role of Evaluation. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/.

Mackay, Keith, dan Sulley Gariba (ed.). 2000. The Role of Civil Society in Assessing Public Sector Performance in Ghana. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/.

Mackay, Keith, Gladys Lopez-Acevedo, Fernando Rojas, Aline Coudouel, dkk. 2007. A Diagnosis of Colombia’s National M&E System, SINERGIA. Evaluation Capacity Development Working Paper Series No. 17. Washington, DC: World Bank.

May, Ernesto, David Shand, Keith Mackay, Fernando Rojas, dan Jaime Saavedra (ed.). 2006. Towards Institutionalizing Monitoring and Evaluation Systems in Latin America and the Caribbean: Proceedings of a World Bank/Inter-American Development Bank Conference. Washington, DC: World Bank.

Mayne, John, and Peter Wilkins. 2005. “Believe It or Not: The Emergence of Performance Information Auditing.” Dalam Robert Schwartz dan John Mayne (ed.), Quality Matters: Seeking Confidence in Evaluating, Auditing, and Performance Reporting, 237–60. Edison, NJ: Transaction Publishers.

OECD (Organisation for Economic Co-operation and Development). 2005. Modernizing Government: The Way Forward. Paris: OECD.

Daftar Pusataka

209

———. 2004. “Public Sector Modernisation: Governing for Performance.” OECD Policy Brief, OECD, Paris.

———. 2002. “Public Sector Modernisation: A New Agenda.” GOV/PUMA(2002), 2, OECD, Paris.

———. 1998a. “Best Practice Guidelines for Evaluation.” PUMA Policy Brief No. 5, OECD, Paris.

———. 1998b. Public Management Reform and Economic and Social Development. Paris: OECD.

———. 1997a. In Search of Results: Performance Management Practices. Paris: OECD. ———. 1997b. Issues and Development in Public Management: Survey 1996–1997.

Paris: OECD. ———. 1997c. Promoting the Use of Programme Evaluation. Paris: OECD. ———. 1995. Governance in Transition: Public Management Reforms in OECD

Countries. Paris: OECD. OECD dan DAC. 2006. Managing for Development Results—Principles in Action:

Sourcebook on Emerging Good Practices. Paris: OECD. http://www.mfdr.org/Sourcebook.html.

Office of the Auditor-General of Canada. 2003. “Rating Department Performance Reports.” 2003 Status Report. Office of the Auditor-General, Ottawa. http://www.oag-bvg.gc.ca/domino/reports.nsf/html/20030501ce.html.

OMB (Office of Management and Budget). 2003. Performance Measurement Challenges and Strategies. Washington, DC: OMB. http://www.whitehouse.gov/omb/part/index.html.

Ospina Bozzi, Sonia, dan Doris Ochoa. 2003. “El sistema nacional de evaluación de resultados de la gestión pública (SINERGIA) de Colombia.” Dalam Nuria Cunill Grau dan Sonia Ospina Bozzi (ed.) Evaluación de resultados para una gestión pública moderna y democrática: Experiencias Latinoamericanas. Caracas: CLAD.

Patton, Michael Quinn. 1997. Utilization-Focused Evaluation: The New Century Text, edisi ke-3. Thousand Oaks, CA: Sage Publications.

Perrin, Burt, dan Keith Mackay. 1999. What Makes for Successful Conferences? Lessons Learned from an Evaluation of Six Conferences Sponsored by the World Bank Institute. Washington, DC: World Bank Institute.

Ravindra, Adikeshavalu. 2004. An Assessment of the Impact of Bangalore Citizen Report Cards on the Performance of Public Agencies. Evaluation Capacity Development Working Paper Series No. 12. Washington, DC: World Bank.

Roberts, John. 2003. Managing Public Expenditure for Development Results and Poverty Reduction. No. 203, Overseas Development Institute Working Papers Series. London: Overseas Development Institute. http://www.odi.org.uk/Publications/working_papers/wp203.pdf.

Rojas, Fernando, Keith Mackay, Yasuhiko Matsuda, Geoffrey Shepherd, Azul del Villar, Ariel Zaltsman, dan Philipp Krause. 2005. Chile: Study of Evaluation Program—Impact Evaluation and Evaluations of Government Programs. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/.

Daftar Pusataka

210

Sánchez, María Fernanda. Tanpa tahun. “Evaluation of Changes in the Quality of Life in Bogotá, Colombia, from a Civil Society Perspective—Bogotá Cómo Vamos.” Paper tidak diterbitkan.

Sandoli, Robert L. 2005. “Budgeting for Performance in the United States Using the Program Assessment Rating Tool (PART).” Disajikan di konferensi World Bank-Korea Development Institute, “Improving the Public Expenditure Management System,” 8 Desember.

Schacter, Mark. 2000. Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance. Evaluation Capacity Development Working Paper Series No. 7. Washington, DC: World Bank.

Schiavo-Campo, Salvatore. 2005. Building Country Capacity for Monitoring and Evaluation in the Public Sector: Selected Lessons of International Experience. Evaluation Capacity Development Working Paper Series No. 13. Washington, DC: World Bank.

Schick, Allen. 2001. “Getting Performance Measures to Measure Up.” Dalam Dall Forsythe (ed.). Quicker, Better, Cheaper?Managing Performance in American Government,. Ithaca, NY: Rockefeller Institute Press.

Scriven, Michael. 2006. “Converting Perspective to Practice.” Journal of MultiDisciplinary Evaluation 6 (November): 8–9.

Shand, David. Akan terbit. “Performance Auditing and Performance Budgeting.” Dalam , Marc Robinson (ed.). Performance Budgeting: Linking Funding and Results. Basingstoke, Hampshire: Palgrave Macmillan.

———. 2006. “Institutionalizing Monitoring and Evaluation—Issues and Experience in OECD Countries and in Latin America.” Dalam Ernesto May, David Shand, Keith Mackay, Fernando Rojas, dan Jaime Saaverdra (ed.). Towards Institutionalizing Monitoring and Evaluation Systems in Latin America and the Caribbean: Proceedings of a World Bank/Inter-American Development Bank Conference, 57–66. Washington, DC: World Bank. http://www.worldbank.org/ieg/ecd/.

Social Impact. 2006. Monitoring, Evaluation and Learning for Fragile States and Peacebuilding Programs: Practical Tools for Improving Program Performance and Results. Arlington, VA: Social Impact.

Ssentongo, Peter. 2004. “The National Integrated Monitoring and Evaluation Strategy.” Presentasi pada Konferensi Asosiasi Evaluasi Afrika tahun 2004, Cape Town.

Steering Committee for the Review of Government Service Provision. 2007. Report on Government Services 2007. Canberra: Productivity Commission. http://www.pc.gov.au/gsp/reports/rogs/2007/index.html.

Stout, Susan. 2001. “Tanzania: Rapid Assessment of Monitoring and Evaluation in the Health Sector.” Draf laporan, World Bank, Washington, DC.

Toulemonde, Jacques. 1999. “Incentives, Constraints, and Culture-Building as Instruments for the Development of Evaluation Demand.” Dalam Richard Boyle dan Donald Lemaire (ed.). Building Effective Evaluation Capacity: Lessons from Practice 153–174. New Brunswick, NJ: Transaction Publishers.

Uhr, John, dan Keith Mackay. 1996. Evaluating Policy Advice: Learning from Commonwealth Experience. Canberra: Federalism Research Centre (Australian National University) and the Department of Finance.

Daftar Pusataka

211

UNDP (United Nations Development Programme). 2000. Evaluation Capacity Development in Asia. New York: UNDP. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/C273DBBB7BC5898085256B1B005494A8/$file/ecd_china.pdf.

United Kingdom National Audit Office. 2006. “PSA Targets: Performance Information.” NAO Survey Report, NAO, London. http://www.nao.org.uk/publications/nao_reports/05-06/Acting_on_Information.pdf.

United Kingdom Treasury. Tanpa tahun. Outcome Focused Management in the United Kingdom. London: Treasury. http://www.hm-treasury.gov.uk/documents/public_spending_and_services/publicservice_performance/pss_perf_index.cfm.

Vedung, Evert. 1991. Utvärdering i politik och förvaltning. Lund: Studentlitteratur. (Translation: 1997. Public Policy and Program Evaluation. New Brunswick, NJ: Transactions Publishers).

White, Howard. 2006a. Impact Evaluation—The Experience of the Independent Evaluation Group of the World Bank. Washington, DC: World Bank.

———. 2006b. “Technical Rigor Must Not Take Precedence over Other Kinds of Valuable Lessons.” Boston Review, Juli/Agustus. http://bostonreview.net/BR31.4/white.html.

Wholey, Joseph S. 2006. “Quality Control: Assessing the Accuracy and Usefulness of Performance Measurement Systems.” Dalam Harry P. Hatry (ed.). Performance Measurement: Getting Results, Edisi ke-2. Washington, DC: The Urban Institute Press.

Wholey, Joseph S., Harry P. Hatry, dan Kathryn E. Newcomer. 2004. Handbook of Practical Program Evaluation, edisi ke-2. San Francisco: Jossey-Bass.

World Bank. 2007. “Colombia: Monitoring, Evaluation and Information Project.” Project Appraisal Document, World Bank, Washington, DC.

———. 2006a. “Colombia: Community Works and Employment Project.” Implementation Completion Report No. 37294, World Bank, Washington, DC.

———. 2006b. Social Accountability: Strengthening the Demand Side of Governance and Service Delivery. Washington, DC: World Bank. http://www-esd.worldbank.org/sac/contact_welcome/welcome.html.

———. 2005a. Chile: Análisis del programa de evaluación del gasto público. Washington, DC: World Bank.

———. 2005b. “Colombia: Third Programmatic Fiscal and Institutional Structural Adjustment Loan Project.” Project Appraisal Document, World Bank, Washington, DC.

———. 2005c. “Colombia: Social Safety Net Project.” Project Appraisal Document, World Bank, Washington, DC.

———. 2004a. “Colombia: Proposed Second Programmatic Labor Reform and Social Structural Adjustment Loan Project.” Program Document, World Bank, Washington, DC.

———. 2004b. “Colombia: Technical Assistance Loan to Support the Second Programmatic Labor Reform and Social Structural Adjustment Loan Project.” Project Appraisal Document 29332, World Bank, Washington, DC.

Daftar Pusataka

212

———. 2004c. “Readiness Assessment—Toward Performance-Based Monitoring and Evaluation in Mexico: The Case of SEDESOL.” Paper tidak diterbitkan. World Bank, Washington, DC.

———. 2004d. The World Bank Annual Report 2004. Washington, DC: World Bank. ———. 2003. World Development Report 2004: Making Services Work for Poor People.

Oxford: Oxford University Press. ———. 1998. Public Expenditure Management Handbook. Washington, DC: World

Bank. http://siteresources.worldbank.org/INTPEAM/Resources/pem98.pdf. ———. 1997a. Colombia: Paving the Way for a Results-Oriented Public Sector.

Washington, DC: World Bank. ———. 1997b. World Development Report 1997: The State in a Changing World. New

York: Oxford University Press. http://www.worldbank.org/html/extpb/wdr97/english/wdr97con.htm.

World Bank, African Development Bank, Austria, Germany, The Netherlands, Norway, Sweden, dan UK Department for International Development. 2006. Joint Assistance Strategy for the Republic of Uganda (2005–2009). http://siteresources.worldbank.org/INTUGANDA/Resources/UJAS.pdf.

World Bank and International Monetary Fund. 2004. Poverty Reduction Strategy Papers—Progress in Implementation. Washington, DC: World Bank and International Monetary Fund. http://siteresources.worldbank.org/INTPRS1/Resources/prsp_progress_2004.pdf.

Zaltsman, Ariel. 2006a. Experience with Institutionalizing Monitoring and Evaluation Systems in Five Latin American Countries: Argentina, Chile, Colombia, Costa Rica and Uruguay. Evaluation Capacity Development Working Paper Series No. 16.Washington, DC: World Bank.

———. 2006b. “The Monitoring and Evaluation Function in Colombia.” Paper tidak diterbitkan, World Bank, Washington, DC.

Situs Web yang Berguna African Evaluation Association (AfrEA): http://www.afrea.org/ Asian Development Bank Web site tentang komunitas praktik Asia untuk mengelola hasil pembangunan: http://www.adb.org/MfDR/CoP/about.asp CLAD (Centro Latinoamericano de Administración Para el Desarrollo): http://www.clad.org.ve/siare/innotend/innotend.html Citizen’s Report Card (PAC, India): http://www.pacindia.org/ International Development Evaluation Association (IDEAS): http://www.ideas-int.org/ International Organisation for Cooperation in Evaluation (IOCE): http://internationalevaluation.com/index.shtml Latin American evaluation associations: http://www.preval.org/mapa.php?idioma=8 Managing for Development Results initiative: http://www.mfdr.org/ U.S. PART: http://www.whitehouse.gov/omb/part/index.html World Bank Independent Evaluation Group: http://www.worldbank.org/ieg/ecd

213

wb251178 L:\POVERTY\Translation\M & E.doc 02/22/2008 1:22:00 PM

Membangun System Pemantauan dan Evaluasi, Untuk...

Documents

Transcript of Membangun System Pemantauan dan Evaluasi, Untuk...