Pendadaran

EVALUASI IMPLEMENTASI PROYEK GAVI HSSDENGAN PERSPEKTIF PARIS DECLARATION

Budi Perdana NIM. 11/323759/PKU/12613

PROGRAM PASCASARJANA FAKULTAS KEDOKTERAN

UNIVERSITAS GADJAH MADA YOGYAKARTA 20 MARET 2015

CATATAN/INPUT DARI SEMINAR HASIL 20 FEB 2015

Penguji/Pembimbing

Input Follow Up

Prof. Laksono Trisnantoro, Ph.D

1. Jangan sampai penilaian : baik, kurang baik, dsb cukup deskripsikan ‘ya’ atau ‘tidak’ dan bila tidak jelaskan mengapa

2. Jangan terlalu banyak kuotasi masukkan dalam ‘mengapa’

3. Mengapa diisi dengan pendapat2 dari informan

4. Perlu adanya monev independen

1. Sudah dilakukan perubahan pada bab IV (h.31) dan bab V (h.56)

2. Sudah dilakukan perubahan sub bab IV (hasil penelitian – h.31)

3. Telah disesuaikan

4. Sudah ditambahkan pada bab V (h.56)

CATATAN/INPUT DARI SEMINAR HASIL20 FEB 2015

Penguji/Pembimbing

Input Follow Up

Dra. Retna Siwi Padmawati, MA

1. Latar belakang ditambahkan terutama pada apa itu proyek GAVI HSS

2. Kriteria baik/tidak baik apa?

3. Definisi Operasional harus ditambahkan untuk tiap-tiap indikator

4. Cara menyajikan hasil wawancara diperbaiki, ditambah analisis untuk tiap pertanyaan termasuk hubungan dengan peneliti sebelumnya

5. Pedoman wawancara perlu dimasukkan dalam tesis

6. 12 Indikator PD dijadikan variabel independen*

7. Minta pendapat via email ke GAVI Jenewa*

1. Sudah ditambahkan pada bab I (h.2 s/d h.5)

2. Kriteria baik/tidak baik tidak lagi digunakan

3. DO untuk masing-masing indikator sdh ditambahkan (h. 24)

4. Telah diperbaiki (Bab IV, h. 31 s/d 45)

5. Sudah ditambahkan

6. Telah dirubah (tbd)

7. Belum mendapat jawaban)

CATATAN/INPUT DARI SEMINAR HASIL20 FEB 2015

Penguji/Pembimbing

Input Follow Up

dr. Mubbasysyir Hasan Basri, MA

1. Tambah referensi untuk aid effectiveness terutama pada bagian pembahasan

1. Telah diperbaiki (Bab IV, h. 31 s/d 45)

Dr. Lutfan, Phd 1. Didefinisi operasional ditambahkan untuk tiap-tiap indikator

1. Telah ditambahkan (h.24)

Latar Belakang 1. Proyek GAVI HSS :

• Tujuan proyek : meningkatkan dan memperkuat program imunisasi melalui peningkatan sistem pelayanan kesehatan dan meningkatkan peran masyarakat melalui peranan CSO dalam memperbaiki status kesehatan ibu, bayi dan anak

• Proposed implementation : 2008 – 2009• Wilayah : Pusat, Prov : Jabar, Banten, Sulsel, Papua, Papbar, Kab

: 39 Kab• Jumlah hibah : Rp 240,82 M• Progres penyerapan : Rp. 154,07 M

2. Proyek ini direncanakan akan diselesaikan dalam dua tahun (2008 – 2009) tetapi dalam implementasinya sampai dengan tahun 2014 proyek ini masih belum selesai dilaksanakan dan telah terjadi keterlambatan penyelesaian proyek selama kurang-lebih lima tahun. Dengan kata lain telah terjadi inefektifitas dan inefisiensi dalam implementasi proyek GAVI HSS.

3. Proyek ini dimulai pada tahun 2008, tiga tahun setelah dicanangkannya Paris Declaration sehingga dalam hal ini GAVI (sebagai donor) dan Indonesia (sebagai negara mitra) yang menandatangani Paris Declaration juga seharusnya menerapkan prinsip-prinsip Paris Declaration di proyek ini.

Perumusan Masalah

Bagaimana penerapan prinsip-prinsip Paris Declaration pada implementasi proyek GAVI-HSS?

Tujuan Penelitian

Tujuan UmumMelakukan evaluasi atas upaya-upaya yang dilakukan untuk mencapai efektifitas dalam implementasi proyek hibah luar negeri.Tujuan KhususMelakukan evaluasi atas penerapan prinsip-prinsip Paris Declaration pada implementasi proyek GAVI HSS.

Manfaat Penelitian

Manfaat AkademisMemberikan gambaran yang evidence based atas implementasi prinsip-prinsip sebuah komitmen internasional (Paris Declaration) pada suatu proyek. Hal ini diharapkan akan memperkaya khazanah ilmu manajemen, khususnya manajemen proyek bantuan luar negeri (foreign aid project).

Manfaat PraktisMemberikan input kepada pihak-pihak yang terkait dengan pelaksanaan proyek hibah luar negeri untuk perencanaan, implementasi, monitoring dan evaluasi atas proyek-proyek hibah luar negeri khususnya di lingkungan Kementerian Kesehatan.

Keaslian Penelitian

Penelitian terdahulu : 1. Teti Rostiati (2006). Evaluasi Kebijakan Pinjaman

Luar Negeri : Studi Kasus Pinjaman Japan Bank for International Coorporation (JBIC).

2. Bernard Wood Et Al (2008 dan 2011). Evaluation Of The Implementation Of The Paris Declaration.

3. Manuela Pereira (2012). Kebijakan dan Implementasi Bantuan Luar Negeri Ausaid di Timor Leste: Evaluasi Terhadap Proyek Dukungan Rencana Strategik Sektor Kesehatan.

Perbedaan

1. Perbedaan pada instrumen yang digunakan : pada penelitian ini pengumpulan data dilakukan dengan mengacu pada indikator-indikator dalam Paris Declaration secara utuh (dua belas indikator).

2. Perbedaan pada subyek penelitian : pada penelitian ini subyek yang diteliti dibatasi dalam scope yang lebih spesifik yaitu satu proyek, bukan satu negara.

Telaah Pustaka 1. Bantuan internasional

-Modern aid = Marshall Plan (setelah PD II)-Political aid (perang dingin)-MDGs (> perang dingin ± akhir 1990 an)

2. Efektifitas bantuan internasional- 2002 : Monterrey- 2003 : Roma- 2005 : Paris- 2008 : Accra (Ghana)- 2011 : Busan (Korea)

Indonesia : Jakarta Commitment (2009)

3. Paris DeclarationOwnership, Alignment, Harmonization, Result Oriented dan Accountability 12 indikator

4. Bantuan Luar Negeri di Kemenkes- Dimulai di era 1950 an (Kopem USAID)- Berhenti di akhir 1960 an (Go to hell with your aid!)- Sangat tinggi diakhir 1960 an (Repelita I , 69 – 73 : 60% dari

IGGI)- Boom di 90 an (Krismon dan start otda – SAP WB & IMF)- SBY (2004) tidak ada lagi pinjaman

6. Kebijakan Evaluasi GAVI Alliance (GAVI evaluation policy, 2012)- Evaluasi program, Evaluasi strategi dan kebijakan, Evaluasi

partnership, Evaluasi full country, Evaluasi akhir proyek dan Meta review

7. Proyek GAVI HSS - 2007 kebijakan HSS dari GAVI Jenewa- Proposal disetujui untuk pelaksanaan proyek 2 tahun : 2008 –

2009, dengan total dana : ± Rp. 240,8 M- 4 objectives : community mobilization to support MCH, improve

management capacity, partnership with NGO, operational research for critical barriers. (p.17)

- Tingkat Pusat dan 5 Provinsi + 39 Kab/Kota (p.16)8. Reprogramming GAVI HSS (Untuk Pelaksanaan 2012 – 2014)

- Disarankan oleh GAVI utk seluruh penerima hibah (2011)- Difokuskan pada 3 building block : Information, Health

Workforce, Service Delivery

Kerangka Teori

Dunn (1994)Process evaluation Proses evaluasi difokuskan pada cara-cara bagaimana program tersebut disampaikan pada clients atau dengan melihat cara-cara program tersebut diimplementasikan.Impact evaluationEvaluasi terutama ditujukan kepada hasil dari suatu program tertentuPolicy evaluationEvaluasi ini dilakukan dengan melihat pengaruh kebijakan atau program yang diarahkan kepada penyelesaian masalah tertentu

Kerangka Konsep

Pertanyaan Penelitian

Bagaimana penerapan prinsip-prinsip Paris Declaration pada implementasi proyek GAVI HSS?

Penelitian• Jenis dan Disain

Jenis : studi kasus Disain : kualitatif Metode : review dokumen dan wawancara• Tempat dan Waktu Penelitian

Kementerian Kesehatan dan kantor perwakilan donor (terutama WHO sebagai perwakilan GAVI di Indonesia), Feb 2014 – Jan 2015)

• Subjek PenelitianPejabat dari satker-satker yang terkait implementasi GAVI HSS dan stakeholders lain (perwakilan donor)

Purposive sampling + snowball sampling

Identifikasi Variabel Penelitian

Variabel independen :Variabel Independen diambil dari 12 indikator Paris Declaration

Variabel Dependen :Efektivitas Implementasi proyek GAVI-HSS

Indikator Paris Declaration sebagai Variabel Independen

Instrumen Penelitian dan Cara Pengambilan Data

Instrumen Penelitian :KuesionerCara Pengambilan data :1. Observasi (observasi partisipatif)2. Wawancara (semi terstruktur, in depth interview)3. Review Dokumen4. Triangulasi (triangulasi sumber)

Cara Analisis Data

Analisis sebelum di lapanganAnalisis dilakukan terhadap data hasil studi pendahuluan atau data sekunder + interview awal

Analisis selama di lapanganDilakukan pada saat pengumpulan data berlangsung dan setelah pengumpulan data dalam periode tertentu.

Analisis setelah selesai di lapangan Thematic analysis dan cross check

Jalannya Penelitian1. Tahap persiapan• Review dokumen dan wawancara awal dengan para pakar sebagai

narasumber ahli, dimulai sejak Februari 2014.• Mengajukan ijin kepada GAVI Jenewa dan mendapat persetujuan pada 20

Mei 2014.• Melakukan seminar proposal pada tanggal 2 Juni 2014 dan mendapat

persetujuan atas perbaikan proposal pada tanggal 10 Juni 2014.• Surat ijin penelitian telah diberikan pada Juli 2014. • Ijin tertulis tentang penelitian ini didapat dari Sekretaris Ditjen PP dan PL

(selaku Authorized Program Manager) dan Direktur Simkarkesma Ditjen PP dan PL pada Juli 2014.

• Ethical clearance nomor Ref: KE/FK/794/EC tanggal 5 September 2014.

2. Tahap pengumpulan dataPengumpulan data dilakukan dalam empat tahap ; a. Observasi dilakukan dengan cara partisipatif yaitu dengan melakukan

kunjungan ke Sekretariat GAVI HSS, Setditken GiKIA, Ditjen PP dan PL serta menghadiri rapat-rapat terkait GAVI HSS.

b. Pengumpulan dokumen dan review atas dokumen-dokumen proyek (data sekunder). Kegiatan ini telah dilaksanakan sejak Maret 2014.

c. Pengumpulan data tahap kedua dilakukan dengan melakukan wawancara mendalam (data primer) yang dilakukan pada Juli s/d Desember 2014.

d. Triangulasi data dilakukan sebagai cross check atas informasi yang didapat dari observasi, review dokumen dan hasil wawancara, kegiatan ini dilaksanakan pada Desember 2014 – Januari 2015.

3. Tahap akhirDilakukan kompilasi seluruh data yang masuk dan dilakukan crosscheck antara hasil wawancara dengan dokumen serta juga dilakukan klarifikasi atas beberapa hasil wawancara (dilakukan pada Desember 2014 – Januari 2015).

InformanNo. Nama Unit Jabatan Pendidikan Pengalaman Kode

1 Ditjen PP dan PL, Kemenkes Staf S2 >3 tahun I-1

2 Biro Perencanaan dan Anggaran, Kemenkes

Staf S2 >3 tahun I-2

3 Set Ditjen Bina Gizi dan KIA, Kemenkes

Eselon III (Koordinator GAVI

HSS)

S2 >5 tahun I-3

4 Set Ditjen Bina Gizi dan KIA, Kemenkes

Eselon IV (ex Kepala Sekretariat GAVI HSS

2011 – 2012)

S2 >5 tahun I-4

5 Direktorat Pendanaan Multilateral, Bappenas

Eselon II S3 >5 tahun I-5

6 Direktorat Pinjaman dan Utang, Kemenkeu

Eselon III S2 >5 tahun I-6

7 UNICEF Technical Adviser S2 >5 tahun I-7

8 WHO Technical Officer Health System Dev’t

S2 >5 tahun I-8

9 Sekretariat GAVI HSS

Kepala Sekretariat GAVI HSS

S1 >5 tahun I-9

Instrumen Wawancara #

Hasil dan Pembahasan

(Per Indikator)

1. Mitra Memiliki Strategi Pemanfaatan Hibah.

DO : Mitra memiliki rencana strategis pemanfaatan hibah yang tercermin dalam Kerangka Pengeluaran Jangka Menengah (KPJM) dan anggaran tahunan.

Hasil :Belum diterapkan, karena mekanisme hibah langsung

Pembahasan :• Renzio dkk (2008) : banyak juga terjadi di negara Afrika (8 negara yg

diteliti) perencanaan terfragmentasi• UNICEF (2009) : di Afrika Barat dengan memasukkan bantuan ke dalam

KPJM dan anggaran tahunan membuat hibah lebih predictable.

2. Mitra Memiliki Sistem Yang Reliable.

DO :Mitra memiliki sistem manajemen pengadaan dan sistem pengelolaan keuangan yang (a) memenuhi standar transparansi dan akuntabel (b) memiliki agenda reformasi untuk mencapainya.

Hasil :GAVI telah menetapkan secara penuh mekanisme APBN, dan mekanisme yang ada sekarang merupakan hasil dari proses reformasi peraturan yang telah dijalankan

Pembahasan :• Wood (2011) : reformasi peraturan2 pengadaan dan keuangan telah dilakukan• UNICEF (2009) : sistem manajemen keuangan publik yang tidak efektif, dapat

menyebabkan inefisiensi dalam penggunaan bantuan dan tidak adanya sustainability banyak terjadi di negara-negara di Afrika Barat dan Afrika Afrika Tengah

3. Bantuan Searah Dengan Prioritas Nasional.

DO :Bantuan diarahkan pada sektor pemerintahan yang dilaporkan pada anggaran nasional mitra.

Hasil :GAVI HSS adalah bantuan kepada pemerintah (Kemenkes) dan dilaporkan pada anggaran nasional

Pembahasan :• Riddel (2007) : klasifikasi bantuan : ODA, NGO dan Bencana• Drehrer (2007) : Pemerintah atau NGO pelaksana bantuan yg lebih baik?

Ada plus minus, terkait dengan area dan integrasi program

4. Bantuan Diarahkan Pada Peningkatan Kapasitas Negara Mitra.

DO :Pemberian bantuan diarahkan untuk memperkuat kapasitas personalia mitra sesuai dengan strategi pembangunan nasional mitra.

Hasil :Dari proposal sebagian kegiatan GAVI HSS memang telah diarahkan pada capacity building untuk peningkatan kapasitas tenaga-tenaga Puskesmas yang terkait dengan pelaksanaan imunisasi seperti bidan, perawat dan kader.

Pembahasan :Adano dkk (2012) : di Honduras, capacity building msh bersifat retorika. Donor blm melihat capacity building sebagai kebijakan yang menjadi priotitas.

5. Penggunaan Sistem Keuangan Dan Pengadaan Dari Negara Mitra.

DO :Bantuan dikelola dengan menggunakan sistem keuangan dan pengadaan dari negara mitra.

Hasil :Seluruh mekanisme pengadaan dan keuangan GAVI HSS telah menggunakan mekanisme APBN

Pembahasan :Choudury (2008) : di Bangladesh telah mulai menggunakan mekanisme mitra, ada 2 hal yang menjadi penghalang penggunaan mekanisme donor:- Staf pemerintah tidak mempunyai kemampuan- Peraturan donor terlalu rigid

6. Penguatan Kapasitas Untuk Mencegah Struktur Implementasi Yang Paralel.

DO :Bantuan tidak diharapkan dikelola secara terpisah dengan menggunakan Project Implementation Unit yang pararel dengan struktur pemerintahan yang ada.

Hasil :GAVI HSS masih dikelola oleh unit khusus yang paralel dengan struktur di Kemenkes

Pembahasan :• Birdsall (2005) : pembentukan unit khusus adalah bentuk ketidaksabaran donor• Canlas (2008) : di Filipina juga msh menggunakan PIU, terutama di bantuan

multilateral

7. Bantuan Bersifat Predictable.

DO :Bantuan dicairkan (disburse) sesuai dengan jadwal yang telah disepakati baik yang bersifat tahunan ataupun multi years.

Hasil :Disbursement GAVI HSS melenceng dari jadwal

Pembahasan :• Taiwo (2011) : di Africa, budget cut dari donor mengakibatkan masalah financial

gap yang serius pada tingkat nasional• UNICEF (2009) : di Afrika Barat dan Tengah, perencanaan bantuan dimasukkan

dalam KPJM untuk lebih memastikan disbursement

Disbursement GAVI HSS

Tahun Rencana Disbursement

Disbursement Expenditure

2008 79,61 76,91 0

2009 168,66 2,70 02010 0 0 66,9

2011 0 0 30,02012 0 37,23 24,42013 0 37,23 9,42014 0 0 16,7Total 248,27 154,07 147,66

8. Bantuan tidak mengikat.DO :Tidak ada kondisi yang disyaratkan dari donor untuk penggunaan dana bantuan, terutama yang terkait dengan pengadaan barang dan jasa.

Hasil :Dari hasil review dokumen dan wawancara yang dilakukan, ditemukan bahwa pada proyek GAVI HSS tidak ditemukan adanya bantuan yang bersifat mengikat

Pembahasan :• Clay (2009), bahwa secara historis hibah biasanya bersifat tidak mengikat dan

pinjaman bersifat mengikat.• Florensa (2007) : - Mengikat/tidak mengikat tidak berpengaruh pada efektifitas - Bantuan tidak mengikat dianggap lebih efektif tidak tepat - Bantuan mengikat efektif di negera yang blm stabil politik

9. Bantuan Menggunakan Pendekatan Program Yang Digunakan Di Negara Mitra.

DO :Bantuan diimplementasikan dengan pendekatan berbasis program.

Hasil :seluruh kegiatan GAVI HSS diharmonisasikan dengan mekanisme kegiatan program baik dalam perencanaan, implementasi dan monitoring-evaluasi.

Pembahasan :Gunawardena (2008) : di Srilanka, empat donor utama telah melakukan harmonisasi, masalah yang sering terjadi adalah masing-masing donor mempunyai mekanisme sendiri.

10. Mendorong Adanya Analisis Bersama.

DO :Adanya (a) mission ke lapangan secara bersama dan/atau (b) analisis dan diagnosis masalah secara bersama.

Hasil :Analisis bersama telah dilakukan dengan baik melalui forum-forum formal maupun informal.

Catatan :• GAVI diwakili oleh perwakilan WHO dan UNICEF, komunikasi tidak intens• Mission dari GAVI hanya setahun sekali

Forum 2008 2009 2010 2011 2012

TWG 0 4 3 4 5

HSCC 1 2 2 5 7

11. Kerangka kerja yang result-oriented.

DO :Mitra memiliki kerangka kerja yang berorientasi pada hasil, adanya tool untuk menilai performance yang transparan dan dapat dimonitor.

Hasil :GAVI HSS telah memiliki tool untuk monev berupa performance framework yang merupakan bagian dari proposal yang disetujui GAVI Jenewa

Pembahasan :Radelet (2006) : PF yang baik akan sangat bermanfaat bagi :• Membantu donor mengalokasikan dana terhadap program yang bekerja.• Mendeteksi masalah pada tahap awal untuk membantu memodifikasi dan

memperkuat program yang ada.• Meningkatkan desain program di masa mendatang

12. Keterbukaan Antara Donor-mitra.

DO :Akuntabilitas bersama - mitra dan donor melakukan kajian bersama untuk memastikan pelaksanaan komitmen aid effectiveness yang telah disepakati pada Paris Declaration.

Hasil :Belum ada forum yang secara khusus mendiskusikan efektifitas bantuaan berdasar prinsip dan indikator Paris Declaration.

Pembahasan :Prinsip dan indikator PD belum begitu dikenal (berdasar wawancara)

SUMMARY HASIL

KESIMPULAN

1. Ownership (kepemilikan)Indikator dari prinsip ini, yaitu hibah harus dimasukkan dalam KPJM dan mengikuti proses perencanaan tahunan belum diterapkan, namun hal ini lebih disebabkan karena memang mekanisme yang diterapkan dalam proyek ini adalah mekanisme hibah langsung.

2. Alignment (keselarasan) Indikator-indikator pada prinsip ini telah diterapkan kecuali pada indikator terkait struktur implementasi yang paralel dan bantuan yang bersifat predictable. Indikator yang belum diterapkan adalah masih adanya unit khusus pengelola proyek dan disbursement yang tidak tepat waktu.

3. Harmonisation (harmonisasi)Indikator-indikator pada prinsip ini telah diterapkan dengan dilakukannya program approach dalam pelaksanaan proyek dan juga telah dilakukannya analisa-analisa bersama untuk pemecahan masalah.

KESIMPULAN

4. Managing for Results (fokus pada hasil)Indikator pada prinsip ini telah diterapkan dengan adanya performance framework yang clear dan digunakan sebagai bahan pelaporan yang disampaikan ke GAVI Jenewa untuk pemantauan performance proyek.

5. Mutual Accountability (akuntabilitas) Indikator pada prinsip ini belum diterapkan, karena belum ada forum yang dilakukan untuk memastikan pelaksanaan komitmen aid effectiveness pembahasan prinsip-prinsip Paris Declaration.

SARAN

1. Bappenas dan Kemenkeu diharapkan agar bisa merancang mekanisme untuk menyelaraskan perencanaan hibah langsung dengan siklus perencanaan APBN dengan memasukkan hibah langsung kedalam KPJM dan proses perencanaan tahunan.

2. Perlu dinegosiasikan jalan keluar antara Kemenkes dan GAVI Jenewa tentang masih adanya unit manajemen yang terpisah dari struktur Kemenkes.

3. Untuk memastikan disbursement yang tepat waktu: - GAVI harus mensyaratkan adanya readiness criteria untuk memastikan

kesiapan implementasi sebuah proyek dan tidak memberikan approval atas sebuah proposal sebelum dipenuhinya readiness criteria tersebut.

- Kemenkes harus memastikan adanya pola fund channeling yang cocok untuk implementasi sebuah proyek sebelum proyek tersebut diusulkan kepada donor. Pola fund channeling harus didiskusikan dengan pihak-pihak terkait, seperti Kemenkeu dan Bappenas.

SARAN

- Kemenkes dan GAVI harus memperhatikan benar waktu/jadwal pengiriman APR, review APR dan disbursement dana dengan siklus APBN yang dimulai pada bulan Januari. Sulit bagi Kemenkes untuk memaksimalkan alignment antara kegiatan yang didanai GAVI dengan kegiatan APBN bila tidak ada kepastian waktu disbursement.

4. Untuk memastikan penerapan prinsip-prinsip aid effectiveness pada Paris Declaration:

• Kemenkes dan GAVI atau perwakilannya di Indonesia harus menginisiasi forum untuk secara khusus mendiskusikan issue-issue aid effectiveness.

• GAVI : Perlunya monev independen tahunan untuk memantau penerapan prinsip-prinsip Paris Declaration.

Terimakasih