Evaluasi Diklat
-
Upload
pupung-puad-hasan -
Category
Government & Nonprofit
-
view
73 -
download
3
Transcript of Evaluasi Diklat
EVALUASI DIKLAT
Pusat Kajian dan Pendidikan dan Pelatihan Aparatur I
LEMBAGA ADMINISTRASI NEGARA
2/20/2017
MODEL PENDIDIKAN & PELATIHAN SECARA
INTEGRAL
PROSES PELAKSANAAN
DIKLAT 4
PROSES PERENCANAAN
PROGRAM DIKLAT
3
PROSES PENENTUAN
TUJUAN DIKLAT
2
PROSES PENELUSURAN
KEBUTUHAN DIKLAT
1
EVALUASI DIKLAT
5
1
EVALUASI
EVALUASI (Wand & Brown)
Evaluasi adalah suatu tindakan atau proses untuk menentukan NILAI dari sesuatu
EVALUASI (Suparman & Purwanto)
Evaluasi adalah proses penerapan prosedur ilmiah untuk mengumpulkan informasi yang valid dan realiabel untuk membuat keputusan tentang program DIKLAT
EVALUASI
Suatu proses untuk menyediakan informasi tentang pencapaian suatu kegiatan, tingkat perbedaan antara
standar yang telah ditentukan dengan pelaksanaan, serta nilai manfaat yang dirasakan baik oleh individu maupun
organisasi secara keseluruhan
Evaluasi program pelatihan merupakan pengumpulan secara sistematis terhadap informasi deskriptif dan penilaian yang diperlukan untuk membuat keputusan pela-tihan yang efektif terkait dengan seleksi, adopsi, nilai, dan modifikasi aktivitas pem-belajaran yang bervariasi
EVALUASI (Werner dan Desimon)
SEJARAH EVALUASI Evaluasi program sudah berlangsung
sejak abad 19. Tercatat pertama kali oleh Joseph Mayer Rice di Amerika
Serikat (USA) 1897. Sampai pada tahun 1960 an, evaluasi
program pendidikan mengalami pertumbuhan dan perkembangan
dimana konsep evaluasi berkembang dan disempurnakan, antara lain oleh:
Michael S. Scriven, Donald T.Campbell dan Carol H. Weiss.
TUJUAN EVALUASI
Memahami sesuatu
Membuat keputusan
Meningkatkan kualitas
Sumber: Irawan, 1995
1. Menentukan sejauh mana sasaran program diklat telah tercapai
2. Menentukan apakah sasaran diklat sudah dirumuskan secara benar
3. Meningkatkan program diklat yang sedang dan akan dilaksanakan di masa mendatang
4. Meningkatkan kualitas tenaga pengajar 5. Menetapkan efektivitas biaya atau analisis
manfaat dari program 6. Menetapkan kontribusi dari fungsi kediklatan
TUJUAN EVALUASI (Sanderson)
Evaluasi Proses (Process Evaluation):
• Untuk meneliti dan menilai apakah intervensi atau layanan program seperti yang direncanakan dan apakah target populasi yang direncanakan telah dilayani
• Menilai strategi pelaksanaan program
Evaluasi Manfaat (Outcome Evaluation):
• Menilai dan menentukan apakah program telah menghasilkan perubahan yang diharapkan
Evaluasi Akibat (Impact Evaluation):
• Menilai seberapa besar akibat pelaksanaan program, baik yang diharapkan maupun aklibat sampingan yang muncul berkenaan dengan adanya program
JENIS EVALUASI
OBYEK/ASPEK EVALUASI
KOMPETENSI PESERTA
(pengetahuan, keterampilan, dan sikap).
PROGRAM DIKLAT: a) Widyaiswara, Fasilitator, Penceramah
b) Pelayanan diklat
c) Sarana dan prasarana diklat
d) Kurikulum & materi diklat
KINERJA ALUMNI DIKLAT
KINERJA ORGANISASI
KERANGKA SISTEM DALAM DIKLAT
MASUKAN PROSES PRODUK KELUARAN DAMPAK
Peserta
Widyaiswara
Waktu
Anggaran
Sar-Pras
PBM
Evaluasi
Penataan
Sarpras
Makalah/
materi diklat
Penguasaan
kapasitas
khusus
PP
Lulusan sesuai
kompetensi
yg diharapkan
Kontribusi
terhadap
organisasi
JENIS EVALUASI DIKLAT BERDASARKAN OBYEK
EVALUASI PROGRAM PENYELENGGARAAN
Proses untuk menentukan sejauhmana keberhasilan penyelenggaraan diklat yang meliputi kurikulum, materi, sarana & prasarana, dan pelayanan diklat.
EVALUASI HASIL BELAJAR
Proses untuk menentukan sejauhmana keberhasilan para peserta menguasai
kompetensi yang diajarkan selama mengikuti diklat
TEKNIK EVALUASI PENYELENGGARAAN
• Survey/ observasi
• Wawancara
• FGD
• AUDIENSI
TEKNIK EVALUASI PEMBELAJARAN
• Tes
• Uji kompetensi
• Uji Praktek
• Pengamatan
• sosiometri
MODEL EVALUASI
2
MODEL EVALUASI DIKLAT
INPUT
1. Peserta Diklat
2. Tujuan dan kurikulum Diklat
3. Metode dan bahan
4. Widyaiswara
5. Sarana dan prasarana
PROSES
1. Penyelenggaraan
2. Implementasi kegiatan belajar mengajar (KBM)
3. Aktivitas peserta
4. Penggunaan sarana dan media
OUTPUT
1. Sejauh mana peserta menguasai pengetahuan, kete-rampilan dan kualitas pribadi sesuai dengan tujuan Diklat.
2. Product learning
3. Bagaimana kinerja lulusan di tempat kerjanya masing-masing.
MODEL EVALUASI
Model Evaluasi Kirkpatrick
Model Evaluasi IPO dari Bushnell
Model Evaluasi Sistem dari Odiorne & Rumler
1
2
3
MODEL IPO (Bushnell)
Plan Design Develop Deliver
Trainee Reaction,
Knowledge and skill Gained,
Improved job Performance
Profits, Customer Satisfact-
ion, Productifity
Value-Adding Activities
System Performance Indicator: Trainee Qualificatio
n, Instrructor Abilities, Instructional Materials, Facilities
traning, Dollars
E 1
E 2
E 3
E 4
E 5
E 6
E 7
INPUT, PROCESS, OUTPUT TRAINING EVALUATION MODEL
Sumber : Bushnell, Training and Development Journal. (1990, 41-43).
INPUT PROCESS OUTPUT
MODEL SISTEM
INPUT PESERTA
PROSES PROGRAM DIKLAT
OUTPUT
KOMPETENSI
OUTCOME KINERJA
PENGGUNA KINERJA ORGANI SASI
MODEL KIRKPATRICK
• Bagaimana perasaan peserta terhadap program pelatihan?
Reaction
• Bagaimana tingkat belajar dari pengetahuan dan keterampilan peserta setelah pelatihan?
Learning
• Apakah kinerja peserta meningkat setelah pelatihan?
Behavior
• Apakah terdapat dampak program pelatihan terhadap dimensi-dimensi organisasi?
Result
Bagaimana reaksi peserta pelatihan
Level 1: REACTION
©2009, all rights reserved.
Seberapa peserta memperoleh pengetahuan yang
dituju, keterampilan, dan sikap berdasarkan
partisipasi dalam pembelajaran
Level 2: LEARNING
©2009, all rights reserved.
peserta menerapkan apa yang mereka pelajari
selama pelatihan di tempat kerja
Level 3: BEHAVIOR
©2009, all rights reserved.
Hasil pelatihan berdampak pada kinerja organisasi
Level 4: RESULTS
©2009, all rights reserved.
Chain of EvidenceSM
Mengumpulkan data pada empat tingkat tadi menunjukkan bahwa pelatihan memberikan nilai
sebenarnya untuk organisasi.
Level 1
Reaction
Level 2
Learning
Level 4
Results
Level 3
Behavior
©2009, all rights reserved.
Empat (4) Unsur Pokok
1. Penempatan Prosedur Ilmiah:
Evaluasi selalu menerapkan suatu metode baik berupa pengukuran ilmiah penggunaan statistik, maupun disiplin lain yang terkait.
2. Pengumpulan Informasi yang Valid dan Reliabel:
Selalu berusaha memperoleh informasi yang benar valid dan reliabel dengan menggunakan instrumen(kuestioner,wawancara)
3. Pembuatan Keputusan
Hasil evaluasi adalah suatu informasi sebagai bahan yang berguna bagi pembuatan keputusan
4. Program Pendidikan
Selalu diarahkan kepada suatu obyek yang ada dalam suatu sistem pendidikan atau sistem DIKLAT.
WAKTU PELAKSANAAN EVALUASI
AWAL PROSES
PERENCANAAN
DITENGAH
PROSES
PELAKSANAAN
PADA AKHIR
PENYELENGGA
RAAN
SETELAH
KEMBALI
KETEMPAT
KERJA
Dilakukan pada
saat mencari
informasi tentang
kualitas bahan
diklat yang selesai
ditulis sebelum
bahan tersebut
digunakan
dilapangan
Dimaksudkan
untuk mencari
masukan dari
peserta, pengajar
dan
penyelenggara
tentang:
Ruang,
PBM,Bahan
Ajar,Akomodasi&
Konsumsi.
Mendapatkan
informasi tentang
kualitas:
Ruang,
PBM,Bahan ,
efektifitas
coaching
Ajar,Akomodasi&
Konsumsi,
Penyelenggaraan,
hasil belajar
peserta.
Sejauhmana
dampak
(impact)
terhadap kinerja
alumni DIKLAT
LANGKAH LANGKAH DALAM EVALUASI
Mempersiapkan Evaluasi
Mengembangkan Instrumen
Mengumpulkan, menganalisis, dan interpretasi data
Penyusunan Laporan Evaluasi
37
MENENTUKAN METODE & TEKNIK PENGUMPULAN DATA
SURVEY DGN KUESIONER
WAWANCARA
OBSERVASI
FOCUS GROUP DISCUSSION
ANALISIS DOKUMEN
SIMULASI
Lakukan evaluasi program kegiatan diklat MOT, dengan teknik FGD. Bentuk dalam 3 kelompok, objeknya adalah variabel berikut ini. 1. KURIKULUM DAN MATERI DIKLAT 2. SARANA DAN PRASARANA 3. PELAYANAN DIKLAT • setiap kelompok memilih salah satu variabel • Diskusikan apa yang akan dievaluasi (indikatornya) • Tentukan 2 orang evaluator untuk memimpin FGD • Evaluator kelompok 1 di kelompok 2, ev kel 2 di kel 3, ev. Kel 3 di
kelompok 1. • Peserta yg lain menjadi objek • Tim evaluator menyampaikan hasil pengumpulan informasi/ data
dari fgd yg sdh di lakukan
JENIS DATA DALAM DIKLAT
1. Data kuantitatif
2. Data kualitatif
3. Data Deskriptif
4. Data Judgemental
INSTRUMEN
1. Validitas dan Reliabilitas
2. Standarisasi
INSTRUMEN
• Sederhana dan jelas
• Konsistensi dengan indikator, variabel, dan tujuan evaluasi
• Pertanyaan konsisten
• Mempertimbangkan karakteristik responden
PENGEMBANGAN INSTRUMEN
Aspek pengukuran atau variabel dalam evaluasi
program DIKLAT:
Apa yang
akan
diukur?
Prestasi
Kinerja
Proyek
Perubahan
Interaksi antar
Pribadi
Perilaku
lainnya
PENGEMBANGAN INSTRUMEN
20/02/2017
• Menentukan Jenis Instrumen
• Memformulasikan butir pertanyaan
• Merakit Instrumen
Kriteria pertanyaan dalam instrumen
20/02/2017
• Sederhana dan jelas
• Konsistensi dengan indikator, variabel & tujuan evaluasi
• Sesuai dengan instrumen
• Mempertimbangkan karakteristik Responden
Teknik Pengumpulan Data
• Wawancara : – Bentuk teknik pengumpulan data (penelitian kualitatif
atau deskriptif kuantitatif) yang dilakukan secara lisan – Bisa dilakukan dalam bentuk perorangan atau
kelompok – Persiapan pedoman wawancara – Bentuk pertanyaan terbuka, terstruktur, tertutup – Kondisikan hubungan yang baik dengan respnden – Lakukan perekaman / pencatatan selama wawancara
berlangsung – Dapat dilakukan interpretasi langsung
Teknik Pengumpulan Data
• Angket
– Teknik pengumpulan data secara tidak langsung
– Bentuk pertanyaan terbuka, terstruktur, tertutup
– Hal-hal yang perlu diperhatikan :
• Kembangkan petunjuk pengisian / pengantar yang di dalamnya berisi maksud, jaminan kerahasiaan jawaban, ucapan terima kasih
• Butir pertanyaan dirumuskan secara jelas dengan menggunakan bahasa populer
• Untuk pertanyaan terbuka sediakan tempat untuk menuliskan komentar responden
Teknik Pengumpulan Data
• Observasi
– Teknik pengumpulan data dengan cara melakukan pengamatan terhadap kegiatan yang sedang berlangsung
– Partisipatif atau nonpartisipatif
– Pedoman observasi kualitatif hanya butir-butir umum kegiatan; kuantitatif lebih rinci
– Bisa juga dikembangkan bentuk skala
48
MENENTUKAN TEKNIK ANALISIS DATA
• Data yang terkumpul kemudian diolah (direkap, dikelompokan, dan disunting)
• Data dianalisis baik dengan menggunakan analisis kuantitatif atau kualitatif.
• Data kemudian diubah menjadi informasi yang siap disajikan.
20/02/2017
VALID
RELIABLE
TERSTANDAR
INSTRUMEN
20/02/2017
• VALIDITAS
Keabsahan instrumen dalam mengukur apa yg seharusnya diukur
• REALIBILITAS
Keajegan & konsistensi internal; menunjukkan jika instrumen digunakan beberapa kali hasilnya stabil, serta memiliki keterkaitan satu sama lain diantara butir-butirnya
• STANDARISASI
Memiliki item yg tersusun sistematis & terstruktur, petunjuk khusus pengisian & pengolahan yg jelas, serta petunjuk bagaimana kerahasiaan informasi dijaga
MERANCANG EVALUASI
3
MENENTUKAN TUJUAN
Misal: • mengetahui persepsi peserta Diklat terhadap
kemampuan Widyaiswara • apakah media yang digunakan Widyaiswara dalam
Diklat selama ini sudah sesuai dengan kebutuhan dan berdaya guna?
• mengukur manfaat metode diskusi kelompok yang digunakan dalam Diklat ini.
• mencari masukan dari administrator, para Widyaiswara, dan peserta tentang masalah-masalah yang mereka hadapi dalam Diklat ini
TENTUKAN VARIABEL DAN INDIKATORNYA
Misal: Variabel disiplin peserta dalam mengikuti Diklat, sebagai indikatornya ialah:
• Kerapihan berpakaian
• Ketepatan kehadiran.
• Kesungguhan dalam mengikuti kegiatan
• Kejujuran dan kesungguhan dalam melaksanakan tugas
MERANCANG EVALUASI
Penentuan Metode Evaluasi
Penentuan Instrumen
Penentuan Evaluator dan Personel Pendukung
Penentuan Jadwal Evaluasi
Penentuan Responden atau Sumber Informasi lain
Perkiraan Biaya
Tujuan Evaluasi Mengetahui kegunaan/manfaat dan efektifitas metode “diskusi kelompok” dan “belajar secara individual” yang digunakan untuk mempelajari masalah: kepemerintahan yang baik”
Metode Evaluasi Survai dan tes
Instrumen 1. Kuesioner
2. Wawancara/interview
3. Test
Personel Pendukung 1. Dua petugas lapangan
2. Satu ahli statistik
Waktu evaluasi 1 Juli 2016 s.d 5 Juli 2016
Responden 1. Peserta Diklat
2. Peserta Diklat yang tidak ikut program latihan
Sumber Informasi lain 1. Hasil Tes
2. Masukan dari kuesioner dan wawancara
Jadwal Kegiatan Juni - Agustus
1. Persiapan Juni minggu II
2. Pengumpulan data melalui tes Juli Minggu I- III
3. Pengumpulan data melalui kuesioner dan wawancara
Juli minggu IV
4. Proses Analisis data Agustus Minggu I
5. Laporan selesai Agustus Minggu II
NO. VARIABEL INDIKATOR INSTRUMEN
1. Kualitas Widyaiswara
Perencanaan Diklat Rencana Meng-ajar (tertulis)
Ketrampilan meng-ajar Observasi
Quesioner
2. Aktivitas Peserta Aktivitas dlm diskusi kelompok. Bagan Pertisipa si
Aktivitas dalam tugas tugas Daftar simak
3. Prestasi Kerja Pengetahuan kognitif Tes Tertulis
Interview
Review dokumen
Prestasi kerja Observasi
Produk kerja
4. Fasilitas diklat (non akademis)
Akomodasi Observasi
Quesioner
Konsumsi Observasi
Quesioner
CONTOH
SIMULASI
• PILIH SALAH SATU KEGIATAN DIKLAT
• BUAT RANCANGAN EVALUASI
• DISKUSIKAN METODE YANG AKAN DIGUNAKAN
• SUSUN INSTRUMENNYA