BAB III

MEMFOKUSKAN EVALUASI

Memfokuskan evaluasi yaitu memfokuskan apa dan bagaimana evaluasi akan

dilakukan. Seperti memfokuskan kamera, fokus evaluasi berarti melihat beberapa

variabel dengan teliti. Biasanya variable ini termasuk objek yang akan dievaluasi, tujuan

evaluasi, individu yang akan terlibat, latar belakang dan pengaruhnya pada evalusi, serta

pertanyaan-pertanyaan penting yang harus dijawab oleh evaluasi untuk mencapai tujuan

evaluasi.

Bila evalusi sudah terfokus, maka ini berarti proses dan desain dimulai.

Ketentuan-ketentuan pada tahap ini harus diperhatikan dengan teratur untuk diubah

apabila sewaktu-waktu ada perubahan pada objek, wadah, dan induvidu yang terlibat.

Anda harus memperhatikan ketentuan tersebut dalam evaluasi apapun, apakah ini untuk

memenuhi permintaan biaya dariluar untuk menggabungkan program atau untuk tujuan-

tujuan yang lain.

A. Apa yang Akan Dievaluasi

Ojek evaluasi yaitu apa yang akan dievaluasi, dapat berupa program, proyek,

training, materi atau bahkan evaluasi yang lain. Apapun dapat menjadi objek evaluasi.

Tugas merumuskan dan menjelaskan objek yang akan dievaluasi tampaknya mudah dan

sederhana, tetapi masalah sebaliknya. Kenyataan justru merupakan tugas yang paling

sulit dan merupakan tanggung jawab yang penting. Ini disebabkan karena:

1) Objek yang dievaluasi tidak statis, misalnya dalam suatu program, objek tersebut

sedang berjalan, dapat saja dipengaruhi oleh kejadian didalam maupun diluar dan

terus berubah.

2) Objek tampak berbeda, disatu pihak administrator melihat begini, sedangkan klien

begitu.

Oleh sebab itu, perlu ada kesepakatan tentang apa yang akan dievaluasi sebelum

mendesain evaluasi. Dan tujuan evaluasi harus dirumuskan dengan jelas.

Beberapa objek yang dapat dievaluasi (Worhen B & Sanders G.R. 1987)

Kursus proses analisis kebutuhan

Lokakarya pelayanan konsultasi

Seri rokakarya program pengembangan staf

Kurikulum seminar

System manajemen system failing

Program dagree konperensi

Manajemen system rapat-rapat

Informasi

Materi modul simposium

System logistik dan lain-lain

B. Proses Pemfokusan

Langkah pertama merupakan hal penting dalam perjalanan untuk menentukan

tujuan perjalanan, menerangkan tentang apa dan bagaimana perjalanan akan ditempuh.

Hal yang sama juga terjadi dalam evaluasi. Diskusi antar evaluator dan seponsor biasanya

membicarakan tujuan utama evaluasi, prosedur yang akan dilalui dan intruksi yang akan

dilakukan selama evaluasi. Proses pemfokusan akan membicarakan bagaimana evaluator

dan seponsor akan bekerja sama dalam membuat kerangka kerja evaluasi. Pengembangan

kerangka kerja ini yang disebut “Pempokusan Evaluasi”. Kata pokus ini dipakai untuk

menerangkan proses, karena mempertajam atau memperjelas citra dan image dan

memperjelas situasi. Bila anda memokuskan evaluasi, Anda memperjelas pengertian

kebutuhan dan keinginan porsonil program dan seponsor, dan pengertian mereka mereka

tentang pengalaman dan kemampuan anda sebagia evaluator. Lebih jauh lagi, anda

merumuskan landasan peraturan yang akan dipakai dalam evaluasi, dan memilih isu yang

akan eva;luasi. Proses ni termasuk saling memberi informasi beserta analisisnya. Bab ini

membicarakan elemen yang terlibat dalam proses dan menunjukan dasar-dasar untuk

melaksanakan evaluasi.

Misalkan anda berada dalam situasi berikut ini. Anda akan bertemu dengan

seorang kepala sekolah atau direktur suatu institut, dengan pengertian bahwa orang

tersebutingin melakukan evaluasi. Anda dipersilahkan masuk ke kantornya dan disambut

ramah tamah. Direktur tersebut menerangkan bahwa anda direkomendasikan oleh teman

baiknya dan anda memberi jawaban dengan sepantasnya. Kemudian hening, diam

sejenak, direktur memandang anda dan anda ganti memandang. Nah, bagaimana

selanjutmnya?

Dalam skenario yang ideal, ini merupakan diskusi penting dimana direktur tersebut

menjelaskan tentang programnya, isu penting untyuk semua pihak yang berminat, dan

masalah pertanyaan-pertanyaan yang perlu dipecahkan atau dijawab. Sebagai jawaban,

anda menjelaskan pendekatan anda terhadap evaluasi tersebut, cara anda menjalankan,

dan keahlian anda dalam mengerjakan evaluasi, dan sebagainya. Bersama-sama anda

mengkhususkan pembicaraan pada beberapa isu yang akan dituju, menentukan strategi

untuk menjawab pertanyaan, dan persetujuan tentang petunjuk umum evaluasi.

Tentu saja proses ini memerlukan banyak diskusi, mungkin dengan tatap muka,

melalui telepon, atau surat-menyurat. Kadang-kadang anda sebagai evaluator sangat

berbeda pendapat tentang tujuan dan proses evaluasi dengan seorang sponsor yang

potensial, mungkin anda akan memilih lebih baik mengundurkan diri saja. Seorang

evaluator yang efektif dalam tahap negosiasi, ia harus mengerti bagaimana melakukan

pemokusan evaluasi dengan jelasdan baik. Hanya dengan cara ini sponsor dan evaluator

mengerti apa yang akan mereka capai dan apa hasil usaha kerja sama mereka nanti.

Negosiasi inilah yang merupakan objek bab ini.

C. Kerangka Pemfokusan Evaluasi

Pemfokusan evaluasi merupakan tugas yang agak rumit, karena melibatkan

negosisasi orang-orang yang tidak selalu mempunyai pengetahuan dan sikap yang sama

tentang apa yang mereka diskusikan dan yang tidak menempatkan nilai-nilai pada wadah

dan hasil yang sama. Lebih-lebih ini merupakan interaksi antar manusia, dimana banyak

sekali kehendak dan seluk-beluknya yang bervariasi. Hal ini memang harus disadari yang

merupakan hal yang kompleks atau rumit dan ini timbul selalu dalam pemfokusan

evaluasi, oleh sebab itu perlu disederhanakan.

D. Elemen-Elemen Proses Pemfokusan

Bila ditanya evaluator tentang pemokusan evaluasi, mereka biasanya akan

memikirkan tujuan tertentu, dan menentukan pertanyaan-pertanyan evaluasi. Bila ditanya

bagaimana prosesnya, mereka kurang yakin, tapi akan menyebutkan pertukaran informasi

antara evaluator dengan klien. Misalnya, evaluator bertanya tentang tujuan program, dan

klien akan menyebutkan hasil-hasil yang diharapkan. Dari sana akan mudah bagi

evaluator untuk mengukur keberhasilan pencapaian tujuan.

Seperti kita lihat, proses lebih kompleks. Pada nyatanya telah mulai sebelum klien

dan evaluator bertemu. Keduanya datang ke pertemuan penting dengan pemikiran

masing-masing, ide-ide evaluasi, dan harapan-harapan yang mungkin akan dicapai.

Bahkan setelah bertemu yang mereka kerjakan tidak hanya merumuskan tujuan program

dan membuat rencana tes. Kedua belah pihak mencoba mempelajari lebih banyak tentang

kebutuhan dan kemampuan yang lain dan manfaat yang dapat diperoleh program dari

evaluasi. Banyak informasi di pertukarkan, maksudnya agar memberi dalam proses ini.

Kemudian setelah membicarakan bermacam-macam pilihan, mereka baru mulai

menentukan prioritas dan menentukan sejumlah target yang terbatas. Akhirnya, petunjuk

umum disetujui dan dengan dasar itu rencana evaluasi dibuat.

Untuk dapat mengerti proses ini lebih baik, bayangkan tentang pertemuan

pertama antar evaluator dengan klien baru. Dengan kata lain, pertemuan ini akan

mempertemukan dua individu, merundingkan isu, dan mencapai persetujuan untuk

rencana umum dalam mengevaluasi programnya. Tetapi bagaimana yang terjadi

sesungguhnya ?

Ada tiga elemen dalam proses pemokusan evaluasi (Stecher Brian M & W. Alan

Davis), yaitu :

1. Mempertemukan pengetahuan dan harapan

2. mengumpulkan evaluasi

3. merumuskan rencana evaluasi

Semua komponen ini harus ada bila evaluasi direncanakan. Walaupun ada urutan

yang logis pada ketiga elemen tersebut, penulis memilih tidak menyebutnya sebagai

langkah. Dalam kenyataannya, diskusi dapat bergerak maju mundur beberapa kali antara

merumuskan rencana awal dan saling bertukar informasi sebelum strategi akhir

dirumuskan. Dapat juga terjadi rencana evaluasi sudah dibuat, kemudian diketahui

beberapa informasi penting tertinggal, ini membuat keharusan melakukan

diskusikembali. Jadi, jarang suatu terjadi dengan urutan teratur, dalam sekuen yang

teratur, namun ketiga elemen itu harus ada. Penting pula untuk mengetahui bagaimana

mereka berinteraksi untuk menciptakan suatu pariabel rencana evaluasi. Sub-sub, berikut

akan membicarakan elemen-elemen tersebut lebih rinci lagi.

1. Pengetahuan dan Harapan yang Telah Ada

Telah dikatakan bahwa proses pemokusan evaluasi telah terjadi sebelum klien dan

evaluator bertemu. Masing-masing datang ke rapat/pertemuan dengan pengetahuan dan

harapan yang telah ada sebelumnya. Setiap evaluator mempunyai konsep sendiri tentang

evaluasi. Apakah evaluasi merupakan evaluasi yang mengevaluasi kelompok kontrol dan

dengan analisis statistik? Atau apakah dibuat untuk memperoleh informasi yang

berhubungan dengan keputusan khusus program?

Banyak jawaban dapat diberikan,karena banyak pendekatan evaluasi yang ada.

Apabila anda bertanya kepada seorang ahli evaluasi tentang apa yang disebut evaluasi,

untuk menerangkan tujuannya, dan untuk melakukan prosedurnya mereka akan

menjawab dengan jawaban melakukan evaluasi, Anda akan memperoleh banyak jawaban

yang berbeda.

Secara sadar atau tidak anda sendiri mempunyai pendapat tentang evaluasi. Bila

seorang bertanya kepada anda atau meminta pendapat anda mungkin cenderung

memberikan pilihan yang mencerminkan pendapat atau pendekatan anda senderi tentang

evaluasi. Bahkan bahwa anda merasa yakin akan suatu pendekatan, anda akan mencoba

mempengaruhi bahwa usul anda itu yang merupakan kerangka atau strategi yang benar.

Bila anda tidak kenal dengan suatu pendekatan, tentu anda tidak mengusulkan hal

tersebut kepada orang yang bertanya. Lebih jauh lagi, dua orang evaluator, dengan dua

macam pendekatan terhadap evaluasi, akan memberi respon yang berbeda terhadap klien

yang sama, mungkin akan berfokus kepada hal yang berbeda dengan hasil evaluasi dari

kelompok yang lain.

Klien juga akan datang kepertemuan tentang harapan-harapan tentang evaluasi

yang akan dilakukannya. Misalnya, untuk banyak klien evaluasi sama dengan tes,

terutama perbandingan antara pretes dan postes, dan pengukuran lain seperti hasil belajar

yang diperoleh dari perbandingan waktu. Tidak semua klien mempunyai pendapat yang

seperti itu, beberapa telah pengalaman dengan evaluasi macam lain, tapi kebanyakan

klien berpendapat seperti yang pertama. Selain itu klien juga datang kepertemuan dengan

masalah-masalah yang diharapkan akan terpecahkan dengan evaluasi yang akan

dilakukan. Masalah-masalah tersebut mungkin dari proyek, mungkin juga dari sponsor

yang membiayai proyek. Apapun alasanya, hal ini akan mewarnai cara klien memberikan

informasi, menjawab pertanyaan dari evaluator, dan penilaianya terhadap kemampuan

evaluatur dan manfaat atau mutu yang dikatakan. Ide-ide atau saran-saran dari evaluator

akan ditafsirkan oleh klien sejalan dengan kebutuhan dan harapanya.

Jadi kita harus tahu bahwa evaluator dan klien telah mempunyai kondisi awal (

pre-existing condition), ide, darapan tentang evaluasi sebelum mereka bertemu yang akan

mempengaruhi kerjasama mereka dalam mengevaluasi program. Ini merupakan elemen

yang pertama dalam memfokuskan evaluasi.

2. Pengumpulan Informasi

Elemen kedua dalam pemfokusan yaitu pengumpulan informasi. Kedua pihak,

baik evaluator maupun klien harus belajar tentang hal ini. Evaluator harus akrab,

maksudnya harus banyak tahu tentang program yang akan dievaluasi, kebutuhan dan

harapan klien, induvidu dan kelompok yang harus dilibatkan, dan keterbatasan-

keterbatasan yang berupa waktu, sumber-sumber dan keterbatasan-keterbatasan yang

lainya. Klien ingin mengetahui tentang kemampuan evaluator dan evaluasi yang akan

membantu mereka.

Ada beberapa macam informasi yang perlu diketahui evaluator tentang setiap

program. Pertanyaan tambahan yang ditanyakan akan tergantung pada program khusus

yang didiskusikan dan kondisi saat evaluasi akan dikerjakan

Pertama, keterangan tentang program. Siapa peserta program? Pelaya-pelayanan

apa yang diberikan? Apa tujuan program, dan bagaimana mengukur keberhasilanya

beberapa karyawan yang terlibat? Apa jadwal kegiatan program? Berapa lokasi yang

terlibat? Evaluator harus memperoleh gambaran yang jelas tentang bagaimana program

berjalan. Hal ini penting untuk menentukan strategi evaluasi apa yang akan dipakai.

Kedua, evaluator harus mengetahui apa yang diiinginkan klien. Mengapa

diadakan evaluasi? Mengapa program diputuskan dengan memakai evaluator dari luar?

Informasi ini sangat penting. Tidak saja hal ini akan memberikan petunjuk prima tentang

penyelesaian yang tentatif terhadap masalah klien, hal ini juga akan menunjukan kepada

evaluator tentang pengetahuan dan konsep klien tentang evaluasi. Lebih jauh lagi,

evaluator akan mengetahui keinginan dan kejelasan tujuan yang telah dirumuskan.

Ketiga, dalam tahap pengumpulan informasi ini, perlu kiranya diketahui apakah

ada individu atau kelompok lain yang berminat atas hasil evaluasi, rapat-rapat awal

biasanya diadakan dalam kelompok kecil sebelum menentukan strategi evaluasi. Anda

akan dapat memberikan rencana evaluasi yang lebih tepat apabila anda dapat

memperoleh informasi yang relevan. Juga penting untuk mengetahui siapa yang berminat

terhadap informasi yang akan dihasilakan evaluasi, karena orang-orang ini akan

menampakan diri dalam proses evaluasi.

Akhirnya, evaluator biasanyza akan berusaha untuk menentukan sumber-sumber

yang dapat dimanfaatkan, dan apa keterbatasan-keterbatasan yang mungkin dihadapi

yang membatasi ruang gerak evaluasi. Pertanyaan tentang sumber-sumber merupakan

pertanyaan yang peka. Walaupun beberapa klien akan mempunyai anggaran tertentu

untuk evaluasi ini pada tahap negosiasi, klien lainya mungkin akan menentukan anggaran

berdasarkan diskusi yang dilakukan dengan evaluator, dan pada informasi yang diberikan

tentang ongkos dan manfaat bermacam-macam pilihan. Dalam hal ini evaluator hanya

membutuhkan petunjuk umum untuk menolong mengatur rencananya.

Keterbatasan-keterbatasan juga merupakan hal yang penting. Evaluator perlu

mengetahui keterbatasan-keterbatasan yang mungkin dapat muncul selama evaluasi

dilakukan. Selagi evaluator menyusun strategi, evaluator perlu memeriksa persaratan-

persaratan yang perlu ada untuk melakukan kegiatan evaluasi.

Pada waktu yang sama evaluator berusaha mempelajari lebih banyak segala

sesuatu tentang program yang yang bersangkutan, begitu juga klien mencoba

mengumpulkan informasi. Kegiatan klien berfokus pada pengenalan dan kemampuan

evaluator, nilai, keterbatasan evaluasi dalam mencapai kebutuhanya, dan macam prosedur

yang akan dijalankan dalam melakukan evaluasi. Dan evaluator harus menjawab semua

pertanyaan tersebut.

3. Membuat Rencana Evaluasi

Setelah mempelajari program dan kegiatan klien, evaluator mulai memikirkan

tentang kegiatan-kegiatan evaluasi. Proses ini melibatkan penjelasan pertanyaan dari

setiap pertanyaan, merumuskan strategi untuk mengumpulkan data yang berhubungan

dengan pertanyaan, dan memperkirakan, biaya serta kemungkinan kemudahan pilihan-

pilihan tersebut. Hal ini betul-betul merupakan proses interaksi yang mengarah kepada

rumusan rencana evaluasi.

Apa sebenarnya rencana evaluasi itu? Yang dimaksud dalam hal ini adalah

persetujuan umum antara evaluator dan klien yang menjelaskan isu-isu penting evaluasi.

Rencana ini biasanya awal dari penandatanganan persetujuan. Biasanya merupakan

persetujuan lisan bukan tulisan. Paling tidak rencana evaluasi yang baik yaitu

menjelaskan tiga hal, yakni pertanyaan-pertanyaan evaluasi,nilai, dan biaya.

Pertanyaan-pertanyaan dirumuskan dalam bentuk yang khusus, misalnya : apakah

siswa memperoleh hasil yang lebih baik dengan memakai program A dari pada program

B? apakah program mencapai sebanyak 75% yang direncanakan? atau mungkin meneliti

isu yang paling luas, misalnya : apakah akibat atau dampak pengurangan pegawai

perpustakaan sekolah? Akhirnya mungkin hal-hal yang lebih umum, seperti: mengapa

orang-orang tidak senang dengan program latihan kerja yang diselanggarakan di balai

pertemuan umum? Dalam beberapa hal, evaluator dan klien harus benar-benar mengerti

tentang masalah evaluasi yang akan dilakukan.

Kedua, evaluator harus menjelaskan prosedur yang akan ditempuh dalam kegiatan

evaluasi. Apakah akan membuat kuesioner? Apakah evaluator akan mengadakan

kunjungan rumah, mengamati perilaku di kelas, atau berbicara secara informal dengan

guru-guru selama istirahat? Prosedur pengumpulan data mungkin sangat bervariasi, dan

menuntut permintaan yang berbeda-beda dalam peserta program. Oleh sebab itu, harus

dirundingkan kegiatan-kegiatan apa yang akan dilakukan, sumber-sumber yang

disediakan klien, dan jangka waktu proses evaluasi

Ketiga, evaluator harus menyetujui biaya evaluasi secara umum. Evaluator harus

memperkirakan jumlah biaya yang akan diperlukan untuk melakukan kegiatan yang telah

dirundingkan. Pilihan atas beberapa alternatif mungkin tergantung pada biaya yang

diperlukan oleh setiap tahap kegiatan, maka mungkin evaluator perlu memperkirakan

biaya setiap komponen. Perincian anggaran dengan angka-angka yang pasti dapat

diberikan kemudian, tetapi kedua pihak pada tahap ini harus menyetujui biaya secara

gratis besar apa yang akan diperlukan

E. Hal-hal yang Perlu Diingat dalam Pengumpulan Informasi

Pengumpulan informasi merupakan hal yang pokok dalam evaluasi. Apabila

program sosial sama, atau apabila suatu pendekatan dapat dipakai untuk semua program,

maka tentu tidak perlu mengumpulkan informasi yang terlalu khusus dan banyak tentang

suatu program setiap angka mengevaluasi. Tetapi tidak demikian pada kenyataanya,

program bermacam-macam, dan evaluator dapat memilih bermacam-macam strategi dan

menu untuk melakukan evaluasi. Hal ini menyebabkan evaluator akan menyita banyak

waktu untuk mengenal setiap program atau proyek yang akan di evaluasi.

Perlu diperhatikan bahwa informasi dalam jangka waktu tertentu akan berubah

dan tidak statis, begitu juga dalam pengumpulan data perl diubah sdengan kundisi dan

situasi proyek dan sumber yang ada . Yang paling penting yaitu memilih informasi yang

tepat untuk menjawab pertanyaan evaluasi. Informasi yang dikumpulkan harus relavan

dengan pertanyaan yang telah dirumuskan, informasi harus banyak untuk menjawab

pertanyaan-pertanyaan evaluasi. Menggunakan informasi terlalubanyak akan menjadi

mubajir. Memakan waktu, tenaga, uang, dan tidak praktis. Informasi yang cukup, tidak

terlalu banyak dan tidak terlau sedikit adalah yang terbaik dan menghemat. Sumber-

sumber informasi harus diketahui dimana dan kapan waktu yang paling tepat untuk

mengambilnya. Juga harus diketahui sebelumnya bagaimana menganalisis informasi,

menafsirkan, dan melaporkan kepada klien sehingga dapat dipercaya dan berguna.

Kegagalan evaluator memperoleh informasi untuk diri sendiri secara teratur tentang

beberapa aspek program yang akan dievaluasi, akan mengakibatkan kesalahan yang fatal,

misalnya :

Seorang evaluator yang memakai pendekatan eksperimental diminta untuk

mengevaluasi keefektifan tiga perlakuan terhadap pecandu alcohol, tetapi tidak

mengetahui atau tidak mempelajari bahwa salah satu program dinodai oleh karyawan

yang memutar balikan dan seorang direktur yang ditaktor. Dengan hanya memusatkan

pada hasil, ia memberikan laporan yang salah , bahkan informasi atau laporan yang

berguna.

Seorang evaluator yang memakai pendekatan yang beriontasi pada tujuan (goal

oriented approach), menghabiskan berbulan-bulan membuat tes untuk menjawab tujuan

kurikulum bahasa inggris. Setelah membuat instrumen lengkap, ia baru tahu bahwa kelas

bahasa inggris tersebut hanya bertemu 30 menit sehari, sehingga tidak cukup waktu untuk

membuat tes yang telah dibuat.

Seorang evaluator dikontrak oleh kondak untuk mengevaluasi dampak atau

pengaruh pemakaian pengaman model baru bagi pengendara sepeda motor, melaporkan

pada bulan februari bahwa program tersebut sangat efektif. Tetapi sebelum

evaluatormelapor, penitia dewan pengaman pada bulan januari memutuskan

menghentikan anggaran untuk keperluan tersebut karena tidak ada perbaikan.

Kesalahan-kesalahan diatas menunjukan kurangnya informasi tentang program

dan kebutuhan klien untuk evaluasi pada satat evaluasi didesain. Kesalahan tersebut dapat

dihindari apabila evaluator mengikuti atau menbuat rencana yang matap tentang

pengumpulan data. Sebagai evaluator ia harus mengetahui sebanyak-banyaknya tentang

program yang akan dievaluasi. Tujuan evaluasi, siapa kliennya, keterbatasan waktu,

biaya, dan kemungkinan memperoleh informasi sebelum sampai pada rencana

efaluasidan melaksanakanya. Memang, anda tidak punya banyak waktu mengumplkan

informasi tersebut, dan pada tahap ini evaluator belum dibayar untuk itu. Oleh sebab itu,

evaluator perlu merancang jauh sebelumnya,informasi apa saja yang penting diketahui da

bagaimana memperolehnya segera. Kebanyakan informasi yang diperlukan berkisar antar

tiga komponen berikut ini ( Brian M. Stecher & W. Alan Davis, 1987).

- Apa programnya ?

- Apa yang dievaluasi ?

- Apa keterbatasan-keterbatasan evaluasi ?

Setiap pertanyaan tersebut merupakan pertanyaan evaluasi awal. Setiap

pertanyaan akan dilanjutkan dengan pertanyaan-pertanyaan yang lebih khusus. Evaluator

memerlukan informasi yang lebih rinci dan khusus, tergantung dari situasi dan kondisi

yang sedang berlaku dan pandangan tentang evaluasi dari kedua belah pihak, evaluator

dan klien. Misalnya evaluator yang beriontasi pada tujuan akan memerlukan tambahan

waktu untuk menentukan tujuan program lebih jelas sedangkan evaluator yang menganut

pendekatan keputusan, perlu mengetahui lebih banyak tentang perkembangan program

dan macam-macam keputusan yang kiranya akan dibuat pada waktu yang akan dating.

Evaluator akan mewawancarai orang-orang yang memegang kunci keputusan dalam

program untuk memperoleh informasi tersebut. Kebanyakan informasi akan diperoleh

dari orang-orang proyek atau dari pimpinan proyek.

1. Apa Programnya

Keakraban dengan orang-orang proyek dan pengenalan yang tuntas tentang

program yang akan dievaluasi merupakan syarat yang mutlak. Evaluator harus

menyediakan waktu untuk mendengar segala sesuatu tentang program dari orang-orang

proyek. Yang paling penting pada dasarnya yang harus diketahui ialah :

(1). Siapa yang akan mendapat manfaat program ?

(2). Siapa yang mengerjakan program tersebut ?

(3). Apa yang mereka lakukan ?

Biasanya topik tersebut merupakan hal utama yang dibicarakan klien dengan

evaluator.

Sering orang-orang program mempunyai pandangan yang berbeda dengan

evaluator, bila hasil tersebut terjadi, evaluator dapat mengadakan wawancara kearah isu-

isu sebagai berikut :

1. Klien

a. Siapa yang dilayani oleh program ?

b. Bagaimana mereka dapat terlibat dalam proyek ?

c. Apa bedanya dengan mereka yang tidak terlibat ?

2. Tujuan

a. Apa yang akan dilakukan program bagi orang yang dilayani ?

b. Apakah tujuan utama sudah dirumuskan dan apakah tujuan itu ?

c. Mana dari tujuan tersebut yang terpenting ? Adakah tujuan yang memerlukan

waktu lebih banyak dari pada yang lainya ?

d. Bagaimana karyawan menilai betapa baiknya mereka mencapai tujuan tersebut ?

e. Bila program berhasil, apa yang diharapkan terjadi ?

3. Proses

a. Apakah pendekatan umum yang dipakai ?

b. Apakah kegiatan yang dilakukan ?

c. Apakah jadwal kegiatan-kegiatan yang dilakukan ?

4. Organisasi

a. Dimana pelayanan diberikan? Apakah ada perbedaan diantara mereka ?

b. Siapa yang memberi pelayanan ? berapa jumlah karyawan ?

c. Siapa yang membiayai program ?

d. Bagai mana program dilakukan ? bagaimana hilarki organisasi ?

2. Mengapa Evaluasi Dilakukan ?

Sekali evaluator mengetahui secara umum tentang suatu program, langkah

selanjutnya yaitu memfokuskan evaluasi yaitu sampai pada pengertian mengapa evaluasi

dilakukan dan apa tujuan yang akan dicapai. Proses ini melibatkan pertukaran pandangan

antara klien dan evaluator, biasanya evaluator yang memegang peran karena keahlianya

dalam bidang ini.

Tujuan evaluasi dapat bermacam-macam, antara lain seperi pekerjaan rutin atau

tanggung jawab rutin, untuk membantu pekerjaan manajer dan karyawan dengan tujuan

yang lebih banyak, dan informasi yang lebih lengkap dari yang sudah ada, atau

memberikan informasi untuk tim pembina atau nasihat, untuk klien, untuk direktur, atau

pemberi dana atau seponsor. Telah diketahui bahwa perbedaan minat dan harapan antara

klien mendorong mereka mencari konsultan atau evaluator. Evaluator yang luwes dan

kreatif menganggap tujuan, minat, dan harapan klien seperti pilihanya sendiri dalam

merumuskan rencana evaluasinya.

Tidak cukup apabila hanya bertanya kepada klien mengapa mereka mengadakan

evaluasi, dan apa tujuanya. Manager program sering meminta bantuan tanpa punya ide

yang jelas mengapa evaluasi dilakukan, atau apa guna evalusi di lakukan biasanya karena

diminta oleh pemberi dana. Dalam hal ini, manager program tidak menyadari bahwa

evaluasi dapat memberi mereka informasi yang berguna dan dapat memberi informasi

kepada audiensi yang lebih banyak. Disini evaluator dapat memberi pelayanan yang

berharga dengan memperluas pandangan klien tentang evaluasi, di samping itu tanggung

jawab terhadap pemberi dana juga terpenuhi.

Evaluator juga harus igat bahwa suatu evaluasi sering mempunyai audensi yang

potensial. Seperti klien, karyawan, pimpinan, pemberi dana , dan publik yang berminat

langsung atas hasil evaluasi, terutama program-program social. Kelompok-kelompok

tersebut biasanya mempunyai kebutuhan yang berbeda untuk informasi dan melihat

tujuan evaluasi dari sudut pandang yang berbeda. Misalnya, karyawan yang merasa

bahwa telah berusaha keras untuk mencapai tujuan program sebaik mungkin, dengan

sumber daya minimum, akan mengharap tambahan dana. Pemberi dana mungkin ingin

mengetahui berapa yang mereka peroleh dari uang yang mereka keluarkan, jumlah, dan

mutu pelayanan dan hasil yang telah dicapai klien. Juga dapat memberi informasi kepada

sejumlah audiensi dengan satu evaluasi program.

Tentu saja direktur program atau dewan direksi yang mengontrak evaluator

mungkin tek berkenan apabila ada orang lain yang ikut mengetahui hasil evaluasi, atau

mungkin melarang yang untuk diketahui oleh mereka sendiri. Maka evaluator harus hati-

hati menjalankan peranannya, menghormati minat klien yang utama, sambil menyadari

ada kelompok yang berminat terutama para pemegang saham dalam program atau dalam

evaluasi. Untuk situasi-situasi tertentu mungkin kelompok tersebut dapat dilibatkan,

sedang untuk urusan-urusan tertentu mungkin tak dapat diperkenankan.

Dalam pertemuan dengan klien, evaluator dapat menentukan tujuan evaluasi yang

potensial, minat klien, harapan klien, dan kemunkinan untuk ditunjukannya hasil evaluasi

kepada klien yang lebih luas, dengan menganyakan pertanyaan secara langsung dan tidak

langsung dan memberikan saran-saran. Pertanyaan-pertanyaan berikut dapat ditanyakan :

Tujuan langsung

Bagainana program akan dievalusi ?

Harapan-harapan

Bagaimana menggambarkan evaluasi program yang lalu ?

Mengapa evaluasi yang terdahulu dinggap lebih bermanfaat ?

Apa kira-kira informasi yang diperlukan dalam evaluasi ?

Pendapat dan minat

Apakah anda mempunyai pendapat khusus tentang program kali ini ?

Apakah ada perubahan besar yang diperkirakan akan terjadi diwaktu dekat ?

Informasi apa tentang program yang akan amat bermanfaat bagi karyawan,

klien, pengawas (supervisor), atau sponsor.

Para audiensi lainya

Kelompok apa yang terlibat dalam program, atau mereka yang akan

dipengaruhi oleh evaluasi ?

Informasi apa tentang program yang paling berguna bagi masing-masing

kelompok.?

Haruskah wakil dari kelompok lain diwawancarai dalam merancanakan

evaluasi

Kelompok mana yang akan menerima informasi tentang evaluasi, apabila

evcaluasi telah selesai ? apakah harus mebuat laporan khusus untuk kelompok

khusus ?

3. Apa Keterbatasan-keterbatasan Evaluasi yanga Akan Dilakukan

Evaluator perlu menentukan apa yang dapat dikerjakan dan apa yang tak dapat

dilakukan. Ruang lingkup evaluasi dibatasi oleh pertimbangan-pertimbangan yang

praktis, biasanya karena uang. Klien yang gontarak atau mungkin mempunyai sejumlah

dana yang tertentu utnuk evaluasi, atau mungkin klien bertanya kepada evaluator untuk

mengusulkan jumlah biaya. Dari masing-masing jumlah tersebut ada batasnya. Jumlah

biaya utnuk evaluasi sering berkisar antara 5% dan 10% dari dana operasi untuk

program-program tertentu.

Uang diartikan sebagai waktu dalam proses evaluasi, tetapi batasan waktu juga

perlu dipertimbangkan. Sering dana progaram menentukan jadwal untuk evaluasi dan

menentukan batas akhir untuk menyelesaikannya. Untuk beberapa program, seperti yang

terdapat di sekolah-sekolah, programnya sendiri yang akan menentukan adanya evaluasi

pada waktu-waktu tertentu. Bila evaluasi dilakukan dengan maksud untuk suatu

keputusan tertentu maka harus diselesaikan sedini mungkin sehingga dapat dipakai

sebagai pedoman untuk keperluan tersebut.

Dipakainya suatu informasi mungkin menyebabkan keterbatasan yang lain,

misalnya : survei kepada peserta yang terdahulu, mungkin dapat memberikan informasi

yang berguna, namun mungkin juga tidak praktis karena tergantung dari mobilitas dan

keberadaan peserta yang terdahulu. Data yang disimpan dalam komputer lebih mudah

diperoleh daripada data dalam keretas biasa. Memakai suatu informasi mungkin juga

dibatasi mungkin juga dibatasi oleh kerahasiaan atau karena unsur politik. Oleh sebab itu,

sebaiknya keterbatasan-keterbatasan seperti itu diperhatikan sedini mungkin sebelum

pengumpulan informasi untuk mempokuskan evaluasi

Akhirnya, evaluator harus menentukan apakah klien dapat memberikan sumber-

sumber atau pelayanan yang berguna untuk melancarkan pekerjaan evaluator.

Evaluator dalam melakukan tugasnya dapat melimpahkan tanggungjawab dan

meminta pihak klien turut mengumpulkan data tertentu, menyimpan rekaman,atau

mengambil data, hal ini dapat mengurangi kesibukan evaluator, dan evaluator dapat

mengerjakan pekerjaan yang lain. Kerja sama seperti ini dapat melancarkan pekerjaan

dan mepercepat menyelesaikan evaluasi

Pertanyaan-pertanyaan berikut dapt membantu memberikan gambaran tentang

keterbatasan-keterbatasan dalam evaluasi :

Anggaran

Kira-kira berapa uang yang dipergunakan klien untuk melaksanakan evaluasi

?

Apakah ada jadwal waktu-waktu tertentu untuk menyerahkan semuanya pada

waktu yang telah ditentukan ?

Informasi yang ada

Informasi apakah yang telah ada tentang program ?

Bagaimana informasi akan disimpan (dengan komputer, dalam beberapa file,

atau dalam satu file disuatu tempat)?

Apakah ada kebijaksanaan untuk memperoleh informasi yang bersifat rahasia

atau bersifat pribadi ?

Apakah ada kelompok atau orang pemegang kunci yang dapat memberi

informasi hanya pada waktu-waktu tertentu ?

Sumber-sumber tambahan

Dapatkah proyek membantu dalam ( pekerjaan-pekerjaan klerek, fasilitas

komputer, pengumpulan data)?

Dapatkah para karyawan diandalkan bekerjasama dalam mengumpulakan data

atau pengambilan data (ritrieval)?

F. Desain Evaluasi Program

Desain evaluasi program (Calor Tyler Fitz-Gibbon & Lynn Lyons Morris,1987 ),

menyatakan bahwa suatu desain ialah rencana yang menunjukan bila evaluasi akan

dilakukan dan dari siapa evaluasi atau informasi akan diumpulkan selama proses

evaluasi. Alasan utama memakai desain yaitu untuk meyakinkan bahwa evaluasi akan

dilakukan menurut organisasi yang teratur dan aturan evaluasi yang baik. Setiap orang

yang terlibat dalam evaluasi adalah orang yang tepat, dilakukan pada waktu yang tepat,

dan ditempat yang tepat seperti yang telah direncanakan. Pada dasarnya suatu desain

ialah bagai mana mengumpulka informasi yang komperatif sehingga hasil program yang

dievaluasi dapat dipakai untuk menilai manpaat dan besarnya program apakah akan

dipetrlukan atau tidak.Pekerjaan evaluator berkisar antara mengambil salah satu atau

keduanya, tergantung dari tugas yang diberikan.

(1). Bila seorang evaluator diminta membuat laporan singkat tentang keefektifan suatu

program. Dalam hal ini evaluasi akan memberi laporan misalnya kepada pemberi

dana, pemerintah, organisasi, atau institutyang memintanya untuk mengevaluasi

program tertantu. Evaluator mungkin akan menjelaskan program yang

bersangkutan, informasi yang menerangkan tentang keberhasilan program

pencapaian tujuan yang telah ditentukan, mencatatat dapak yang diperkirakan, dan

mungkin membuat perbandingan-perbandingan dengan program lainnya. Apabila

ini akan dilakukan, maka evaluator adalah evaluator sumatif, ia melakukan evaluasi

sumatif.

(2). Tugas evaluatpor mungkin sebagai penoong dan penasehat terhadap perencana

program dan pengembang atau mungkin sebagai perencana itu sendiri, evaluator

akan diminta untuk melihat masalah yang pontensial, hal-ha yang perlu diperbaiki,

memenitor kegiatan program dan secara teratur melakukan tes untuk mengetahui

kemajuan siswa atau karyawan, untuk mengetahui perubahan perilaku, dan

sebagainya. Dala situasi ini evaluator adalah orang yang tugasnya tidak dapat

dirumuskan dengan jelas batasannya. Evaluator mungkin diminta atau mungkin

tidak membuat laporan pada akhir kegiatanya. Maka evaluator ini adalah evaluator

formatif atau ia melakukan evaluasi formatif.

1. Desain dalam Evaluasi Sumatif

Biasanya desain dihubungkan dengan evaluasi sumatif, evaluator sumatif

diharapkan membuat laporan tentang keberhasilan program. Karena laporan

tersebut dapat mepengaruhi keputusan tentang masa depan program atau nasib

orang lain, maka evaluator perlu mendukung penemuanya dengan deta yang cukup

terpercaya. Oleh sebab itu, ia harus memperkirakan atau memperhitungkan adanya

argumentasi atau bahkan serangan dan kritik atau kesimpulan dari golongan atau

dari orang yang menantangnya. Desain yang baik tidak membuat ia imun terhadap

serangan-serangan yang mungkin timbul, justru akan memperkuat pertahanannya.

Biasanya desain dibuat sebagai metode untuk melakukan eksperimen ilmiah,

metode dimana orang dapat membuat dampak secara logika pada hasil

sesuatuperlakuan yang dibuatnya, misalnya evaluasi pendidikan, perlakuannya

adalah program pendidikan.

Evaluasi sumatif sebaiknya memakai desain eksperimen apabila peneliti

program yang akan dievaluasi dengan hasi evaluasinya. Evaluasi somatif yang

[paling baik yaitu evaluasi yang mempunyai cirri-ciri penelitian yang baik,

maksudnya yang mempuyai persaratan penelitian lengkap. Evaluasi yang memakai

instrumen dengan validitas dan relibilitas yang tinggi. Hasil evaluasi harus di

umumkan dan disebarkan. Langka memang evaluasi yang begitu ketat mengikuti

standar tersebut diatas. Ciri-ciri penting setiap evaluasi yang baik yaitu memperoleh

info yang sebaik mungkin, dan informasi yang dapat di percaya oleh audensi atau

klien evaluasi. Tugas evaluator sumatif yaitu mengumpulkan informasi yang

terpercaya dan sedapat mungkin memperhitungkan selalu keraguan-keraguan orang

lain terhadap laporanya. Mengingat selalu akan ada keraguan-keraguan orang

tersebut, maka evaluasi harus didesain sedemikian rupa, sehingga secara optimal

akan dapat menahan sejumlah serangan dan kritikan terhadap dirinya.

Tujuan evaluator ialah mencari penemuan tentang program yang dapat

digeneralisasikan kepada situasi lain diluar program yang dievaluasi. Kriteria yang

telah disepakati oleh kalangan ilmuan dalam ilmu social, yang merupakan topik

penelitian pendidikan. Walaupun hal tersebut penting sebagai pelayanan terhadap

dunia pendidikan, bahwa evaluator memakai desain dan instrumen yang bermutu,

namun evaluator akan selalu membatasinya terhadap data yang akan dapat berguana

dan dipakai serta dipercaya oleh kliennya yang khusus. Tugas evaluator adalah

memberi informasi tentang baik buruknya program, mengingatkan mereka bahwa

adalah tidak benar memutuskan sesuatu yang penting hanya dengan setu atau dua

hasil penelitian. Juga merumuskan tugas evaluator untuk mengajukan atau

menyatakan pendapatnya tentang mutu program. Oleh sebab itu, evaluator yang

mengemban tugas tersebut harus menyadari bahwa ia harus mendukung

kesimpulanya, harus bertanggung jawab atas kesimpulan-kesimpulan laporanya,

yang berarti mengumpulkan data dan desain yang relatif baik dan dapat diandalkan.

2. Desain dalam Evaluasi Formatif

Menggunakan desain formatif dalam program berarti karyawan program

akan berkesempatan melihat dengan seksama keefektifan program dan komponen

yang ada didalamnya. Hal ini memungkinkan evaluator menjalankan fungsinya

yang utama, menganjurkan orang-orang program mengamati terus-menerus yang

cermat kegiatan-kegiatan dalam program. Membuat desain dengan teliti akan

menolong evaluator membuat penelitian percontohan, membuat eksperimen

percobaan pada omponen program tertentu, misalnya komponen program yang baru

dibuat. Hal ini akan meyakinkan langkah-langkah selanjutnya. Kelompok kontrol

dan data dari time series measurements (evaluasi seri waktu) akan membuat

informasi lebih mudah ditafsirkan. Untuk evaluasi formatif sebaiknya menggunakan

kelompok kontrol seperti akan dibicarakan kemudian (dalam desain 1,2,3) atau

dengan seri waktu sebelum program dimulai (desain 4 dan 5).

3. Beberapa Saran untuk Evaluasi Formatif

a. Mengambil beberapa versi dari bebrbagai macam program yang akan dinilai.

Miasalnya, memilih program yang relatif murah dan mudah serta relatif

menghemat waktu.

b. Mengurangi beberapa persaratan untuk kepentingan penerapan desain. Karena

evaluasi formatif biasanya mengumpulkan informasi untuk keperluan orang-

orang program saja, evaluator formatif dapat mengurangi kep erluan lain untuk

membuat desain. Misalnya ia dapat menilai siswa yang tidak terlalu diacak, jadi

tidak terlalu harus persis, selama prestasi atau penafsiran hasilnya disertai

dengan alas an yang tepat.

c. Melakukan eksperimen kecil atau pilot tes (tes pilot). Mungkin perencanan

program harus selalu membuat keputusan tentang bagaimana sebaiknya

programbekerja, kebanyakan keputusan tersebut dibuat tanpa mengetahui apa

atau bagaimana yang terbaik. Misalnya, apakah sebaiknya kelas bahasa inggris

akan diberikan satu kali empat jam atau dua kali 2 jam seminggu dan lain-lain.

Memakai desain memerlukan rencana terlebih dahulu. Mencari kelompok

yang mau membantu sebagai kelompok pembanding, walaupun tidak bermaksud

mengumpulkan data yang koperatif. Tidak ada salahnya menyiapkan kelompok

yang bersedia membantu, misalnya kelas yang gurunya memberikan siswanya

untuk eksperimen.

Sering evaluator diminta oleh seponsor atau pemberi dana misalnya untuk

menolong kelompok anak-anak terbelakang, atau anak-anak yang berbakat. Siswa

dari kelompok tersebut misalnya mengalami gangguan karena keadanya, dalam hal

ini tentu tidak dapat dipakai desain biasa seperti halnya untuk anak-anak yang

normal, tetap memerlukan desain khusus yang unuk sesuai dengan kondisi anak-

anak tersebut

Berikut ini disarankan pendekatan-pendekatan yang dapat dipakai untuk

program pendidikan khusus, yaitu dengan memakai qualitative methods (metode

kuaitatif).

a. memakai desain kelompok non- squivalent, perbandingan seperti ini dapat

dilakukan apabila misalya sekolah lain tidak punya program yang sama, yang

khusus memberites kepada siswanya dan melihat hasilnya.

Miasalnya seorang giru dari sekolah luar biasa merencanakan membuat program

untuk memajukan kemampuan membaca muridnya. Ia meminta bantuan kepada

sekolah luar biasa lain yang tidak mempunyai program seperti sekolahnya, untuk

mengetes muridnya sesuai dengan tes yang diberikan kepada muridnya, pada

permulaan dan akhir semester. Kemajuan kedua kelompok dapat dibandingkan.

b. melakkan pendekatan formatif dan mengevaluasi komponen program. Studi

komperatif tentang dampak suatu program secara utuh, tidak sealu merupakan

pelayanan yang terbaik, untuk para karyawan atau orang-orang proyek, evaluasi

yang lebih berguna dapat tidak selalu merupakan pelayanan yang terbaik. Untuk

psara karyawan atau orang-orang proyek, evaluasi yang lebih berguna dapat juga

diperoleh dengan mengevaluasi komponen-komponen khusus program, yang

menghasilkan seran-saran untuk program, perbaikan atau perubahan yang mungkin

dapat dilakukan.

c. Membandingkan beberapa program yang berbeda, dengan memberikan indikator

yang umum. Misalnya, keputusan atas hasil program yang memakai desain 3. Ada

kalanya seorang evaluator diminta mengevaluasi sejumlah program khusus yang

dibuat oleh induvidu atau proyek yang mempunyai tujuan yang berbeda-beda.

Misalnya, dalam sekolah program anak berbakat, berpokus pada memajukan

matematika, bahasa Indonesia, fisika, dan kesemua mata pelajaran. Evaluator dapat

mengukur kepuasan kepada semua siswa sekolah, dan orang tua murid pada

program yang memberikan mata pelajaran satu-persatu, hasilnya mingkin sebagai

berikut.

Tinggi

Kepuasan Mat

Orang tua Bhs. Ind

x x x Fisika

Rendah

Sekolah A B C D

Laporan program Mat Fisika Bhs. Ind Semua

Tentang anak berbakat

Pada umumnya melihat diagram tersebut, orang tua murid sama-sama puas baik

matematika maupun pada bahasa Indonesia. Kepuasan terhadap fisika tampaknya

amat peka. Evaluator mungkin akan mencatat bahwa tampa usaha khusus, fisika

mungkin tidak diajarkan dengan baik kepada anak berbakat, jika kepuasan orang tua

murid merupakan indikator yang valid (Gibbon, C.T & Cs. 1987). Yang dimaksud

contoh tersebut yaitu program yang berbeda-beda dapat diukur apabila diberikan

suatu dimensi untuk membandingkannya. Pendapat dan sikap juga dapat dipakai.

d. Membandingkan hasil program dengan kriteria yang telah dibuat sebelumnya.

Acapkali program khusus memerlukan perumusan tujuan yang dapt diukur dan

pekerjaan evaluator adalah mengukur pencapaian tujuan tersebut. Timbul pertanyaan

siapa yang dapt membuat tujuan yang cukup baik diterima dan cukup sederhana

untuk dicapai ? terutama apabila tujuan dirumuskan dan dicapai dengan tes standar.

Kadang-kadang apabila tujuan diambil dari kriteria yang bermutu tinggi, prumusan

tiujuan merupakan pendekatan yang baik sekali. Misalnya menggalakan pelajaran

keterampilan khusus untuk anak-anak yang terbelakang, memungkinkan dapat

tercapainya tujuan untuk anak-anak yang terbelakang tersebut.

e. Pendekatan teori dasar evaluasi. Pendekatan yang baik yaitu mengevaluasi hasil

program evaluasi khusus dengan pendekatan teori dasar evaluasi,yaitu evaluasi yang

memutuskan perhatian atas implementasi program. Dengan tetap menjaga para

karyawan agar menjalankan program seperti yang telah dijanjikan mereka. Misalnya,

doi sebuah perusahaan, program fitness atau kesehatan akan digalakan melalui teori

dasar, diet, dan latihan.aka evaluator akan memusatkan perhatian apakah karyawan

benar-benar tertolong melaksanakan diet dan latihan tiga kali seminggu seperti apa

yang dipersaratkan oleh program fitnes tersebut.

4. Elemen-elemen dalam Desain

Suatu desain evaluasi yaitu rencana yang menyatakan siapa yang akan

dievaluasi, dan bila waktunya (gbbon, C.T & Cs.1987)

a. Kelompok eksperimen

yang dimaksud dengan kelompok dalam desain yaitu kelompok yang menerima

perlakuan. Kelompok yang menjadi eksperimen, yaitu orang atau kelompok yang

mejadi objek eksperimen program. Biasanya diangkat menjadi kelompok E. Tampa

ada perandingan, sulit untuk mengatakan hasil suatu program. Apakah suatu

program sebaik program lainya, atau apakah program berpengaruh terhadap hasi,

maka sebaiknya diadakan perbandingan atau kelompok kontrol.

b. kelompo kontrol

kelompok kontrol yaitu kelompok yang terdiri atas yang sedapat mungkin sama

dengan kelmpok E, yang diukur pada waktu yang sama dengan kelompok E, tetap

yang tidak mendapat pelakuan eksperimen seperti perilaku terhadap kelompok yang

diberikan kepada kelompok E. Disingkat menjadi kelompok C.

c. Kelompok kontrol akuivalen (aquivalentor true contro group)

Kelompok ini dibentuk dengan cara random atau acak. Desain evaluasi yang terbaik

yaitu apabila menggunakan kelompok ekuivalen, karena hasil yang diperoleh desain

pada umumnya tidak disebabkan oleh faktor-faktor lain kecuali karena perbedaan

perlakuan yang diberikan kepada kelompok E dan kelompok C.

d. kelompo kontrol non-ekuivalen (non-randomized control group)

kelompok ini dipilih karena sama dengan kelompok eksperimen, tidak dibentuk

dengan cara acak. Disebut juga kelompok pembanding. Apabila cara acak tidak

mungkin dilakukan, maka evaluator harus mencari kelompok yang sedapatnya sama

dengan kelompok E dan memakai kelompok ini sebagai pembanding.

e. postes

postes yaitu pengukurun atau tes yang dilakukan padaakhir pada suatu eksperimen.

Hasilnya yaitu nilai postes. Postes merupakan variable terikat (dependent variable).

Karena hasil postes tergantung dari apa atau hal yang terjadi dalam program.

Karena postes mengukur hasil program, desain jarang meniadakan postes, walaupun

adakalanya hanya sebagai dari kelompok mengambil postes. Kadang-kadang waktu

postes ditentukan oleh kapan laporan program akan dlakukan.

Pertimbangan lain yang menentukan yaitu kemungkinan adanya make up test atau

tes susulan bagi mereka yang absen pada saat postes dilaksanakan, maka mereka

harus segera melakuka tes susulan, karena kalau tidak segera, maka akan mungkin

akan terjadi kebocoran oleh siswa yang mengambil tes terdahulu dan ini akan

mempengaruhi hasil tes.

f. pre-test

setiap tes atau pengukuran yang dilakukan sebelum peserta menerima program atau

nilai suatu eksperimen dapat disebut pre tes. Evaluator akan menggunakan pretes

untuk :

1. Memilih orang untuk program

2. Mengecek asumsi yang telah dibuat dalam merencanakan program.

3. Mengecek atauatau meyakinkan kelompok pembanding

4. Mengetahui hasil yang diperoleh program.

5. Memperoleh tes yang lebih pekaatas pengaruh program

a). Pretes guna memilih orang untuk program

Adakalanya orang dipilih untuk suatu program atas dasar yang diperoleh dari suatu

tes, misalnya pemilihan siswa untuk suatu program stadi ke luarnegri, ke amerika,

mahasiswa akan diterima dalam program apa bilanilai TOEFL bahasa inggris

mencapai 500, dan IP rata-rata 3. Persaratan tersebut merupakan kriteria untuk

pemilihan mahasiswa.

b) Mengecek asumsi yang telah dibuat dalam erencanakan suatu program

Tes acapkali diperlukan untuk mengecek implimentasi suatu program. Mungkin

akan timbul pertanyaan: apakah peserta yang ikut dalam program adalah peserta

yang sesuai dengan program ? Apakah program itu sesuai dengan yang

direncanakan ? pretes dapat digunakan untuk mengecek hal tersebut untuk

mengetahui kemampuan dan sikap mahasiswa atau karyawan yang terlibat. Contoh,

program komputer direncanakan berdasarkan asumsi bahwa semua mahasiswa

pernah mengetik dengan mesin ketik. Pretes ternyata menunjukan hal ini tidak

benar. Kenyataan ini menyebabkan perlu adanya modifikasi dalam program.

c). Pretes untuk mengecek kelompok pembanding

Apabila nilai postes dua kelompok akan dibandingkan, pertanyaaan yang harus

dijawab mula-mula yaitu apakah kelompok tersebut sama sebelum kelompok yang

satu memperoleh program X dan yang lainya program C. Apakah memakai true

control group, yaitu kedua kelompok dibentuk dengan acak, maka pretes tidak perlu

dilakukan.Tapi apabila pembentukan acak tak dapat atau tak mungkin dilakukan,

dan akan memakai non-randomized group, maka pretes diperlukan atau penting

untuk mengecek apakah kelompok kontrol dan kelomok eksperimen benar

sebanding.

d). Pretes untuk megetahui hasil yang diperoleh program

Tanpa mengukur bagaimana keadaan atau kondisi semula sebelum program

dimulai, anda tak akan mengetahui hasil program setelah program selesai. Bila

ingin mengetahui apa yang dicapai suatu program, maka pretes dapat digunakan

dengan memakai instrumen pretes criterion reference test atau tes standar mutlak.

e). Memperoleh tes yang lebih peka atas pengaruh program

Dalam beberapa hal, mungkin anda ingin mengetahui bahwa program yang ingin

dilakukan memberi hasil yang direncanakan, atau dengan kata lain meragukan

program. Untuk mengetaui hal tersebut, maka perlu dibut desain yang kuat

(powerful). Pretes yang erat hubungannya dengan postes akan menambah kekuatan

desain, artinya pretes dibuat sesama mungkin dengan postes.

1. Jangan memberikan pretes apabila akibatnya akan mengubah sikap atau

pengetahuan siswa.

2. Jangan melakukan pretes apabila tidak akan ada artinya. Misalya, anda akan

mengadakan program bahasa jepang, tidak akan ada artinya apabila pretes diberikan

kepada anak-anak Indonesia yang belum pernah tau bahasa jepang. Namun tes lain

yang kiranya dapat dihubungkan dengan hasilnya dapat dilakukan sebagai pretes,

misalnya motivasi atau sikap terhadap bahasa jepang.

3. Jangan menggunakan pretes apabila program sudah berjalan atau sudah dimulai.

Jarum jam tak dapat diputar kembali karena program sudah dimulai.

g). Mid-tes diadakan ketka program sudah berjalan. Tujuan mid-tes yaitu untuk

menentukan dampak program sesudah waktu tertentu.

Contoh 1: Skor tes

Penataran manajemen kel. E dan Kel. C. Oktober – Mei

Penafsiran

Kenaikan skor pada mulanya lambat, namun berangsur-angsur bertambah baik

(naik) sambil program terus berjalan.

x Eksperimental

x

Mean x

Skor tes x Kontrol

o

o

o

Bulan

Okt Des Feb Mei

Mid-tes sangat menolong baik dalam evaluasi formatif maupun dalan evaluasi

sumatif apabila desain evaluasi tidak punya kelompok kontrol. Dalam situasi seperti

itu, evaluator harus memutuskan perhatian pada mempelajari kemajuan program yang

sedang dievaluasi. Memperhatikan dengan cermat adampak perlakuan pada sub-

kelompok yang berbeda-beda, seperti yang tergambar dalam diagram diatas.

Contoh 2 : Skor tes

Membaca dari siswa dengan kemampuan rendah dan tinggi, yang di beri prog. X

(Tampa Kel. Kontrol).

Skor menunjukan bahwa siswa yang berkemampuan tinggi mendapat mampaat yang

maksimal dari program, pada bulan Maret, siswa yang berkemampuan rendah terus

maju sampai akhir tahun.

o Kemampuan tinggi

Mean o

Skor tes Kemampuan rendah

o

o

o

Bulan

Sep Des Mar Juni

h. Retensi tes

“Mereka sudah lupa semua apa yang diajarkan sementara lalu” keluhan semacam

ini tidak asing lagi. Inilah yang dinamakan masalah relensi. Bila program X

tampak jauh lebih baik daripada program C pada akhir semester, cek lagi nilainya

3 bulan berikutnya, kalau masih baik juga, perbedaan hampir tidak ada, maka

perlu diperhatikan, dan tes sebaiknya diulang lagi.

i. Time series test

Sejumlah tes yang diberikan beryturut-turut sebelum dan sesudah program pada

interval yang sama disebut time series tes. Sejumlah tes yang diberika berturut-

turut sebelum program dimulai sebelumya dapat mengurangi kebutuhan akan

kelompok kontrol. Hal ini juga dapat memproyeksikan hasil yang diharapkan

apabila semua berjalan lancar tampa gangguan. Seperti hasil yang terlihat

dibawah ini untuk tes 1, 2, 3, dan 4 dapat diramalkan hasilnya pada tes 6 dengan

memakai ekstra polisi dari garis tren lurus yang diperhatikan garis yang terptus-

putus.

Paling tidak 3 pengukuran dianjurkan untuk dapat menggambar garis trend.

Ketiga pengukuran harus pada instrumen yang sama.

Bila sebagai tambahan beberapa pengukuran atau tes dilakukan sesudah program,

maka hal ini akan sangat membantu dalam menentukan apakah dampaknya stabil

atau tidak.

j. Memilih Desain

Telah dibicarakan dua elemen penting dalam desain, yaitu siapa yang diukur dan

bila dilakukan pengukuran.

Hasil yang

Mean x diharapkan

Skor tes pada kali yang

X ke-6

x

x

1 2 3 4 5 6

Waktu tes

Tabel berikut memperhatikan bagaimana elemen-elemen itu dapat dikombinasikan

untuk membentuk enam desain yang akan dibicarakan selanjutnya. Setiap desain

memicarakan tiga pilihan kelompok untuk diukur.

Exsperimental group

Exsperimental group dan true control group (diacak)

Exsperimental group dan non-equivqlent group (tidak diacak)

Dan ada tiga pilihan untuk pengukuran waktu :

Pretes dan postes

Postes saja

Time series, seri ideal, tiga pengukuran sebelum dan sesudah eksperimen atau

program

Dengan mempelajari table diatas, dapat menolong evaluator secara

tentative memilih desain untuk evaluasi.

Desain Evaluasi

YANG DIUKUR

Kelompok eksperimen saja. Desain ini lebih dari satu kelompok menjawab

Hanya menjawab pertanyaan yang pertanyaan yang membandingkan

berhubungan dengan jalannya program efek program atau eksperimen

dengan beberapa alternatif

True control Non-equivalent control

Pretes Desain 6 Desain 1 Desain 3

Pretes

Postes Tidak disarankan Desain 2 Tidak disarankan

Saja

Time series Desain 4 Baik, tapi tak Desain 5

Biasa

(Gibbon C.T. 1987)

Sumatif atau formatif atau untuk melakukan eksperiman percobaan, atau

eksperimen kecil. Dapat dipilih lebih dari satu desain untuk satu proyek atau eksperimen.

Setiap instrumen dapat dibuat desainnya, misalnya dapat dipakai desain postes saja untuk

mengukur sikap (attitudes), desain pretes-postes untuk mengukur hasil belajar standar

(standar dized achievement) dan desain time series untuk CRT (criterion referenced test)

atau tes standar mutlak. Menggunakan benerapa desain dapat dilakukan, tetapi bila

melakukan evaluasi untuk pertama kali, maka sebaiknya memulai dengan yang sederhana

dan benar, dengan menggunakan desain satu sajadulu.

Penjelasan lebih lanjut, lebih rinci tentang desain untuk lebih mendalami table

tersebut di atas, perlu dijelaskan dengan notasi yang dipakai di dalamnya.

R - berarti random assignment, atau pengacakan

O - berarti pengukuran, observasi.

X - menunjukan program yang dievaluasi, program eksperimen

Notasi ini dipakai dalam keenam desain yang akan dibicarakan selanjutnya

Semua diagram mengikuti format berikut.

Tabel ini menunjukan hal yang sama dengan tabel Desain Evaluasi

Waktu

1 2

(Pre) (Pos)

Kel. E R O X O

Kel. C R O C O

Randum Observasi Kelompok E Observasi

Assigment pretes mendapat postes

Kepada program X,

Kedua Kel. C, Prog

Ram C

Desain 1; the true control group

Desain postes-Pretes

Waktu

1 2

(Pre) (Pos)

Kel. Eksperimen R O X O

Kel. Kontrol R O O

Desain ini merupakan desain klasik. Orang-orang yang dianggap cocok untuk

program X diacak untuk membentuk 2 kelompok, satu kelompok diberi program X, dan

satu kelompok tidak. Yang tidak mendapat program X mungkin tidak menerima program

atau perlakuan sama sekeli, atau dapat diberi program alternatif (Program C). Nilai pretes

dapat dipakai untuk mengecek bahwa kedua kelompok memulai program kurang lebih

dalam keadan yang sama atau akuivalen. Bila pada akhir program nilai postes kelompok

E lebih baik secara signifikan daripada kelompok C, maka dapat dikatakan perbedaan

tersebut sebagai akibat atau dampak program X. Desain ini baik sekali, merupakan tes

kuat (powerful) yang dibuat antara program X dan program alternatif tersebut (Program

C).

Desain 2: the true Control group

Desain Postes saja

Waktu

1 2

(Pre) (Pos)

Kel. Eksperimen R X O

Kel. Kontrol R O

Desain 2 ini juga persis seperti desain 1, tetapi tidak ada pretes. Desain ini dapat

dipakai apabila pretes tidak tersedia atau pemberian pretes akan memakan waktu banyak .

Perlakuan acak dilakukan baik terhadap kelompok E maupun kelompok C,dan harus

dibuat sebanding. Desain ini dibuat apabila akan mengukur sikap.

Karena perlakuan acak akan membuat hampir semua variable sama (terutama

apabila jumlah kelompok besar, katakanlah misalnya 20 kelompok atau lebih), maka

memungkinkan dalam desain ini menunggu sampai program berakhr sebelum

menentukan dengan pasti bagaimana postesnya. Juga tes dapat ditambah dengan tes yang

tak direncanakan. Desain 2 dapat hudah digunakan pada hal yang sama dengan desain 1,

misalnya untuk hasil belajar, tetapi untuk mengukur sikap sebaiknya memakai postes

saja.

Desain 3: Non- Equivalent Control Group

Desain Pretes dan Postes

Waktu

1 2

(Pre) (Pos)

Kel. Eksperimen O X O

Kel. Kontrol O O

Desain ini dibuat seperti Desain 1, hanya kelompok kontrol tidak dibentuk dengan

cara acak. Tandanya kelompok kontrol non-akuivalen (non-randomized), diagram

dibatasi oleh garis yang terputus-putus, yang memisahkan kelopok E dan kelopok C.

Desain ini dapat dipakai untuk evaluasi di sekolah.

Nilai pretes dapat mengecek kesamaan kedua kelompok, Kesamaan-kesamaan

mereka, paling tidak pada beberapa hal yang diukur.

Desain ini dipakai apabila siswa tidak dapat diacak untuk program, tapi harus

dilakukan dengan kelas-kelas (intact). Beberapa kelas yang tak mendapat program E

dapat membentuk kelompok non-ekuivalen ntuk kelas-kelasyangbberada dalam program

E.

Bila jumlah kelas cukup, sebaiknya kelas yang diacak bukan siswa, hal ini untuk

memperoleh desain 1 yang lebih kuat.

Desain 4: The Group time series Design

Waktu

1 2 3 4 5 6

Kel. eksperimen O O O X O O O

Desain ini memakai orang-orang program sebagai kelompok kontrol mereka.

Pengukuran yang sama dilakukan atas kelimpok orang yang sama dalam waktu atau

interval yang teratur beberapa kali sebulum dan beberapa kali sesudah program. Melihat

apakah program X tampaknya akan mengganggu hasil program, evaluator dapat

mengukur apakah program akan memberi dampak atau mempengaruhi hasil yang diukur.

Desain ini, seperti desain sebelum dan sesudahnya, hanya memerlukan

pengukuran atas suatu kelompok, tetapi merupakan perkembangan yang lebih jauh dari

desain tersebut. Tepatnya bagaimana suatu desain time series memberi kemungkinan

penafsiran hasil yang lebih baik dari pada desain sebelum dan sesudah, dapat

digambarkan dengan melihat situasi berikut: Misalnya suatu desain prepos tes

menunjukan kemajuan membaca selama lima bulan.

Program X

5.0

Nilai 4.0

Ekuivalen 3.0 o

2.0 o

1.0

Waktu

Pretes Postes

Sekarang apabila pengukuran Time saries ditambahkan kegrafik yang sama,

garfik tampak seperti berikut.

Program X

5.0 o

Nilai 4.0 o

Ekuivalen 3.0 o

2.0 o

1.0 o

Waktu

Pretes Postes

Tampak nilai sudah naik sebelum program dan terus naik dalam jumlah yang

sama. Tampaknya program tidak berpengaruh, juga tidak membuat keadaan menjadi leih

baik.

Sekarang pengukuran Time series ditambahkan ke grafik yang sama terlihat

sebagai berikut:

Program X

5.0

Nilai 4.0 o o o o o

Ekuivalen 3.0 o o o o o

2.0

1.0

Waktu

Pretes Postes

Kali ini penafsiran amat berbeda, program berpengaruh dan menyebabkan

lompatan kemajuan pada nilai membaca dan membuat nilai tambah selama pengukuran

Time series.

Seperti dapat dilihat manfaat desain Time series terhadap kelompok pretes tunggal

diperoleh dari pengukuran yang berseri sebelum dan sesudah program. Hal ini akan

memberikan gambaran yang lebih akurat tentang pengaruh program daripada apabila

memakai satu kali pengukuran sebelum dan sesudah program.

Dsain ini sangat baik untuk memonitor evaluasi formatif, evaluasi program yang

sedang berjalan.

Desain Time series ada dua mecam

1). Pengukuran atas sekelompok orang yang sama,yang disebut tipe longitudinal

2). Kelompok successive, yang diukur yaitu orang-orang yang katagorinya sama,

bukanorang yang sama.

Misalnya, mengukur kelompok mahasiswa yang sama mulai dari semester I,

semester 2, sampai semester 3 mahasiswanya sama semua kelompok mengukur nilai

mahasiswa tingkatan atau tahaptahun untuk beberapa tahun, mahasiswanya tentu

berlainan.

Desain 5: The time Saries With Non-Rquivalen Control Group

Waktu

1 2 3 4 5 6

Kel. eksperimen O O O X O O O

Kel. non-ekuivalen O O O O O O

Desain ini persis sama dengan desain, tetapi dengan tambahan kelompok kontrol

non-ekuivalen. Dua kelompok diukur dengan teratur sebelum program, kemudian satu

kelompok diberi program X, tetapi kelompok yang satunya tidak.

Tambahan kelompok pembanding pada desain 4, menambah kuatnya desain.

Apabila sesuatu terjadi (di luar atau hal yang tak ada hubungannnya dengan program)

bersamaan dengan program E, dampaknya akan terlihat pada kelompok C, Kelompok E.

Seperti yang ditunjukan oleh segi empat desain ini menggabungkan desain

pre-pos, kelompok non-equivalen (desain 3), jadi dapat memberi semua desain tersebut.

Bila anda merencanakan memakai desain 5, pelajari juga desain3 dan 4.

Desain 6: The Before and After Design

Waktu

1 2

(pre) (Post)

Kel. eksperimen O O O X O O O

Sekelompok orang mengambil pretes, diberi program X kemudian diberi postes.

Hasilnya dibandingkan dengan pedoman atau dengan kelompok lain yang diharapkan

sama. Desain amat biasa dipakai baik dalam evaluasi sumatif maupun evaluasi formatif.

G. Masalah-Masalah Umun dalam Implimentasi

Memilih desain, tidak sesulit megimplementasikannya dengan akurat, tepat,

benar, dan yang dapat berjalan dengan benar. Walaupun anda dapat melakukan

pengacakan dengan baik, dengantrue control group, atau non- equivalen group, masih ada

masalah-masalah potensial waktu mengimplimentasikan desain antara lain:

1. Faktor penting yang mempengaruhi hasil belajar untuk suatu mata kuliah, ialah waktu

yang dipakai mahasiswa untuk mempelajari mata kuliah tersebut. Progaram panjang ,

mungkin akan memberi hasil lebih baik lagi mahasiswa. Dalam menganalisis hasil

program, perlu mempertimbangkan waktu atau lamanya program, per hari, dan

kehadiran dalam kelas. Membandingkan hasil belajar Kelompok E dan kelompok C

bagi siswa yang mengikuti program dalam jangka waktu yang sama

2. Masalah attrition

Mahasiswa dropout atau keluar dari program dan dari kelompok kontrol karena

berbagai alasan, absen terlalu banyak, pindah program, pndah seklah, dan lain-lain.

Kehilangan data dari orang-orang tersebut sering mempengaruhi hasil program. Kalau

yang keluar siswa-siswa yang lambat atau yang kurang bermotivasi, misalnya,

program akan memberi hasil rata-rata yang bertambah tinggi karena keluaranya

peserta tersebut, hal sebaliknya akan terjadi apabila yang keluar peserta-peserta yang

pandai dan bermotivasi tinggi. Hilangnya peserta dari kelompok program baik dari

kelompok E atau kelompok C disebut “attrition”.

3. Masalah compound

Masalah ini dapat timbul, misalnya program baru berjalan dan akan menilai hasil

belajar mahasiswa. Pada saat yang sama dosennyaganti karena satu dan lain hal. Bla

hal ini terjadi, maka sulit untuk menentukan apakah hasil belajar bertambah baik atau

buruk karena program atau karena dosen yang baru tersebut.

4. Masalah kontaminasi

Kontaminasi dapat terjadi, misalanya karena metode atau materi yang dipakai oleh

kelompok satu dipakai oleh kelompok liannya (oleh salah satu kelompok C atau

kelompok E dan sebalikny). Hal tersebut terjadi misalnya dosen kelompok E secara

tidak sengaja menceritakan materi atau metodenya kepada dosen kelopok C waktu

istirahat makan siang, dan dosen kelompok C menirunya sehingga terjadi kebocoran

dan pencemaran atau kontaminasi dalam pengukuran nanti.

Kebocoran seperti itu dapat dihindari ketika menganalisis dan menafsirkan

evaliasi. Keempat masalah tersebut harus diperhatikan apabila akan menganalisis dan

menafsirkan hasil pengukuran.

Daftar Bacaan Tambahan

Braskamp, L.A & Brown, R.D. 1980. New Direction for program Evaluation : Utilization

Information. San Fransisco; Jossy – Bass.