PengukuranStudent Learning OutcomesLokakarya Outcome-Based Education

Outline

Menyusun Rencana Asesmen Student Learning Outcomes Alat Ukur Asesmen Target Capaian Penggabungan outcomes, alat ukur, dan target

capaian Hal yang perlu diperhatikan

Menyusun Rencana Asesmen Harus mencakup

Pernyataan misi program studi Student learning outcomes Alat Ukur Target capaian

Student Learning Outcomes

Menyatakan knowledge (pengetahuan), skills (keterampilan), dan attitudes yang ditunjukkan mahasiswa ketika menyelesaikan studi

Mencakup Aspek Kognitif Psikomotorik Afektif

Bersifat Dapat diukur Bermakna Dapat dikendalikan

Student Learning Outcomes

Fokus pada hasil akhir, bukan pengalaman Buruk: mahasiswa akan berpartisipasi dalam penelitian Baik: mahasiswa akan dapat memilih metoda

penelitian Menunjukkan apa yang dapat diamati dan diukur

Buruk: mahasiswa menyadari perlunya studi lanjut dalam bidangnya

Baik: mahasiswa akan siap untuk mengikuti pasca sarjana dalam bidangnya

Hindari penggunaan “dan” terlalu banyak dalam satu outcomes

Karakteristik Alat Ukur Asesmen yang Efektif Dapat diamati, dihitung, dikuantifikasi, dll.

(measurable and observable) Dapat menangkap komponen penting dari obyek

pengamatan untuk merepresentasikannya (meaningful)

Dapat memodifikasi sesuatu yang tengah dikerjakan yang bermakna bagi program (manageable)

Alat Ukur – Sumber Bukti

Asesmen capaian program studi dilakukan melalui pengukuran dan evaluasi hasil pengukuran

Pengukuran dilakukan dengan cara Direct Measurements – langsung dengan

menggunakan rubrics dan metrics pada aktivitas dan hasil kerja mahasiswa

Indirect Measurements – tak langsung melalui persepsi yang diperoleh dari survey atau kuesioner baik pada peserta didik mau pun pihak lain yang terkait

Bersifat komplementer Fokus pada Direct Measurements

Direct and Indirect Measurements Indirect Measurement berupa kuesioner diberikan

pada berbagai tingkatan Setiap semester untuk setiap mata kuliah untuk persepsi

mahasiswa akan capaiannya dalam perkuliahan Setiap menjelang wisuda untuk setiap wisudawan untuk

persepsi wisudawan akan capaian dalam program studinya (SO)

Tenaga perekrut dari perusahaan dan kantor pengembangan karir lulusan untuk capaian program studi (SO) dan isu lain

Alumni untuk persepsinya atas pencapaiann PEO Employer untuk persepsinya atas pencapaian PEO

Direct and Indirect Measurements Direct Measurement melalui rubrics dan metrics

Seyogianya dilakukan pada setiap mata kuliah untuk setiap capaian diharapkan mata kuliah

Sejalan dengan proses penilaian mahasiswa, namun mempunyai tujuan yang berbeda – rancangan yang baik akan memudahkan pelaksanaan keduanya secara simultan

Alat ukur adalah rubrics yang dikenakan pada karya (tugas, PR, Kuis, Makalah, Ujian dll.) dan aktivitas (praktikum, seminar, dll.) mahasiswa

Alat Ukur Umum untuk Direct Measurements Portfolio Makalah Ujian Kelulusan Capstone project Ujian standarisasi Ujian Serifikasi Presentasi Tes yang dikembangkan

sendiri Simulasi dan demonstrasi Studi kasus

Pengawasan performansi kerja praktek

Evaluator eksternal Pertanyaan tertanam Performasi Tes awal dan akhir Obeservasi rekan Tugas kuliah Asesmen tingat institut Tesis, disertasi, ujian

kompihensif

Alat Ukur Umum untuk Direct Measurements Agar bermakna, alat ukur dinilai berdasarkan kriteria

yang ditentutkan yang sejalan dengan learning outcomes

Contoh Alat ukur: Makalah Tugas Akhir, makalah disampling

dengan identitas dihilangkan, Evaluasi oleh panel Evaluasi dengan kriteria pada rubrik yang sejalan dengan

outcomes Metoda yang digunakan dalam TA sesuai Akurasi data TA Kualitas tulisan

Tiap kriteria diberi skala nilai dan dikenakan pada alat ukur

Rubrics

A scoring tool that lays out the specific expectation for an assignment. (Steven and Levi, 2005)

Rujukan pengukuran performansi (alat/ pedoman penilaian) pada populasi dengan uraian kriteria dan skala yang tegas

Manfaat rubrics Menghemat waktu Penilai menggunakan skala yang sama Penilai menggunakan penilaian berdasarkan kriteria

Rubrics

Mengapa harus menggunakan rubrics Untuk menguji perilaku atau produk yang kompleks Untuk memperjelas ekspektasi dosen Untuk menjaga konsistensi dalam menilai produk atau

tulisan Untuk menunjukkan pola kekuatan mahasiswa dan

bidang yang perlu mendapat perhatian Untuk menggunakan rujukan kriteria, bukan rujukan

norma Untuk memberi mahasiswa perangkat untuk menilai

pekerjaannya sendiri

Penyusunan Rubrik

1. Rujuk pada Learning Outcomes (LO) yang akan diukur2. Tentukan Performance Criteria (PC) dari LO tersebut

yang akan diukur3. Tentukan jumlah kategori (metrik) capaian yang akan

dibuat 4. Tentukan kategori yang dapat diterima sebagai

memenuhi target dan berikan uraian hasil/ capaian yang diharapkan

5. Tentukan uraian capaian yang menunjukkan hasil yang lebih baik dari target

6. Tentukan uraian capaian yang kurang atau gagal memenuhi target

Rubrics

Contoh rubric untuk Bekerja dalam TimKategori Kurang Cukup Baik IstimewaBekerja dalam tim

Tidak bekerja baik dalam kelompok

Kadang mengganggu rekan bekerja

Perlu dukungan untuk bekerja dalam tim

Mencoba bekerja sendiri

Dapat bekerja baik hanya dalam tim yang dipilihnya

Dapat bekerja sama dengan anggota yang lain

Tetap mengerjakan tugasnya

Berkomunikasi baik dengan timnya

Bekerja sama dengan baik dengan anggota yang lain

Menjaga fokus tim dan tetap mengerjakan tugasnya

Berkomunikasi baik dengan timnya dan atas nama kelompoknya

Rubrics

Contoh rubric Keterampilan MenyolderKategori Buruk Cukup BaikKeselamatan kerja

Serampangan tidak memperhatikan petunjuk keselamatan kerja

Kurang hati-hatiKadang tidak memperhatikan petunjuk keselamatan kerja

Hati-hatiMembaca dan mengikuti petunjuk keselamatan kerja

Kualitas penyolderan

Timah menempel pada pad yang tidak diinginkan

Apa komponen ddengan pin tidak tersolder

Timah menempel hanya pada pad yang diinginkan

Semua komponen tersolder

Timah menempel pada pad yang diinginkan dengan tepi mencekung

Semua komponen tersolder dan berfungsi baik

Contoh Istilah Skala CapaianCapstone Milestone Milestone BenchmarkExemplary Accomplished Developing BeginningExcellent Very Good Average FairDistinguihes Proficient Appentice Novice

Pemilihan Alat Ukur

Inventori data yang telah terkumpul yang bermanfaat untuk asesmen atau perbaikan

Pilih sejumlah alat ukur yang dapat dikelola saja Pilih alat uku yang dapat memberikan data untuk

beberapa outcomes sekaligus (bentuk matrik) Saat implementasi mulailah dengan yang mudah

dan menarik Kumpulkan informasi yang menarik untuk dosen

Populasi yang penting Impak dari program baru atau hasil perbaikan

Pemilihan Alat Ukur

Hindari alat ukur yang memerlukan teknik pengumpulan data yang kompleks atau pengumpulan di tempat yang diluar kendali

Evaluasi ketepatan waktu dan biaya (masalah waktu/ kesibukan dosen) Siapa yang akan mengalisis informasi? Kapan akan dianalisis?

Ukur karya mahasiswa menjelang kelulusan Pilih metoda yang sepenuhnya dalam kendali prodi

(tidak memerlukan informasi dari pusat) Ukur hal-hal yang dapat dipengaruhi oleh prodi (Apakah

hasil berfluktuasi dapat dijelaskan dari faktor luar?)

Pemilihan Alat Ukur

Untuk alat ukur yang baru, pelajari kemungkinan pilot study untuk menentukan Tingkat kesukaran mengumpulkan data Tingkat manfaat hasil Apakah data menjawab pertanyaan yang benar

Hati-hati pada motivasi Tes yang tidak menentukan nilai mahasiswa tidak

mencerminkan pengetahuan mahasiswa Segera peroleh/ berikan umpan balik pada dosen

PortFolio

Tujuan: sebagai alat bantu evaluasi menyeluruh perkuliahan

Merupakan bagian dari alat evaluasi pelaksanaan dan capaian mata kuliah

Hanya bermanfaat bila digunakan untuk evaluasi

PortFolio

Cakupan Isi Silabus

Informasi umum perkuliahan Tujuan dan capaian menurut kurikulum Sasaran Pembelajaran Mingguan Pelaksanaan pembelajaran mingguan

Assesment Pola penilaian Kisi-kisi dan Rubric Rincian soal, tugas, kuis, PR, Ujian, dll berikut kuncinya Contoh karya mahasiswa yang buruk, rata-rata, dan baik/ istimewa Statistik nilai dan capaian mahasiswa

PortFolio

Survey Mata Kuliah Pelaksanaan mata kuliah menurut mahasiswa Persepsi mahasiswa atas pemahamannya untuk materi

perkuliahan Evaluasi

Evaluasi diri dosen tentang cakupan pengajaran Evaluasi dosen atas statistik nilai dan persepsi mahasiswa

Assesment Capaian Program Studi

Target Capaian

Target capaian adalah hasil, target, tolok ukur, atau nilai yang menyatakan tingkat kesuksesan mencapai outcomes tertantu Contoh: 66% mahasiswa akan dapat menyelesaikan

studi dalam 8 semester Target capaian adalah angka/ nilai tertentu atau

trend meningkat atau menurun Target capaian harus ditetapkan sebelum hasil

pengukuran

Contoh Target Capaian

Mahasiswa akan mencapai nilai 3 atau 4 dalam rubrik

Nilai rata-rata pada rubrik adalah 3 (skala 4) atau lebih

Menggabungkan Outcomes, Alat Ukur, dan Target Capaian

Contoh Outcomes: Mahasuswa menggunakan konvensi sitasi

yang tepat Alat Ukur 1 (Direct)

Menggunakan rubrik untuk menulis karya ilmiah pada makalah tugas akhir

Target Capaian: mahasiswa memperoleh nilai “proficient” pada rubrik

Alat Ukur 2 (Indirect) Menggunakan exit-survey Target Capaian: 80% mahasiswa menjawab mengetahui

perbedaan cara tulis sitasi pada buku dan makalah

Hal-hal yang Perlu Diperhatikan1. Menggantungkan alat ukur pada nilai mahasiswa

Nilai fokus pada pembelajaran individu mahasiswa bukan pola pembelajaran dalam program

Nilai merupakan gabungan sejumlah outcomes dan persyaratan

2. Terlalu banyak alat ukur indirect Berapa akurat persepsi mahasiswa pada pembelajaran

dirinya? Apa korelasi antara kepuasan mahasiswa dengan

pembelajarannya?

Hal-hal yang Perlu Diperhatikan3. Mencampurkan outcomes, alat ukur, dan target

capaian Outcome: Mahasiswa siap mengikuti ujian profesi Alat Ukur: Tingkat kelulusan mahasiwa pada ujian

profesi Target Capaian: Tingkat kelulusan mahasiswa di atas

rata-rata provinsi

Menulis Alat Ukur

Berikan deskipsi singkat alat ukur Uraikan dimana, kapan, dan siapa Lakukan dengan spesifik agar mudah direplikasi Bila perlu lengkapi dengan rubrik

Menulis Alat Ukur - Contoh

Alat Ukur: Prakiraan cuaca mahasiswa dalam GM4012 Deskripsi:

Mahasiswa akan mempresentasikan prakiraan cuaca pada minggu terakhir kuliah GM4012 yang dievaluasi oleh panel dosen menggunakan rubrik

Outcomes terkait – Mahasiswa mampu1. Menganlisa dan menginterpretasi data meteorologi2. Membuat prakiraan cuaca dengan akurat3. Mendemontrasikan keterampilan presentasi lisan

Target Capaian1. Nilai 3 atau lebih pada rubrik2. Nilai 4 atau lebih pada rubrik3. Nilai 3 atau lebih pada rubrik

Pilih Alat Ukur yang Baik

Menggunakan alat ukur asesmen tanpa pengembangan dan percontohan dengan baik dapat membuat data yang diperoleh Tak bermafaat Tidak meyakinkan dosen Memberikan informasi perubahan yang salah Tidak dapat direpilasi pada siklus berikutnya Membuang waktu

Upayakan memperoleh hasil yang menarik, bermakna, akurat, dan dapat ditindaklanjuti