EVALUASI DIRI BERBASIS DATA...

30
EVALUASI DIRI BERBASIS DATA SIM-JAMU: mewujudkan Data Driven Culture Dr. Syahrun Nur Madjid, M.Si

Transcript of EVALUASI DIRI BERBASIS DATA...

EVALUASI DIRI BERBASIS DATA SIM-JAMU:

mewujudkan Data Driven Culture

Dr. Syahrun Nur Madjid, M.Si

OUTLINE:

1) Mengapa Perguruan Tinggi harus mengumpulkan data ?

2) DATA DAN INFORMASI PADA PENDIDIKAN TINGGI (DIKTI)

3) Konsep Dasar Evaluasi

4) PELAPORAN: Presentasi, Komunikasi Data dan Informasi

5) Diskusi :RENCANA SIKLUS EVALUASI DIRI PRODI

6) Diskusi :Data driven culture

(1) Mengapa Perguruan Tinggi harus mengumpulkan data ?

• Pihak Eksternal membutuhkan PT yang sehat (good governance, transparancy, dan akuntabilitas yang baik). Contoh: BAN-PT akan meminta SAR (Self Assessment Report), begitu juga sertifikasi AUN-QA

• Pihak Internal harus menjamin PT yang sehat (PT produser alumni/intelektual, dilakukan melalui IQA) dan PT yang dapat mencapai visi melalui pelaksanaan misi yg konsisten dan arah tujuan yang tepat.

Derajat kesehatan PT diukur dengan Evaluasi yang didukung oleh data kinerja/capaian

Indikator PT sehat ?: kinerja Terukur

• PT mempunyai VMT terukur dan upaya pencapainnya dirumuskan dalam Rencana Strategis (Renstra) dan Sasaran strategis.

• Pelaksanaan program/kegiatan mengikuti siklus PDCA atau PPEPP

• Melakukan Evaluasi diri mengacu kepada indikator kinerja yang terukur (IKU).

2 26

INOVATIF MANDIRI TERKEMUKA

UNIVERSITAS SYIAH KUALA

pengembangan ilmu pengetahuan, teknologi, humaniora, olahraga, dan seni

INOVATIF MANDIRI TERKEMUKA

UNIVERSITAS SYIAH KUALA

Di ASIA TENGGARA

PKM

Penelitian

Pendidikan

VISI

VISI

Periode I

Periode II

Periode III

Periode IV

~ 2026

~ 2021

~ 2017

~ 2012

Peningkatan Kapasitas dan Modernisasi

Penguatan Pelayanan

Daya saing regional

Daya saing Internasional

VISI dan MILESTONES Universitas Syiah Kuala

Pencapaian MILESTONES harus diUKUR (DATA) dan di EVALUASI (ANALISIS)

Evaluasi Siklus PDCA Pendidikan• Lakukan evaluasi PDCA untuk

kegiatan pengajaran dan pembelajaran

Mengapa Perguruan Tinggi harus mengumpulkan data ?

(2) DATA DAN INFORMASI PADA PENDIDIKAN TINGGI (DIKTI)

• Data : kumpulan variabel kualitatif dan kuantitatif yang diinterpretasikan menjadi informasi. Data adalah hasil pengukuran dan dapat divisualisasikan melalui tabel, grafik atau gambar. Di sini data dapat dipahami sebagai suatu konsep abstrak darimana informasi dan kemudian pengetahuan diturunkan.

• Informasi adalah kumpulan data dengan maksud tertentu yang berhubungan dengan permasalahan dan digunakan untuk mencapai suatu tujuan. (Wittmann 1980). • Ketika informasi diletakkan dalam konteks yang bermakna, akan tercipta suatu

pengetahuan (Gladen 2003,2).

DEFINISI

Data dan Informasi di Perguruan Tinggi: Permasalahan umum

• Data tidak ada : data tidak dicatat/didokumentasikan

• Data tidak ada saat diperlukan

• Data ada tapi tidak dapat cepat diperoleh

• Data ada tapi bias

• Data ada tapi tidak spesifik sesuai kebutuhan

• Apa lagi ?...................................................

• Kapan data diperlukan: saat menyusun borang akreditasi/ketika ada evaluasi (biasanya external driven)

Data Mana Yang Dikumpulkan ?

Identifikasi Kebutuhan Informasi

Pembuat keputusan di institusi DIKTI mempunyai kebutuhan informasi berbeda sesuai

dengan tujuan strategi dan target masing-masing .

Kebutuhan informasi dapat didefinisikan sebagai “tipe, jumlah dan

kualitas informasi, dimana pembuat keputusan membutuhkan untuk

memenuhi target (capaian)nya. (Koreimann 1976,6;Gladen 2003,4).

Kebutuhan informasi dapat dibedakan atas kebutuhan informasi objektif dan subjetif. Kebutuhan

informasi objektif mengacu pada sejumlah informasi yang dihimpun dalam konteks faktual untuk memecahkan

permasalahan. Kebutuhan informasi subjektif adalah informasi dimana pembuat keputusan mengganggapnya relevan

dengan target kerjanya. (Kupper 2013,218).

Sistim Manajemen Informasi

• Menurut Horvath, metode sistim manajemen informasi dapat dibagi dalam tiga fase, yaitu:• Mengidentifikasi kebutuhan informasi dan mengumpulkan bahan baku

• Pengumpulan data, pengolahan dan analisis.

• Disseminasi data (aliran kerja antara disseminator dan penerima)

Distribusi Informasi

• Kunci utama pendistribusian informasi adalah hubungan antara pengirim informasi dan penerima informasi serta pertanyaan bagaimana mengtransfer informasi relevan secara tepat.

• Hal itu bermakna bahwa, pengirim informasi harus tahu kepada siapa informasi dikirim dan dalam bentuk apa.

• Pada waktu bersamaan, penerima informasi harus tahu bagaimana membaca, memahami dan menggunakan informasi yang diterima.

CONTOH Kebutuhan Informasi Untuk Stakeholders yang BerbedaStandar/Bidang Aspek Rektor Dekan Ketua Lembaga Kepala Biro

Sumber Daya Manusia

Dosen dg jabatan Profesor

Laju Pertumbuhan Profesor per tahun

• Publikasi Internasional para Doktor.

• ProdukvitasProfesor (pengajaran dan penelitian)

Seberapa banyak Doktor yang melakukan penelitian dan Publikasi Ilmiah Internasional

Tunjangan KehormatanProfesor.

Jumlah Doktor dg jabatan fungsional LK

Teaching-Learning

Pembelajaran dg E-learning

Derajat penggunaan “e-learning” utk pembelajaran

Berapa banyak Dosen yang aktif menghasilkan dan menggunakan E-learning utk pembelajaran

Kemahasiswaan Prestasi Mahasiswa

Peran mahasiswa Unsyiah dalamevent nasional dan internasional

Peran Dosen dalam pembimbinganprestasi mahasiswa (seperti PKM, dll)

Kebutuhan Informasi Ketua Prodi

Standar/Bidang Aspek Rektor Dekan Ketua Prodi

Sumber Daya Manusia

Dosen dg jabatan Profesor

Laju Pertumbuhan Profesor per tahun

• Publikasi Internasional para Doktor.

• ProdukvitasProfesor (pengajaran dan penelitian)

Pengajaran dan pembelajaran

Pembelajaran dg E-learning

Derajat penggunaan “e-learning” utk pembelajaran

Berapa banyak Dosen yang aktif menghasilkan dan menggunakan E-learning utk pembelajaran

Kemahasiswaan Prestasi Mahasiswa

Peran mahasiswa Unsyiah dalam event nasional dan internasional

Peran Dosen dalam pembimbinganprestasi mahasiswa (seperti PKM, dll)

STANDAR PENDIDIKAN TINGGI

Permendikbud

INFORMASI YANG

DIBUTUHKANJENIS DATA SUMBER DATA

1.1 Rata-rata lama studi

1.2Masa Tunggu Lulusan Mendapatkan

Pekerjaan < 6 bulan

1.3 Rata-rata IPK Lulusan S1

1.4Persentase Lulusan Bersertifikat

kompetensi/ bersertifikat Profesi

1.5 Persentase Lulusan yang langsung bekerja

2.1 Jumlah publikasi nasional

2.2 Jumlah publikasi internasional

2.3

Jumlah HKI yang dihasilkan (Paten, Merek,

Hak Cipta, PVT, Rahasia Dagang, Desain

Industri, DTLST)

2.4 Jumlah produk inovasi

3.1 Persentase mahasiswa penerima beasiswa

3.2Jumlah mahasiswa berprestasi tingkat

nasional

3.3Jumlah mahasiswa berprestasi tingkat

internasional

4.1 Persentase Program Studi Akreditasi A

4.2 Akreditasi Institusi

4.3 Ranking PT Dalam pemeringkatan di Dunia

4.4Jumlah program studi berakreditasi

internasional

4.5Persentase Program Studi yang menerapkan

SPMI

4.6 Jumlah laboratorium bersertifikat

4.7 Rasio dosen terhadap jumlah mahasiswa

4.8 Persentase dosen bersertifikat pendidik

4.9 Persentase dosen berkualifikasi S3

4.10 Persentase Serapan Anggaran

4.11 Opini Laporan Keuangan

SASARAN STRATEGIS INDIKATOR KINERJA UTAMA

Meningkatnya kualitas

pembelajaran

DAFTAR KEBUTUHAN INFORMASI

1.

2.

3.

4.

Meningkatnya relevansi,

produktivitas dan daya

saing hasil penelitian dan

Pengabdian pada

Masyarakat

Meningkatnya kualitas

kegiatan kemahasiswaan

Revitalisasi pendukung

Tridarma PT

(3) Konsep Dasar Evaluasi

• “deskripsi sistematik dan assessmen fenomena tertentu yang berbasiskan kriteria eksplisit atau implisit”

• Evaluasi dapat juga dipahami sebagai proses yang mencakupi pengumpulan data, interprestasi data dan deduksi langkah-langkah pengembangan

• Analisis sistematik keunggulan dan manfaat suatu issue

• Aplikasi metode research khusus

• Basis informasi, pembuatan keputusan berbasis bukti

PARADIGMA EVALUASI

Berdasarkan evaluasi yg anda hasilkan, paradigma evaluasi mana yg tepat dengan evaluasi yg anda lakukan ?

Fase Evaluasi

• 1. Fase Perencanaan• Subjek yg dievaluasi, tujuan evaluasi, instrumen, jadwal

• 2. Fase Pengumpulan Data• Inti dari evaluasi. 4 Langkah : (1) Operasionalisasi dan pengembangan

instrumen;(2) Pengumpulan data dan;(3) Pengolahan data;(4)Pelaporan.

• 3. Fase Refleksi• FGD dalam suatu workshop,dll.

• 4. Fase Tindak Lanjut• evaluasi harus menstimulasi perubahan dan menjadi efektif dalam suatu

struktur organisasi. Hasil evaluasi harus digunakan untuk memperbaiki pengukuran suatu karakter.

Evaluasi Internal dan Eksternal

• Evaluasi internal adalah proses assessmen yang dilakukan oleh aktor-aktor yang merupakan bagian personil dari organisasi yang dievaluasi.

• Jika evaluator secara simultan adalah aktor pada bidang yang dievaluasi, misal anggota fakultas yang menilai proses dan produk fakultasnya, maka disebut Evaluasi Diri Internal.

• Jika assessmen dilakukan misal oleh unit Penjaminan Mutu universitas, evaluasi disebut Evaluasi Internal, bukan evaluasi diri.

• Evaluasi Eksternal adalah evaluasi yang dilakukan oleh pakar-pakar dari luar organisasi/institusi.

Critical Success Factor, contoh: Peningkatan jumlah Profesor

34 (2,4%) Profesor

242 (17%) Doktor

1430 dosen

874 (61%) Master (S2)

Sumber data: data statistik Unsyiah http://data.unsyiah.ac.id/

177 LK S3

Lulusan S2211 (54%)

Lulusan S3177 (46 %)

Jumlah Lektor Kepala UNSYIAH(per tanggal 30 september 2015)

Sumber data: BJM

Rektor :” 200 Profesor 5 tahun ke depan (2020)” (note: ~ 14 %)

BAPSI + BJM

VALIDASI DATA dan SESUAI DENGAN IKU & IK

DATA

DATADATA

PUKSIWAREHOUSE

VISI

PRODI, FAKULTAS

TPMA

IKU

Data base penelitian

Data base Perkuliahan Data base

Prestasi mahasiswa

& dosen

UNIT KERJA(PEMAKAI DATA DAN

INFORMASI)

Critical Succes

Factor (CSF)

Ka. Biro

REKTOR

DEKAN

BAPSI: Pengolahan data, analisis dan Pelaporan.BJM: Membantu BAPSI (temporer)

Reporting System (data and information)

LAPORAN KINERJA Universitas/Unit Kerja

LAPORAN KINERJA Fakultas dan Prodi

Entry Data On-line

PUKSI: (Aspek DATA) Data Warehouse, pengelompokkan data (Aspek INFORMASI & DATA) : Security, Pembagian dan pemakaian data & Informasi, membuat Program Aplikasi :DATA LAY-OUT (Table, graphics ect.)

SJMF

Perbaikan dan Pengembangan Program

INSTRUKSI

C. DATA DISSEMINATIONA. DATA COLLECTION

B. DATA WAREHOUSE

Unit Kerja lainnya

(UPT PUSTAKA,

UPT PUKSI)

M

A

N

A

G

E

M

E

N

T

I

N

F

O

R

M

A

T

I

O

N

S

Y

S

T

E

M

(

M

I

S)

Link SIM-JAMU

(4) PELAPORAN: Presentasi, Komunikasi Data dan Informasi

Sebuah laporan mempunyai kelompok target pembaca. Tiga macam laporan:

1) Laporan Standar

2) Laporan atas kebutuhan

3) Laporan Deviasi.

4) ? Ketika menyusun laporan, apakah jelas bagi anda target pembacanya? Atau apakah jelas siapa/pihak mana yg membutuhkannya ?

MERANCANG LAPORAN: Pertanyaan-pertanyaan yang dimunculkan1) Mengapa membuat laporan ? (Why?)

2) Apa yang dilaporkan ? (What ?)

3) Bagaimana melaporkan ? (How?)

4) Siapa melaporkan kepada siapa (Who to Whom?)

5) Kapan Melaporkan ? (When?)

Self Assessment Report (SAR): harus

analitik berbasiskan data

(5) RENCANA SIKLUS EVALUASI DIRI PRODI

Klik : Contoh data prodi

(6) Data driven culture

1) Pengambilan keputusan berdasarkan informasi dan data yang benar dan tepat.

2) Perencanaan dilakukan berdasarkan data (data capaian/kinerja)

3) Mendorong menjadi universitas yang sehat

4) QA will need to keep track with new technological possibilities (learning analytics, mobile feedback, staff development...) AND cycles of programme innovation and development will need to be more flexible

Evaluasi Menurut Garis Waktu

Ex-ante Interim Ex-post

Fase Perencanaan Fase Implementasi Fase Impact/Dampak

Contoh : Evaluasi CPL

Ketersedian RPS/rumusan LO

Sapras memadai, dll

Metode mengajar

Evaluasi, dll

Pengukuran CPL

dll

The Blue Ocean Strategy

• ....never try to imitate anybody, because as long as you benchmark with somebody, at the best you will be like them. Meanwhile, the person you benchmark is ahead of you. You will never close the gap.

-W Chan Kim

Kriteria dan Standar

• Sebuah kriteria adalah ciri suatu item, suatu pengukuran atau suatu program yang membolehkan seseorang untuk membuat pernyataan tentang mutu item tersebut. • Sebagai contoh, “waterproofness”, adalah kriteria untuk jaket outdoor. Jika

jaket tetap kering setelah dibasahi 100 liter air, jaket dapat dinilai baik. Kriteria lain untuk kualitas jaket outdoor adalah anti angin (windproofness), isolasi termal dll.

• Sebuah standar menentukan tingkat kriteria yang harus dipenuhi sehingga dapat dinilai bagus/baik. • Sebagai contoh, kriteria jaket outdoor anti air akan dipenuhi jika bagian dalam

tetap kering setelah 30 menit dalam hujan lebat. “ Tiga puluh menit dalam hujan lebat” menjadi standar untuk kriteria anti air.