1

Bab 9

Penilaian Pengguna

2

Objektif Menerangkan konsep dan istilah

penting dalam penilaian Menerangkan paradigma dan teknik

penilaian yang digunakan Membincangkan isu-isu konseptual,

praktikal dan etika yang mesti dipertimbangkan

Memperkenalkan rangkakerja DECIDE

3

Dua Jenis Penilaian Penilaian formatif – dilakukan pada

tahap pembangunan yang bebeza untuk memastikan bahawa produk memenuhi kehendak pengguna

Penilaian sumatif – menganggar / menjangka kualiti suatu produk yang telah dihasilkan

Fokus adalah kepada penilaian formatif

4

Apa yang Dinilai

Rekabentuk iteratif dan penilaian adalah suatu proses yang berterusan yang menguji:

Ide awal untuk model konseptual Prototaip awal suatu sistem baru Prototaip-prototaip yang lebih

lengkap kemudiannyaPerekabentuk perlu menyemak

samada mereka faham keperluan pengguna

5

Bila Dinilai Di sepanjang proses merekabentuk Bermula dari penerangan pertama,

lakaran dll (mengenai kehendak pengguna ) sehinggalah ke produk akhir

Rekabentuk melalui proses kitaran iteratif ‘rekabentuk-uji-rekabentuk semula’

Penilaian adalah elemen utama untuk menjamin rekabentuk yang berjaya

6

Paradigma Penilaian

Setiap jenis penilaian dipandu secara eksplisit (tak tersirat) atau implisit (tersirat) oleh suatu set andaian atau ‘kepercayaan’, yang biasanya berdasarkan kepada teori tertentu. Andaian / ‘kepercayaan’ dan kaedah yang berkaitan dengannya inilah yang dikenali sebagai ‘paradigma penilaian’

7

Kajian Pengguna

Kajian pengguna (user studies) melibatkan proses melihat bagaimana kelakuan manusia dalam persekitaran tabii mereka, atau di dalam makmal, samada menggunakan teknologi baru atau lama

8

Paradigma Penilaian

Ada empat jenis paradigma penilaian ‘Cepat dan kotor’ (‘quick and dirty’) Ujian kebolehgunaan Kajian Lapangan (field studies) Penilaian ramalan (predictive

evaluation)

9

‘Cepat dan Kotor’ Penilaian ‘cepat dan kotor’ : amalan-amalan

secara tidak formal yang biasa dilakukan oleh perekabentuk untuk mendapatkan maklumbalas daripada pengguna atau konsultan untuk memastikan yang ide mereka adalah selari dengan kehendak pengguna

Penilaian ini boleh dilakukan pada bila-bila masa

Penekanan adalah kepada input yang pantas untuk proses merekabentuk, dan bukan hasil yang didokumenkan dengan teliti

10

Ujian Kebolehgunaan

Melibatkan proses merekodkan persembahan (performance) pengguna semasa melaksanakan tugas tipikal dalam persekitaran yang dikawal. Kajian lapangan juga boleh digunakan

Kelakuan pengguna direkodkan & ‘key-press’ disimpan dalam log

11

Ujian Kebolehgunaan

Data digunakan untuk mengira masa, kenalpasti kesilapan dan membantu menerangkan kenapa pengguna melakukan apa yang dilakukan

Soalselidik kepuasan pengguna dan temubual digunakan untuk mendapatkan pandangan pengguna

12

Kajian Lapangan

Kajian lapangan dilakukan dalam persekitaran tabii (natural settings)

Matlamatnya untuk memahami apa yang biasa dilakukan oleh pengguna dan bagaimana teknologi memberi kesan kepada mereka

13

Kajian Lapangan Dalam merekabentuk produk, kajian

lapangan boleh digunakan untuk: Mengenalpasti peluang suatu teknologi

baru Menentukan keperluan rekabentuk Memutuskan bagaimana cara yang

terbaik untuk memperkenalkan suatu teknologi baru

Menilai teknologi yang sedia ada digunakan

14

Penilaian Ramalan

Pakar menggunakan pengetahuan mereka tentang pengguna tipikal, yang selalunya dibantu oleh penilaian heuristik, untuk meramal masalah kebolehgunaan

Pendekatan lain melibatkan model-model yang berasaskan teori tertentu

15

Penilaian Ramalan

Kriteria utama penilaian ramalan adalah - pengguna tidak perlu hadir semasa penilaian dilakukan

Lebih cepat dan murah berbanding kebanyakan paradigma lain

16

Teknik-teknik Penilaian

Memerhatikan (observe) pengguna Mendapatkan pandangan pengguna Mendapatkan pandangan pakar Menguji persembahan

(performance) pengguna Memodelkan persembahan

pengguna mengikut tugas tertentu

17

Rangkakerja DECIDE Determine the goals the evaluation

addresses Explore the specific questions to be

answered Choose the evaluation paradigm and

techniques to answer the questions Identify the practical issues Decide how to deal with the ethical issues Evaluate, interpret and present the data

18

D – Menentukan Matlamat Apakah matlamat penilaian Siapa yang mahukannya dan kenapa? Matlamat mempengaruhi paradigma

yang digunakan Beberapa contoh matlamat:

Kenalpasti metafora yang terbaik Menyemak samada antaramuka yang

terhasil konsisten dengan yang dirancang Menyiasat bagaimana teknologi

mempengaruhi amalan kerja Memperbaiki kebolehgunaan produk sedia

ada

19

E – Explore Soalan

Matlamat dan soalan menjadi panduan supaya masa tidak terbuang

Contohnya, matlamat adalah untuk mengetahui berapa ramai pelanggan yang menggemari tiket kapalterbang biasa berbanding dengan e-tiket.

20

E – Explore Soalan

Soalan boleh dipecahkan kepada: Apakah atitud pelanggan terhadap e-

tiket? Adakah mereka prihatin terhadap isu

keselamatan? Adakah antaramuka yang digunakan

sekarang lemah?

21

C – Memilih paradigma dan teknik

Paradigma penilaian mempunyai pengaruh yang kuat ke atas teknik yang digunakan, bagaimana data dianalisa dan dipersembahkan

Contoh: kajian lapangan tidak melibatkan pengujian atau permodelan

22

I – Kenalpasti Isu Praktikal

Sebagai contoh: bagaimana hendak :

Memilih pengguna Stay on budget Staying on schedule Mencari penilai Memilih peralatan

23

D – Menentukan Isu Etika Membangunkan borang akuan pemberitahuan

(informed consent form) Peserta / responden mempunyai hak untuk :

Mengetahui matlamat kajian Mengetahui apa yang berlaku kepada hasil kajian Privacy dalam maklumat peribadi Not to be quoted without their agreement Menamatkan penilaian bila-bila masa yang disukai Dilayan dengan hormat dan sewajarnya

24

E – Menilai, menterjemah & Mempersembah data

Bagaimana data dianalisa dan diterjemah bergantung kepada paradigma dan teknik yang digunakan

Hal-hal berikut juga perlu dipertimbangkan: Reliability : bolehkah kajian yang sama diulang /

direplika? Validity : Adakah ia mengukur apa yang

dikehendaki? Biases : Adakah proses menyebabkan bias? Scope : Bolehkah hasil di’am’kan (generalised)? Ecological validity : adakah persekitaran

mempengaruhi?

25

Kajian Awal (Pilot Studies) Suatu percubaan kecil tentang kajian Matlamat – untuk memastikan bahawa

perancangan adalah sesuai Pilot Studies boleh memastikan bahawa:

Prosedur yang dirancang boleh dilaksanakan Skrip temubual, soal-selidik, ujikaji, dll sesuai

digunakan dan berfungsi dengan baik Boleh dilakukan beberapa kali untuk

menyelesaikan masalah yang timbul Boleh gunakan rakan sekerja

26

Poin Penting

Penilaian dan rekabentuk berkait rapat dalam Rekabentuk Berpusatkan Pengguna

Paradigma penilaian adalah pendekatan yang dipengaruhi oleh teori dan falsafah tertentu

Lima kategori teknik penilaian: pemerhatian pengguna, pandangan pakar, pengujian pengguna, dan permodelan pengguna

27

Poin Penting Rangkakerja DECIDE mempunyai 6

bahagian: D – Menentukan Matlamat E – Explore Soalan C – Memilih paradigma dan teknik I – Kenalpasti Isu Praktikal D – Memutuskan Isu Etika E – Menilai, menterjemah & Mempersembah data

Lakukan pilot study