Petunjuk Sitasi: Syaifullah, D. H., Puspasari, M. A...

Petunjuk Sitasi: Syaifullah, D. H., Puspasari, M. A., & Hanifah, A. (2017). Analisis User Experience pada Penggunaan

Aplikasi Mobile Jakarta Smart City. Prosiding SNTI dan SATELIT 2017 (pp. B217-232). Malang: Jurusan Teknik

Industri Universitas Brawija.

SNTI dan SATELIT, 4-6 Oktober 2017, Batu

B-217

Analisis User Experience pada Penggunaan

Aplikasi Mobile Jakarta Smart City

Danu Hadi Syaifullah(1), Maya Arlini Puspasari(2), Asma Hanifah(3) (1), (2), (3)Departemen Teknik Industri

(1), (2), (3)Fakultas Teknik – Universitas Indonesia, Depok 16424 (1)[email protected], (2)[email protected], (3)[email protected]

ABSTRAK Pertumbuhan pengguna internet dan pengguna smartphone telah merubah gaya

hidup masyarakat Indonesia ke arah digital, salah satunya dalam mencari informasi.

Salah satu informasi yang banyak diakses oleh pengguna internet di Indonesia adalah

informasi layanan publik. Selain itu, seiring dengan perkembangan teknologi dan

internet, terdapat beberapa kota di Indonesia sedang bertransformasi menuju Smart City

dan salah satunya adalah Jakarta. Dalam proses menuju Smart City, Pemerintah DKI

Jakarta telah meluncurkan sebuah aplikasi mobile Jakarta Smart City untuk

mempermudah masyarakat dalam mengakses informasi layanan publik. User experience

(UX) merupakan faktor yang sangat penting bagi sebuah aplikasi mobile dalam

memberikan kesan pertama tentang suatu produk yang ditawarkan melalui interaksi

antara pengguna dengan produk. Penelitian ini bertujuan untuk menganalisis UX

aplikasi mobile Jakarta Smart City dengan menggunakan pendekatan performance

metrics, self-reported metrics melalui kuesioner Single Ease Question (SEQ) dan

kuesioner Design-oriented Evaluation of Perceived Usability (DEEP), serta issue-based

metrics yang menilai kinerja, persepsi, perilaku, dan mengeluarkan apa yang dirasakan

pengguna dalam berinteraksi dengan aplikasi serta mengetahui pengaruh pengalaman

pada penggunaan aplikasi mobile. Berdasarkan hasil analisis, aplikasi mobile Jakarta

Smart City memiliki penilaian usability yang belum baik dan ditemukan masalah pada

desain aplikasi mobile tersebut. Oleh karena itu, dilakukan perbaikan desain tampilan

atau user interface (UI) dengan menggunakan prinsip-prinsip desain UI, open card sort,

dan Activity Relationship Chart (ARC). Hasil penelitian ini adalah penilaian user

experience, rekomendasi, dan desain tampilan aplikasi mobile Jakarta Smart City yang

dapat meningkatkan usability pengguna.

Kata Kunci—Analisis User Experience, Aplikasi Mobile Jakarta Smart City,

Performance Metrics, Open Card Sort, User Interface.

I. PENDAHULUAN

Dewasa ini, perkembangan teknologi internet sangat pesat dan berbagai aktivitas manusia

dilakukan dengan menggunakan jasa internet. Di Indonesia, pengguna internet mencapai 132,7

juta penduduk (Internet World Stats, 2016) dan terdapat peningkatan jumlah pengguna internet

sebanyak 44,6 juta penduduk atau 50,6% dari jumlah pengguna internet di Indonesia pada tahun

2014 yaitu 88,1, juta penduduk (APJII, 2014). Pertumbuhan internet ini juga diimbangi oleh

pertumbuhan yang signifikan dari perangkat elektronik dan komunikasi untuk mengakses internet.

Salah satu perangkat yang mengalami pertumbuhan signifikan adalah smartphone. Berdasarkan

hasil survei Asosiasi Penyelenggara Jasa Internet Indonesia pada tahun 2016, sebanyak 50,7%

dari penduduk Indonesia mengakses internet melalui smartphone dan komputer, 47,6%

mengakses melalui smartphone saja, dan 1,7 % mengakses hanya dari komputer. Alasan utama

terbesar dari para pengguna internet Indonesia untuk mengakses internet adalah untuk melakukan

update informasi dan salah satu konten informasi yang diakses adalah informasi layanan publik

(APJII, 2016).

Perkembangan teknologi internet juga mendorong terciptanya Smart City di berbagai kota di

dunia, salah satunya adalah Jakarta di Indonesia. Saat ini, Jakarta sedang bertransformasi menuju

Smart City dan salah satu sarana untuk menunjang terciptanya Smart City tersebut adalah dengan

mailto:[email protected]




B-218

membuat aplikasi mobile Jakarta Smart City (JSC). Dengan Smart City, data disajikan dengan

lebih transparan. Selain itu, Smart City meningkatkan partisipasi warga seperti membuat data,

aplikasi, memberikan masukan, dan memberikan kritikan. Aplikasi mobile JSC dikembangkan

oleh Pemerintahan Provinsi DKI Jakarta dan aplikasi mobile tersebut baru tersedia di Play Store

sehingga hanya dapat diunduh oleh masyarakat yang menggunakan smartphone jenis Android.

Berdasarkan hasil interview dengan pihak Jakarta Smart City, Prasetyo Andy Wicaksono

(Kepala Tim IT JSC), diketahui bahwa aplikasi mobile JSC dibuat dengan tujuan untuk

menyampaikan informasi publik yang telah disortir untuk diketahui oleh masyarakat luas,

khususnya masyarakat DKI Jakarta yang dilatarbelakangi oleh kesulitan yang dialami warga

untuk mengetahui informasi publik yang akurat dan relevan. Beliau menyatakan bahwa terdapat

masalah dalam aplikasi mobile tersebut. Masalah yang dimaksud peforma dari aplikasi terasa

berat dan secara umum tampilannya masih kurang ramah terhadap pengguna atau not-user

friendly. Untuk mengatasi masalah tersebut, saat ini tim JSC dari Pemerintahan Provinsi DKI

Jakarta sedang melakukan usaha pengembangan dan perbaikan dari aplikasi mobile tersebut dan

dibutuhkan tanggapan atau feedback dari pengguna aplikasi mengenai kekurangan dari aplikasi

tersebut serta saran untuk perbaikan atau pengembangan aplikasi kedepannya.

Untuk mengetahui masalah yang dialami oleh pengguna dalam menggunakan aplikasi mobile

JSC, penulis telah mengadakan initial interview terhadap 15 warga Jakarta. Dari hasil interview di

dapatkan bahwa 11 responden menyatakan bahwa aplikasi ini penting bagi masyarakat Jakarta.

Selanjutnya responden diminta untuk memberikan penilaian apakah mereka setuju atau tidak

setuju terhadap 8 pernyataan positif mengenai tampilan aplikasi mobile JSC. Hasil pengolahan

terhadap penilaian adalah 80% tidak setuju tampilan memudahkan penggunaan aplikasi, 60%

tidak setuju tampilan memudahkan pemahaman fungsi, 67% tidak setuju susunan menu sudah

baik, 73% tidak setuju tampilan warna sudah baik, 67% tidak setuju struktur menu floating page

mudah digunakan, 60% tidak setuju simbol menu sesuai dengan judul menu, 53% tidak setuju

ukuran huruf sudah pas, dan 67% tidak setuju tampilan secara keseluruhan sudah baik.

Gambar 1 Diagram Pareto Hasil Initial Interview Mengenai Kekurangan atau Masalah pada Aplikasi

Mobile JSC

Dari penjelasan diatas dapat disimpulkan bahwa 8 pernyataan positif mengenai aplikasi

mobile Jakarta Smart City tersebut didominasi oleh tanggapan tidak setuju. Hal ini menunjukkan

bahwa terdapat peluang untuk memperbaiki atau mengembangkan lebih lanjut mengenai tampilan

atau user interface dari aplikasi mobile Jakarta Smart City. Selain itu, responden diminta untuk

menjelaskan secara deskriptif mengenai kekurangan atau masalah dari aplikasi mobile Jakarta

Smart City tersebut dan didapatkan 8 masalah pada aplikasi mobile JSC. Masalah tersebut adalah

tampilan aplikasi not-user friendly (kurang minimalis, terlalu kaku, perlu perbaiki UX, kurang

fungsional, perlu pertimbangan desain untuk manula dan disabilitas), tampilan susunan menu

kurang menarik dan membingungkan (penyusunan ulang menu dengan pengelompokkan menu

sesuai kategori), kurang paham dengan fungsi tombol atau sign pada aplikasi (fungsi tombol

membingungkan pengguna), proses loading aplikasi terlalu lama, ukuran tulisan (font) terlalu

kecil, perlu penambahan fungsi atau fitur yang baru, informasi atau konten dalam aplikasi tidak

update, dan performa berat (membutuhkan memori yang besar). Pada Gambar 1 ditampilkan

kekurangan atau masalah yang telah diolah dan disajikan dalam bentuk diagram paretto.

Dari pengolahan hasil initial interview dengan menggunakan pareto diatas menunjukkan

bahwa terdapat beberapa masalah yang merupakan masalah utama dalam aplikasi mobile Jakarta

0%

20%

40%

60%

80%

100%

0

1

2

3

4

5

Not user

friendly

Susunan

menu

Fungsi

tombol

Loading Font Fitur baru Tidak update Peforma

berat

Syaifullah, Puspasari dan Hanifah


B-219

Smart City. Berdasarkan prinsip diagram paretto yaitu aturan 80/20, dimana 80% dari masalah

(ketidaksesuaian) disebabkan oleh penyebab (cause) sebesar 20%. 80% dari masalah aplikasi

mobile JSC ini adalah tampilan aplikasi not-user friendly, tampilan susunan menu kurang menarik

dan membingungkan, kurang paham dengan fungsi tombol pada aplikasi, proses loading aplikasi

terlalu lama, dan ukuran tulisan (font) terlalu kecil. Sehingga dapat disimpulkan bahwa masalah

atau kekurangan dari aplikasi mobile JSC merupakan masalah mengenai tampilan visual dan

struktur aplikasi dan perlu dilakukan pengembangan aplikasi.

Salah satu unsur terpenting dalam mengembangkan aplikasi adalah user experience. User

experience berfokus dalam meningkatkan kepuasan pengguna dengan memperbaiki interaksi

antara pengguna dengan devices, website, dan aplikasi mobile. Berdasarkan latar belakang yang

telah dipaparkan diatas, maka penelitian ini bertujuan untuk melakukan terkait analisis user

experience pada penggunaan aplikasi mobile Jakarta Smart City. Diharapkan dengan studi yang

dilakukan, dapat diketahui permasalahan yang terjadi sehingga dapat dihasilkan rekomendasi.

II. METODOLOGI

Objek penelitian ini adalah aplikasi mobile Jakarta Smart City (JSC). Pengumpulan data

dilakukan dengan mengundang responden untuk menggunakan aplikasi mobile JSC. Pada

penelitian ini melibatkan 20 responden. Responden tersebut merupakan masyarakat Jakarta yang

tergolong usia produktif dengan rentang usia dari 19-45 tahun dengan profesi mahasiswa dan

pegawai untuk merepresentasikan masyarakat yang terbiasa menggunakan smartphone dan

aplikasi mobile untuk mengakses informasi dalam kehidupan sehari-hari dalam belajar maupun

dalam bekerja.

Penelitian ini bertujuan untuk menganalisis penggunaan suatu produk maupun jasa yang

sudah masuk ke pasar. Pada bagian ini akan dibahas proses pengambilan dan bentuk penelitian

ini:

1. Penelitian diawali dengan pendahuluan mengenai penjelasan tentang penelitian dan proses

pengambilan data berupa pengerjaan 5 task dan responden diminta untuk mengisi kuesioner

serta membaca panduan task pada kuesioner.

2. Responden diberikan kuesioner dengan jumlah 3 halaman yang terdiri dari 4 bagian, yaitu

bagian 1 data diri, bagian 2 pertanyaan seputar kepentingan aplikasi mobile Jakarta Smart

City, bagian 3 task dan single ease question (SEQ), dan bagian 4 kuesioner design-oriented

evaluation of perceived usability (DEEP).

3. Responden diminta untuk mengisi kuesioner bagian 1 dahulu sebelum terlibat dalam

pengambilan data berupa pengerjaan task dan bagian 2, 3, dan 4 setelah melakukan

pengambilan data.

4. Pengambilan data dilakukan satu per satu oleh setiap responden pada penggunaan aplikasi

mobile Jakarta Smart City.

5. Responden diminta untuk melakukan 5 task untuk mencari beberapa informasi yang tersedia

di aplikasi mobile Jakarta Smart City. Pada tabel 3.3. dijelaskan skenario task yang dipilih

dalam penelitian ini.

6. Responden memulai pengerjaan task sesuai dengan pada aba-aba dari peneliti untuk

memudahkan proses time-study. Waktu yang dihitung dalam proses time-study adalah waktu

yang dibutuhkan seorang responden untuk menyelesaikan setiap task dan tidak dihitung

waktu perpindahan antar task.

7. Responden direkam selama pengerjaan task dengan menggunakan screen recorder pada

smartphone yang digunakan sebagai objek untuk melakukan penelitian untuk melakukan task

pada aplikasi mobile Jakarta Smart City. Video hasil rekaman digunakan untuk keperluan

pengolahan data task success, error, time on task, efficiency.

8. Responden yang telah selesai mengerjakan kelima task diminta untuk melanjutkan isi

kuesioner ke bagian 2, 3, dan 4.

Tabel 1 Skenario Task Pengumpulan Data

Task Skenario Task

1 Saudara/i ingin mengetahui kondisi jalan Senopati, Kebayoran Baru, Jakarta Selatan dengan


B-220

melihat CCTV Online

2 Saudara/i ingin mengetahui destinasi wisata di daerah Jakarta Selatan

3 Saudara/i ingin mengetahui apakah sudah ada tindakan atau belum untuk laporan masyarakat

melalui Qlue mengenai kemacetan di daerah Jakarta Timur

4 Saudara/i ingin mengetahui nomor telepon Rumah Sakit Umum Grha Kedoya di Jl. Panjang Arteri

26, Jakarta Barat

5 Saudara/i ingin mengetahui harga-harga pangan di Pasar Gondangdia, Jakarta Pusat

Data yang diperoleh dari rangkaian proses diatas merupakan video rekaman, task success,

time on task, error, efficiency, tingkat kemudahan SEQ, serta penilaian DEEP. Pada bagian

berikut, data yang diperoleh akan dikumpulkan untuk pengolahan dan analisis. Responden yang

sudah menyelesaikan rangkaian pengambilan data kemudian diminta untuk melakukan protokol

wawancara retrospective think aloud (RTA). Responden diminta untuk memverbalisasikan

pendapat dari video rekaman penggunaan aplikasi mobile JSC.

III. HASIL DAN PEMBAHASAN

Pada bab ini akan dibahas dan dipaparkan mengenai hasil dan pembahasan dari pengolahan

data penelitian ini. Pada bagian ini disajikan data performance metrics yang telah dikumpulkan,

antara lain: data task success, error, time on task, dan efficiency. Selain itu juga akan dijelaskan

analisis SEQ, kuesioner DEEP, hingga analisis dan verifikasi perbaikan desain tampilan aplikasi

mobile Jakarta Smart City.

A. Task Success

Task success adalah tingkat keberhasilan responden menyelesaikan skenario task yang

diberikan. Parameter ini diukur dari kesuksesan responden mencapai tujuan akhir dari skenario

yang diberikan, sedangkan kegagalan dalam proses atau langkah tidak dihitung sebagai kegagalan

melainkan sebagai bentuk error. Data diperoleh melalui video yang diambil ketika responden

melakukan skenario task pada aplikasi mobile Jakarta Smart City. Parameter ini diukur

menggunakan tingkat kesuksesan biner 1 dan 0 dengan skor 1 diberikan untuk responden yang

sukses menyelesaikan task dan skor 0 diberikan untuk responden yang gagal.

Seluruh responden dapat menyelesaikan dan mencapai tujuan dari skenario task. Oleh karena

itu didapatkan rata-rata tingkat keberhasilan sebesar 100% bagi seluruh responden. Hal ini

menunjukkan proses pada aplikasi mobile JSC tidak menimbulkan kesulitan yang besar pada

pengguna hingga pengguna harus gagal atau menyerah.

B. Error

Error adalah parameter yang mengukur jumlah kesalahan yang terjadi ketika responden

sedang melakukan skenario task. Jumlah error yang dihitung merupakan jumlah kesalahan pada

langkah atau sub-proses yang dilakukan. Kesalahan diartikan sebagai suatu langkah pada tingkat

sub-proses yang tidak sesuai dengan ketentuan untuk mencapai tujuan dari skenario task yang

diberikan. Suatu skenario task dianggap berhasil (task success) apabila tujuan dari task tersebut

tercapai, namun error hanyalah kesalahan pada tingkat sub-proses. Jadi pada parameter error

yang dihitung hanyalah jumlah kesalahan pada tingkat sub-proses yang tidak mempengaruhi

ketercapaian tujuan akhir suatu skenario task. Berikut ini adalah pengolahan data error untuk

seluruh responden (Gambar 2).

Gambar 2 Jumlah Error Seluruh Responden

19

5 72

32

0

20

40

Task 1 Task 2 Task 3 Task 4 Task 5

Jum

lah

Err

or

per

Tas

k



B-221

Dari gambar grafik diatas terlihat bahwa jumlah error atau kesalahan banyak terjadi pada

pengerjaan task 1 dan task 5. Secara keseluruhan, terdapat 2 kesalahan atau error yang dilakukan

responden dalam mengerjakan kelima task, yaitu salah memilih menu dan salah dalam

penggunaan tombol navigasi. Berdasarkan hasil analisis, dapat ditarik kesimpulan bahwa aplikasi

mobile Jakarta Smart City belum memberikan pemahaman yang maksimal melalui tampilan yang

ada kepada pengguna dari aplikasi mobile tersebut. Sehingga pengguna melakukan beberapa

kesalahan atau error dalam mencapai tujuannya untuk mencari suatu informasi pada aplikasi

mobile Jakarta Smart City ini.

C. Time on Task

Time on Task adalah waktu yang dibutuhkan oleh seorang responden untuk menyelesaikan

skenario task yang diberikan. Parameter ini diukur dengan melakukan time study pada saat

melaksanakan skenario task yang diberikan dalam satuan detik (s) dimulai dari aba-aba mulai

hingga responden menyelesaikan task. Berikut ini adalah grafik data time on task untuk seluruh

responden (Gambar 3).

Gambar 3 Data Time on Task Seluruh Responden

Seperti yang terlihat pada grafik diatas bahwa waktu untuk pengerjaan task 1 dan task 5

membutuhkan waktu yang lebih lama dibandingkan dengan pengerjaan task lainnya. Hasil

analisis menunjukkan bahwa dalam waktu yang dibutuhkan untuk menyelesaikan pengerjaan task

dipengaruhi oleh pemahaman pengguna mengenai aplikasi mobile Jakarta Smart City. Jika

pengguna dengan mudah mehamami penggunaan dari aplikasi mobile dengan melihat

tampilannya, maka akan mengurangi kemungkinan terjadinya kesalahan saat menggunakan

aplikasi mobile tersebut dan waktu yang dibutuhkan untuk mencari informasi di aplikasi mobile

Jakarta Smart City bisa menjadi lebih cepat.

D. Efficiency

Efficiency adalah tingkat usaha (waktu) yang dibutuhkan responden untuk menyelesaikan task

dengan sukses. Umumnya, parameter efisiensi diukur dengan menghitung jumlah task sukses per

satuan waktu. Dalam hal ini dilakukan perhitungan efisiensi dengan satuan menit. Parameter ini

dipaparkan jumlah usaha yang dibutuhkan responden untuk menyelesaikan task secara sukses

dalam satuan menit. Berikut adalah grafik rata-rata efisiensi pengerjaan task (Gambar 4).

Gambar 4 Rata-rata Efisiensi Pengerjaan Task

Seperti yang terlihat dari grafik diatas, rata-rata efisiensi untuk setiap task memiliki nilai

dibawah 80%. Hal ini menunjukkan bahwa dalam kurun waktu satu menit, responden belum

148.95

101.95 95.3 95.75117.75

0

50

100

150

200


Tim

e o

n T

ask (

s)

50%

66%70% 72%

57%

0%

20%

40%

60%

80%



B-222

menyelesaikan task yang diberikan. Pengerjaan task 1 dan 5 memiliki angka rata-rata efisiensi

paling kecil dibandingkan dengan pengerjaan task lainnya dan menunjukkan bahwa pengerjaan

task 1 dan 5 membutuhkan waktu pengerjaan yang lebih lama jika dibandingkan dengan

pengerjaan task yang lain. Berdasarkan hasil analisis didapatkan bahwa tampilan aplikasi mobile

Jakarta Smart City memiliki kekurangan yang menyebabkan kinerja pengguna tidak maksimal

saat menggunakan aplikasi mobile tersebut.

E. Analisis Single-Ease Question

Single Ease Question adalah kuesioner penilaian tingkat kesulitan task oleh responden. SEQ

adalah kuesioner yang umum digunakan untuk menilai tingkat kesulitan pada sebuah studi

usability. Berikut ini adalah grafik rata-rata penilaian SEQ setiap task (Gambar 5).

Gambar 5 Rata-rata Nilai SEQ

Seperti yang terlihat dari grafik diatas, setiap task memiliki rata-rata nilai SEQ dibawah 5.

Hal ini menunjukkan bahwa aplikasi mobile Jakarta Smart City belum mencapai keadaan “good

usability”. Nilai SEQ tersebut juga menunjukkan bahwa responden mengalami kesulitan dalam

menyelesaikan task pada aplikasi mobile Jakarta Smart City.

F. Analisis Design-oriented Evaluation of Perceived Usability

Design-oriented Evaluation of Perceived Usability (DEEP) merupakan kuesioner berisikan 19

pertanyaan yang mengevaluasi 5 dimensi desain (konten, arsitektur informasi, navigasi, tata letak,

dan bimbingan visual) dan 1 dimensi usaha kognitif untuk mengidentifikasi masalah usability

terkait dengan desain. Pengolahan data DEEP digunakan untuk menilai dimensi UX design

evaluation yang dilakukan dengan menghitung nilai rata-rata usability yang dirasakan pada tiga

tingkat: keseluruhan skor mengenai perceived usability, skor untuk setiap dimensi desain, dan

skor untuk setiap item. Berikut ini adalah grafik nilai DEEP untuk tingkat dimensi (Gambar 6).

Gambar 6 Nilai DEEP per Dimensi

Hasil pengolahan nilai DEEP untuk keseluruhan skor mengenai perceived usability adalah

2,74. Dari hasil nilai rata-rata usability tingkat dimensi, terdapat 4 dari 6 dimensi DEEP yang

memiliki skor negatif atau rata-rata skor dibawah 3 (netral), yaitu dimensi perceived cognitive

effort dengan skor 2,25, structure and information architecture dengan skor 2,33, perceived

navigation dengan skor 2,82, dan perceived visual guidance dengan skor 2,75. Hal ini

menunjukkan terdapat masalah yang berkaitan dengan 4 dimensi tersebut.

3.500 3.650 3.850 4.1003.550

1.0002.0003.0004.0005.000


Rata-rata Nilai Single Ease Question

(Ease of Use)

3.3

2.33

3.02

2.25

2.82 2.75

0

1

2

3

4

Perceived

Content

Perceived

Structure and

Information

Architecture

Perceived

Navigation

Perceived

Cognitive

Effort

Perceived

Layout

Consistency

Perceived

Visual

Guidance



B-223

Berdasarkan analisis untuk setiap dimensi DEEP dan hasil wawancara RTA, dapat diketahui

masalah pada aplikasi mobile JSC pada setiap dimensi. Pada dimensi perceived structure and

information architecture, masalah disebabkan oleh tampilan homepage aplikasi mobile yang

menampilkan daftar 47 menu yang diurutkan memanjang kebawah dan nama menu menggunakan

nama dari instansi pemerintah. Pada dimensi perceived navigation, masalah disebabkan oleh

adanya navigasi yang membingungkan responden. Pada dimensi perceived cognitive effort,

masalah disebabkan oleh jumlah menu yang cukup banyak yaitu 47 menu yang dinamakan sesuai

dengan nama instansi pemerintah dan terdapat penulisan nama menu yang disingkat dan tidak

diberi penjelasan mengenai singkatan tersebut. Pada dimensi perceived layout consistency,

masalah disebabkan oleh ukuran font tidak konsisten, serta spacing paragraph dan area white

space antara text box satu informasi dan informasi lainnya berbeda. Pada dimensi perceived visual

guidance, masalah disebabkan oleh ukuran tulisan pada menu yang terlalu kecil, warna tampilan

menu yang kurang menarik, dan perubahan warna pada tombol navigasi.

G. Analisis RTA

Data RTA diperoleh melalui wawancara dan verbalisasi pengalaman pada saat melihat video

rekaman menggunakan aplikasi mobile Jakarta Smart City. Setiap responden bebas berpendapat

terkait pengalamannya menggunakan aplikasi. Secara keseluruhan didapatkan 130 pendapat hasil

verbalisasi pengalaman menggunakan aplikasi mobile JSC. Pengolahan data dilakukan dengan

membagi kategori pendapat menjadi 25 klaster. Tidak semua masalah yang ada dan berhasil

diidentifikasi akan diselesaikan. Konsep pareto digunakan untuk menemukan masalah yang

paling berpengaruh pada user experience aplikasi mobile ini. Berikut adalah diagram pareto hasil

pengolahan data retrospective think aloud (Gambar 6).

Gambar 6 Diagram Pareto Hasil Retrospective Think Aloud

Berikut adalah klaster permasalahan yang ada pada diagram pareto (Tabel 2).

Tabel 2 Data Permasalahan Diagram Pareto


B-224

Masalah tersebut termasuk dalam konsep pareto atau perhitungan kumulatif sebesar 82% dari

100% dengan rincian 69% masalah terdiri dari 55% masalah visual (v) dan 14% struktur (s). Oleh

karena permasalahan yang ada dalam perhitungan diatas akan diperbaiki dalam bentuk redesain.

H. Perancangan Perbaikan User Interface

Perbaikan desain dilakukan berdasarkan hasil pengolahan data dengan merubah interface

pada aplikasi mobile Jakarta Smart City. Dalam perancangan desain ini dilakukan dengan

mengelompokkan menu, memperbesar ukuran font, pemilihan warna, dan menyusun tata letak

untuk menghasilkan user interface yang memudahkan bagi pengguna. Metode yang digunakan

untuk mengelompokkan menu adalah open card sort. Pada open card sort: peserta

mengelompokkan kartu menjadi kategori yang masuk akal bagi mereka dan memberi label atau

nama pada masing-masing kategori tersebut sendiri. Selain mengelompokkan menu, perancangan

dilakukan dengan menyusun tata letak tampilan dengan menggunakan metode activity

relationship chart (ARC). ARC adalah sebuah diagram yang digunakan untuk menggambarkan

proses atau hubungan antara elemen yang ada dalam sistem. ARC mampu memberikan gambaran

urutan proses yang nantinya ditranslansikan menjadi bentuk desain tampilan yang baru.

1) Pengelompokkan Menu dengan Open Card Sort: Sebelum melakukan metode open card

sort, diperlukan penentuan kartu yang akan disortir dan peserta yang akan berpartispasi.

Item untuk kartu yang akan disortir merupakan menu yang ada di aplikasi mobile JSC.

Namun, karena menu yang ada terlalu banyak maka dilakukan eliminasi berdasarkan

menu yang sering diakses dan dibutuhkan masyarakat Jakarta, sehingga didapatkan 41

item yang terdiri dari 34 menu dan 7 sub-menu yang mewakili 38 menu dari aplikasi

mobile JSC. Sedangkan untuk peserta open card sort, dipilih 10 orang pegawai di Balai

Kota DKI Jakarta yang sudah terbiasa menggunakan aplikasi mobile JSC. Metode open

card sort ini dilakukan dengan menggunakan alat bantu card sorting tool online berbasis

website, yaitu www.usabiliTEST.com.

http://www.usabilitest.com/



B-225

Gambar 7 Tampilan Halaman Website untuk Pengerjaan Card Sorting

Setelah dilakukan proses open card sort, hal yang harus dilakukan adalah membuat standar

kategori. Standar kategori dibuat berdasarkan kesamaan menu dalam satu kategori dan nama

kategori yang banyak digunakan oleh peserta. Didapatkan hasil 8 standar kategori, yaitu About

Us, CCTV, Fasilitas Umum, Informasi Masyarakat, Lalu Lintas, Laporan Masyarakat, Data

Pemerintah, dan Transportasi. Selanjutnya, dilakukan pengolahan terhadap hasil open card sort.

Pertama, agreement score adalah nilai yang menggambarkan tingkat kesepakatan antara peserta

terhadap kartu yang telah dikelompokkan oleh ke dalam setiap kategori. Dari hasil perhitungan

didapatkan 7 kategori memiliki dengan tingkat persetujuaan sedang dan 1 kategori memiliki

dengan tingkat persetujuaan tinggi. Kedua, distance matrix adalah matriks yang memperlihatkan

jarak antara kombinasi penempatan kartu yang satu dengan kartu yang lain ke dalam satu

kategori. Semakin tinggi nilainya, maka semakin jauh jarak antara kombinasi kartu tersebut.

Ketiga, correlation adalah persentase korelasi antara kartu yang ditempatkan peserta terhadap

suatu kategori. Semakin besar persentasenya, maka semakin sering kartu dimasukkan pada

kategori tersebut. Terakhir, dendogram atau dikenal juga sebagai tree diagram merupakan

representasi visual dari hubungan antar item. Dari hasil dendogram, terbentuk 7 kelompok dengan

tingkat kesepakatan sekitar 70% dari seluruh peserta. Berikut ini adalah tabel dan diagram hasil

open card sort.

Tabel 3 Hasil Agreement Score

Standardised

category

Sorters who

used this

Total cards

in this

category

Unique

cards

Agreement

About Us 7 10 3 0,48

CCTV 3 3 1 1,00

Fasilitas

Umum

6 65 25 0,43

Informasi

Masyarakat

8 61 23 0,33

Lalu Lintas 4 16 8 0,50

Laporan

Masyarakat

8 13 3 0,54

Tabel 4 Hasil Distance Matrix


B-226

(Sebagian Hasil)

Lap

ora

n M

asy

arak

at

Mel

alu

i Q

lue

Po

pu

lasi

Pen

dud

uk

Bad

an K

esat

uan

Ban

gsa

dan

Po

liti

k

Bad

an P

enan

ggu

lang

an

Ben

can

a D

aera

h

Laporan Masyarakat Melalui Qlue 10 10 10

Populasi Penduduk 8 8

Badan Kesatuan Bangsa dan Politik 4

Badan Penanggulangan Bencana

Daerah

Tabel 5 Persentase Korelasi antara Kartu dengan Kategori (Sebagian Hasil)

Gambar 8 Dendogram Hasil Open Card Sort

Berdasarkan hasil analisis dari pengolahan data open card sort, ditetapkan 8 kategori untuk

pengelompokkan menu aplikasi mobile Jakarta Smart City, yaitu About Us, CCTV, Fasilitas

Umum, Informasi Masyarakat, Lalu Lintas, Laporan Masyarakat, Data Pemerintah, dan



B-227

Transportasi. Kategori tersebut yang selanjutnya didesain sebagai menu pada tampilan utama atau

main page dari aplikasi mobile JSC.

1) Font dan Warna: Perbaikan ukuran font mengikuti guideline dari Google mengenai

tipografi untuk Android. Ukuran yang digunakan pada perbaikan desain adalah 24 pt

untuk bagian judul (heading) agar bagian judul terlihat lebih besar dari dan bagian isi, dan

16 pt untuk bagian isi agar tulisan dapat jelas terlihat dan mudah untuk dibaca. Pada

desain baru, font yang digunakan tetap sama seperti font yang telah digunakan pada

aplikasi mobile JSC yaitu font Roboto dengan menggunakan keluarga fontnya, regular

untuk bagian isi dan bold untuk bagian judul atau heading.

Perbaikan warna dilakukan dengan menggunakan warna yang disesuaikan dengan logo

dari Jakarta Smart City. Warna yang digunakan adalah warna biru gelap (#112f41)

beserta turunannya sebagai warna utama untuk background dan warna jingga atau oranye

yang lebih gelap dari warna jingga pada logo (#dd7b1d) untuk simbol menu. Salah satu

yang mempengaruhi perbaikan warna adalah visual acuity. Spektrum warna biru memiliki

wavelength sekitar 485M𝜇 sehingga memiliki tingkat visual acuity sekitar 52% dan hal

ini menunjukkan bahwa tingkat ketajaman untuk background warna biru sudah cukup

baik. Selain visual acuity, hal lain yang mempengaruhi pemilihan warna untuk perbaikan

desain adalah kontras. Perbaikan desain menggunakan kontras positif untuk bagian

heading atau judul dengan warna backgorund biru gelap (warna latar belakang lebih

gelap) dan warna tulisan putih (warna teks lebih terang), serta menggunakan kontras

negatif untuk bagian isi seperti tampilan sub-menu yang menggunakan backgorund putih

(warna latar belakang lebih terang) dan warna tulisan hitam (warna teks lebih gelap).

2) Penyusunan Tata Letak User Interface: Metode yang digunakan untuk menyusun tata

letak tampilan adalah activity relationship chart (ARC). Berikut ini adalah elemen yang

digunakan dalam menyusun ARC user interface aplikasi mobile JSC:

- Home, merupakan tampilan awal yang menampilkan berita dan pilihan menu yang

berisikan informasi.

- Menu, merupakan menu yang menyediakan pilihan informasi yang ditawarkan oleh

aplikasi.

- Berita, merupakan bagian yang menampilkan berita-berita terkini mengenai Jakarta.

- Pengaturan, merupakan fitur digunakan untuk mengatur pilihan bahasa pada aplikasi

mobile.

- Bantuan, merupakan fitur untuk meminta bantuan kepada pihak yang mengelola

aplikasi mobile apabila terdapat kendala dalam menggunakan aplikasi mobile.

- Tentang Jakarta Smart City, merupakan fitur yang menampilkan informasi mengenai

aplikasi mobile Jakarta Smart City.

Keenam elemen tersebut akan dirancang untuk meningkatkan kegunaan aplikasi

mobile JSC. Hal ini dilakukan dengan cara memetakan aktivitas pemakaian dari

masing-masing elemen. Pemetaan dilakukan berdasarkan kedekatan dan fungsi antar

elemen. Berikut ini adalah diagram ARC dari elemen user interface aplikasi mobile

JSC (Gambar 9).


B-228

Gambar 9 Diagram ARC Perancangan User Interface Aplikasi Mobile JSC

Gambar 10 Konfigurasi Diagram Jaring

Diagram ARC yang diperoleh kemudian ditranslasikan menjadi diagram jaring. Diagram

jaring perlu disusun dalam bentuk potrait agar sesuai dengan bentuk tampilan aplikasi

mobile pada smartphone (Gambar 10). Selain itu hubungan yang tidak diperlukan dapat

dihilangkan sebagai bentuk simplifikasi karena tidak berpengaruh pada aktivitas di

aplikasi mobile.

3) Perancangan Ulang User Interface: Sesuai dengan hasil analisis user experience, hal

yang perlu diperhatikan dalam perbaikan desain ini adalah pengelompokkan menu,

ukuran font, warna tampilan, dan letak. Berikut ini adalah contoh dari hasil rancangan

yang telah dibuat dalam bentuk desain user interface.



B-229

Gambar 11 Perbaikan Desain Tampilan UI Aplikasi Mobile JSC

H. Uji Verifikasi Desain Baru

Uji verifikasi yang dilakukan pada perbaikan desain yang telah diperbaiki adalah metode

pengukuran performance metrics dan penilaian melalui kuesioner DEEP. Performance metrics

yang digunakan dalam uji verifikasi ini adalah time on task. Sedangkan kuesioner DEEP

digunakan untuk membandingkan nilai evaluasi desain baru dengan desain lama. Dalam uji

verifikasi ini dipilih 10 responden yang sebelumnya telah menjadi responden untuk analisis user

experience terhadap aplikasi mobile Jakarta Smart City.

Dari hasil pengujian paired t-test kelima task memiliki p-value sebesar 0,003, 0,003, 0,003,

0,000, dan 0,000. Dapat dilihat bahwa seluruh task memiliki p-value < alpha (α). Secara

keseluruhan, waktu yang dibutuhkan untuk menyelesaikan skenario task menggunakan desain

baru lebih cepat dibandingkan dengan desain lama. Hal ini diterima dengan catatan adanya

keterbatasan dalam teknik pengambilan data. Sehingga dapat diambil kesimpulan bahwa terdapat

perbedaan waktu yang signifikan untuk menyelesaikan setiap task dengan menggunakan kedua

desain (desain lama dan desain baru).

Gambar 12 Perbandingan Hasil DEEP per Item

Dari pengolahan data nilai DEEP per item dapat dilihat bahwa nilai desain baru lebih baik

dibandingkan dengan desain lama (Gambar 12). Berdasarkan nilai DEEP untuk desain lama,

terdapat 12 item yang memiliki nilai dibawah 3, sehingga dapat diindikasikan bahwa terdapat

masalah desain terkait dengan 12 pertanyaan tersebut. Namun, terjadi peningkatan terhadap setiap

nilai item DEEP setelah dilakukan perbaikan desain. Hal ini menunjukkan bahwa perbaikan

tampilan desain mampu untuk mengatasi masalah desain yang dirasakan responden saat

menggunakan aplikasi mobile JSC.

Dari kedua penilaian diatas, dapat dilihat bahwa tampilan desain baru aplikasi mobile Jakarta

Smart City mendapatkan penilaian yang lebih baik jika dibandingkan dengan penilaian dengan

desain yang lama. Hal ini dibuktikan dengan berkurangnya waktu secara signifikan yang

dibutuhkan responden untuk menyelesaikan skenario task atau mencari informasi pada aplikasi

.0001.0002.0003.0004.0005.000

1 3 5 7 9 11 13 15 17 19

Desain Lama Desain Baru


B-230

mobile Jakarta Smart City dan bertambahnya nilai DEEP untuk setiap item. Oleh karena itu dapat

disimpulkan bahwa pengguna mendapatkan pengalaman yang lebih baik dengan menggunakan

tampilan desain baru aplikasi mobile Jakarta Smart City.

IV. PENUTUP

A. Kesimpulan

Dari hasil analisis user experience pada penggunaan aplikasi mobile Jakarta Smart City

hingga rekomendasi perbaikan desain didapatkan beberapa kesimpulan penelitian. Berikut adalah

hasil rangkuman kesimpulan dari penelitian ini:

1. Analisis UX pada penggunaan aplikasi mobile Jakarta Smart City dilakukan dengan

menggunakan pendekatan performance metrics, self-reported metrics, dan issue-based

metrics yang memberikan penilaian secara keseluruhan mengenai interaksi pengguna

terhadap aplikasi mobile tersebut.

2. Penilaian user experience secara kuantitatif dapat dilihat dari pendekatan performance

metrics, yaitu task success, time on task, error, dan efficiency.

3. Dari segi task success, semua responden dapat menyelesaikan task yang diberikan. Hal ini

menunjukkan proses yang ada pada aplikasi mobile Jakarta Smart City dapat dimengerti oleh

responden atau pengguna.

4. Dari segi error, pengerjaan task 1 dan task 5 memiliki jumlah error yang lebih banyak jika

dibandingkan dengan pengerjaaan task lainnya.

5. Dari segi time on task dan efficieny, pengerjaan task 1 dan 5 membutuhkan waktu paling lama

untuk diselesaikan jika dibandingkan dengan pengerjaaan task lainnya, sehingga memiliki

nilai efisiensi yang lebih rendah jika dibandingkan dengan nilai efisiensi untuk task lainnya.

6. Penilaian user experience secara kualitatif dapat dilihat dari pendekatan self-reported metrics

dan issue-based metrics, yaitu kuesioner SEQ, kuesioner DEEP, dan retrsopective think-aloud

(RTA).

7. Berdasarkan hasil kuesioner SEQ, rata-rata nilai SEQ untuk setiap task adalah dibawah 5. Hal

ini menunjukkan bahwa aplikasi mobile Jakarta Smart City belum mencapai keadaan “good

usability”.

8. Berdasarkan hasil kuesioner DEEP, 4 dari 6 dimensi memiliki nilai DEEP yang tidak baik.

Hal ini mengindikasikan terdapat masalah desain pada aplikasi mobile Jakarta Smart City

terkait dengan pertanyaan tersebut.

9. Berdasarkan hasil wawancara RTA, diketahui pendapat responden mengenai masalah utama

dari tampilan aplikasi mobile Jakarta Smart City, yaitu masalah visual dan struktur.

10. Perbaikan desain dengan melakukan perancangan UI dilakukan sebagai rekomendasi yang

diberikan untuk meningkatkan UX pada aplikasi mobile Jakarta Smart City sehingga dapat

meningkatkan ketertarikan pengguna.

11. Perbaikan desain dilakukan berdasarkan kombinasi dari hasil analisis pada metode

pendekatan yang digunakan. Perbaikan desain pada tampilan berfokus pada pengelompokkan

menu, perbaikan ukuran font, pemilihan warna, penyusunan tata letak dengan menggunakan

pendekatan prinsip-prinsip desain UI, open card sort, dan Activity Relation Chart.

12. Desain tampilan baru aplikasi mobile Jakarta Smart City terbukti dapat meningkatkan

usability yang diukur dengan time on task dan penilaian kueisoner DEEP.

B. Saran

Penelitian ini dibatasi pada ruang lingkup ergonomi kognitif dan hanya mencapai tingkat

analisis. Diharapkan pada penelitan selanjutnya dapat ditingkatkan menjadi evaluasi dan

dilakukan evaluasi ergonomi secara menyeluruh baik dari segi fisik, lingkungan, maupun kognitif.

Selanjutnya, melibatkan lebih banyak responden dengan sampel yang lebih beragam untuk

mewakili populasi sehingga dapat terlihat pola pada evaluasi UX dari berbagai macam responden

tersebut. Dalam pembuatan rekomendasi desain perbaikan yang dibuat akan lebih baik apabila

mencakup dari semua elemen yang terdapat pada aplikasi mobile dan metode yang digunakan

dapat dikombinasikan dengan metode perbaikan user interface (UI) lain yang terbarukan dan juga

mempertimbangkan visual acuity sebagai dasar perbaikan untuk elemen tipografi pada aplikasi



B-231

mobile. Pada penelitian selanjutnya juga dapat menggunakan alat kognitif lainnya seperti eye

tracking untuk mempelajari gerakan mata sehingga memberikan informasi lebih mendalam

tentang human computer interaction (HCI) dan electroencephalography (EEG) untuk mengukur

emosi atau perubahan gelombang otak pengguna (physiological metrics) sehingga dapat diketahui

pengaruh user experience terhadap emosi pengguna. Serta, penelitian sejenis dapat dilakukan

kepada aplikasi mobile atau website jenis lainnya.

DAFTAR PUSTAKA Asosiasi Penyelenggara Jasa Internet Indonesia. (2016). Infografis Penetrasi & Perilaku Pengguna Internet

Indonesia.

Assila, A., Oliveira, K. M. De, & Ezzedine, H. (2016). Standardized Usability Questionnaires : Features and

Quality Focus, 6(1), 15–31.

Baxter, K., & Courage, C. (2015). Understanding Your Users A Practical Guide to User Research Methods

2nd Edition. USA: Elsevier Inc.

Bevan, N. (2009). What is the difference between the purpose of usability and user experience evaluation

methods. In Proceedings of the Workshop UXEM (Vol. 9, pp. 1–4).

Bouvier, D., Chen, T., Lewandowski, G., Mccartney, R., Sanders, K., & Vandegrift, T. (2012). User

Interface Evaluation by Novices, 1(618), 327–332.

Budnick, P., & Michael, R. (2001, June 11). What is Cognitive Ergonomics? Diambil kembali dari

ergoweb: https://ergoweb.com/what-is-cognitive-ergonomics/

Card Sorting 101. (2016). Diambil kembali dari Optimal Workshop:

https://www.optimalworkshop.com/101/card-sorting

Choose between open, closed, or hybrid card sorts. (2016). Diambil kembali dari Optimal Workshop:

https://support.optimalworkshop.com/hc/en-us/articles/201997610-Choose-between-open-closed-or-

hybrid-card-sorts

Hinkle, V. (2008, October 14). Card-Sorting: What You Need to Know about Analyzing and Interpreting

Card Sorting Results. Diambil kembali dari Software Usability Reseacrh Laboratory Wichita State

University: http://usabilitynews.org/card-sorting-what-you-need-to-know-about-analyzing-and-

interpreting-card-sorting-results/

Jakarta Smart City. (2017). Diambil kembali dari Portal Jakarta Smart City: http://smartcity.jakarta.go.id/

Johnson, J. (2010). Designing with the mind in mind. USA: Elsevier Inc.

Low, S., Hui, T., & See, S. L. (2015). Enhancing user experience through customisation of UI design.

Procedia Manufacturing, 3(Ahfe), 1932–1937. http://doi.org/10.1016/j.promfg.2015.07.237

Moumane, K., Idri, A., & Abran, A. (2016). Usability evaluation of mobile applications using ISO 9241

and ISO 25062 standards. SpringerPlus. http://doi.org/10.1186/s40064-016-2171-z

Nielsen, J. (2000, March 19). Why You Only Need to Test with 5 Users. Diambil kembali dari Nielsen

Norman Group: https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

Nielsen, J. (2004, July 19). Card Sorting: How Many Users to Test. Diambil kembali dari Nielsen Norman

Group: https://www.nngroup.com/articles/card-sorting-how-many-users-to-test/

Nielsen, J. (2015, November 15). Legibility, Readability, and Comprehension: Making Users Read Your

Words. Retrieved from Nielsen Norman Group: https://www.nngroup.com/articles/legibility-

readability-comprehension/

Parker, B. A., Scharff, L. F., & Austin, S. F. (1998). Influences of Contrast Sensitivity onText Readability

in the Context of a Graphical User Interface.

Righi, C. (2013). Card Sort Analysis Best Practices, 8(3), 69–89.

Robert, J., & Lesage, A. (2010). Designing and Evaluating User Experience.

Sanders, M. S., & McCormick, E. J. (1993). Human Factors in Engineering and Design 7th Edition. USA:

McGraw-Hill Inc.

Sauro, J., & Lewis, J. R. (2012). Quantifying the User Experience. USA: Elsevier Inc.

Spencer, D. (2004, April 7). Card sorting: a definitive guide. Diambil kembali dari boxesandarrows:

http://boxesandarrows.com/view/card_sorting_a_definitive_guide

Spencer, D. (2009). Choose the Method. Dalam Card Sorting: Designing Usable Categories. Rosenfeld

Media.

Spencer, D. (2009, December 14). Empty card sort analysis spreadsheet template for 20 participants.

Diambil kembali dari Rosenfled: http://rosenfeldmedia.com/books/card-sorting/

Spencer, D. (2009). Use Exploratory Analysis. Dalam Card Sorting: Designing Usable Categories (hal. 110-

126). Rosenfeld Media.

Spencer, D. (2010). A practical guide to information architecture. Penarth, UK: Five Simple Steps.


B-232

Sukma, D. (2016). Data Gfk: 9 dari 10 orang Indonesia Internetan Lewat Smartphone. Dipetik February

2017, dari https://arenalte.com/berita/industri/data-gfk-terbaru-2016-pengguna-smartphone-indonesia/

The Daily Oktagon. (2016). Apa Kabar Penerapan Smart City di Indonesia? Dipetik February 2017, dari

https://daily.oktagon.co.id/apa-kabar-penerapan-smart-city-di-indonesia/

Tullis, T., & Albert, B. (2013). Measuring the User Experience – Collecting, Analyzing, and Presenting

Usability Metrics 2nd Edition. USA: Elsevier Inc.

Wilson, J. R. (2000). Fundamentals of ergonomics in theory and practice, 31(July), 557–567.

Woodson, W. E., Tillman, B., & Tillman, P. (1992). Human Factors Design Handbook 2nd Edition. USA:

McGraw-Hill Inc.

Yang, T., Linder, J., & Bolchini, D. (2012). DEEP : Design-Oriented Evaluation of Perceived Usability,

308–346. http://doi.org/10.1080/10447318.2011.586320

Petunjuk Sitasi: Syaifullah, D. H., Puspasari, M. A...

Documents

Transcript of Petunjuk Sitasi: Syaifullah, D. H., Puspasari, M. A...