OPTIMASI RANKING WEBOMETRICS MENGGUNAKAN METODE LOGARITMIC FUZZY PREFERENCE PROGRAMMING PADA...
Click here to load reader
-
Upload
teknik-informatika-politeknik-tedc-bandung -
Category
Internet
-
view
155 -
download
9
Transcript of OPTIMASI RANKING WEBOMETRICS MENGGUNAKAN METODE LOGARITMIC FUZZY PREFERENCE PROGRAMMING PADA...
Seminar Nasional Telekomunikasi dan Informatika (SELISIK 2016) Bandung, 28 Mei 2016
206
ISSN : 2503-2844
Tenia Wahyuningrum, Ridwan Pandiya
Seminar Nasional Telekomunikasi dan Informatika 2016
OPTIMASI RANKING WEBOMETRICS MENGGUNAKAN
METODE LOGARITMIC FUZZY PREFERENCE
PROGRAMMING PADA PERSPEKTIF COST
Tenia Wahyuningrum, Ridwan Pandiya
Program Studi Teknik Informatika
ST3 Telkom Purwokerto
Jl. DI Panjaitan 128 Purwokerto
[email protected], [email protected]
Abstrak Setiap perguruan tinggi, memiliki keinginan
untuk menjadi World Class University. Salah Satu
cara yang digunakan untuk menilai kualitas sebuah
universitas adalah dengan melakukan pengukuran
aktifitas civitas akademika di dunia maya, melalui
domain web universitas yang disebut webometrics.
Dalam rangka meningkatkan kinerja web universitas
untuk mendukung terciptanya World Class
University, maka diperlukan langkah-langkah
optimasi pencapaian ranking webometrics. Langkah
tersebut antara lain dengan menggunakan
perhitungan dan pembobotan berdasarkan 4 faktor
utama yaitu Visibility (V), Size (S), Rich Files (R) dan
Scholar (Sc) berdasarkan kemampuan financial
(perspektif cost) perguruan tinggi. Metode analisis
dan sintesis yang digunakan untuk membantu proses
pengambilan keputusan menggunakan metode
Analytical Hierarchy Process (AHP) dengan
pendekatan Logaritmic Fuzzy Preference (LFPP).
Metode LFPP ini melibatkan fungsi logaritma asli
untuk memperbaiki kekurangan metode FPP.
Pembobotan dilakukan dengan melibatkan pakar dan
akademisi untuk menentukan tingkat kepentingan
berdasarkan cost (biaya) yang dikeluarkan antara satu
kriteria dengan kriteria yang lain, sampai pada sub
kriteria terhadap sub kriteria yang lain. Penilaian
tersebut kemudian dibuat ke dalam skala angka
(biasanya skala 1 sampai 9), dan dibuat matriks
perbandingan berdasarkan hirarki yang telah
dibangun sesuai dengan persoalan yang akan
diselesaikan, dan sesuai dengan perhitungan bobot
prioritas. Dari hasil perhitungan, didapatkan ranking
tertinggi yang direkomendasikan dalam menentukan
langkah strategis pencapaian ranking webometrics
adalah faktor pemantauan ranking dari situs
ahrefs(C332), penambahan jumlah link dari website
lain (C321), penambahan jumlah halaman pada
domain (C111), mengunggah materi pembelajaran
dalam bentuk file pdf (C223) dan pemantauan ranking
dari situs Majesticseo (C331).
Kata kunci :
World Class University, Webometrics, Analytical
Hierarchy Process, Logaritmic Fuzzy Preference
Abstract
Each college has a desire to become a World Class
University. One ways used to assess the quality of a
university is by measuring activity of the academic
community in the virtual world, through the
university's Web domain called webometrics. In
order to improve the performance of web universities
to support the creation of the World Class University,
the necessary steps Webometrics ranking
optimization achievement. The measures include the
use of the calculations and the weighting is based on
four main factors, namely Visibility (V), Size (S), Rich
Files (R) and Scholar (Sc) is based on the ability of
financial (cost perspective) colleges. Methods of
analysis and synthesis that is used to help the
decision making process using Analytical Hierarchy
Process (AHP) approach Logaritmic Fuzzy
Preference (LFPP). LFPP method involves a
logarithmic function original to correct deficiencies
FPP method. Weighting is done with the involvement
of experts and scholars to determine the level of
interest based on cost (cost) incurred between the
criterias, and between sub-criterias. The assessment
is made into number scale (usually a scale of 1 to 9),
and made a comparison matrix based hierarchy that
has been built according to the issues to be resolved,
and in accordance with the calculation of weighted
priorities. From the calculation results, the highest
ranking recommended a decisive step in the strategic
ways is monitoring the ranking via ahrefs sites
(C332), increasing the number of links from other
websites (C321), increasing the number of pages on
the domain (C111), upload learning materials in pdf
Seminar Nasional Telekomunikasi dan Informatika (SELISIK 2016) Bandung, 28 Mei 2016
207
ISSN : 2503-2844
Tenia Wahyuningrum, Ridwan Pandiya
Seminar Nasional Telekomunikasi dan Informatika 2016
file format (C223) and monitoring the ranking of
sites Majesticseo (C331).
Keywords :
World Class University, Webometrics, Analytical
Hierarchy Process, Logaritmic Fuzzy Preference
I. PENDAHULUAN
Pemeringkatan level World Class University
dinilai masih bersifat sangat subjektif. Beberapa
kendala dalam upaya pencapaian WCU, salah
satunya terkait dengan banyaknya perbedaan kriteria
penilaian (Altbach, 2012). Oleh karena itu,
pentingnya status WCU yang dimiliki sebuah
universitas unggulan (excellence) berstandar dunia
dan strategi yang digunakan untuk mencapainya,
menarik perhatian praktisi dan pengambil kebijakan
di bidang pendidikan (Jati, Irmawati, & Indrihapsari,
2012). Berbagai macam kriteria penilaian yang
digunakan untuk menentukan peringkat dan kinerja
sebuah universitas, salah satunya didapatkan dari
kualitas website universitas. Setiap tahun, satu juta
orang mengunjungi website universitas untuk
mencari informasi. Kegiatan yang dilakukan antara
lain mencari informasi perkuliahan, mengganti
jadwal kuliah, atau kontak informasi dosen. Istilah
baru dalam penilaian kualitas universitas berdasarkan
aktifitas di dunia maya, melalui web universitas
disebut webometrics. Sebuah terobosan dari
Cybermetrics Lab, sebuah kelompok riset dari Centro
de Ciencias Humanas Sociales (CCHS), yang
merupakan bagian dari Dewan Riset Nasional
Spanyol(Kargar, 2011).
Dalam rangka meningkatkan kinerja web
universitas untuk mendukung terciptanya World
Class University, maka diperlukan langkah-langkah
optimasi pencapaian ranking webometrics antara lain
dengan menggunakan perhitungan dan pembobotan
berdasarkan 4 faktor utama yaitu Visibility (V), Size
(S), Rich Files (R) dan Scholar (Sc). Metode analisis
dan sintesis yang digunakan untuk membantu proses
pengambilan keputusan menggunakan metode
Analytical Hierarcy Process (AHP). AHP merupakan
metode pengambil keputusan yang powerful dan
fleksibel, yang dapat membantu dalam menetapkan
prioritas dan membuat keputusan dengan
mempertimbangkan aspek kualitatif dan kuantitatif.
(Jati, Irmawati, & Indrihapsari, 2012) melakukan
pembobotan variabel webometrics dengan
menggunakan metode Fuzzy AHP, akan tetapi
metode tersebut belum dapat memfasilitasi variabel
penilaian berdasarkan sifat kepentingannya. Dengan
mengetahui faktor penting mana saja yang perlu
didahulukan, diharapkan muncul langkah-langkah
tepat yang diambil dalam rangka meningkatkan
ranking webometrics (Saaty, 2003). (Wang and Chin
2011) dalam penelitian pemilihan kapal yang sesuai
untuk pengiriman barang telah melakukan
pembobotan menggunakan fuzzy AHP dengan
pendekatan logarithmic fuzzy preference
programming. Metode ini dinilai cukup efektif
karena dapat menentukan prioritas variabel
berdasarkan kepentingannya, dan dapat mengatasi
kekurangan pada metode sebelumnya. Metode inilah
yang akan dipakai untuk melakukan pembobotan
pada variabel webometrics.
Perlunya optimasi ranking webometrics
merupakan strategi untuk mencapai sasaran mutu
pada aspek Internal Bussiness Process yang harus
dicapai oleh masing-masing Perguruan Tinggi di
bawah naungan Yayasan Pendidikan Telkom
(Wahyuningrum, 2015), ditinjau dari segi biaya
(cost). Masing-masing indikator diukur berdasarkan
tingkat kepentingannya menggunakan fungsi
keanggotaan fuzzy, sehingga diperoleh rekomendasi
kegiatan yang dilakukan agar lebih tepat dan terarah
untuk dalam rangka meningkatkan ranking
webometrics.
II. TINJAUAN PUSTAKA
Analytical Hierarchy Process
Persoalan-persoalan dalam dunia nyata pada
umumnya tidak dapat dimodelkan. Atau jika dapat
dimodelkan pun, akan banyak asumsi yang justru
membuat hasil akhir atau solusi yang dicari menjadi
tidak aplikatif. Oleh karena itu, metode-metode yang
mendukung ketidakjelasan dan ketidaktentuan
banyak diteliti dan dipelajari. (Saaty T. L., 1988)
pertama kali memperkenalkan metode yang disebut
dengan Proses Hirarki Analitik (The Analytical
Hierarchy Process). Metode ini menjadi sangat
menarik karena melibatkan penilaian (jugdgement)
manusia yang sifatnya subjektif. Penilaian tersebut
kemudian dibuat ke dalam skala angka (biasanya
skala 1 sampai 9), dan dibuat matriks perbandingan
berdasarkan hirarki yang telah dibangun sesuai
dengan persoalan yang akan diselesaikan, dan sesuai
dengan perhitungan bobot prioritas.
Seminar Nasional Telekomunikasi dan Informatika (SELISIK 2016) Bandung, 28 Mei 2016
208
ISSN : 2503-2844
Tenia Wahyuningrum, Ridwan Pandiya
Seminar Nasional Telekomunikasi dan Informatika 2016
Seiring dengan semakin kompleksnya persoalan
yang harus diselesaikan, maka penggunaan skala 1
sampai 9 (crisp number) dirasa kurang representatif
(Wang & Chin, 2011). Untuk menjawab kekurangan
ini, maka para peneliti menggabungkan konsep
logika fuzzy dengan AHP sehingga bilangan yang
digunakan bukan lagi bilangan crisp akan tetapi
menggunakan bilangan fuzzy. Hal ini untuk
mengatasi persoalan yang sifatnya tidak jelas dan
kompleks. Fuzzy AHP sering dikombinasikan dengan
metode-metode lain, salah satunya adalah dengan
metode Fuzzy Preference Programming (FPP) untuk
menentukan nilai bobot kepentingannya. Akan tetapi,
pada penerapannya, banyak contoh kasus
menghasilkan solusi yang tidak tepat. Sehingga
metore tersebut diperbaiki dengan menggunakan
unsur logaritma natural pada FPP telah terbukti
efektif dan dapat menghasilkan solusi yang efektif
dan tepat.
Fuzzy Preference Programming
Penggunaan bilangan fuzzy dalam penilaian
dalam kuesioner oleh pakar atau akademisi yang
memiliki pengetahuan tentang permasalahan yang
akan diuji, dalam hal ini masalah pemeringkatan
webometrics, dapat dibentuk kedalam matriks
perbandingan tingkat kepentingan (1).
Bilangan fuzzy yang digunakan, didefinisikan
dalam Tabel 1.
12 12 12 1 1 1
21 21 21 2 2 2
1 1 1 2 2 2
1 ( , , ) ( , , )
( , , ) 1 ( , , )( )
( , , ) ( , , ) 1
k k k
k k k
ij k k
k k k k k k
l m u l m u
l m u l m uA a
l m u l m u
. (1)
Misalkan penilaian dari kriteria ke-i diantara ijl
dan iju kali lebih penting dibandingkan kriteria ke-j,
dimana 1/ , 1/ , 1/ij ji ij ji ij jil u m m u l dan
0 ij ij ijl m u untuk , 1,..., ,i j n j i . Untuk
menghitung bobot 1( ,..., ) 0T
kW w w dengan
1
1k
i
i
w
, dalam (Wang & Chin, 2011), telah
didefinisikan fungsi keanggotaan
( / ), ,
( / ), ,
i j ij iij
ij ij ji
j ij i j iij
ij ij j
w w l wm
m l ww
w u w w wm
u m w
(2)
Dimana ( / )ij i jw w adalah derajat keanggotaan
/i jw w dari penilaian ( , , )ij ij ij ija l m u . Misalkan
min ( / ) | 1,..., 1; 1,..., .ij i jw w i k j i k
Maka, adalah derajat keanggotaan minimum
dimana bobot yang dihasilkan memenuhi setiap
tingkat kepentingan fuzzy-nya. Bentuk nonlinear
programming dari kondisi diatas dapat dituliskan
sebagai
Maksimumkan
s.t.
1
( ) 0, 1,..., ; 1,..., ,
( ) 0, 1,..., ; 1,..., ,
1,
0, 1,..., .
i ij j ij ij j
i ij j ij ij jk
ii
i
w l w m l w i k j i k
w u w u m w i k j i k
w
w i k
Untuk menyempurnakan model ini (Wang &
Chin, 2011), telah melibatkan logaritma natural yang
disebut sebagai model LFPP (Logarithmic Fuzzy
Preference Programming).
Tabel 1. Definisi bilangan fuzzy yang digunakan
Konversi dari skala
AHP kedalam
bilangan Fuzzy
Definisi
1 = (1,1,1) Kedua elemen yang dibandingkan
sama pentingnya (equal)
2 = (1,2,3) Penilaian berada diantara sama
pentingnya dan sedikit lebih
penting
3 = (2,3,4) Elemen pertama sedikit lebih
penting dibandingkan elemen
kedua (moderate)
4 = (3,4,5) Penilaian berada diantara sedikit
lebih penting dan lebih penting
5 = (4,5,6) Elemen pertama lebih penting
dibandingkan dengan elemen
kedua (strong important)
6 = (5,6,7) Penilaian berada diantara lebih
penting dan jelas lebih penting
7 = (6,7,8) Elemen pertama jelas lebih
penting dibandingkan dengan
elemen kedua (very strong)
8 = (7,8,9) Penilaian berada diantara jelas
lebih penting dan mutlak lebih
penting
Seminar Nasional Telekomunikasi dan Informatika (SELISIK 2016) Bandung, 28 Mei 2016
209
ISSN : 2503-2844
Tenia Wahyuningrum, Ridwan Pandiya
Seminar Nasional Telekomunikasi dan Informatika 2016
9 = (8,9,9) Elemen pertama mutlak lebih
penting dibandingkan dengan
elemen kedua (absolute strong
important)
2,4,6,8 Nilai-nilai diantara dua penilaian
yang berdekatan
Metode LFPP
Seperti telah dijelaskan diatas, metode LFPP ini
merupakan penyempurnaan dari metode FPP yang
pada beberapa contoh kasus menghasilkan nilai akhir
yang negatif yang tentu saja hal ini membuat solusi
yang diharapkan menjadi kurang valid. Metode LFPP
ini melibatkan fungsi logaritma asli untuk
memperbaiki kekurangan metode FPP. Metode LFPP
ini dapat diformulasikan menjadi
Minimumkan 1
2 2 2
1 1 1
(1 ) . ( )k k
ij ij
i j
J P
s.t.
ln( / ) ln , 1,..., 1; 1,..., ,
ln( / ) ln , 1,..., 1; 1,..., ,
, 0, 1,..., ,, 0, 1,..., 1; 1,..., ,
i j ij ij ij ij
i j ij ij ij ij
i
ij ij
x x m l l i k j i k
x x u m u i k j i k
x i ki k j i k
dengan perhitungan bobot menggunakan rumus
sebagai berikut. *
*
*
1
exp( ), 1,..., ,
exp( )
ii k
jj
xw i k
x
.
III. ANALISIS DAN PEMBAHASAN
Penelitian ini merupakan penelitian
eksperimental yang melibatkan 2 orang pakar
(akademisi dan praktisi) dalam bidang webometrics.
Kedua pakar berdiskusi menentukan bobot
kepentingan antar kriteria. Kriteria yang digunakan
dalam penelitian yaitu Size, Rich Files, Visibility, dan
Scholar, dimana masing-masing kriteria dibagi
menjadi beberapa sub kriteria kegiatan yang dapat
meningkatkan ranking webometrics. Selanjutnya,
dibuat struktur hirarki dari kriteria uji dan sub kriteria
berdasarkan perspektif cost (biaya) yang ditunjukkan
pada Gambar 1.
Cost
Visibility(C3)
Size (C1) Rich Files(C2)
Scholar (C4)
Metric to
measure
website size
(C11)
Submit
sitemaps
(C12)
Increase web
content (C13)
Size :
number of
pages in the
domain
(C111)
Submit to :
(C121)
Content
always
stay
fresh(C131)
Ways of
creating
new
content
(C132)
Cater to all
stakeholders
(C133)
Search Engine
Optimization
(C14)
Html
(C141)
Keyword
(C142)
Measured by web
analytics(C33)
All
stakeholders
involved (C31)
Backlinks
(C32)
Content
from
students
(C311)
Content
from staff
& lecturer
(C312)
Number of
unique
incoming links
from other
website(C321)
Ways to
generate
more traffic
(C322)
Majesticseo
(C331) Ahrefs (C332)
How to
increase rich
files (C21)
Volume od document
publications relevant to
academic level (C22)
Upload
more(C211)
Encourage staff,
lecturer and
students to publish
their works online
(C212)
Create
archive for
historical
reference
(C213)
Research
publications
, journal,
papers,
articles
(C224)
Research
projects,
conference,
seminars
(C225)
Corporate
documents
(C221)
News letter/
bulletins
(C222)
Learning
materials
(C223)
Measure the
number of scientific
papers (C41)
scholar (C411)
Schimago
(C412)
How to improve
scholarly rank (C42)
Go open
access (C421)
Get listed in
OA directory
(C423)
Get indexed
by google
scholar (C422)
Encourage staff,
lecturer and
student to increase
visible publications
(C424) Gambar 1. Klasifikasi dari karakteristik cost ke dalam sub karakteristik size, rich files, visibility dan scholar
Seminar Nasional Telekomunikasi dan Informatika (SELISIK 2016) Bandung, 28 Mei 2016
210
ISSN : 2503-2844
Tenia Wahyuningrum, Ridwan Pandiya
Seminar Nasional Telekomunikasi dan Informatika 2016
Perhitungan pembobotan kriteria dan sub kriteria
Tabel 2 Tingkat kepentingan dari empat kriteria
dilihat dari perspektif cost
Criteria C1 C2 C3 C4 LFPP
priorities
C1 (1, 1, 1) (2, 3, 4) (1/6,1/5,1/4) (8, 9, 9) 0.2301
C2 (1/4,1/3,1/2) (1, 1, 1) (1/8,1/7,1/6) (4, 5, 6) 0.1236
C3 (4, 5, 6) (6, 7, 8) (1, 1, 1) (6, 7, 8) 0.6056
C4 (1/9,1/9,1/8) (1/6,1/5,1/4) (1/8, 1/7, 1/6) (1, 1, 1) 0.0407
Minimize 3 4
2 2 2
1 1
(1 ) . ( )ij ij
i j i
R P
Subject to :
1 2 12
1 2 12
1 3 13
1 3 13
1 4 14
1 4 14
2 3 23
2 3 23
2
ln(3/ 2) ln 2
ln(4 /3) ln 4
ln(6 /5) ln(1/ 6)
ln(5/ 4) ln(1/ 4)
ln(9 /8) ln8
ln(1) ln9
ln(8/ 7) ln(1/8)
ln(7 / 6) ln(1/ 6)
x x
x x
x x
x x
x x
x x
x x
x x
x
4 24
2 4 24
3 4 34
3 4 34
1 2 3 4 12 13 14 23 24 34 12 13 14 23 24 34
ln(5/ 4) ln 4
ln(6 /5) ln 6
ln(7 / 6) ln 6
ln(8/ 7) ln8
, , , , , , , , , , , , , , , , 0
x
x x
x x
x x
x x x x
Solusi optimal :
*
1x 1.9464, *
2x 1.3252, *
3x 2.9142,
*
4x 0.2135, 0,
*
12 0.0719, *
13 0, *
14
0.3466, *
23 0, *
24 0.2746
*
34 0, *
12 0, *
13
0.4185, *
14 0, *
23 0.2027,
*
24 0, *
34 0.6212
Prioritas Normalized LPP :
4* * *
1 1 1
1
exp( ) / exp( )i
w x x
0.2301,
4
* * *
2 2 2
1
exp( ) / exp( )i
w x x
0.1236
4* * *
3 3 3
1
exp( ) / exp( )i
w x x
0.6056,
4
* * *
4 4 4
1
exp( ) / exp( )i
w x x
0.0407
Tabel 2 menunjukkan bahwa nilai LFPP
Priorities untuk C1, C2, C3, dan C4 berturut yaitu
0.2301, 0.1236, 0.6056, 0.0407.
Dengan menggunakan cara yang sama, dihitung
pula pembobotan dengan kriteria penilaian
perbandingan berpasangan antar sub kriteria,
sehingga didapatkan hasil sebagai berikut.
Tabel 3. Hasil perhitungan bobot kriteria
C1 0.2301
C11 0.5744 C111 1.0000 0.132169
C12 0.2105 C121 1.0000 0.048436
C13 0.1543
C131 0.5396 0.019158
C132 0.2969 0.010541
C133 0.1634 0.005801
C14 0.0608 C141 0.1250 0.001749
C142 0.8750 0.012241
C2 0.1236
C21 0.1251
C211 0.2553 0.003948
C212 0.6434 0.009948
C213 0.1013 0.001566
C22 0.8749
C221 0.2215 0.023952
C222 0.1226 0.013258
C223 0.6005 0.064937
C224 0.0554 0.005991
C3 0
.6056 C31 0.0751
C311 0.8750 0.039795
C312 0.1250 0.005685
Seminar Nasional Telekomunikasi dan Informatika (SELISIK 2016) Bandung, 28 Mei 2016
211
ISSN : 2503-2844
Tenia Wahyuningrum, Ridwan Pandiya
Seminar Nasional Telekomunikasi dan Informatika 2016
C32 0.3575 C321 0.8750 0.189439
C322 0.1250 0.027063
C33 0.5675 C331 0.1667 0.057291
C332 0.8334 0.286421
C4 0
.0407
C41 0.8000 C411 0.8334 0.027136
C412 0.1667 0.005428
C42 0.1999
C421 0.1912 0.001556
C422 0.5514 0.004486
C423 0.1912 0.001556
C424 0.0663 0.000539
Tabel 3 menunjukkan hasil perhitungan bobot
masing-masing kriteria, kemudian pada Tabel 4
dilakukan pemeringkatan 10 sub kriteria tertinggi.
Dari hasil perhitungan, ranking 1 yaitu ahrefs, dan
ranking 10 yaitu upload more.
Tabel 4. 10 besar peringkat bobot sub kriteria
Ranking Bobot Sub Kriteria
1 0.286421 Ahrefs (C332)
2 0.189439
Number of unique incoming links from
other website(C321)
3 0.132169
Size : number of pages in the domain
(C111)
4 0.064937 Learning materials (C223)
5 0.057291 Majesticseo (C331)
6 0.048436 Submit to : google (C121)
7 0.039795 Content from students (C311)
8 0.027136 Google scholar (C411)
9 0.027063 Ways to generate more traffic (C322)
10 0.023952 Upload more(C211)
IV. KESIMPULAN
Berdasarkan hasil pemeringkatan bobot sub
kriteria pada perspektif cost, didapatkan rekomendasi
sebagai berikut.
1. Pemantauan ranking web universitas
dilakukan dengan cara memantau situs
ahrefs.com, dari segi cost, situs tersebut
menyediakan akses gratis bagi pengguna.
2. Jumlah link unik yang merujuk pada web
universitas, dapat dilakukan dengan
memanfaatkan resource siswa PKL atau
mahasiswa magang, untuk menekan biaya.
3. Menambahkan jumlah halaman web, dapat
dilakukan sendiri oleh unit atau bagian
sisfo, sehingga menghemat biaya yang
dikeluarkan.
4. Untuk menambah rich files, setiap dosen
diwajibkan mengunggah materi ajar ke blog
masing-masing dengan ekstensi .pdf. Hal
ini dirasa cukup murah, karena dapat
dilakukan sendiri oleh dosen yang
bersangkutan.
5. Selain menggunakan ahrefs.com,
pemantauan ranking webometrics dapat
dilakukan secara periodik melalui situs
majesticseo.com secara gratis.
REFERENSI
Altbach, P.G. "The costs and benefits of world-
class universities." Academe, Vol. 90, No. 1, 2012:
20-23.
Fruhling, A, and S Lee. "Assessing the
Reliability, Validity and Adaptability of PSSUQ." 9th
Americas Conference on Information Systems.
Omaha, Nebraska, 2005.
Jati, Handaru, Dessy Irmawati, and Yuniar
Indrihapsari. Laporan Akhir Penelitian Hibah
Fundamental. Yogyakarta: Universitas Negeri
Yogyakarta, 2012.
Kargar, Mohammad Javad. "University Website
Ranking from Usability Criteria Perspective."
Seminar Nasional Telekomunikasi dan Informatika (SELISIK 2016) Bandung, 28 Mei 2016
212
ISSN : 2503-2844
Tenia Wahyuningrum, Ridwan Pandiya
Seminar Nasional Telekomunikasi dan Informatika 2016
International Journal of Advancements in Computing
Technology, Vol. 3 Issue 11, 2011: 246-251.
Lewis, R James. T12: Standardized Usability
Questionarry.
http://michaelyeap.blogspot.com/2009/10/oct-9-post-
study-system-usability.html (accessed December 10,
2014).
Saaty, Thomas Lorie. Decision Making : The
Analytical Hierarchy Process. United States of
America: University of Pittsburgh, 1988.
Saaty, Thomas Lorie. "Decision-making with
the AHP : Why is the principal eigenvector
necessary." European Journal of Operational
Research Vol. 145 No. 1, 2003: 85-91.
Sauro, Jeff. 8 Advantages of Standardized
Usability Questionnairres.
http//www.measuringusability.com/blog/standardized
-usability.php (accessed December 2013, 2014).
Wahyuningrum, Tenia. "Strategi peningkatan
visibility dalam upaya peningkatan ranking
webometrics." Seminar Nasional Teknologi
Informasi dan Komunikasi (SENTIKA). Yogyakarta:
Universitas Atma Jaya Yogyakarta, 2015. 151-155.
Wang, Ying Ming, and Kwai Sang Chin.
"Fuzzzy analytic hierarchy process : a logarithmic."
International Journal of Approximate Reasoning,
2011: 541-553.