Pemodelan Pengukuran Tingkat Kematangan Kerangka Kerja COBIT

Menggunakan Ontology

BATASAN MASALAH

• Hanya melakukan perhitungan kemiripanantara dokumen perusahaan dengandokumen COBIT

• Dokumen yang digunakan, terbatas untukdokumen berbahasa Inggris.

• Asumsi : dokumen yang digunakanmerupakan representasi dari kenyataan

Alasan Menggunakan Ontology

•Ontology mendefinisikan konsep, relasi, dan perbedaan lainnyayang relevan untuk pemodelan domain permasalahan

• (Gruber, 2007; Nicola, et al., 2009; Amborowati, 2007)

• merepresentasikan Metadata

• (Cimiano, et al., 2010)

• Ontology bersifat flexibel

• (Hamlington, et al., 2010)

• Memiliki kemampuan inferencing

• (jiang,2009)

• Memungkinkan untuk berbagi

• pengetahuan dan penggunaan kembali

• ontology (Gruber, 2007; Noy, et al., 2001)

Langkah-langkah Penelitian

MembangunOntology Metamodel

• Menentukan area perbaikanmetamodel COBIT

• Memperbaikimetamodel COBIT

• MembangunOntology Metamodel

• Ontology MetamodelCOBIT

• Ontology MetamodelPerusahaan

MembangunOntology Dokumen

• PraprosesDokumen

• Pemangkasan Kata

• PembentukanHerarki

• Pembobotan

PencocokanOntology

• Pencocokanontology Dokumen

• Pencocokanontology Metamodel

Metamodel COBITGoeken dan Alter 2008

• pengklasifikasian dan gambaran secara umum kerangka kerja COBIT dalam bentukmetamodel

• mengekstraksi dan menyajikan hubungan logis dan semantik yang mendasariframework COBIT

(Memperbaiki metamodel COBIT)

Gambar 3. 5. Metamodel Usulan

(Skema Ontology COBIT)

Gambar 3. 5. Skema Ontology COBIT

Tahapan Pembentukan ontologi dari dokumen

• Praproses

• Sinonim

• Hitung frekuesi kata

• Pemangkasan kata

• Membentuk hirarki

• Pembobotan

• Pembentukan ontology

Pencocokan OntologyCosine similarity

• Metode pencocokan ontology berdasarkanruang vektor

– Cosine =1kedua vector adalah sama.

– Cosine =0kedua vector tidak sama

BA

BA

cos

t

k

dk

t

k

qk

t

k

dkqk

ww

ww

dqsimilarity

1

2

1

2

1

.

),(

Tahapan Pencocokan menggunakan semantic cosine similarity

• Mapping Ontology : untuk menghitungkemiripan konsep yang sinonim

• Vektorisasi– Membangun ruang vektor dari kedua ontology

• Menghitung kemiripan antar dua konsepberdasarkan wordnet menggunakan rumusWu-palmer

• Menghitung kemiripan dua ontology menggunakan semantic cosine similarity

Semantic Cosine Similarity

Rumus Semantic Cosine similarity

Rumus Wu-Palmer

t

k

dk

t

k

PLWuqk

t

k

dkPLWuqk

wccsimw

wccsimw

dqsimilarity

1

2

1

2

1

.)2,1(

)2,1(

),(

Tahapan Pencocokan Ontology dengan Graf Matching (similarity Floding)

• Menghitung kemiripan antar node

• Menghitung kemiripan antar arc

• Menghitung kemiripan graf ontology

Pencocokan Ontology dengan Graf Matching (similarity Floding)

• Rumus

• Perhitungan Bobot Node dan Arc

Uji Coba Skenario 1

• Dokumen Uji Coba

No Nama Dokumen Ukuran

(dalam kb)

1 AI1.ML.0 1

2 AI2.ML.2 1

3 AI1.CO 2

4 AI6.ML 3

5 The Tactical Plan 4

6 Company_Doc 5

Hasil Perbandingan

AI1.ML.0 AI2.ML.2 AI1.CO AI6.MLTactical

PlanCompany

_Doc2

Recall 0.93 0.93 0.47 0.35 0.35 0.38

Precision 0.88 0.87 0.80 0.73 0.82 0.91

F-measure 0.90 0.89 0.40 0.29 0.31 0.39

0.000.100.200.300.400.500.600.700.800.901.00

Hasil uji parameter kinerja

Analisa

• Didalam text2onto seluruh kata hasil ekstraksi di jadikankonsep, sedangkan didalam sistem yang dibangun terdapatproses pemotongan kata-kata yang memiliki frekuensi lebihkecil atau sama dengan dibandingkan nilai ambang batas

Hasil Perbandingan Waktu Skenario 1

No Nama Dokumen

Ukuran

(dalam

kb)

Lama ekstraksi

(dalam s)

Sistem Text2onto

1 AI1.ML.1.txt 1 2 1.8

2 AI1.CO.txt 2 2.52 6.75

3 AI6.ML.txt 3 4.29 10.23

4 The Tactical Plan.txt 44.37 10.82

5 Company_Doc 5 2.90 15.71

0

5

10

15

20

AI1.ML.1.txt AI1.CO.txt AI6.ML.txt The Tactical Plan.txt

Company_Doc

Perbandingan waktu

system text2onto

Skenario 2

No Dokumen

Pembanding

No Dokumen

sama

No Dokumen

Beda

No Dokumen Mirip

1 AI1.ML.0 1 AI1.ML.0 1 B1 1 AI6.CO

2 AI1.ML.2 2 AI1.ML.2 2 B2 2 Document_comp2

3 AI1.ML.3 3 AI1.ML.3 3 B3 3 AI2.ML

4 AI6.ML

5 The Tactical Plan

Dokumen Uji Coba Skenario 2

Hasil Uji Coba

Dokumen pembanding Dokumen Uji Sim

Dokumen Sama

AI1.ML.0 AI1.ML.0 0.99

AI1.ML.2 AI1.ML.2 0.99

AI1.ML.3 AI1.ML.3 1

Dokumen Beda

AI1.ML.0 B1 0

AI1.ML.2 B2 0

AI1.ML.3 B3 0

Dokumen Mirip

AI1.ML.0 AI6.CO 0.18

AI1.ML.2 Document_comp2 0.11

AI1.ML.3 AI2.ML 0.57

AI1.ML.0 AI6.ML 0.15

AI1.ML.2 AI1.ML 0.37

AI1.ML.3 AI6.ML 0.4

Uji Coba Skenario 3

• Dokumen uji cobaNo Dokumen Perusahaan

1 NOAA_Strategic_IT_Plans

2 Michigan Strategic_Plan_2010

3 Miami university IT Strategic Planning Tactical Plan

4 Kitsap County_IT strategic Plan

5 SLC_Strategic Master Plan2010

6 YoungTown_IT Master Plan Web Version

Hasil Uji Coba Skenario 3No_Doc

Kemiripan per Level Kematangan Maturity

LevelLv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5

1 0.665 0.4975 0.264 0.165 0.05 0.11 0.76

2 0.83 0.415 0.264 0.33 0.275 0.11 1.2

3 0.495 0.333 0.06 0.248 0 0.06 0.5

4 0.83 0.415 0.198 0.495 0.385 0.17 1.5

5 0.495 0.415 0.066 0.248 0.05 0.06 0.6

6 0.495 0.415 0.06 0.2475 0.165 0.11 0.8

No_DocKemiripan per Level Kematangan Maturity

LevelLv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5

1 0.54 0.27 0.17 0.36 0.22 0.13 1.09

2 0.65 0.22 0.14 0.41 0.40 0.26 1.56

3 0.26 0.21 0.14 0.30 0.17 0.07 0.82

4 0.64 0.25 0.33 0.36 0.24 0.11 1.17

5 0.22 0.14 0.27 0.25 0.12 0.07 0.77

6 0.3 0.23 0.19 0.32 0.17 0.11 0.95

MANUAL

SISTEM

Uji Validitas SISTEM(skenario 3)

• Alat uji statistic yang digunakan adalah ujiHomogeneity-of-Variance One-Way Anova

– Ho = hasil perhitungan antara manual dan sistemadalah sama.

– H1= hasil perhitungan antara manual dan sistemadalah beda.

– = luas daerah penolakan/probabilitas = 0.05,

Hasil Uji Seluruh dokumen• Homogeneity-of-Variance One-Way Anova

– ftabel pada percobaan ini adalah 4.00

ANOVA

MLSum of Squares df

Mean Square F Sig.

Between Groups .013 1 .013 .344 .560

Within Groups2.613 70 .037

Total2.625 71

Analisa• hasil uji one way ANOVA yang telah dilakukan

mengindikasikan bahwa :

– nilai uji-F tidak signifikan berbeda pada kelompok uji, iniditunjukkan oleh nilai Fhitung sebesar 0,344 lebih kecildaripada Ftabel(4.00), diperkuat dengan nilai pvalue lebihkecil daripada nilai kritik (1-α) yaitu 0.560.

• Artinya uji ini menunjukan bahwa hasil pengujianterhadap seluruh dokumen dengan perhitunganmanual maupun sistem memiliki kesamaan

• Hasil tersebut menunjukkan bahwa H0 diterima, danmenolak H1

Hasil Uji Coba Perdokumen

Ftabel=4.96

(1-α)=0.95

Dokumen 1

Fhitung=0.022

Pvalue=0.886

Dokumen 6

Fhitung=0.136

Pvalue=0.720

Dokumen 2

Fhitung=0.012

Pvalue=0.916

Dokumen 3

Fhitung=0.112

Pvalue=0.745

Dokumen 5

Fhitung=0.259

Pvalue=0.622

Dokumen 4

Fhitung=0.592

Pvalue=0.459

Analisa

• hasil uji one way ANOVA yang telah dilakukanmengindikasikan bahwa: – nilai uji-F tidak signifikan berbeda pada kelompok uji, ini ditunjukkan

oleh nilai Fhitung sebesar 0,022 pada dokumen 1, 0.012 pada dokumen2, 0.112 pada dokumen 3, 0.592 pada dokumen 4, 0.259 padadokumen 5, 0.136 pada dokumen 6, lebih kecil daripadaFtabel(4.96), diperkuat dengan nilai pvalue lebih kecil daripada nilai kritik(1-α).

• Artinya uji ini menunjukan bahwa hasil pengujian terhadapmasing-masing dokumen dengan perhitungan manual maupun sistem memiliki kesamaan

• Hasil tersebut menunjukkan bahwa H0 diterima, danmenolak H1

Hasil Uji Coba Skenario 4(sistem)

Nomor

Dokumen

Maturity Level Control

Objective

Metamodel Waktu

(detik)

1 1.13 0.58 0.81 181

2 1.56 0.84 0.88 245.92

3 0.82 0.65 0.81 126.35

4 1.17 0.75 0.85 257

5 0.77 0.58 0.79 162.05

6 0.95 0.52 0.8 152.72

Waktu rata-rata yang diperlukan untuk pemeriksaan

dokumen secara manual adalah rata-rata 1 jam atau 360

detik

Kesimpulan

• Sistem ini telah mampu membangun skema ontology dokumen COBIT maupun ontology dokumen perusahaan.

• Konsep-konsep yang terbentuk dari sistem ini memiliki presisi yang cukuptinggi pada saat dibandingkan dengan text2onto, tetapi memiliki recallyang rendah

– hal ini disebabkan pada text2onto seluruh konsep diambil seluruhnya tanpaada proses pruning dan text2onto telah mampu menghasilkan suatu frasekalimat.

• Berdasarkan waktu proses ekstraksi dokumen, sistem lebih cepatdibandingkan dengan text2onto.

• Sistem telah mampu menghasilkan nilai yang tepat sama dengan 1 untukdokumen yang sama dengan dokumen COBIT, nilai 0 untuk dokumen yang berbeda dengan dokumen COBIT, dan nilai antara 0 dan 1 untuk dokumenyang mirip dengan dokumen COBIT

Kesimpulan

• Berdasarkan hasil uji berbedaan One-Way Anovadengan dua cara pengujian menunjukkan hasil antaraperhitungan sistem dan manual adalah sama. – Hal ini menunjukkan Ontology Metamodel COBIT telah

mampu memberikan nilai kematangan proses TI dengantepat

• Berdasarkan perbandingan nilai tingkat kematanganproses TI, perhitungan secara sistem lebih tinggidibandingkan secara manual.

• Sistem mampu menyelesaikan permasalahan lebihcepat dibandingkan secara manual.

Saran

• Perusahaan yang telah menerapkan kerangka kerja COBIT diharapkan untuk menata dokumen sesuai dengan acuan yang terdapat didalam COBIT, sehingga memudahkan sistem dalammelakukan perhitungan tingkat kematangan proses TI.

• Perlu dilakukan pengkajian lebih dalam terkait metodepencocokan ontology untuk menghitung kemiripan duadokumen, terutama untuk mengatasi perbedaan besar dankecilnya dokumen.

• Perlu dilakukan perbaikan pada proses ekstraksi dokumensehingga sistem mampu menghasilkan frase kalimat yang sesuai.