TUGAS DISKUSI PROBABILITAS

ROC

DOSEN:

RISTU SAPTONO, S.Si, M.T.

DISUSUN OLEH:

FEMBI REKRISNA GRANDEA PUTRA (M0513019)

JURUSAN INFORMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SEBELAS MARET

SURAKARTA

2015

Diskusi 1

• Diketahui:

Berdasarkan hasil pengukuran diperoleh berikut ini.

- Dari 15 mahasiswa berIPK lebih dari 3, 10 di antaranya berhasil diklasifikas ikan

dengan benar

- Dari 15 mahasiswa berIPK kurang dari atau sama dengan 3, 7 di antaranya berhasil

diklasifikasikan dengan benar.

Alat yang diukur adalah Naïve Bayes pada Clasifikasi IPK.

Ditanya:

Tentukan seberapa baik alat yang diukur tersebut!

Jawab:

15 mahasiswa ber IPK>3, 10 di antaranya teridentifikasi benar

15 mahasiswa ber IPK<=3, 7 di antaranya teridentifikasi benar

Condition (+) Condition (-)

Preconditon (+) 10 7

Preconditon (-) 5 8

Sehingga dapat diukur alat tersebut baik atau tidak dengan cara sebagai berikut.

𝐴𝑐𝑐𝑢𝑟𝑎𝑡𝑖𝑜𝑛=TP +TN

TP + FN+ FP +TN

𝐴𝑐𝑐𝑢𝑟𝑎𝑡𝑖𝑜𝑛=10 + 8

10 + 5+ 7+ 8

𝐴𝑐𝑐𝑢𝑟𝑎𝑡𝑖𝑜𝑛=18

30

𝐴𝑐𝑐𝑢𝑟𝑎𝑡𝑖𝑜𝑛= 0,6 = 60%

𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 =TP

TP + FN

𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 =10

10 + 5

𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 =10

15

𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 = 0,6667 = 67%

𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =TN

FP +TN

𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =8

7+ 8

𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =8

15

𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 = 0,5333 = 53%

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃

𝑇𝑃+𝐹𝑃

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =10

10+ 7

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =10

17

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 0,58823

𝐹𝐴𝑅 =𝐹𝑃

𝑇𝑃 +𝐹𝑃

𝐹𝐴𝑅 =7

10 + 7

𝐹𝐴𝑅 =7

17

𝐹𝐴𝑅 = 0,41176 = 41%

Diskusi 2

Diketahui:

Algoritma A

Algoritma B

Ditanya:

Dari kedua algoritma tersebut mana yang terbaik? Kenapa?

Jawab:

Algoritma A

Accuracy = 𝑇𝑃+𝑇𝑁

𝑇𝑃+𝐹𝐵+𝐹𝑃+𝑇𝑁

Accuracy = 10+10

10+2+3+10=

20

25= 80%

Recall = 𝑇𝑃

𝑇𝑃+𝐹𝑁

Recall = 10

10+2=

10

12= 83%

𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =𝑇𝑁

𝐹𝑃+𝑇𝑁

Specificity =10

3+10=

10

13= 77%

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃

𝑇𝑃+𝐹𝑃

Precision =10

10+3=

10

13= 77%

𝐹𝐴𝑅 =𝐹𝑃

𝑇𝑃+𝐹𝑃

FAR =3

10+3=

3

13= 23%

Algoritma B

Accuracy = 𝑇𝑃+𝑇𝑁

𝑇𝑃+𝐹𝐵+𝐹𝑃+𝑇𝑁

Accuracy=9+11

9+3+2+11=

20

25= 80%

Recall = 𝑇𝑃

𝑇𝑃+𝐹𝑁

Recall =9

9+3=

9

12= 75%

𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =𝑇𝑁

𝐹𝑃+𝑇𝑁

Specificity =11

2+11=

11

13= 85%

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃

𝑇𝑃+𝐹𝑃

Precision =9

9+2=

9

11= 82%

𝐹𝐴𝑅 =𝐹𝑃

𝑇𝑃+𝐹𝑃

FAR =2

9+2=

2

11= 18%

Berdasarkan perhitungan yang telah dilakukan algoritma B lebih baik dari algoritma A karena

rata-rata yang dihasilkan oleh aalgoritma B lebih unggul dibandingkan algoritma A. Berikut

aspeknya.

- Accuracy atau ketepatan memprediksi sesuai dengan klasifikasi sebenarnya. Pada

Algoritma A dan Algoritma B memiliki tingkak ketepatan yang sama yaitu 80%

- Sensitivity/Recall atau ketepatan prediksi pada kondisi positif, pada Algoritma A lebih baik

dengang nilai ketepatan sebesar 83%

- Dalam hal Specificity atau ketepatan prediksi pada kondisi negative, pada Algoritma B

lebih baik dengan nilai ketepatan sebesar 85%

- Dalam hal Precision atau ratio banyaknya prediksi benar, Algoritma B lebih baik dengan

nilai ratio 82%

- Dalam hal False Alarm Rate atau tingkat kesalahan prediksi yang dihasilkan oleh system,

pada Algoritma B lebih baik karena memiliki tingkat kesalahan prediksi lebih kecil yaitu

18%

Diskusi 3

Diketahui:

Hasil pengukurannya adalah sebagai berikut.

- Dari 15 mahasiswa berIPK lebih dari >3.5, 10 di antaranya berhasil

diklasifikasikan IPK A, 2 diantaranya IPK B, 3 diantaranya IPK C

- Dari 15 mahasiswa berIPK 2.76 – 3.5, 3 di antaranya berhasil diklasifikasikan IPK

A, 10 diantaranya IPK B, 2 diantaranya IPK C

- Dari 15 mahasiswa berIPK lebih dari <=2.75, 2 di antaranya berhasil

diklasifikasikan IPK A, 2 diantaranya IPK B, 11 diantaranya IPK C

Alat yang akan diukur: Naïve Bayes pada Clasifikasi IPK

Proses yang digunakan adalah sebagai berikut.

– Mahasiswa yang menjadi sample 45

– 15 diantaranya mempunyai IPK >3.5 (A)

– 15 diantaranya mempunyai IPK di antara 2.76 – 3.5 (B)

– 15 diantaranya mempunyai IPK <=2.75 (C)

Ditanya:

Tentukan Akurasi, Presisi dan Recallnya

Jawab:

IPK >3.5 IPK 2.76- 3.5 IPK <= 2.75

Prediksi A 10 3 2

Prediksi B 2 10 2

Prediksi C 3 2 11

Total 15 15 15

Accuracy = 𝑇𝑃+𝑇𝑁

𝑇𝑃+𝐹𝐵+𝐹𝑃+𝑇𝑁

Accuracy = 10+10+11

15+15+15=

31

45= 69%

Recall = 𝑇𝑃

𝑇𝑃+𝐹𝑁

Recall = 67%+67%+73%

3= 69%

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃

𝑇𝑃+𝐹𝑃

Precision =67%+71%+69%

3= 69%

Kondisi+ Kondisi- Keterangan

Prediksi+ 10 7 17 Kondisi+ : IPK>3

Prediksi- 5 8 13 Kondisi- : IPK<3

15 15 30

Accuracy 0,6 60,00%

Misclassification Rate 0,4 40,00%

True Positive Rate 0,666666667 66,67%

False Positive Rate 0,466666667 46,67%

Specificity 0,533333333 53,33%

Precision 0,588235294 58,82%

FAR 0,411764706 41,18%

Prevalence 0,5 50,00%

Kondisi+ Kondisi- Kondisi+ Kondisi-

Prediksi+ 10 3 13 Prediksi+ 9 2 11

Prediksi- 2 10 12 Prediksi- 3 11 14

12 13 25 12 13 25

Accuracy 0,8 80,00% Accuracy 0,8 80,00%

Misclassification Rate 0,2 20,00% Misclassification Rate 0,2 20,00%

True Positive Rate (Recall) 0,833333333 83,33% True Positive Rate 0,75 75,00%

False Positive Rate 0,230769231 23,08% False Positive Rate 0,153846154 15,38%

Specificity 0,769230769 76,92% Specificity 0,846153846 84,62%

Precision 0,769230769 76,92% Precision 0,818181818 81,82%

FAR 0,230769231 23,08% FAR 0,181818182 18,18%

Prevalence 0,48 48,00% Prevalence 0,48 48,00%

Rata-rata 72,06% Rata-rata 71,20%

>3,5 2,76-3,5 <=2,75 Precision

Prediksi A 10 3 2 15 66,667%

Prediksi B 2 10 2 14 71,429%

Prediksi C 3 2 11 16 68,750%

15 15 15 45

Recall 66,667% 66,667% 73,333%

Accuracy 68,889%

Rata-rata Recall 68,889%

Rata-rata Precision 68,948%