EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL...

6
1 AbstrakSaat ini standard kualitas suara pada layanan GSM "Voice Call" menggunakan standard Quality of Service (QoS). Sesuai dengan Per-men Kominfo tahun 2008, kualitas yang dijamin adalah Endpoint Service Availability, namun tidak pada kualitas suara yang dihasilkan. Pada penelitian ini diusulkan metode QoE untuk mengukur kualitas suara, sehingga tidak hanya menjamin ketersediaan layanan saja tapi juga kenyamanan dalam berkomunikasi dengan cara Subjektif dan Objektif. Pengukuran subjektif digunakan dalam mengukur tingkat 'Speech Intelligibility' dan tingkat penurunan kualitas suara digunakan nilai Percent Correct Words dan Degradation Mean Opinion Score (DMOS). Pada pengukuran objektif menggunakan nilai Perceptual Evaluation of Speech Quality (PESQ). Waktu pengambilan data pada jam sibuk (PermenKominfo), untuk mendapatkan gangguan paling besar. Dilihat dari tren keduanya nilai DMOS dan PESQ berbanding lurus dengan koefisien korelasi=0.82. Berdasarkan nilai 'Speech Intelligibility' (Percent Correct Words), penurunan kualitas suara(DMOS) dan PESQ. Kualitas kedua operator masih dalam kategori baik (ada penurunan kualitas yang tidak mengganggu) sekalipun dalam jam sibuk. Kata KunciQoE, DMOS, PESQ I. PENDAHULUAN aat ini hampir semua Jaringan Telepon Seluler di Indonesia telah menggunakan generasi ke-3 (3G) dalam melayani pelang-gannya baik untuk pertukaran data (data transfer) maupun percakapan biasa (voice call). Badan Regulasi Telekomunikasi Indonesia yang kemudian disingkat BRTI, sebagai regulator resmi pemerintah telah memiliki standard kualitas pelayanan berdasarkan Quality of Service (QoS). BRTI menggunakan QoS sebagai penjamin kualitas layanan kepada konsumen dengan tolok ukur ketersediaan layanan untuk sambungan panggilan (Endpoint Service Availability). [1] Pada tahun 2011, Hertiana,dkk melakukan penelitian tentang deteksi dini penyakit tenggorok dengan komunikasi nirkabel. Dalam penelitian ini alat komunikasi yang digunakan adalah jaringan 3G yang telah memenuhi QoS, namun suara hasil transmisi dari telepon seluler ke yang lainnya kualitasnya dinilai buruk. Energi sinyal suara mengalami penurunan, terdapat derau latar, dan ada beberapa sampel yang datanya tidak utuh [2] . Kemudian penelitian dilanjutkan oleh Januar, dengan tema perbaikan kualitas suara pada komunikasi nirkabel. Dan hasil dari penelitian ini adalah terjadi peningkatan kualitas suara berdasarkan uji objektif yaitu dengan Mean Square Error (MSE) dan Preceptual Evaluation of Speech Quality (PESQ). [3] Pada hakikatnya percobaan Objektif seperti PESQ dan MSE adalah model pendekatan percobaan Subjektif dimana hasil yang didapat adalah estimasi. Kemudian saat ini sedang berkembang metode yang disebut Quality of Experience, sebuah metode yang menitik beratkan penilaian pada manusia itu sendiri sebagai pemakai produk. Dengan QoE kita dapat mengukur sebuah kualitas jaringan dengan tepat dan menjaga hak setiap konsumen terhadap kualitas telepon yang baik. QoE sampai saat ini belum menjadi sebuah sistem standar yang harus dipakai, karena memang sampai saat ini metode QoE seperti apa yang dianggap bisa diterima oleh semua kalangan tanpa terkecuali masih terus dikembangkan. [4] II. TINJAUAN PUSTAKA A. Quality of Service (Qo)S & Quality of Experience (QoE) Saat mekanisme Quality of Service (QoS) di terapkan dalam sistem jaringan, dengan mudah kita akan mengasumsikan bahwa penggunanya secara otomatis akan men-dapatkan pelayanan yang baik. Namun dalam kenyataannya QoS tidak benar-benar berimplikasi pada kualitas pelayanan yang dirasakan oleh pengguna. Sehingga saat ini berkembang sebuah konsep dimana pengalaman pengguna (User Experience) lebih penting dari mekanisme teknik yang ada dalam jaringan yang dapat mempengaruhi pengguna dengan pelaku bisnisnya. Dan muncullah istilah Quality of Experience (QoE) disamping QoS yang telah lama diterapkan. Gambar 1. Terminologi QoE berdasarkan definisinya, ling- karan merah QoE dan lingkaran biru QoS [4] Pada kasus layanan dasar telepon genggam yaitu telepon dibuat beberapa hal yang penting untuk diamati dalam metode QoE yaitu, lokasi dimana pengguna bisa membuat dan EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL TELEPON SELULAR DENGAN METODE QUALITY OF EXPERIENCE (QoE) Try Rahadi Sulistomo 1 , dan Dr. Dhany Arifianto, ST., M.Eng 2 Jurusan Teknik Fisika, Fakultas Teknologi Industri, Institut Teknologi Sepuluh Nopember, ITS Jl. Arief Rahman Hakim, Surabaya 60111 E-mail: [email protected] 1 , [email protected] S

Transcript of EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL...

Page 1: EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL …digilib.its.ac.id/public/ITS-paper-38085-2409100054-paper.pdf · Rock akan nyaman mendengar musik dengan SPL 100dB namun jika ia

1

Abstrak— Saat ini standard kualitas suara pada layanan

GSM "Voice Call" menggunakan standard Quality of Service

(QoS). Sesuai dengan Per-men Kominfo tahun 2008, kualitas

yang dijamin adalah Endpoint Service Availability, namun tidak

pada kualitas suara yang dihasilkan. Pada penelitian ini

diusulkan metode QoE untuk mengukur kualitas suara, sehingga

tidak hanya menjamin ketersediaan layanan saja tapi juga

kenyamanan dalam berkomunikasi dengan cara Subjektif dan

Objektif. Pengukuran subjektif digunakan dalam mengukur

tingkat 'Speech Intelligibility' dan tingkat penurunan kualitas

suara digunakan nilai Percent Correct Words dan Degradation

Mean Opinion Score (DMOS). Pada pengukuran objektif

menggunakan nilai Perceptual Evaluation of Speech Quality

(PESQ). Waktu pengambilan data pada jam sibuk

(PermenKominfo), untuk mendapatkan gangguan paling besar.

Dilihat dari tren keduanya nilai DMOS dan PESQ berbanding

lurus dengan koefisien korelasi=0.82. Berdasarkan nilai 'Speech

Intelligibility' (Percent Correct Words), penurunan kualitas

suara(DMOS) dan PESQ. Kualitas kedua operator masih dalam

kategori baik (ada penurunan kualitas yang tidak mengganggu)

sekalipun dalam jam sibuk.

Kata Kunci— QoE, DMOS, PESQ

I. PENDAHULUAN

aat ini hampir semua Jaringan Telepon Seluler di

Indonesia telah menggunakan generasi ke-3 (3G) dalam

melayani pelang-gannya baik untuk pertukaran data (data

transfer) maupun percakapan biasa (voice call). Badan

Regulasi Telekomunikasi Indonesia yang kemudian disingkat

BRTI, sebagai regulator resmi pemerintah telah memiliki

standard kualitas pelayanan berdasarkan Quality of Service

(QoS). BRTI menggunakan QoS sebagai penjamin kualitas

layanan kepada konsumen dengan tolok ukur ketersediaan

layanan untuk sambungan panggilan (Endpoint Service

Availability).[1]

Pada tahun 2011, Hertiana,dkk melakukan penelitian

tentang deteksi dini penyakit tenggorok dengan komunikasi

nirkabel. Dalam penelitian ini alat komunikasi yang digunakan

adalah jaringan 3G yang telah memenuhi QoS, namun suara

hasil transmisi dari telepon seluler ke yang lainnya kualitasnya

dinilai buruk. Energi sinyal suara mengalami penurunan,

terdapat derau latar, dan ada beberapa sampel yang datanya

tidak utuh [2]

. Kemudian penelitian dilanjutkan oleh Januar,

dengan tema perbaikan kualitas suara pada komunikasi

nirkabel. Dan hasil dari penelitian ini adalah terjadi

peningkatan kualitas suara berdasarkan uji objektif yaitu

dengan Mean Square Error (MSE) dan Preceptual Evaluation

of Speech Quality (PESQ).[3]

Pada hakikatnya percobaan Objektif seperti PESQ dan

MSE adalah model pendekatan percobaan Subjektif dimana

hasil yang didapat adalah estimasi. Kemudian saat ini sedang

berkembang metode yang disebut Quality of Experience,

sebuah metode yang menitik beratkan penilaian pada manusia

itu sendiri sebagai pemakai produk. Dengan QoE kita dapat

mengukur sebuah kualitas jaringan dengan tepat dan menjaga

hak setiap konsumen terhadap kualitas telepon yang baik. QoE

sampai saat ini belum menjadi sebuah sistem standar yang

harus dipakai, karena memang sampai saat ini metode QoE

seperti apa yang dianggap bisa diterima oleh semua kalangan

tanpa terkecuali masih terus dikembangkan.[4]

II. TINJAUAN PUSTAKA

A. Quality of Service (Qo)S & Quality of Experience (QoE)

Saat mekanisme Quality of Service (QoS) di terapkan

dalam sistem jaringan, dengan mudah kita akan

mengasumsikan bahwa penggunanya secara otomatis akan

men-dapatkan pelayanan yang baik. Namun dalam

kenyataannya QoS tidak benar-benar berimplikasi pada

kualitas pelayanan yang dirasakan oleh pengguna. Sehingga

saat ini berkembang sebuah konsep dimana pengalaman

pengguna (User Experience) lebih penting dari mekanisme

teknik yang ada dalam jaringan yang dapat mempengaruhi

pengguna dengan pelaku bisnisnya. Dan muncullah istilah

Quality of Experience (QoE) disamping QoS yang telah lama

diterapkan.

Gambar 1. Terminologi QoE berdasarkan definisinya, ling-

karan merah QoE dan lingkaran biru QoS[4]

Pada kasus layanan dasar telepon genggam yaitu telepon

dibuat beberapa hal yang penting untuk diamati dalam metode

QoE yaitu, lokasi dimana pengguna bisa membuat dan

EVALUASI KUALITAS SUARA PADA LAYANAN

VOICE CALL TELEPON SELULAR DENGAN

METODE QUALITY OF EXPERIENCE (QoE) Try Rahadi Sulistomo

1, dan Dr. Dhany Arifianto, ST., M.Eng

2

Jurusan Teknik Fisika, Fakultas Teknologi Industri, Institut Teknologi Sepuluh Nopember, ITS

Jl. Arief Rahman Hakim, Surabaya 60111

E-mail: [email protected], [email protected]

S

Page 2: EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL …digilib.its.ac.id/public/ITS-paper-38085-2409100054-paper.pdf · Rock akan nyaman mendengar musik dengan SPL 100dB namun jika ia

2

menerima panggilan, kejernihan atau kejelasan suara telepon

kemudian kemungkinan telepon berhasil dan kemungkinan

telepon tidak terputus tiba-tiba. Selain itu karakter dan bahasa

dari masyarakat juga sangat berpengaruh dalam penilaian

QoE.

B. Presepsi Suara

Perseptual suara sendiri adalah tanggapan dari

penerimaan panca indera suara atau telinga. Setiap orang

memiliki perseptual yang berbeda-beda meskipun suara yang

didengar adalah sama. Sebagai contoh, seorang pecinta musik

Rock akan nyaman mendengar musik dengan SPL 100dB

namun jika ia hanya menyukai musik klasik SPL dengan nilai

100dB akan terasa tidak nyaman. Atau dengan Frekuensi dan

SPL yang sama ada orang yang bisa mendengarnya dan

adapula yang tidak bisa mendengarnya. Seperti yang

dijelaskan diatas bahwa menganalisa perseptual suara yang

didengar oleh manusia cukup kompleks. Namun untuk

mempermudahnya analisa suara percakapan biasanya

didasarkan pada pitch.

C. Kualitas Suara

Dalam sebuah percakapan, terdapat tahap-tahap yang

menjelaskan bagaimana pesan dari pengirim pesan dapat

tersampaikan kepada si pendengar. Salah satunya adalah

'Intelligibility' yaitu bagaimana kejelasan suara yang

diucapkan dalam penyampaian pesan.

Gambar 3. Skematis representasi tes subjektif

[5]

Selain Intelligibility, faktor lain adalah kenyamanan. Jika

infromasi yang diterima baik, maka selanjutnya kualitas suara

yang diuji adalah tingkat kenyamanannya. Tingkat

kenyamanan bergantung dari presepsi manusia dan nilainya

berbentuk kualitatif, sedangkan dalam pengukuran data yang

dibutuhkan adalah data kuantitatif. Sehingga dibutuhkan cara

atau metode untuk mengkuantifikasikan data dari kualitatif

menjadi kuantitatif atau terukur. Dalam skala kuantifikasi

data-data yang didapat dikategorikan, biasanya dibuat dalam 5

kategori. Dan disinilah pentingnya pengukuran QoE

dilakukan.[6]

D. Percent Correct Words

Dalam tes subjektif selain DMOS ada pula Percent

Correct Words. Penilaian Percent Correct Words didasari

pada seberapa banyak (dalam presentase) kata yang bisa

ditulis kembali setelah didengarkan Perolehan nilai kemudian

di cocokan dengan grafik hubungan Percent Correct Words

dengan Articulation Index sesuai dengan ANSI S3.5 1969

untuk mengetahui tingkat Speech Intelligibility.[7]

Dari sini

dapat dilihat seberapa baik pesan yang diterima oleh

pendengar, semakin sedikit kata yang salah maka semakin

baik kualitas suara dari sisi pesan yang diterima. Oleh karena

itu jenis kata yang diberikan harus diperhatikan betul semisal

kata-kata yang diberikan adalah kata-kata umum.

Gambar 4. Grafik Hubungan Percent Correct Word dengan

Articulation Index.[7]

E. Degradation Mean Opinion Score (DMOS)

Degradation mean Opinion Score (DMOS) adalah

pengukuran pada tingkat perubahan suara antara sumber suara

dengan suara yang dihasilkan berdasarkan penilaian telinga

manusia yang telah menjadi standar internasional (ITU-T).

Untuk mengukur DMOS diperlukan 2 data suara, yang

pertama adalah suara sebelum masuk jaringan dan yang kedua

adalah suara setelah melewati jaringan. Skor DMOS dilakukan

dengan mengukur kualitas suara langsung dari Mobile Stasion

dalam hal ini telepon selular. Kemudian dibandingkan

perubahannya dengan menggunakan kemampuan pendengaran

manusia. Setelah mendengar yang pertama dan yang kedua

pendengar diminta untuk mengisi skor dari 1-5 sesuai dengan

tabel 1.[8]

Tabel 1. Parameter penelaian uji DMOS[8]

Parameter

Kualitas

Score Parameter

Sangat baik 5 Degradasi tidak terdengar

Baik 4 Degradasi terdengar namun tidak

mengganggu

Cukup baik 3 Degradasi sedikit mengganggu

Buruk 2 Degradasi Mengganggu

Sangat buruk 1 Degradasi sangat meng-ganggu

F. Perceptual Evaluation Speech Quality (PESQ)

Perceptual Evaluation Speech Quality (PESQ) meru-

pakan suatu teknik pengevaluasian kualitas sinyal suara.

Dalam perhitungannya (lihat Gambar 6.) sinyal asli dan sinyal

hasil pemrosesan terlebih dahulu disamakan levelnya ke

standard level pendengaran, kemudian difilter dengan respon

Page 3: EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL …digilib.its.ac.id/public/ITS-paper-38085-2409100054-paper.pdf · Rock akan nyaman mendengar musik dengan SPL 100dB namun jika ia

3

seperti headset telepon seluler. Selanjutnya diolah melalui

sebuah transformasi dari pendengaran untuk mendapatkan

spektrum loudnessnya. Perbedaan loudness antara sinyal asli

dengan hasil olahan dihitung dan dirata-rata dari waktu ke

waktu dan frekuensi untuk mendapatkan prediksi kualitas

subjektif. Nilai PESQ berkisar antara -0,5 sampai 4,5 dimana

pada nilai PESQ 4,5 sinyal suara yang diproses sama dengan

sinyal suara asli.[9]

Gambar 6. Pemodelan PESQ

[9]

G. Perbandingan penilaian objektif dan subjektif

Koefisien korelasi adalah parameter statistika yang

bertujuan untuk menilai 2 atau lebih metode yang digunakan

untuk 1 tujuan yang sama. Koefisien Korelasi dapat dihitung

dengan persamaan Pearson, yaitu:

𝜌𝑖 = 𝑆𝑛−𝑆 (𝑀𝑛−𝑀 )𝑁

𝑛=1

(𝑆𝑛−𝑆 )2 (𝑀𝑛−𝑀 )2𝑁𝑛=1

𝑁𝑛=1

Dimana, 𝜌𝑖 = Koefisien korelasi

𝑆𝑛 = Skor subjektif tiap kalimat n

𝑆 = Rata-rata skor subjektif seluruh kalimat

𝑀𝑛 = Skor Objektif tiap kalimat n

𝑀 = Rata-rata skor subjektif seluruh kalimat

Nilai Koefisien Korelasi biasanya dihitung dari sebaran

rata-rata masing-masing metode (Subjektif dan Objektif).

Semakin nilainya mendekati 1 maka antara metode subjektif

dengan objektif semakin dekat kesesuaiannya.

Kemudian untuk mengetahui perbedaan nilai dalam

angka antara tes subjektif dengan objektif, digunakan

perhitungan residual error. Dari residual error dapat

diketahui pula seberapa banyak error tersebut terjadi.

Persamaan matematis residual error adalah sebagai berikut:

𝑒𝑖 = 𝑆𝑛 − 𝑀𝑛

Dimana, 𝑒𝑖 = Nilai error tiap data n

𝑆𝑛 = Skor subjektif tiap kalimat n

𝑀𝑛 = Skor Objektif tiap kalimat n

Karena adanya perbedaan skala antara DMOS dengan

PESQ maka perlu dilakukan normalisasi. Normalisasi ini

membuat skala DMOS 1-5 dan PESQ (-0.5) - 4.5 menjadi 0-1,

agar perhitungan correlation coefficient dengan residual error

menjadi adil. Selain itu dengan normalisasi kita juga bisa

melihat tren perubahan dari PESQ terhadap DMOS.

III METODOLOGI PENELITIAN

Dari Speaker (pembicara) mengirim sinyal akustik

berupa 180 kalimat stimulus kedalam Telepon seluler

pengirim (Tx) untuk kemudian dikirim melewati jaringan

GSM ke penerima (Rx). Diwaktu yang bersamaan, pada

masing-masing telepon seluler sinyal akustik tersebut

direkam kedalam bentuk format digital yaitu ".amr". Setelah

itu data disimpan kedalam komputer untuk diperdengarkan

kembali ke listener atau pendengar (tes subjektif) dan diolah

kedalam bentuk nilai PESQ (tes obejktif). Dari pengambilan

data baik subjektif dan objektif diolah lagi dalam komputer

untuk menampilkan hasilnya baik dalam grafik maupun

tabel.

A. Pembuatan Stimulus

Stimulus atau kalimat uji adalah suara hasil rekaman dari

layanan voice call yang ada pada telepon selular penelpon dan

telepon selular penerima. Kalimat direkam pada hari kerja

(senin-jumat) pada rentang pukul 09.00-12.00 WIB dan 13.00-

15.00WIB. Total keseluruhan kalimat ada 180 kalimat yang

direkam sebagai stimulus.

Kalimat yang digunakan adalah bahasa Indonesia baku

yang digunakan dalam kehidupan sehari-hari, tidak ada istilah

teknis atau khusus sehingga sembarang naracoba dapat

mengerti tanpa melihat latar belakangnya. Pelafalan kalimat

tersebut oleh pembicara tidak menggunakan intonasi (nada

datar). Arti dari kalimat 1 dengan lainnya tidak saling

berhubungan. Rata-rata 1 kalimat terdiri dari 7 kata, dan rata-

rata durasinya adalah 3 detik. Contoh kalimatnya adalah,

"Kecelakaan kereta api itu terjadi tengah malam".

Gambar 8. Proses pembuatan stimulus

Setelah telepon selesai kemudian hasil rekaman yang

dijadikan kalimat stimulus nanti juga dalam bentuk format

“.amr” sehingga tidak ada perbedaan kualitas sinyal dari

aslinya dengan rekaman.

Gambar 9. Waveform suara terekam dalam bentuk ".amr"

B. Evaluasi subjektif

Pengambilan data disini hanya untuk metode subjektif,

pada PESQ langsung bisa diolah dengan Matlab. Untuk

metode Subjektif pengambilan data dilakukan dengan

(2.1)

(2.2)

Page 4: EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL …digilib.its.ac.id/public/ITS-paper-38085-2409100054-paper.pdf · Rock akan nyaman mendengar musik dengan SPL 100dB namun jika ia

4

menggunakan manusia sebagai naracoba. Naracoba yang

digunakan adalah mahasiswa Teknik Fisika ITS yang berusia

rata-rata 22 tahun, diasumsikan memiliki pendengaran normal

karena tidak ada catatan medis perlu ataupun pernah

menggunakan "hearing impairment". Naracoba bersedia untuk

memberikan penilaian sesuai pendengaran dan presepsi

mereka dengan mengikuti prosedur yang ditetapkan.

Gambar 10. Naracoba sedang melakukan tes subjektif

Metode QoE yang dipakai adalah penilaian penurunan

kualitas suara (Degradation Mean Opinion Score) dari ITU-T

dan Speech Intelligibility (Percent Correct Words). Setiap

naracoba hanya mengevaluasi 1 jenis penilaian dan 1 operator.

Sehingga dalam penelitian ini jumlah naracoba sebanyak 55

orang dengan rincian:

Tabel 2. Jumlah naracoba per penelaian per operator

Jenis

penilaian Operator

Jumlah

Naracoba

Percent

Correct

Words

1 12 orang

2 11 orang

DMOS 1 16 orang

2 16 orang

C. Pengolahan dan analisa data

Pengolahan data Subjektif dilakukan dengan

menggunakan rumus statistika rata-rata. Pada DMOS, setiap

kalimat dirata-rata skornya sehingga didapatkan nilai DMOS

per kalimat. Setelah itu dibuat rata-rata lagi dari keseluruhan

nilai tiap orang untuk mendapatkan nilai DMOS per operator.

Untuk Percent Correct Words, nilai dirata-rata dari setiap

orang pada masing-masing operator. Yang nantinya akan

menghasilkan nilai Percent Correct Words pada masing-

masing operator.

IV. PEMBAHASAN

A. Speech Intelligibility

Seperti yang disebutkan sebelumnya, Speech

Intelligibility adalah parameter kualitas suara yang dapat

mengetahui seberapa baik informasi dari pengirim pesan

diterima oleh penerima. Speech Intelligibility dapat dilihat dari

Articulation Index (AI) yang memiliki kategori-kategori

berdasarkan poin AI. Untuk mendapatkan AI, pada penelitian

ini digunakan teknik Percent Correct Words yang nantinya

akan di hubungkan dengan grafik AI sesuai dengan ANSI S3.5

1969. Pada Tabel 4.1 ditunjukan data Percent Correct Words

pada setiap naracoba per operator,

Dari kedua tabel diatas dapat kita ketahui bahwa rentang

nilai antar naracoba sangat kecil, sehingga nilai Percent

Correct Words operator 1 dan 2 tidak akan mengalami

perubahan yang signifikan jika jumlah naracoba ditambah

lagi. Setelah itu dibandingkan nilai rata-rata operator 1 dan

operator 2 dan didapatkan hasil bahwa operator 2 nilai

Percent Correct Wordsnya lebih tinggi0.36% dari operator 1

(lihat Gambar 11.).

Gambar 11. Perbandingan Percent Correct Words Operator

1&2

Setelah mendapatkan nilai Percent Correct Words tiap

operator, kemudian nilai tersebut dimasukan ke dalam grafik

ANSI S3.5 1969 untuk mendapatkan nilai AI. Karena

perbedaan Percent Correct Words 1&2 sangat kecil, maka

dianggap sama. Pada Gambar 12. didapatkan nilai AI kedua

operator sebesar 1.0.

Berdasarkan ANSI S3.5 1969, tiap operator memiliki

tingkat Intelligibility yang sempurna. Atau tidak terjadi

penurunan Speech Intelligibility yang signifikan. Nilai

Intelligibility hanya menggambarkan seberapa baik informasi

dapat di dengar, namun tidak dapat mengukur tingkat

kenyamanannya. Setelah mengukur tingkat Intelligibility maka

pengukuran berikutnya adalah tingkat kenyamanan yang

didasarkan dari nilai DMOS (Subjektif) dan PESQ(Objektif).

B. Degradasi Kualitas Suara (Subjektif)

Nilai DMOS adalah nilai rata-rata dari setiap subjek yang

melakukan percobaan. Terdapat 16 orang naracoba yang

melakukan penilaian DMOS ini dan ada 180 kalimat yang

diuji. Lalu masing-masing kalimat di buat nilai rata-ratanya.

Setelah didapatkan tren distribusi nilai DMOS, maka

nilai-nilai tersebut dapat dimasukan dalam kategori-kategori

yang mewakili nilai DMOS agar dapat diketahui kualitas suara

tersebut. Apakah tidak ada perubahan, tidak mengganggu atau

cukup mengganggu.

98.54 98.9

0

20

40

60

80

100

Op. 1 Op. 2

Per

cen

t C

orr

ect

Wo

rds

Operator

Percent Correct Words Tiap Operator

Op. 1Op. 2

Page 5: EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL …digilib.its.ac.id/public/ITS-paper-38085-2409100054-paper.pdf · Rock akan nyaman mendengar musik dengan SPL 100dB namun jika ia

5

Gambar 16. Grafik nilai DMOS rata-rata Operator 1&2

Untuk mengetahui nilai DMOS pada masing-masing

operator secara keseluruhan diperlukan nilai rata-rata.

Sehingga dengan 1 parameter yaitu nilai rata-rata kita dapat

mem-bandingkan kualitas suara operator 1 dengan 2 terhadap

layanan "voice call" secara eksak. Maka, nilai rata-rata pada

operator 1 adalah 4.2 dan nilai rata-rata pada operator 2 adalah

4.5. Sehingga ditinjau dari nilai DMOS keseluruhan operator 2

memiliki kualitas lebih baik dari operator 1.

C. Degradasi kualitas suara (Objektif)

Pada penilaian ini nilai yang dipakai adalah PESQ,

karena memakai model matematis dan perhitungan

berdasarkan parameter yang dibuat sesuai dengan pendekatan

telinga manusia yang terlatih sehingga nilainya absolut.

Keuntungan dari penilaian ini hanya dibutuhkan 1 kali

perhitungan setiap operator dengan jumlah kalimat 180

kalimat. Dengan menggunakan software Matlab dengan

program yang digunakan adalah PESQ buatan Loizou,

didapatkan nilai PESQ pada tiap jenis kalimat. Setelah dibuat

rata-rata PESQ tiap operator, grafiknya adalah sebagai berikut:

Gambar 17. Nilai PESQ masing-masing operator

Nilai PESQ rata-rata tiap operator adalah 3.17 untuk

operator 1 dan 3.44 untuk operator 2. Nilai PESQ pada

operator 2 memiliki nilai rata-rata yang lebih besar 0.27 poin

dari operator 1. Pada PESQ cara membaca hasil penilaian

adalah jika 3 keatas dan dibawah 4 masuk dalam kategori

cukup baik. Dan yang perlu diingat adalah skala pada PESQ

yaitu (-0.5)-4.5, tidak seperti DMOS yang memiliki skala 1-5.

Maka jika ingin membandingkan nilai PESQ dengan nilai

DMOS diperlukan normalisasi terlebih dahulu.

D. Subjektif & Objektif

Pada dasarnya penilaian objektif adalah pendekatan dari

subjektif sehingga biasanaya di setiap penelitian yang meneliti

kualitas suara dengan menggunakan objektif

membandingkannya dengan subjektif. Di penelitian ini dipakai

2 pendekatan perbandingan, yang pertama adalah Coefficient

Correlation dan kedua adalah error residual. Untuk coefficient

correlation digunakan persamaan pearson (persamaan 2.1),

dan error residual menggunakan pengurangan biasa pada tiap

kalimat antara DMOS dengan PESQ (persamaan 2.2).

Sebelum dibandingkan terlebih dahulu dilakukan normalisasi

agar skala dari DMOS dan PESQ sama dengan skala 0-1.

Untuk mengetahui setiap perubahan DMOS dengan

PESQ dilakukan perhitungan residual errornya. Dengan

mengetahui nilai residual error tiap kalimat kita dapat melihat

tren dari kedua jenis penilaian ini. Residual error DMOS

dengan PESQ memiliki rentang -0.14 sampai 0.37. Dari

rentang ini dapat diketahui bahwa nilai residual error antara

DMOS dengan PESQ tidak terlalu jauh.

E. Penerapan Quality of Experience

Presepsi suara sangat bergantung pada masyarakat dan

bahasa yang didengarkan. Untuk korelasi nilai PESQ selama

ini belum pernah diuji pada bahasa Indonesia, beberapa bahasa

yang telah diuji adalah Inggris, Perancis dalam ITU-T

kemudian Jepang dan Jerman dalam beberapa jurnal. Hal ini

dapat menjadi pintu gerbang dalam mengembangkan metode

Quality of Experience (QoE).

QoE cukup relevan jika ingin dijadikan standard

disamping QoS yang sudah lebih dahulu ada. Karena QoE

dapat menjaga hak dari konsumen terhadap layanan operator

yang dipakainya tidak hanya segi "Service Availability"

namun juga kualitas kenyamanan suara. Selain menjaga hak

konsumen QoE juga harus adil dan dapat menguntungkan

pihak penyelenggara layanan (operator) dengan cara

mengkuantifikasikan nilai kualitatif dan menyesuaikan standar

QoE dengan kondisi masyarakat Indonesia.

Pada operator kita bisa lihat bagaimana respon

masyarakat terhadap gangguan yang ada di layanan mereka.

Seberapa besar gangguan yang ditoleransi oleh masyarakat,

sehingga nantinya operator bisa dengan efisien menentukan

desain layanan mereka. Seperti yang dijelaskan sebelumnya,

parameter fisis kualitas suara dibagi menjadi 2 yaitu frekuensi

dasar dan SPL. Berikut adalah contoh pada salah satu stimulus

yang diplot dalam bentuk spektogram dengan menampilkan

frekuensi dasar.

Nilai DMOS dari Gambar 4.10 adalah 3.6 atau artinya

terdapat gangguan yang cukup mengganggu. Bagian yang

dilingkari adalah bagian yang berubah dari suara pengirim ke

penerima, sehingga dapat dibuktikan memang terjadi

penurunan kualitas.

4.24.5

1

2

3

4

5

Op.1 Op.2

DM

OS

Operator

DMOS Rata-rata Tiap Operator

Op.1Op.2

3.17 3.44

-0.5

0.5

1.5

2.5

3.5

4.5

1 2

PESQ OPERATOR 1 &2

Page 6: EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL …digilib.its.ac.id/public/ITS-paper-38085-2409100054-paper.pdf · Rock akan nyaman mendengar musik dengan SPL 100dB namun jika ia

6

Gambar 19. Spektogram suara pengirim (atas) dan Spekto-

gram suara penerima (bawah), DMOS=3.6

Nilai DMOS dari Gambar 4.10 adalah 3.6 atau artinya

terdapat gangguan yang cukup mengganggu. Bagian yang

dilingkari adalah bagian yang berubah dari suara pengirim ke

penerima, sehingga dapat dibuktikan memang terjadi

penurunan kualitas.

Gambar 20. Spektogram suara pengirim (atas) dan spekto-

gram suara penerima (bawah), DMOS=4.6

Jika dibandingkan dengan gambar 4.10, pada gambar

diatas (Gambar 4.11, lingkaran merah) juga terlihat

mengalami penurunan sinyal. Namun nilai DMOSnya jauh

berbeda, dan gambar 4.10 nilainya 3.6 (penurunan kualitas

cukup mengganggu). Inilah yang dimaksudkan dapat

menguntungkan konsumen dan penyedia jasa layanan. Di satu

sisi konsumen mendapatkan kenyamanan mereka di sisi lain

operator dapat mengetahui batas toleransi dari penurunan

kualitas layanan mereka dan pemerintah dapat membuat

standar yang mengacu pada kondisi masyarakatnya.

V. KESIMPULAN

Pada penelitian ini telah dilakukan evaluasi kualitas

suara pada layanan "voice call" dengan metode Quality of

Experience. Berdasarkan nilai Intelligibility (%Correct

Words), penurunan kualitas suara (DMOS) dan PESQ

operator 2 memiliki kualitas yang lebih baik dari operator 2.

Namun kualitas kedua operator masih dalam kategori baik,

ada penurunan kualitas yang tidak mengganggu. Untuk

perbandingan penilaian secara objektif dan subjektif, dalam

penelitian ini memiliki korelasi yang cukup dekat karena

PESQ dengan DMOS memiliki koefisien korelasi sebesar

0.82. Sehingga Metode QoE yang diusulkan dapat digunakan

dalam mengevaluasi kualitas suara pada layanan "Voice call"

telepon seluler.

DAFTAR PUSTAKA

[1] Menteri Komunikasi Dan Informatika-RI, 2008,

"Standar Kualitas Pelayanan Jasa Teleponi Dasar

Pada Jaringan Bergerak Selular", PermenKominfo

12/PER/M. KOMINFO/04/2008

[2] Bertaningtyas D.K. Hertiana, 2011, "Analisis Sinyal

Suara Melalui Jaringan Nirkabel Dengan Metode

Wavelet Transform Untuk Deteksi Gejala Kelainan

Pita Suara", Thesis Teknik Fisika - ITS

[3] Januar Alif, 2012, "Penerapan Metode Sinusoidal

Modelling and Synthesis untuk Perbaikan Sinyal

Suara pada Komunikasi Nirkabel", Tugas Akhir

Teknik Fisika - ITS

[4] Kilkki Kalevi, 2008 ,"Quality of Experience in

Communications Ecosystem", Journal of Universal

Computer Science vol.14, no.5

[5] Raake Alexander, 2006 "Speech Quality of VoIP",

John Wiley&Sons, Ltd, England

[6] Brooks Peter, et al., 2010 "User Measures of Quality of

Experience Why Being Objective and Quantitative Is

Important", IEEE Network March/April

[7] ANSI, 1969 ,"American National Standard Method

for Calculate Articulation Index", ANSI S3.5

[8] ITU-T, 1996 ,"Methods For Subjective

Determination Of Transmission Quality", ITU-T

P800

[9] Rix Antony W., et al., 2001,"Perceptual Evaluation Of

Speech Quality (PESQ) - A New Method For Speech

Quality Assesment Of Telephone Networks And

Codecs", 0-7803-7041-41/01 IEEE