Indah Nurina F.H/10110094/Institut Teknologi Bandung 2010

1

Analisis Komponen Utama

(Principal component analysis)

A. LANDASAN TEORI

Misalkan 𝜒 merupakan matriks berukuran 𝑛𝑥𝑝, dengan baris-baris yang berisi observasi sebanyak 𝑛

dari 𝑝-variat variabel acak 𝑋. Analisis komponen utama merupakan salah satu metode untuk mereduksi

dimensi dari variabel acak 𝑋. Reduksi dimensi dilakukan dengan mendefinisikan p-variat variabel acak baru

𝑌 dimana masing masing 𝑌𝑖 , 𝑖 = 1, … , 𝑝 merupakan kombinasi linear dari p-variat variabel acak 𝑋,

sehingga informasi yang dimiliki oleh p-variat variabel acak 𝑋 tetap termuat pada masing-masing anggota

dari p-variat variabel acak baru 𝑌. Dengan demikian, dapat kita pilih beberapa anggota dari p-variat variabel

acak 𝑌 sebagai bentuk reduksi dari p-variat variabel acak 𝑋 tanpa menghilangkan terlalu banyak informasi.

Proses pendefinisian p-varait variabel acak 𝑌 sering disebut juga pembobotan, dimana:

𝑌𝑖 = 𝛿Τ𝑋 = 𝛿𝑗

𝑝

𝑗=1

𝑋𝑗 , 𝑖 = 1, … . 𝑝 sehingga 𝛿𝑗2

𝑝

𝑗=1

= 1

Dengan 𝑋 = (𝑋1 ,𝑋2 , … , 𝑋𝑝)Τ dan 𝛿 = (𝛿1 , 𝛿2 , … , 𝛿𝑝)Τ . (𝛿 disebut dengan vektor pembobotan)

Agar variabel acak baru 𝑌 mampu mewakili variasi dari 𝑝-variat variabel acak 𝑋 , akan dipilih arah-arah 𝛿

sehingga 𝛿Τ𝑋 memiliki variansi yang besar:

𝑉𝑎𝑟 𝛿Τ𝑋 = 𝛿 : 𝛿 =1 𝑚𝑎𝑥 𝛿Τ 𝑉𝑎𝑟 𝑋 𝛿 𝛿: 𝛿 =1

𝑚𝑎𝑥 = 𝛿Τ (𝑥𝑖 − 𝜇)𝑇(𝑥𝑖 − 𝜇)𝑛

𝑖=1 𝛿 𝛿 : 𝛿 =1

𝑚𝑎𝑥

= ((𝑥𝑖 − 𝜇). 𝛿)2

𝑛

𝑖=1

[𝛿 : 𝛿 =1]𝑚𝑎𝑥

Dapat dilihat dari persamaan diatas bahwa memaksimumkan variansi dari 𝛿Τ𝑋 sama saja dengan

memaksimumkan jumlahan dari kuadrat panjang proyeksi (𝑥𝑖 − 𝜇) pada 𝛿.

Dari ilustrasi gambar di samping, karena jarak ke pusat ordinat selalu

konstan, dapat disimpulkan bahwa memaksimumkan jumlahan

kuadrat panjang proyeksi sama saja dengan meminimumkan jarak

antara titik yang akan diproyeksikan (𝑥𝑖 − 𝜇) dengan vektor 𝛿. Hal

ini lah yang membedakan konsep dari Principal Component analisis

dengan regresi. Untuk lebih jelasnya dapat dilihat pada gambar

berikut.

PCA Regresi

Ket: adalah panjang garis yang diminimumkan

Indah Nurina F.H/10110094/Institut Teknologi Bandung 2010

2

Sumber: http://www.cerebralmastication.com/2010/09/principal-component-analysis-pca-vs-ordinary-

least-squares-ols-a-visual-explination/

Dari persamaan yang telah dipaparkan sebelumnya, memaksimumkan variansi dari proyeksi, yaitu

𝑉𝑎𝑟 𝛿Τ𝑋 sama saja dengan memaksimumkan nilai dari 𝛿Τ 𝑉𝑎𝑟 𝑋 𝛿. Untuk memaksimumkan nilai dari

𝛿Τ 𝑉𝑎𝑟 𝑋 𝛿, kita gunakan teorema berikut:

Teorema

Jika 𝐴 dan 𝐵 merupakan matriks simetri, dan 𝐵 > 0, maka nilai maksimum dari 𝑥𝑇𝐴 𝑥

𝑥𝑇𝐵 𝑥 diberikan oleh nilai

eigen terbesar dari 𝐵−1𝐴. Secara umum,

max𝑥𝑇𝐴 𝑥

𝑥𝑇𝐵 𝑥= 𝜆1 ≥ 𝜆2 ≥ ⋯ ≥ 𝜆𝑝 = min

𝑥𝑇𝐴 𝑥

𝑥𝑇𝐵 𝑥

Dimana 𝜆1 ,𝜆2 ,… , 𝜆𝑝 menotasikan nilai eigen dari 𝐵−1𝐴. Vektor yang meminimumkan (memaksimumkan)

𝑥𝑇𝐴 𝑥

𝑥𝑇𝐵 𝑥 merupakan vektor eigen dari 𝐵−1𝐴 yang memiliki nilai eigen terkecil (terbesar). Jika 𝑥𝑇𝐵 𝑥 = 1, maka:

max 𝑥𝑇𝐴 𝑥 = 𝜆1 ≥ 𝜆2 ≥ ⋯ ≥ 𝜆𝑝 = min𝑥𝑇𝐴 𝑥

Berdasarkan teorema diatas, karena 𝑉𝑎𝑟 𝑋 merupakan matriks simetri, maka nilai dari 𝛿Τ 𝑉𝑎𝑟 𝑋 𝛿Τ

yang terbesar sama dengan nilai eigen value terbesar dari matriks kovariansi = 𝑉𝑎𝑟 𝑋 . Secara umum:

= Γ Λ Γ𝑇 = 𝜆𝑗𝛾𝑗𝛾𝑗𝑇

𝑝

𝑗=1

Λ = 𝑑𝑖𝑎𝑔𝑜𝑛𝑎𝑙(𝜆1 ,𝜆2 , 𝜆3 ,… , 𝜆𝑝)

Γ = (γ1 , γ2 ,… , γp )

max 𝛿Τ 𝑉𝑎𝑟 𝑋 𝛿Τ = 𝜆1 ≥ 𝜆2 ≥ ⋯ ≥ 𝜆𝑝 = min𝛿Τ 𝑉𝑎𝑟 𝑋 𝛿Τ

,sehingga arah 𝛿 yang memberikan nilai 𝑉𝑎𝑟 𝛿Τ𝑋 terbesar ialah vektor eigen dari 𝑉𝑎𝑟 𝑋 dengan nilai

eigen terbesar dimana vektor eigen tersebut merupakan vektor kolom dari Γ. Matriks 𝑉𝑎𝑟 𝑋 bersifat semi

definit positif sehingga nilai eigennya tidak mungkin negatif. Pada bidang aljabar, proses diatas serupa

dengan mengubah basis baku menjadi basis vektor eigen dengan vektor eigen sebagai matriks perubahan

basis. Jika nilai lambda tidak ada yang sama, maka vektor eigen yang terbentuk merupakan basis

orthonormal, yaitu vektor-vektor yang saling tegak lurus dengan masing-masing vektor memiliki panjang 1

unit.

Catatan: Principal component analysis dihitung melalui matriks kovariansinya, maka seperti halnya matriks

kovariansi, nilainya akan bergantung pada satuan yang digunakan.

B. Aplikasi Analisis Komponen Utama pada Data Nilai Mahasiswa

Berikut ialah contoh aplikasi analisis komponen utama pada data nilai wisudawan matematika

angkatan 2007 (Data dapat dilihat pada bagian lampiran). 𝜒 merupakan matriks berukuran 𝑛𝑥𝑝, dengan 𝑛

merupakan jumlah mahasiswa (101 mahasiswa) dan 𝑝 merupakan jumlah mata kuliah (14 mata kuliah).

Baris-baris matriks 𝜒 berisi nilai masing-masing mahasiswa untuk ke 14 mata kuliah. Kita Definisikan 14-

variat variabel acak 𝑋 sebagai berikut:

𝑋1 =nilai Fisika I A 𝑋8 = nilai Kalkulus Peubah Banyak

𝑋2 = nilai Kalkulus IA 𝑋9 = nilai Komputasi Matematika

𝑋3 =nila Fisika II A 𝑋10 = nilai Metode Matematika

𝑋4 =nilai Kalkulus II A 𝑋11 = nilai Pengantar Analisis Kompleks

Indah Nurina F.H/10110094/Institut Teknologi Bandung 2010

3

𝑋5 = nilai Aljabar Linier Elementer A 𝑋12 = nilai Matematika Numerik

𝑋6 = nilai Matematika Diskrit 𝑋13 = nilai Teori Peluang

𝑋7 = nilai Analisis Data 𝑋14 = nilai Pengantar Analisis Real

Langkah-langkah yang harus dilakukan untuk mencari reduksi variabel menggunakan analisis komponen

utama ialah sebagai berikut:

1. Mencari matriks kovariansi empirik dari 14-variat variabel acak 𝑿 yaitu = 𝑽𝒂𝒓 𝑿 .

Matriks Kovariansi empirik ialah matriks yang nilai-nilai kovariansi pada tiap cell-nya diperoleh

dari sampel. Misalkan Y dan Z ialah variabel acak, maka:

𝑐𝑜𝑣 𝑌, 𝑍 =1

𝑛 (𝑦𝑖 − 𝑦 )(𝑧𝑖 − 𝑧 )

𝑛

𝑖=1

Dengan 𝑦 dan 𝑧 merupakan rataan sampel dari variabel Y dan Z, dan 𝑦𝑖 dan 𝑧𝑖 merupakan nilai

observasi ke-i dari variabel Y dan Z. Pembagian dengan n digunakan karena jumlah sampel yang

dimiliki lebih dari 20. Dari data nilai yang digunakan, diperoleh matriks kovariansi berukuran

14x14.

2. Mencari nilai eigen dan vektor eigen dari matriks kovariansi empirik yang telah diperoleh.

Nilai eigen dan vektor eigen dapat dihitung menggunakan program matlab. Nilai eigen diurutkan

mulai dari nilai yang terbesar hingga terkecil. Matriks yang kolom-kolomnya berisi vektor eigen dari

nilai eigen terkait disesuaikan urutannya berdasarkan nilai eigen yang telah urut. Dengan

menggunakan algoritmat matlab , diperoleh 14 nilai-nilai eigen yang telah diurutkan,yaitu :

𝐸𝑖𝑔𝑒𝑛 = (3.4970 , 0.6452 , 0.5314 , 0.4311 , 0.3915 , 0.3630 , 0.3450 , 0.2437 , 0.2171 , 0.2046

, 0.1771 , 0.1380 , 0.1213 , 0.0936)

Masing-masing variabel baru 𝑌𝑖 yang terbentuk memiliki variansi yang besarnya sama dengan nilai

eigen yang terkait dengan vektor eigen pembentuknya. Grafik diatas ditampilkan untuk

memperjelas penurunan variansi (nilai eigen) yang terjadi.

3. Menghitung proporsi variansi masing-masing PC beserta nilai akumulasi untuk q-PC pertama.

Ukuran seberapa baik q -PC pertama mampu menjelaskan variansi diberikan melalui proporsi

relatif 𝜓𝑞 = 𝜆𝑗

𝑞𝑗=1

𝜆𝑗𝑝𝑗=1

. Tabel dibawah ini memperlihatkan proporsi variansi dari masing-masing PC

serta nilai akumulasinya jika kita menggunakan q-PC pertama.

Indah Nurina F.H/10110094/Institut Teknologi Bandung 2010

4

Pemilihan banyak PC yang akan digunakan tergantung dari kebutuhan. Dapat kita lihat bahwa 2

PC saja mampu menyerap variansi sebesar 56%, apabila persentasi ini dirasa cukup, dapat kita

gunakan 2 PC yang ada. Pemilihan 2 hingga 3 PC lebih sering dilakukan untuk mempermudah

visualisasi.

Apabila kita menginginkan jumlah PC yang lebih dari 50 persen dan memberikan akumulasi

variansi yang cukup signifikan,maka dapat kita lihat melalui kecuraman ( gradien) dari grafik

akumulasi variansi q-PC. Digunakan garis-garis linier untuk mempermudah visualisasi perubahan

gradien yang terjadi. Semakin landai gradien antara 2 titik yang ada, maka semakin kecil perubahan

akumulasi variansi yang dijelaskan.

Dari plot diatas, dapat dilihat bahwa pemilihan 3 PC dapat dibilang cukup baik karena viualisasi

yang mudah serta nilai pertambahan akumulasi PC yang signifikan. Pemilihan 3 PC mampu

menjelaskan 63% variansi dibandingkan dengan apabila kita menggunakan 14 PC yang ada.

4. Interpretasi Hasil dari Analisis Komponen Utama

Untuk mempermudah visualisasi dan interpretasi, maka kita pilih 2-PC dengan nilai eigen

terbesar. Berikut disajikan hasil PC pertama (𝑌1) dan kedua (𝑌2) dari data nilai yang telah

dipaparkan diatas:

𝑌1 =

0.0675 nilai Fisika I A + 0.1866 nilai Kalkulus IA + 0.0735 nilai Fisika II A +

0.1595 nilai Kalkulus II A + 0.2872 nilai Aljabar Linier Elementer A +

0.3110 nilai Matematika Diskrit + 0.2396 nilai Analisis Data +

𝟎. 𝟑𝟔𝟓𝟗 𝒏𝒊𝒍𝒂𝒊 𝑲𝒂𝒍𝒌𝒖𝒍𝒖𝒔 𝑷𝒆𝒖𝒃𝒂𝒉 𝑩𝒂𝒏𝒚𝒂𝒌 + 0.1915 nilai Komputasi Matematika +

0.3303 nilai Metode Matematika + 𝟎. 𝟑𝟖𝟓𝟖 𝒏𝒊𝒍𝒂𝒊 𝑷𝒆𝒏𝒈𝒂𝒏𝒕𝒂𝒓 𝑨𝒏𝒂𝒍𝒊𝒔𝒊𝒔 𝑲𝒐𝒎𝒑𝒍𝒆𝒌𝒔 +

0.3215 nilai Matematika Numerik + 𝟎. 𝟑𝟓𝟑𝟔 𝐧𝐢𝐥𝐚𝐢 𝐓𝐞𝐨𝐫𝐢 𝐏𝐞𝐥𝐮𝐚𝐧𝐠 +

0.1908 nilai Pengantar Analisis Real

Nilai dari 𝑌1 lebih banyak dijelaskan oleh variabel nilai Kalkulus Peubah Banyak, nilai Pengantar

analisis Kompleks, dan nilai Teori Peluang. Hal ini dapat dilihat dari koefisien yang cukup besar

dibanding variabel lainnya.

Indah Nurina F.H/10110094/Institut Teknologi Bandung 2010

5

Apabila sebuah variabel memiliki koefisien yan besar dan positif (negatif) pada kombinasi linear

yang mendefiniskan sebuah PC, maka dapat dikatakan bahwa terdapat korelasi yang kuat dan

positif (negatif) antara variabel tersebut dengan PC yang didefinisikan.

Dapat disimpulkan bahwa apabila nilai 𝑌1 besar, maka nilai dari Kalkulus Peubah Banyak,

Pengantar analisis Kompleks, dan nilai Teori Peluang juga besar. Namun, apabila kita melihat

koefisien-koefisien yang ada pada kombinasi linier diatas, dapat dikatakan bahwa koefisien yang

ada tidak terlalu berbeda jauh. Tidak ada nilai koefisien yang sangat besar baik koefisien yang

bernilai positif maupun negatif. Hal ini sebenarnya juga memengaruhi seberapa bermanfaat

penggunaan metode analisis komponen utama pada data. Analisis Komponen utama sebaiknya

digunakan apabila nilai korelasi antara q-PC yang digunakan dengan variabel-variabel awal (dalam

hal ini p-variat variabel acak X) memiliki nilai yang besar.

𝑌2 = −0.2355 nilai Fisika I A − 𝟎. 𝟒𝟑𝟖𝟗 𝒏𝒊𝒍𝒂𝒊 𝑲𝒂𝒍𝒌𝒖𝒍𝒖𝒔 𝑰𝑨 − 0.1441 nilai Fisika II A −

0.0497 nilai Kalkulus II A − 0.1946 nilai Aljabar Linier Elementer A −

𝟎. 𝟒𝟒𝟖𝟎 𝒏𝒊𝒍𝒂𝒊 𝑴𝒂𝒕𝒆𝒎𝒂𝒕𝒊𝒌𝒂 𝑫𝒊𝒔𝒌𝒓𝒊𝒕 − 0.1049 nilai Analisis Data +

0.1509 nilai Kalkulus Peubah Banyak + 0.2211 nilai Komputasi Matematika +

0.3993 nilai Metode Matematika + 0.0267 nilai Pengantar Analisis Kompleks +

0.1430 nilai Matematika Numerik + 0.3296 nilai Teori Peluang −

0.3438 nilai Pengantar Analisis Real

Nilai dari 𝑌2 dapat dijelaskan cukup baik oleh variabel nilai Kalkulus IA dan nilai Matematika

Diskrit. Koefisien pada kedua variabel bertanda negatif. Hal ini mengindikasikan bahwa korelasi

antara 𝑌2 dengan jumlahan dari nilai Kalkulus IA dan nilai Metematika Diskrit negatif. Artinya,

apabila nilai dari variabel 𝑌2 dari seorang mahasiswa kecil, maka dapat disimpulkan bahwa nilai

Kalkulus dan nilai Matematika Diskrit dari mahasiswa tersebut besar. Sehingga dengan melihat nilai

dari 𝑌2 , kita dapat menarik kesimpulan mengenai nilai Kalkulus IA dan nilai Matematika Diskrit.

Berikut disajikan Plot dari PC pertama terhadap PC kedua dari data yang ada.

Dari gambar scatterplot diatas, dapat disimpulkan bahwa:

1. Interval dari 𝑌1 lebih besar dari interval dari 𝑌2. Hal ini memperkuat bukti bahwa 𝑌1 memiliki

variansi yang lebih besar. Sehingga dapat dikatakan bahwa jumlahan dari nilai Kalkulus Peubah

Banyak, nilai Pengantar analisis Kompleks, dan nilai Teori Peluang menghasilkan variansi yang

besar.

2. Sebagian besar titik berada pada daerah yang dilingkupi oleh garis oval berwarna biru. Pola ini

menunjukkan kecenderungan dari mahasiswa matematika angkatan 2007.

Indah Nurina F.H/10110094/Institut Teknologi Bandung 2010

6

3. Beberapa titik berada di bagian pojok kiri bawah dari grafik. Titik-titik yang berada pada bagian

pojok kiri bawah dari grafik dapat dikatakan sebagai pencilan karena tidak mengikuti

kecenderungan yang dijelaskan pada poin 2 dan berada jauh dari garis oval berwarna biru. Titik-

titik tersebut memiliki nilai 𝑌1 dan 𝑌2 yang tergolong kecil, sehingga dapat disimpulkan bahwa

sebagian kecil mahasiswa memiliki jumlahan nilai Kalkulus Peubah Banyak, Pengantar analisis

Kompleks,dan nilai Teori Peluang yang kecil, sedangkan jumlahan nilai Kalkulus IA dan nilai

Matematika Diskrit besar .

4. Mahasiswa yang memiliki jumlahan nilai Kalkulus IA dan nilai Matematika Diskrit paling besar

memilki jumlahan nilai Kalkulus Peubah Banyak, nilai Pengantar analisis Kompleks, dan nilai

Teori Peluang yang tergolong tidak besar. (lihat titik yang dilingkupi segitiga berwarna hijau)

Plot diatas sangat berguna apabila kita memberikan pendefinisian kategori yang memasukkan

masing-masing individu ke dalam sebuah kategori. Pemberian warna pada scatterplot diatas dapat

membantu visualisasi dari kategori yang ada. Dengan melihat pola dari scatterplot dari tiap-tiap

kategori, maka kita dapat menyimpulkan karakteristik dari tiap- tiap kategori.

Indah Nurina F.H/10110094/Institut Teknologi Bandung 2010

7

Indah Nurina F.H/10110094/Institut Teknologi Bandung 2010