Regresi Komponen Utama(Principal Component Regression)

Latar BelakangAsumsi-asumsi dalam analisis regresi: (1) i ~ N(0, 2)(2) Tidak terdapat multikolinearitas di antara peubah bebas.

Multikolinearitas menyebabkan:Koefisien-koefisien regresi dugaan memiliki ragam yang sangat besarImplikasinya, statistik t menjadi lebih kecil yang berakibat pada pengujian koefisien akan cenderung untuk menerima Ho sehingga koefien-koefisien regresi tidak nyataPada akhirnya seringkali persamaan regresi yang dihasilkan menjadi misleading

Mendeteksi MultikolinearMatriks korelasi antar peubah bebas XVIF (Variance Inflation Factor) yaitu kenaikan ragam koefisien regresi karena korelasi.

Ri2 adalah koefisien determinasi dari regresi peubah bebas ke-i dengan semua peubah bebas lainnya. VIF > 10, indikasi adanya multikolinear

Mengatasi multikolinearMembuang peubah bebas yang mempunyai multikolinearitas tinggi terhadap peubah bebas lainnyaMenambah data pengamatan/contoh Melakukan transformasi terhadap peubah-peubah bebas yang mempunyai kolinearitas Ridge RegressionPartial Least Square RegressionPrincipal Component Regression (Regresi Komponen Utama)

Analisis Komponen Utama Analisis komponen utama pada dasarnya bertujuan untuk menyederhanakan peubah-peubah yang diamati dengan cara mereduksi dimensinya. Hal ini dilakukan dengan menghilangkan korelasi di antara peubah melalui transformasi peubah asal ke peubah baru (komponen utama) yang tidak berkorelasi.

Analisis komponen Utama (lanjutan) Rpxp, simetrik dan non singular direduksi

V` R V = D, v matriks orthogonal 1, 2, , p 0 adalah akarciri-akarciri dari matriks R yang merupakan unsur-unsur diagonal matriks D R I= 0 Matriks V yaitu v1, v2, ..., vp adalah vektorciri-vektorciri dari matriks R. (R I)vj = 0

Analisis Komponen Utama (Lanjutan) Persamaan Regresi Linier Berganda: Y = X + X dibakukan ZKarena V orthogonal VV`= I Persamaan regresi awal dapat dituliskan: Y = 0 1 + ZVV` + Y = 0 1 + W + dengan W = ZV dan = V`Komponen utama Wj dapat dinyatakan dalam bentuk persamaanberikut:Wj = v1j Z1 + v2j Z2 + ... + vpj Zp

Pemilihan Komponen UtamaMenggunakan akar ciri yang lebih besar dari 1 Dipilih k penyumbang keragaman terbesar, di mana

r = rank matriks korelasi non singular

Tahapan Analisis Regresi Komponen UtamaMembakukan peubah bebas asal yaitu X menjadi Z Mencari akar ciri dan vektor ciri dari matriks RMenentukan persamaan komponen utama dari vektor ciriMeregresikan peubah respon Y terhadap skor komponen utama WTransformasi balik

Secara teori atau fakta menyatakan bahwa pengaruh keempat peubah bebas tersebut adalah positif artinya keempat peubah bebas akan menambah pendapatan per kapita yang ingin dicari model hubungannya.Contoh 1:

Y = Pendapatan per kapita (dalam puluh ribu rupiah)X1 = Kontribusi industri manufaktur dalam produk domestik regional bruto (dalam %) X2 = Banyaknya tenaga kerja dalam sektor industri manufaktur (dalam %, persentase dari total tenaga kerja di daerah ituX3 = Produktifitas tenaga kerja industri manufaktur (dalam satuan juta rupiah per tenaga kerja, nilai tambah industri manufaktur per tenaga kerja)X4 = Investasi dalam industri manufaktur per tenaga kerja (jumlah investasi dalam industri manufaktur dibagi dengan banyaknya tenaga kerja industri manufaktur)

Contoh 1 (lanjutan)

Tabel 1 adalah data tentang proses industrialisasi yang terjadi di 15 kabupaten di suatu propinsi, data diambil dari Gasperz (1992) dalam Simatupang (2002).Tabel 1. Data proses industrialisasi di 15 kabupaten

No.YX1X2X3X4167.59.756.51.610.65268.910.510.2520.75370.6511.2511.92.50.9473.612.611.752.71.15571.8911.9112.250.95684.515.213.53.251.75772.3412.25122.91.05877.6512.912.631980.2514.313.23.11.71079.8713.2512.93.051.251186.7515.3143.251.81265.758.99.251.90.61370.210.610.51.950.51489.2517.25153.52158516.914.93.41.95

Contoh 1 (lanjutan) Tabel 2. Koefisien-koefisien regresi dan ANOVA untuk X1, X2, X3, X4

Regression Analysis: Y versus X1, X2, X3, X4 The regression equation is Y = 41.7 + 2.35 X1 - 0.248 X2 + 2.05 X3 + 1.57 X4 Predictor Coef SE Coef T P VIF Constant 41.658 6.345 6.57 0.000 X1 2.347 1.066 2.20 0.052 24.7 X2 -0.2483 0.8428 -0.29 0.774 12.2 X3 2.052 3.526 0.58 0.573 16.0 X4 1.569 4.492 0.35 0.734 18.1 S = 2.02669 R-Sq = 94.9% R-Sq(adj) = 92.9% Analysis of Variance Source DF SS MS F P Regression 4 763.97 190.99 46.50 0.000 Residual Error 10 41.07 4.11 Total 14 805.05

Contoh 1 (Lanjutan)

Tabel 3. Korelasi antar peubah bebas

X1X2X3X4X11.0000.9090.9330.969X20.9091.0000.9520.864X30.9330.9521.0000.911X40.9690.8640.9111.000

Contoh 1 (Lanjutan)

Tabel 4. Hasil pembakuan peubah-peubah X

Z1Z2Z3Z4-1.23053-2.42986-1.76149-1.07131-0.93346-0.75794-1.12579-0.87652-0.63639-0.02229-0.31079-0.58435-0.10166-0.089170.01521-0.09739-0.37893-0.42355-0.71829-0.486960.928180.691060.911711.07131-0.24030.022290.34121-0.292170.017160.28980.50421-0.389570.57170.557310.667210.973910.15580.423550.585710.097390.967790.913980.911711.1687-1.56721-1.20379-1.28879-1.1687-0.89385-0.64648-1.20729-1.363481.740171.359831.319211.558261.601541.315251.156211.46087

Contoh 1 (Lanjutan) Tabel 5. Akar ciri dan vektor cirikomponen utama pertama dapat dinyatakan dalam:W1 = 0.506 Z1 0.494 Z2 0.504 Z3 0.497 Z4

Principal Component Analysis: X1, X2, X3, X4 Eigenanalysis of the Correlation Matrix Eigenvalue 3.7694 0.1625 0.0442 0.0239 Proportion 0.942 0.041 0.011 0.006 Cumulative 0.942 0.983 0.994 1.000

Variable PC1 PC2 PC3 PC4 Z1 -0.506 0.340 0.357 -0.708 Z2 -0.494 -0.639 0.507 0.301 Z3 -0.504 -0.318 -0.781 -0.187 Z4 -0.497 0.612 -0.075 0.611

Contoh 1 (Lanjutan)

Tabel 6. Skor Komponen Utama

W1W2W3W43.243231.03882-0.21517-0.185341.84978-0.011490.2274590.1077170.78008-0.460920.0480570.1449350.13623-0.04203-0.08608-0.017211.005010.072210.247484-0.02242-1.802990.23971-0.110670.0349360.08382-0.38326-0.31906-0.06549-0.21236-0.5781-0.21152-0.25724-1.38490.22212-0.107490.233282-0.63167-0.34433-0.19439-0.03284-1.981560.170330.009190.1334982.61807-0.06904-0.075620.2741752.05777-0.341340.398283-0.16907-2.991620.256870.1635-0.11733-2.76890.230460.226011-0.06162

Contoh 1 (Lanjutan)

Tabel 7. Koefisien Regresi dan ANOVA untuk W1

Regression Analysis: Y versus W1 Y = 76.3 - 3.75 W1 Predictor Coef SE Coef T P Constant 76.2733 0.5588 136.50 0.000 W1 -3.7532 0.2978 -12.60 0.000 S = 2.16418 R-Sq = 92.4% R-Sq(adj) = 91.9% Analysis of Variance Source DF SS MS F P Regression 1 744.16 744.16 158.88 0.000 Residual Error 13 60.89 4.68 Total 14 805.05

Contoh 1 (Lanjutan)

Y = 76.3 3.75 W1

Selanjutnya dilakukan transformasi W menjadi Z, sehingga diperoleh persamaan regresi dalam peubah baku sebagai berikut: Y = 76.3 3.75 (0.506 Z1 0.494 Z2 0.504 Z3 0.497 Z4) Y= 76.3 + 1.897 Z1 + 1.852 Z2 + 1.890 Z3 + 1.864 Z4

Untuk memperoleh persamaan penduga pendapatan perkapita dengan menggunakan peubah asli, maka persamaan di atas ditransformasi ke peubah asalnya menjadi: Y = 44.0187 + 0.7528 X1 +0.8268 X2 + 3.0984 X3 + 3.6549 X4

Contoh 2:

Data disajikan pada tabel 9, diambil dari (Myers, 1990):

Tabel 9. Data untuk contoh 2

No.YX1X2X3X4117.68.8258983.1158.2210.98.5118624.296.239.27.72914.531.8416.24.912769.195.0510.19.66633158.2407.2611.710.012125132.2404.6717.911.536717501.51180.6821.111.643319904.01807.5914.711.210530227.6470.0107.710.7393166.6151.4118.410.0153643.493.81232.86.8614001253.03293.4

Contoh 2 (Lanjutan)

Tabel 10. Koefisien-koefisien regresi dan ANOVA untuk X1, X2, X3, X4

Regression Analysis: Y versus X1, X2, X3, X4 The regression equation is Y = 22.0 - 1.28 X1 + 0.000150 X2 + 0.0155 X3 - 0.00285 X4 Predictor Coef SE Coef T P VIF Constant 21.972 5.846 3.76 0.007 X1 -1.2776 0.6400 -2.00 0.086 2.1 X2 0.0001503 0.0002616 0.57 0.584 34.7 X3 0.01553 0.02004 0.78 0.464 79.2 X4 -0.002854 0.008578 -0.33 0.749 86.0 S = 3.00412 R-Sq = 88.6% R-Sq(adj) = 82.0% Analysis of Variance Source DF SS MS F P Regression 4 489.54 122.38 13.56 0.002 Residual Error 7 63.17 9.02 Total 11 552.71

Contoh 2 (Lanjutan)

Tabel 11. Korelasi antar peubah bebas

X1X2X3X4X11.0000.1310.080-0.015X20.1311.0000.9820.974X30.0800.9821.0000.989X4-0.0150.9740.9891.000

Contoh 2 (Lanjutan)

Tabel 12. Hasil pembakuan peubah-peubah X

Z1Z2Z3Z4-0.23273-0.61463-0.49938-0.53548-0.37972-0.68340-0.64582-0.59880-0.77168-0.72727-0.69480-0.66458-2.14356-0.67899-0.68337-0.600030.15924-0.41640-0.31266-0.281160.35522-0.14719-0.37730-0.283811.090151.058270.540900.508771.139151.381891.541651.149070.94317-0.22537-0.14010-0.217020.69819-0.54885-0.54040-0.542420.35522-0.66625-0.59809-0.60125-1.212642.268192.409372.66672

Contoh 2 (Lanjutan)

Tabel 13. Akar ciri dan vektor ciriKomponen utama pertama W1 dan komponen utama kedua W2 dapat dinyatakan dalam:W1 = 0.508 Z1 0.576 Z2 0.578 Z3 0.575 Z4 W2 = 0.993 Z1 0.034 Z2 + 0.019 Z3 + 0.114 Z4

Principal Component Analysis: X1, X2, X3, X4 Eigenanalysis of the Correlation Matrix Eigenvalue 2.9692 1.0046 0.0194 0.0067 Proportion 0.742 0.251 0.005 0.002 Cumulative 0.742 0.993 0.998 1.000 Variable PC1 PC2 PC3 PC4 X1 -0.058 -0.993 0.077 0.073 X2 -0.576 -0.034 -0.815 -0.056 X3 -0.578 0.019 0.455 -0.677 X4 -0.575 0.114 0.352 0.730

Contoh 2 (Lanjutan) Tabel 14. Skor Komponen Utama

W1W2W3W40.964090.181090.067378-0.0352761.133260.319280.0231930.0108211.247270.70140-0.016775-0.0301061.254862.06917-0.134289-0.0933020.57312-0.182070.1105220.0413730.44560-0.38734-0.1239610.082431-1.27784-1.04960-0.3530110.025275-2.41376-1.016710.067272-0.1995890.28121-0.956090.1165210.0177270.90020-0.746830.0646770.0515301.05480-0.410210.0868850.029245-4.162821.477920.0915870.099872

Contoh 2 (Lanjutan)

Tabel 15. Koefisien Regresi dan ANOVA W1 dan W2 terhadap Y

Regression Analysis: Y versus W1, W2 The regression equation is Y = 14.9 - 3.62 W1 + 2.29 W2 Predictor Coef SE Coef T P VIF Constant 14.8583 0.7851 18.93 0.000 W1 -3.6218 0.4759 -7.61 0.000 1.0 W2 2.2852 0.8181 2.79 0.021 1.0 S = 2.71966 R-Sq = 88.0% R-Sq(adj) = 85.3% Analysis of Variance Source DF SS MS F P Regression 2 486.14 243.07 32.86 0.000 Residual Error 9 66.57 7.40 Total 11 552.71

Contoh 2 (Lanjutan)

Y = 14.9 3.62 W1 + 2.29 W2

Selanjutnya dilakukan transformasi W menjadi Z, sehingga diperoleh persamaan regresi dalam peubah baku sebagai berikut:

Y= 14.9 2.064 Z1 + 2.008 Z2 + 2.137 Z3 + 2.342 Z4

Untuk memperoleh persamaan penduga maka persamaan di atas ditransformasi ke peubah asalnya menjadi:

Y= 19.6493 1.0113 X1 + 0.0001 X2 + 0.0053 X3 + 0.0024 X4

*