PENGGUNAAN METODE BACKWARD ELIMINATION

UNTUK MENGATASI MASALAH MULTIKOLINEARITAS

MAKALAH

Untuk memenuhi tugas matakuliah

Analisis Regresi

Yang dibina oleh Bapak Ir. Hendro Permadi

Oleh:

Kelompok 3

1. Rizky Dinar Palupi (408312408016)

2. Inayatul Fitriyah (408312411951)

3. Baharudin Kristian P (408312413111)

4. Furintasari Setya Astuti (408312413113)

UNIVERSITAS NEGERI MALANG

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

JURUSAN MATEMATIKA

Desember 2010

BAB I

PENDAHULUAN

Latar belakang

Regresi dalam statistika adalah salah satu metode untuk menentukan

hubungan suatu variabel terhadap variabel yang lain. Variabel yang pertama

disebut dengan variabel bebas atau variabel X karena seringkali digambarkan

dalam grafik sebagai absis. Variabel yang kedua adalah variabel terikat atau

variabel Y, dalam grafik digambarkan sebagai ordinat.

Apabila kita menggunakan model regresi Y = B0 + B1X1 + B2X2 + … +

BkXk + e, dalam hal ini kita mempunyai asumsi bahwa X1, X2, X3, … Xk

sebagai variable-variabel bebas tidak berkorelasi satu sama lain. Seandainya

variable-variabel bebas tersebut berkorelasi satu sama lain, maka dikatakan terjadi

kolinearitas berganda (multicollinearity). Ada kemungkinan terjadi 2 variabel atau

lebih mempunyai hubungan yang sangat kuat sehingga pengaruh masing-masing

variable tersebut terhadap Y sukar untuk dibedakan (Supranto, 2001).

Multikolinearitas adalah kondisi terdapatnya hubungan linier atau korelasi

yang tinggi antara masing-masing variabel independen dalam model regresi.

Multikolinearitas biasanya terjadi ketika sebagian besar variabel yang digunakan

saling terkait dalam suatu model regresi. Oleh karena itu masalah

multikolinearitas tidak terjadi pada regresi linier sederhana yang hanya

melibatkan satu variabel independen.

Rumusan Masalah

1. Bagaimana mendeteksi adanya kasus multikolinearitas ?

2. Bagaimana menyelesaikan kasus multikolinearitas dengan menggunakan

metode backward elimination ?

Tujuan

1. Untuk mendeteksi adanya kasus multikolinearitas pada suatu model

regresi.

2. Untuk mengetahui cara menyelesaikan kasus multikolinearitas dengan

menggunakan metode backward elimination.

BAB II

PEMBAHASAN

Dalam suatu penelitian ilmiah biasanya yang diteliti adalah hubungan

antara peubah, dimana perubah itu sebut saja hubungan antara peubah, dimana

peubah itu sebut saja peubah bebas X dan peubah tak bebas Y. Hubungan tersebut

dapat pula berupa hubungan fungsional antar peubah yang satu dengan peubah

yang lain. Tetapi masing-masing peubah merupakan bilangan random, sehingga

bilamana peubah Y dipengaruhi atau ditentukan besarnya oleh peubah X maka

dapat dikatakan bahwa permasalahan tersebut dapat diselesaikan dengan

menggunakan teknik analisis regresi (Nugroho, 1990b).

Dalam penelitian ini analisis yang dipergunakan adalah Analisis Regresi

Berganda. Menurut Nugroho (1990b) ada beberapa alas an dipergunakan Regresi

Berganda :

a. Membuat persamaan didalam X yang memberikan prediksi yang terbaik

terhadap Y. Dengan adanya banyak peubah X, mungkin juga termasuk

didalamnya pemilihan subset yang terbaik untuk memprediksi Y.

b. Dengan mengetahuinya peubah-peubah yang berpengaruh terhadap Y,

mungkin perlu membuat rangking yang didasarkan pada besarnya

pengaruh terhadap Y.

Analisis Regresi Linier Berganda merupakan bentuk umum sedangkan

Regresi Linier Sederhana merupakan bentuk khusus dari Regresi Linier Berganda

yaitu apabila satu peubah bebas yang dilibatkannya (Yitnosumartono, 1988)

Dalam melakukan analisis harus diperhatikan beberapa asumsi yang

mendasarinya:

a. Nilai harapan bersyarat galat yang disebabkan oleh peubah bebas X harus

sama dengan nol atau E(qI) = 0, I = 1,2,3,....n

b. Setiap galat yang disebabkan peubah bebas mempunyai varian yang sama

artinya var (qI) = 02,

untuk setiap I, I = 1,2,3,...n

c. Tidak ada multikolinieritas yang berarti tidak ada hubungan linier antara

peubah bebas.

Dalam regresi linier berganda terdapat satu peubah tak bebas yang akan

dilihat hubungannya dengan dua atau lebih peubah bebasnya, umpakan bahwa

pengamatan-pengamatan Y dapat dinyatakan dengan fungsi-fungsi linier dari

beberapa X1,X2,X3,...Xn yang diketahui dan faktor sisa. Model populasinya adalah

sebagai berikut:

Yi = ß0 + ß1X1i + ß2X2i +...+ ßpXpi + qI........................................5.8

I = 1,2,3...N

Dimana Yi = Nilai pengamatan yang ke-1

X1.....Xn = peubah bebas yang menentukan nilai pengamatan ke-i

ß1...........ßp= koefisien-koefisien regresi sebagian (parsial) untuk peubah

X1i,... Xpi.

Secara berturut-turut

ß0 = titik potong sumbu Y

e i = faktor sisaan yang ke-i

N = banyaknya pengamatan

Nilai-nilai parameter tersebut dapat diduga dengan b0, b1, ...bp sehingga

modelnya menjadi :

Yi = b0 + b1X1i + b2X2i +...+ bpXpi + e i ........................................5.9

Menurut Soekarwati (1990) didalam menggunakan teknik analisis regresi

berganda mempunyai dua keuntungan dalam menganalisis data dibandingkan

dengan analisis regresi linier sederhana yaitu:

a. Dalam prakteknya, faktor yang mempengaruhi adalah lebih dari satu

peubah, dan

b. Garis penduga yang didapatkan akan lebih baik dan tidak begitu biasa bila

dibandingkan dengan cara analisis sederhana

Untuk mendapatkan garis penduga yang baik dari analisis regresi berganda

adalah perlu ada asumsi seperti yang telah disebutkan diatas. Dalam penelitian

analisis regresi linier berganda sering digunakan untuk mengukur pengaruh dari

peubah X terhadap peubah Y, akan tetapi analisis regresi mempunyai keterbatasan

yaitu bila ada hubungan kolerasi sehingga arti koefisien regresi akan

membingungkan (Nugroho,1990b)

Dari persamaan (5.9) terlihat apabila nilai harapan bersyarat Y ambil maka

oleh karena E (e i ) = 0 dapatkan hasil sebagai berikut :

E (Yi/K1,X2,,,,Xp) = b0 + b1X1 + b2X2 +...+ bpXp

Persamaan ini merupakan nilai harapan bersyarat Y dengan X1,X2,...Xp

diketahui, Analisa regresi berganda menghasilkan nilai bersyarat Y bila X1, X2,...,

Xp diketahui, karena Y tergantung pada peubah X1,X2,...Xp maka disebut rata-rata

bersyarat alasannya adalah karena Y akan berubah bila X1, X2,...Xp berubah.

Metode yang digunakan kuadrat terkecil biasa terdiri dari pemilihan nilai

dari parameter yang tidak diketahui sedemikian rupa sehingga jumlah galat bisa

minimum atau dikemukakan secara sederhana, cara menghitung b0, b1,...bp adalah

sedemikian sehingga Se2 = minimum, caranya dengan menurunkan parsial dari

Se2 berturut-turut tehadap b0, b1, b2,...,bp kemudian disamakan dengan nol

01....2 221101

0

2

pp XbxbxbbYb

e

0....2 221101

1

2

lpp XXbxbxbbYb

e

0....2 221101

2

lpp XXbxbxbbYe

: : :

: : :

: : :

0....2 221101

1

2

ppp

p

XXbxbxbbYb

e

Setelah sederhana didapat persamaan normal sebagai berikut:

SY = b0 + b1X1 + b2X2 +...+ bpXp

ppX XXbXbXbbYX 1

2

12211101 .....

22

221102 ..... pppp XbXbXXbbYX

: :

: :

: :

2

22110 ..... pppppp XbXXbXXbbYX

Persamaan diatas dapat ditulis dalam catatan matrik:

X b y

2

21

2

2

221

121

2

1

21

..................

....................

.................

................

ppppp

p

p

pp

XbXXXXX

XbXXX

XbXXX

XbXXn

pb

b

b

b

2

1

0

YX

YX

YX

p

y

2

1

Dimana matrik pertama diberi nama matrik X selanjutnya ditulis vektor b dan

vektor Y.

Analisis varian adalah menguraikan keragaman total kedalam komponen-

komponennya:

nIeXXbXXbXXXXbYYY ippiiii ,...3,2,1,....22111

pp XbXbXbYb ......22110 dimana 1 ii Ye

Sehingga:

iiippipiii YYYYXXbXXbXXbYy .......222111

Dengan mengkuadratkan iY dan dijumlahkan menurut I didapatkan:

IiiIiii YYYYYYYYY222

2

YYYYYYYYYYYYY iIIiiIIiIii

2

YYYYY iIi

Sehingga dapat ditulis jadi

YYY Ii

2

niYYXXYY iiIji ,...3,2,1,2222

222 dY

Dimana

2Y = JK Total = 2

YY

2Y = JK Regresi = b1X1 Y + b2X2 Y+...+ bp(XpY)

YXbYd 11

22 - b2X2 Y...- bp(XpY)

Tabel 1. Analisis varian regresi linier berganda dengan p peubah bebas

SB DB JK KT F

Regresi P 2

YYi

=JKR

JKR/p=r r/d

Galat n- P - 1 2

YYi

=JKG

JKG/n-p-1=d

Total n-1 2

YYi

Setelah perhitungan selesai dilakukan maka dari hasil perhitungan itu bisa

dibuat persamaan. Karena peubah Y dipengaruhi oleh beberapa peubah maka bisa

diuji apakah masing-masing peubah itu secara sendiri-sendiri bisa dipengaruhi

peubah Y atau bisa juga kita menguji apakah peubah Y itu dipengaruhi oleh

beberapa variabel X secara bersama-sama. Dengan Hipotesis sebagai berikut:

H0 : ß1= ß2=.....

H1 : Salah satu beda

Apabila Fhit > F tabel maka H0 ditolak yang berarti bahwa X1,X2,X3 adalah

mempengaruji Y secara bersama-sama.

Berdasarkan dari matriks korelasi kita dapat mengetahui gambaran

kolinearitas ganda antara peubah bebas secara kasar dengan jalan menggunakan

metode membanding koefisien korelasi dalam matriks korelasi dengan nilai kritis

r pada taraf nyata α. Dari koefisien yang terpilih lalu dihitung korelasi parsialnya

setelah itu langsung dilakukan pengujian hipotesis dimana :

H0 : R = I

HI : R ≠ I

Adapun statistic uji yang digunakan adalah :

thit = √

√

dimana :

n = banyaknya pengamatan

k = banyaknya peubah bebas

Bila mana H0 benar maka thit mengikuti distribusi t dengan derajat bebas

n-k pada taraf nyata α, jika thit > t α1/2(n-k) maka H0 ditolak yang berarti

kolinearitas ganda disebabkan karena Xi dan Xj terjadi secara bersama-sama

dalam regresi.

Mendeteksi Kolinearitas Ganda

Beberapa cara mengetahui apakah suatu model regresi itu mempunyai

kolinearitas ganda atau tidak adalah sebagai berikut:

a. Suatu model yang variable-variabel penjelasnya bersifat kolinearitas

memperlhatkan tanda-tanda sebagai berikut:

1. Koefisien determinasi ganda R2 tinggi

2. Koefisien korelasi sederhananya tinggi

3. Nilai F hitung tinggi

4. Tak satupun (sedikit sekali diantaranya) variable-variabel

bebas memiliki uji-t yang significan, walaupun keadaan 1, 2

dan 3 terpenuhi.

b. Jika hanya ada dua variable bebas yang ternyata korelasi antara kedua

variable itu tinggi, maka dapat merupakan indikasi bahwa dalam model

tersebut terjadi kolinearitas. Akan tetapi apabila model itu mempunyai

lebih dari dua variable bebas, walaupun korelasi antara dua variable

rendah, tidak dapat menjadi jaminan bahwa model tersebut tida bersifat

multikollinearitas.

c. Apabila model yang akan diuji adalah: Y = f( X2, X3, X4)

dengan koefosien determinasi gandanya adalah tinggi yakni: R21.234 =

mendekati 1, akan tetapi r212.34, r

213.24, r

214.23 mempunyai nilai yang sangat

rendah dibandingkan nilai kofisien determinasi ganda antara Y dengan X2,

X3, dan X4 berarti ada kolinearitas ganda.

d. Mengadakan uji F antara variable-variabel bebasnya. Jika F hitung

dibandingkan dengan F tabel dan ternyata signifikan maka dapat dianggap

bahwa ada multikolinearitas (Awat, 1995).

Akibat Adanya Kolinearitas Ganda

Jika hubungan antar variable bebasnya sempurna, maka koefisien

regresi parsial tak akan dapat diestimasi.

Kalau hubungan tersebut tidak sempurna, maka koefisien regresi

parsial masih bisa diestimasi, tetapi kesalahan baku dari penduga

koefisien regresi parsial sangat besar. Hal ini menyebabkan

pendugaan/peramalan nilai Y kurang teliti.

Cara Mengatasi Masalah Kolinearitas Ganda

Memeriksa secara teoritis untuk mengetahui apakah antara variable

bebas memang ada hubungannya.

Mengadakan penggabungan antara data cross-section dan time series,

yang akan disebut sebagai polling data.

Mengeluarkan salah satu variable bebasnya dari model tersebut.

Mentransformasi variable yang ada dalam model.

Menambah data baru, yakni menambah jumlah observasi atau n.

Dengan semakin besarnya n, maka ada kemungkinan bahwa standard

error akan semakin kecil pula.

APLIKASI

TEKAN

AN

DARAH

(Y)

UMUR

(X1)

OLAHRAG

A/MINGGU

(X2)

BERAT

BADAN

/kg (X3)

sLAMA

ISTIRA

HAT /

jam (X5)

158 41 0 60 7

185 60 0 63 3

152 41 1 70 4

159 47 0 75 2

176 66 1 69 6

156 47 3 65 5

184 68 5 84 3

138 43 4 52 6

172 68 0 78 7

168 57 2 75 5

176 65 1 57 4

164 57 3 77 6

154 61 2 68 7

124 36 6 70 5

142 44 3 67 5

144 50 3 71 3

149 47 2 70 2

128 19 4 45 6

130 22 5 55 5

138 21 6 52 3

Dari data di atas maka didapat persamaan regresinya sebagai berikut :

Dari dua tampilan di atas terlihat adanya perubahan tanda pada variabel x3

dari negative menjadi positif. Hal ini menunjukan adanya kasus multikolinearitas

pada model di atas. Karena ada hubungan anatara variable bebasnya maka kita

akan menyelesaikan model di atas dengan cara Backward Elmination.

Dari tampilan data di atas dengan α = 0,1 terlihat bahwa p-value pada

variabel x3(berat badan) sangat tinggi, yaitu 0,427 yang melebihi nilai α. Maka

dari itu variable x3 (berat badan ) harus dieliminasi dari model. Sehingga didapat

persamaan regresi sebagai berikut :

Ternyata nilai p-value dari x4 > α = 0,1 sehingga variabel x4 ( lama

istirahat ) dieliminasi dari model regresi. Sehingga didapat persamaan regresi

sebagai berikut :

Ternyata nilai p-value dari x2 > α = 0,1 sehingga variable x2 harus

dihapus dari model regresi. Sehingga didapat persamaan regresinya sebagai

berikut :

Karena nilai p-value dari x1 < α = 0,1 dengan R-Sq = 73,9% maka dalam model

ini tidak terjadi kasus multikolinearitas, sehingga ini merupakan model terbaik

untuk masalah di atas.

BAB III

PENUTUP

Kesimpulan

Dalam setiap kasus regresi, mungkin saja terjadi kasus multikolinearitas.

Adapun cara untuk mengetahui adanya multikolinearitas atau tidak adalah sebagai

berikut :

Beberapa cara mengetahui apakah suatu model regresi itu mempunyai

kolinearitas ganda atau tidak adalah sebagai berikut:

e. Suatu model yang variable-variabel penjelasnya bersifat kolinearitas

memperlhatkan tanda-tanda sebagai berikut:

5. Koefisien determinasi ganda R2 tinggi

6. Koefisien korelasi sederhananya tinggi

7. Nilai F hitung tinggi

8. Tak satupun (sedikit sekali diantaranya) variable-variabel

bebas memiliki uji-t yang significan, walaupun keadaan 1, 2

dan 3 terpenuhi.

f. Jika hanya ada dua variable bebas yang ternyata korelasi antara kedua

variable itu tinggi, maka dapat merupakan indikasi bahwa dalam model

tersebut terjadi kolinearitas. Akan tetapi apabila model itu mempunyai

lebih dari dua variable bebas, walaupun korelasi antara dua variable

rendah, tidak dapat menjadi jaminan bahwa model tersebut tida bersifat

multikollinearitas.

g. Apabila model yang akan diuji adalah: Y = f( X2, X3, X4)

dengan koefosien determinasi gandanya adalah tinggi yakni: R21.234 =

mendekati 1, akan tetapi r212.34, r

213.24, r

214.23 mempunyai nilai yang sangat

rendah dibandingkan nilai kofisien determinasi ganda antara Y dengan X2,

X3, dan X4 berarti ada kolinearitas ganda.

h. Mengadakan uji F antara variable-variabel bebasnya. Jika F hitung

dibandingkan dengan F tabel dan ternyata signifikan maka dapat dianggap

bahwa ada multikolinearitas (Awat, 1995).

Untuk mengatasi masalah multikolinearitas dapat dilakukan dengan berbagai

metode. Dalam hal ini kami menggunakan metode backward. Sistem kerja metode

eliminasi backward adalah memasukkan semua variable kemudian akan

dieliminasi satu per satu variable yang mempunyai kolinearitas yang sangat kuat

terhadap variable lain. Kemudian akan ditemukan persamaan regresi terbaik. Dari

masalah mengenai tekanan darah yang telah dibahas di atas maka didapat

persamaan y = 105 + 1,04 x1(umur). Persamaan ini adalah persamaan terbaik

yang sudah tidak terjadi kasus multikolinearitas.