2
Asumsi Analisis Regresi Linier
1. Data Y berskala minimal interval Data X berskala minimal nominal (jika data X berskala nominal / ordinal
harus menggunakan bantuan variabel dummy)
2. Existensi untuk setiap nilai dari variabel x yang tetap, y adalah variabel random dengan distribusi probabilitas tertentu yang mempunyai mean dan varians.
3
Asumsi Analisis Regresi Linier
3. Nilai y secara statistik saling bebas
4. Linieritas, nilai rata-rata y adalah sebuah fungsi garis lurus dari x
5. Homoscedasticity. Varians dari y adalah sama pada beberapa x
6. Distribusi normal pada beberapa nilai tertentu x, y mempunyai distribusi normal
6
Regresi Linier Berganda
Model regresi linier berganda melibatkan lebih dari satu variabel bebas. Modelnya :
Dimana
Y = variabel terikat
Xi = variabel bebas ( i = 1, 2, 3, …, k)
0 = intersep
i = koefisien regresi ( i = 1, 2, 3, …, k)Model penduganya adalah
kkXXXY ...22110
kkXbXbXbbY ...22110
7
Regresi Linier Berganda
Misalkan model regresi dengan kasus 2 peubah bebas X1 dan X2 maka modelnya :
Sehingga setiap pengamatan
Akan memenuhi persamaan
22110 XXY
niYXX iii ,...,2,1;;, 21
iXXY 22110
8
Menaksir Koefisien Regresi Dengan Menggunakan Matriks
Dari hasil Metode Kuadrat Terkecil didapatkan persamaan normal :
…..
ikikii YXbXbXbnb ...22110
iikiikiiii YXXXbXXbXbXb 112122
1110 ...
ikikikikiikiki YXXbXXbXXbXb 222110 ...
9
Menaksir Koefisien Regresi Dengan Menggunakan Matriks
Tahapan perhitungan dengan matriks :
1. Membentuk matriks A, b dan g
221
1212
11
21
...
...............
...
...
kiikiikiki
kiiiiii
kiii
XXXXXX
XXXXXX
XXXn
A
10
Menaksir Koefisien Regresi Dengan Menggunakan Matriks
kb
b
b
b...1
0
ikik
ii
i
YXg
YXg
Yg
g...
11
0
11
Menaksir Koefisien Regresi Dengan Menggunakan Matriks
2. Membentuk persamaan normal dalam bentuk matriks
A b = g
3. Perhitungan matriks koefisien b
b = A-1 g
12
Metode Pendugaan Parameter Regresi
Dengan Metode Kuadrat Terkecil, misalkan model terdiri dari 2 variabel bebas
Tahapan pendugaannya :
1. Dilakukan turunan pertama terhadap b0 , b1 dan b2
n
i
n
iiiii XbXbbYe
1 1
222110
2
iiii XbXbbY
b
e22110
0
2
2
iiiii XXbXbbY
b
e122110
1
2
2
iiiii XXbXbbY
b
e222110
2
2
2
13
Metode Pendugaan Parameter Regresi
2. Ketiga persamaan hasil penurunan disamakan dengan nol
iii YXbXbnb 22110
iiiiii YXXXbXbXb 121221110
iiiiii YXXbXXbXb 222221120
14
Metode Pendugaan Parameter Regresi
3. Nilai b1 dan b2 dapat diperoleh dengan memakai aturan-aturan dalam matriks
22110 XbXbYb
2
121
1
22
1
21
12
121
11
1
22
1
n
i
n
i
n
i
n
i
n
i
n
i
n
i
XXXX
YXXXYXX
b
2
121
1
22
1
21
11
121
12
1
21
2
n
i
n
i
n
i
n
i
n
i
n
i
n
i
XXXX
YXXXYXX
b
15
Uji Kecocokan Model
1. Dengan Koefisien Determinasi
R2 menunjukkan proporsi variasi total dalam respon Y yang dapat diterangkan oleh model
r merupakan koefisien korelasi antara Y dengan kelompok X1 , X2 , X3 , … , Xk
JKT
JKRR 2
rR 2
16
Uji Kecocokan Model
2. Dengan Pendekatan Analisis Ragam
Tahapan Ujinya :
1. Hipotesis =
H0 : 0
H1 : 0
dimana
= matriks [ 0, 1, 2, … , k ]
17
Uji Kecocokan Model
2. Tabel Analisis Ragam
Komponen Regresi
SS db MS Fhitung
Regresi JKR k JKR / k JKR /k
s2
Galat JKG n – k – 1 s2 = JKG / n-k-1
Total JKT n – 1
18
Uji Kecocokan Model
3. Pengambilan Keputusan
H0 ditolak jika
pada taraf kepercayaan
Fhitung > Ftabel(1 , n-k-1)
19
Uji Parsial Koefisien Regresi
Tahapan Ujinya :
1. Hipotesis =
H0 : j 0
H1 : j 0
dimana j merupakan koefisien yang akan diuji
20
Uji Parsial Koefisien Regresi
2. Statistik uji :
Dimana :
bj = nilai koefisien bj
s =
cjj = nilai matriks A-1 ke-jj
jj
jj
cs
bt
1/ knJKG
21
Uji Parsial Koefisien Regresi
3. Pengambilan keputusan
H0 ditolak jika
pada taraf kepercayaan
thitung > t /2(db= n-k-1)
22
Pemilihan Model Terbaik
1. All Possible RegressionTahapan pemilihan :i. Tuliskan semua kemungkinan model regresi
dan kelompokkan menurut banyaknya variabel bebas
ii. Urutkan model regresi menurut besarnya R2
iii. Periksalah untuk setiap kelompok apakah terdapat suatu pola variabel yang konsisten
iv. Lakukan analisa terhadap kenaikan R2 pada tiap kelompok
23
Pemilihan Model TerbaikContoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
Pembagian kelompoknya
Kelompok A terdiri dari koefisien intersep
Kelompok B terdiri dari 1 variabel bebas
Kelompok C terdiri dari 2 variabel bebas
Kelompok D terdiri dari 3 variabel bebas
Kelompok E terdiri dari 4 variabel bebas
0YiiXY 0
jjii XXY 0
kkjjii XXXY 0
443322110 XXXXY
24
Pemilihan Model Terbaik
Persamaan regresi yang menduduki posisi utama dalam setiap kelompok adalah
Persamaan terbaiknya adalah Y = f(X1 , X4)
Kelompok Model Regresi R2
B Y = f(X4) 67,5%
C Y = f(X1 , X2) 97,9%
Y = f(X1 , X4) 97,2%
D Y = f(X1 , X2 , X4) 98,234%
E Y = f(X1 , X2 , X3, X4) 98,237%
25
Pemilihan Model Terbaik
2. Backward Elimination ProcedurTahap pemilihannya :i. Tuliskan persamaan regresi yang mengandung
semua variabelii. Hitung nilai t parsialnyaiii. Banding nilai t parsialnya
a. Jika tL < tO maka buang variabel L yang menghasilkan tL, kemudian hitung kembali persamaan regresi tanpa menyertakan variabel L
b. Jika tL > tO maka ambil persamaan regresi tersebut
26
Pemilihan Model TerbaikContoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
Model regresi yang mengandung semua variabel bebas
Model terbaiknyaY = f(X1,X2)
443322110 XXXXY Persamaan Regersi t parsial F
Y = f(X1,X2,X3,X4) 157,266*
X1 4,337*
X2 0,497*
X3 0,018
X4 0,041*
Y = f(X1,X2,X4) 166,83*
X1 154,008*
X2 5,026*
X4 1,863
Y = f(X1,X2) 229,5*
27
Pemilihan Model Terbaik
3. Stepwise Regression ProcedurTahap pemilihannya :
i. Hitung korelasi setiap variabel bebas terhadap variabel Y. Variabel bebas dengan nilai korelasi tertinggi masukkan dalam model regresi (syarat uji F menunjukkan variabel ini berpengaruh nyata)
ii. Hitung korelasi parsial setiap variabel bebas tanpa menyertakan variabel bebas yang telah mauk model. Masukkan variabel bebas dengan korelasi parsial tertinggi ke dalam model
iii. Hitung nilai t parsial variabel yang telah masuk model, jika tidak berpengaruh nyata keluarkan dari model
iv. Kembali ke langkah ii
28
Pemilihan Model Terbaik
Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
29
Model Variabel Korelasi t parsial F
riy 0,731
r2y 0,816
r3y -0,535
r4y -0,821
Y = f(X4) 22,798*
r1y.4 0,915
r2y.4 0,017
r3y.4 0,801
Y = f(X1,X4) 176,627*
r2y.14 0,358 X1 = 108,223*
r3y.14 0,320 X4 = 159,295*
Y = f(X1, X2,X4) 166,832*
X1 = 154,008*
X2 = 5,026*
X4 = 1,863
r3y.124 0,002
Y = f(X1, X2) 229,504*
Model terbaik
Y = f(X1 , X2)
Top Related