REGRESI POLINOMIAL

Rudi Salam

Sekolah Tinggi Ilmu Statistik

rudisalam@stis.ac.id ‐ 1

Outline

1. Model Regresi Polinomial2. Contoh 1 – Satu Variabel Independen3. Contoh 2 – Dua Variabel Independen4. Metodologi Permukaan Respon

rudisalam@stis.ac.id ‐ 2

Pengantar

• Model regresi polinomial merupakan satubentuk model dengan respon curvelinear yang penting.

• Model ini merupakan model responcurvelinear yang paling sering digunakansecara praktis, karena kemudahannya untukditangani sebagai kasus khusus dari model regresi linier umum

rudisalam@stis.ac.id ‐ 3

1Model Regresi Polinomial

Sekolah Tinggi Ilmu Statistik

rudisalam@stis.ac.id ‐ 4

Pengantar

Model regresi polinomial bisa mengandung satu, dua, atau lebih dari dua variabel independen.Lebih jauh, variabel independennya bisa dibuatdengan beberapa variasi power (pangkat).Berikut adalah diantaranya.

rudisalam@stis.ac.id ‐ 5

Pengantar

• Ordo ke‐satu (First Order) hubungannyalinier• Satu peubah penjelas

• Dua peubah penjelas

• K peubah penjelas

εXββY 10

εXβXββY 22110

εXβ....XβXββY kk22110

rudisalam@stis.ac.id ‐ 6

Pengantar

• Ordo ke‐dua• Satu variabel independen

• Dua variabel independen

• Banyaknya parameter ordo ke‐2 dengan k peubah = ½( k2+3k) + 1

εXβXββY 21110

εXXβXβXβXβXββY 21122

22221112210

rudisalam@stis.ac.id ‐ 7

Model Regresi

Model second order dengan satu variabelindependen (satu x tapi muncul dengan pangkatsatu dan dua):

Di mana

20 1 11i i i iY x x

i ix X X

0

1

11

: mean respon ketika 0 atau ketika : linear effect coefficient: quadratic effect coefficient

Y x X X

rudisalam@stis.ac.id ‐ 8

Model Regresi

• Catat bahwa variabel independen pada regresipolinomial dinyatakan sebagai deviasi di sekitar rata‐rata     , dan bahwa deviasiobservasi ke‐i ditunjukkan dengan xi.

• Alasan menggunakan deviasi di sekitar rata‐rata adalah bahwa X, X2 dan X dengan pangkatyang lebih tinggi akan mempunyai korelasiyang tinggi.

X

rudisalam@stis.ac.id ‐ 9

Model Regresi

• Ini juga akan mengakibatkan kesulitanpenghitungan dalam mendapatkan inverse dari XTX.

• Jadi, dengan menyatakan variabel independensebagai deviasi dari rata‐ratanya akanmereduksi multikolinieritas dan akanmemudahkan dalam kalkulasi matematis.

rudisalam@stis.ac.id ‐ 10

Model Regresi

• Fungsi responnya adalah:

• Merupakan bentuk parabola dan seringdisebut dengan fungsi respon kuadratik

20 1 11E Y x x

rudisalam@stis.ac.id ‐ 11

Model Regresi

• Contoh Grafik fungsi respon polinomialsecond order

rudisalam@stis.ac.id ‐ 12

Model Regresi

• Satu variabel independen – third order

• Dimana:

• Fungsi respon:

2 30 1 11 111i i i i iY x x x

i ix X X

2 30 1 11 111E Y x x x

rudisalam@stis.ac.id ‐ 13

Model Regresi

• Contoh Grafik fungsi respon polinomial third order

rudisalam@stis.ac.id ‐ 14

2CONTOH 1 :

SATU VARIABEL INDEPENDEN

Sekolah Tinggi Ilmu Statistik

rudisalam@stis.ac.id ‐ 15

Contoh

• Seorang analis ingin mengetahui hubunganantara jumlah dispenser kopi pada kafetariadan penjualan kopi. Empat belas kafetariayang mempunyai karakteristik sama dipilih. Sejumlah dispenser ditempatkan secararandom dari nol sampai enam untuk tiap‐tiapkafetaria. Datanya adalah sebagai berikut:

rudisalam@stis.ac.id ‐ 16

Contoh

X = jumlahdispender

Y = penjualankopi

1 0 508.1 ‐3 92 0 498.4 ‐3 93 1 568.2 ‐2 44 1 577.3 ‐2 45 2 651.7 ‐1 16 2 657 ‐1 17 3 713.4 0 08 3 697.5 0 09 4 755.3 1 110 4 758.9 1 111 5 787.6 2 412 5 792.1 2 413 6 841.4 3 914 6 831.8 3 9

i ix X X

3X

2ixiYiXi

rudisalam@stis.ac.id ‐ 17

Contoh

Kenapa pake deviasi di sekitar mean:• Korelasi antara X dan X^2 adalah 0.961• Korelasi antara xi‐Xbar dan xi^2 adalah 0.

rudisalam@stis.ac.id ‐ 18

Contoh

• Matriks X dan Y: 508,1 1 3 9498,4 1 3 9568,2 1 2 4577,3 1 2 4651,7 1 1 1657,0 1 1 1713,4 1 0 0

; 697,5 1 0 0755,3 1 1 1758,9 1 1 1787,6 1 2 4792,1 1 2 4841,4 1 3 9831,8 1 3 9

Y X

rudisalam@stis.ac.id ‐ 19

ix 2ix

Contoh

(Running seperti regresi berganda)• Koefisien Regresi

CoefficientsStandard Error t‐hitung

Intercept 705.47 3.21 219.91

Variable x 54.89 1.05 52.28

Variable x^2 ‐4.25 0.61 ‐7.01

rudisalam@stis.ac.id ‐ 20

Contoh

• Anova y dengan x

df SS MS F

Regression 1 168740.64 168740.64 545.49

Residual 12 3712.02 309.34

Total 13 172452.66

rudisalam@stis.ac.id ‐ 21

Contoh

• Anova y dan x serta x2

df SS MS F

Regression 2 171773.44 85886.72 1390.94

x 1 168740.64 168740.64

x^2 | x 1 3032.80 3032.80

Residual 11 679.22 61.75

Total 13 172452.66

rudisalam@stis.ac.id ‐ 22

Contoh

• (XTX)‐1 :

• MSE = 61.75• Matriks s2(b) :

12

10, 29 0 1, 470 1,10 0

1,47 0 0,37

Ts MSE X X

b

rudisalam@stis.ac.id ‐ 23

10,17 0 0,02

0 0,02 00,02 0 0,01

TX X

Contoh

• Fungsi regresi fit‐nya adalah

• Regresi fit masih dalam bentuk x

2ˆ 705,47 54,89 4,25Y x x

rudisalam@stis.ac.id ‐ 24

Contoh

Fitted 2nd orderRegresi polinomial

rudisalam@stis.ac.id ‐ 25

Contoh

• Ingat persamaan normal least square:

1 2 02

1 1 1 2 1 12

2 2 1 2 2 2

T T

i i i

i i i i i i

i i i i i i

n X X b YX X X X b X YX X X X b X Y

X X b X Y

0 1 1 2 2

21 0 1 1 1 2 1 2

22 0 2 1 1 2 2 2

i i i

i i i i i i

i i i i i i

Y nb b X b X

X Y b X b X b X X

X Y b X b X X b X

rudisalam@stis.ac.id ‐ 26

Contoh

• Dengan mengganti Xi1 dengan xi dan Xi2dengan xi2, maka persamaan normal model regresi polinomial second order bisadidapatkan.

• Karena Ʃxi=0, persamaan normal menjadi:2

0 11

2 31 11

2 2 3 40 1 2

i i

i i i i

i i i i i

Y nb b x

xY b x b x

x Y b x b x b x

rudisalam@stis.ac.id ‐ 27

Analisis Ketepatan Model

• Analisis residual

rudisalam@stis.ac.id ‐ 28

Analisis Ketepatan Model

• Uji fungsi respon kuadratik

• SSPE = (508,1‐503,25)2+(498,4‐503,25)2+(568,2‐572,75)2+…+(831,8‐836,6)2

= 291,58

xi Yi Ybar‐3 508.1‐3 498.4 503.25‐2 568.2‐2 577.3 572.75‐1 651.7‐1 657 654.350 713.40 697.5 705.451 755.31 758.9 757.12 787.62 792.1 789.853 841.43 831.8 836.6

rudisalam@stis.ac.id ‐ 29

Df : c = 7   n ‐ c = 14 – 7 = 7

Analisis Ketepatan Model

• MSPE = SSPE / df = 291,58 / 7 = 41,65• SSLF = SSE – SSPE = 679,22 – 291,58 = 387,64• Df SSLF adalah c – p = 7 – 3 = 4 (ada 3 parameter)

• MSLF = SSLF / df = 387,64 / 4 = 96,91• F* = MSLF / MSPE = 96,91 / 41,65 = 2,33• F(0,95;4,7) = 4,12 ≥ 2,33  gagal tolak H0

rudisalam@stis.ac.id ‐ 30

Uji β11 – Uji t

• Hipotesis:

• H0 menyatakan tidak ada pengaruh kuadratikpada fungsi respon.

• T‐hitung:

• T(0,975;11) = 2,201• |t*|= 7,012 > 2,201  tolak H0  adapengaruh kuadratik

* 11

11

4, 249 7,0120,606

bts b

rudisalam@stis.ac.id ‐ 31

Uji β11 – Uji F Parsial

Menggunakan ekstra sum of squares• SSR(x) = 168740,64 • SSR(x2|x) = 3032,80• MSR(x2|x) = 3032,80 / 1 = 3032,80• MSE = 61,75• F*=MSR(x2|x)/MSE = 3032,80 / 61,75 = 49,12• F(0,95;1,11) = 4,84 < 49,12  tolak H0

rudisalam@stis.ac.id ‐ 32

Estimasi Koefisien Regresi

• Akan dicari batas kepercayaan untuk duakoefisien regresi β1 dan β11 dengan koefisienkepercayaan 0,90 menggunakan metodeBonferroni (Bonferroni joint confidence).

• Jika ada g parameter diestimasi secaragabungan di mana g<p, batas kepercayaannyaadalah

• Di mana B = t( 1 – α / 2g;n – p )

k kb B s b

rudisalam@stis.ac.id ‐ 33

Estimasi Koefisien Regresi

• g = 2  B = t[1 ‐ 0,10 / 2(2); 11]= t (0,975;11) = 2,201

• b1 = 54,893 ; s(b1) = 1,050• b11 = ‐4,249 ; s(b11) = 0,606• Batas kepercayaan Bonferroni adalah54,893 ± 2,201(1,050) dan‐4,249 ± 2,201(0,606)

rudisalam@stis.ac.id ‐ 34

Estimasi Koefisien Regresi

• Interval kepercayaan:52,58 ≤ β1 ≤ 57,20‐5,58 ≤ β11 ≤ ‐2,92

• Interval cukup dekat

rudisalam@stis.ac.id ‐ 35

Koefisien Determinasi Berganda

• Ukuran deskripsi derajat hubungan antarapenjualan kopi dan jumlah dispenser digunakan koefisien determinasi berganda:

• Hasil ini menunjukkan bahwa variasi padapenjualan kopi berkurang 99,6 persen ketikahubungan kuadratik dengan jumlah dispenser digunakan.

2 171773 0,996172453

SSRRSSTO

rudisalam@stis.ac.id ‐ 36

Koefisien Determinasi Berganda

• Walaupun model regresi hanya mengandungsatu variabel independen, ukuran yang digunakan tetap R2, bukan r2.

• Pada regresi curvelinear, R2 disebut denganindeks korelasi.

rudisalam@stis.ac.id ‐ 37

Estimasi Mean Respon

• Mean respon untuk Xh=3 dengan koefisienkepercayaan 98%:

2

3 3 01 1

00

h h

h h

h

x X X

xx

X

705, 474

ˆ 1 0 0 54,893 705,4744, 249

Th hY

X b

rudisalam@stis.ac.id ‐ 38

Estimasi Mean Respon

• Nilai S2{b} sudah diketahui, maka

• T(0,99;11) = 2,718• Batas kepercayaan: 705,474 ± 2,718(3,208)• CI : 696,8 ≤ E{Yh} ≤ 714,2

2 2ˆ

10, 2912 0 1, 4702 1 1 0 0 0 1,1026 0 0 10, 2912

1, 4702 0 0,3675 0ˆ 3, 208

Th h h

h

s Y s

s Y

X b X

rudisalam@stis.ac.id ‐ 39

Fungsi Regresi dalam Bentuk X

• Fungsi regresi fit ingin dibuat dalam bentuk X bukan lagi bentuk deviasi x = X‐Xbar.

• Fungsi regresi fit yang ekivalen dalam variabelX adalah

• Nilai koefisiennya:

* * * 20 1 11Y b b X b X

* 20 0 1 11*1 1 11*11 11

2

b b b X b X

b b b X

b b

rudisalam@stis.ac.id ‐ 40

Fungsi Regresi dalam Bentuk X

rudisalam@stis.ac.id ‐ 41

3CONTOH 2 :

DUA VARIABEL INDEPENDEN

Sekolah Tinggi Ilmu Statistik

rudisalam@stis.ac.id ‐ 42

Model Regresi

Model second order dengan dua variabelindependen

Di mana:

Fungsi respon:              

1 43

2 20 1 1 2 2 11 1 22 2 12 1 2i i i i i i i iY x x x x x x

rudisalam@stis.ac.id ‐ 43

1 1 1

2 2 2

i i

i i

x X Xx X X

2 20 1 1 2 2 11 1 22 2 12 1 2E Y x x x x x x

Merupakan bentuk conicΒ12 adalah koefisien efek interaksi

Contoh

• Data i Yi Xi1 Xi2 xi1 xi2 xi1^2 xi2^2 xi1*xi21 150 0.6 10 ‐1 ‐1 1 1 12 86 1.0 10 0 ‐1 0 1 03 49 1.4 10 1 ‐1 1 1 ‐14 288 0.6 20 ‐1 0 1 0 05 157 1.0 20 0 0 0 0 06 131 1.0 20 0 0 0 0 07 184 1.0 20 0 0 0 0 08 109 1.4 20 1 0 1 0 09 279 0.6 30 ‐1 1 1 1 ‐110 235 1.0 30 0 1 0 1 011 224 1.4 30 1 1 1 1 1

mean 1.0 20

rudisalam@stis.ac.id ‐ 44