Pengenalan Pola

PTIIK - 2014

Regresi Linier

Course Contents

Definisi Regresi Linier 1

Model Regresi Linear 2

Estimasi Regresi Linear 3

Studi Kasus dan Latihan 4

Regresi adalah membangun model untuk memprediksi

nilai dari data masukan yang diberikan.

Prediksi berbeda dengan klasifikasi (catatan: dalam

machine learning, klasifikasi dianggap sebagai salah

satu jenis dari prediksi).

Klasifikasi digunakan untuk memprediksi label

kelas/kategori.

Metode utama untuk melakukan prediksi : Membangun

model regresi yaitu dengan mencari hubungan antara

satu atau lebih variabel independen atau prediktor (X)

dengan variabel dependen atau respon (Y).

Definisi Regresi Linier

Macam-Macam Analisis Regresi :

• Linear and multiple regression.

• Non-linear regression (neural networks, support

vector machines).

• Other regression methods : generalized linear model,

Poisson regression, log-linear models, regression

trees.

Definisi Regresi Linier

Model Regresi Linier

Model regresi linier sederhana

mendefinisikan hubungan linier

yang tepat antara nilai yang

diharapkan atau rata-rata Y,

variabel terikat Y, dan variabel

independen atau prediktor X:

my|x= a+b x

Nilai yang diamati Realisasi Y (y)

berbeda dari nilai yang diharapkan

(my|x) dengan kesalahan yang tak

dapat dijelaskan atau acak ():

y = my|x +

= a+b x +

Model Regresi Linier Sederhana :

y adalah variabel respon (dependent), atau variabel

yang ingin kita prediksi, x adalah variabel prediktor

(independen) dan adalah variabel tingkat kesalahan

yang merupakan satu-satunya komponen acak dalam

model regresi. a adalah titik potong garis regresi pada

sumbu koordinat. b adalah besarnya gradien/kemiringan

garis regresi.

my|x adalah mean dari y dengan syarat x telah ditentukan,

atau disebut sebagai rata-rata bersyarat y.

y= a + b x + dengan my|x=a+b x

Model Regresi Linier

Model Umum Regresi Linier :

Keterangan :

a dan b adalah parameter yang akan ditentukan nilainya untuk

membangun persamaan regresi. Parameter tersebut tidak

diketahui sebelumnya. Kita perkirakan nilainya dengan

menghitung dari data yang ada.

b menunjukkan tingkat perubahan untuk setiap kenaikan nilai X.

X telah diketahui sebelumnya dan bernilai konstan.

Deviasi/Penyimpangan nilai bersifat independent dan

berdistribusi Normal ~ N(0,2).

Hasil Estimasi Persamaan Regresi :

xbby 10ˆ

Model Regresi Linier

y= a + b x +

Visualisasi Regresi Linier

Hubungan antara X dan Y

adalah Stright-Line (linear).

Nilai-nilai variabel X

independen diasumsikan tetap

(tidak acak), satu-satunya

keacakan dalam nilai-nilai Y

berasal dari kesalahan

Kesalahan tidak berkorelasi

(yaitu Independent) dalam

pengamatan berturut-turut.

Kesalahan biasanya

didistribusikan dengan mean 0

dan varians 2 yaitu: ~ N(0,2)

X

Y LINE assumptions of the Simple

Linear Regression Model

Identical normal

distributions of errors,

all centered on the

regression line.

my|x=a + b x

x

y

N(my|x, y|x2)

Estimasi Persamaan Umum Regresi :

Menghitung sum of squared errors (SSE):

Metode least squares/ kuadrat terkecil memberikan kita

hasil estimasi "terbaik" untuk kita set pada data sampel.

Metode least squares / kuadrat terkecil memilih nilai-nilai

b0 dan b1 untuk meminimalkan sum of squared errors

(SSE).

xbby 10ˆ

2

1

10

1

2)ˆ(

n

i

n

i

ii xbbyyySSE

221

x xn

x -xy n b

y n

xb-y xb y b

1

10

Estimasi Regresi Linier

. { ˆError e y y

i i i

ˆ the predicted value of for y xY

Y

X

ˆ the fitted regression liney xa b

ˆi

y

xi

yi

X

Y

Data

X

Y

Three errors

from a fitted line

X

Y

Three errors from the

least squares regression

line

e

X

Errors from the least

squares regression

line are minimized

Perhatikan data biaya iklan yang digunakan (X) dan hubungannya

dengan Tingkat penjualan (Y) diberikan dalam dataset berikut :

Tentukan persamaan Regresinya!

No X Y

1 1250 41

2 1380 54

3 1425 63

4 1425 54

5 1450 48

6 1300 46

7 1400 62

Contoh Studi Kasus

Penyelesaian :

Mengestimasi least squares/kuadrat terkecil dari koefisien Regresi :

Hasil Estimasi Persamaan Regresinya adalah :

508695368

1328065096307 2

xyy

xxn

075.0)9630()13280650(7

)368)(9630()508695(7

)( 2221

xxn

yxxynb

3125.50

7

)9630(075.0368

n

xb-y 1

0

b

xbby 10ˆ

50.3125-x075.0y

Perhatikan dataset berikut :

Tentukan persamaan Regresinya dan hitung SSE-nya!

No (X) (Y)

1 40 450

2 52 480

3 60 425

4 50 420

Latihan Individu

afif.supianto@ub.ac.id

081 331 834 734 / 088 160 127 40