Pengenalan Pola - afif.lecture.ub.ac.id · model regresi. a adalah titik potong garis regresi pada...
Transcript of Pengenalan Pola - afif.lecture.ub.ac.id · model regresi. a adalah titik potong garis regresi pada...
Course Contents
Definisi Regresi Linier 1
Model Regresi Linear 2
Estimasi Regresi Linear 3
Studi Kasus dan Latihan 4
Regresi adalah membangun model untuk memprediksi
nilai dari data masukan yang diberikan.
Prediksi berbeda dengan klasifikasi (catatan: dalam
machine learning, klasifikasi dianggap sebagai salah
satu jenis dari prediksi).
Klasifikasi digunakan untuk memprediksi label
kelas/kategori.
Metode utama untuk melakukan prediksi : Membangun
model regresi yaitu dengan mencari hubungan antara
satu atau lebih variabel independen atau prediktor (X)
dengan variabel dependen atau respon (Y).
Definisi Regresi Linier
Macam-Macam Analisis Regresi :
• Linear and multiple regression.
• Non-linear regression (neural networks, support
vector machines).
• Other regression methods : generalized linear model,
Poisson regression, log-linear models, regression
trees.
Definisi Regresi Linier
Model Regresi Linier
Model regresi linier sederhana
mendefinisikan hubungan linier
yang tepat antara nilai yang
diharapkan atau rata-rata Y,
variabel terikat Y, dan variabel
independen atau prediktor X:
my|x= a+b x
Nilai yang diamati Realisasi Y (y)
berbeda dari nilai yang diharapkan
(my|x) dengan kesalahan yang tak
dapat dijelaskan atau acak ():
y = my|x +
= a+b x +
Model Regresi Linier Sederhana :
y adalah variabel respon (dependent), atau variabel
yang ingin kita prediksi, x adalah variabel prediktor
(independen) dan adalah variabel tingkat kesalahan
yang merupakan satu-satunya komponen acak dalam
model regresi. a adalah titik potong garis regresi pada
sumbu koordinat. b adalah besarnya gradien/kemiringan
garis regresi.
my|x adalah mean dari y dengan syarat x telah ditentukan,
atau disebut sebagai rata-rata bersyarat y.
y= a + b x + dengan my|x=a+b x
Model Regresi Linier
Model Umum Regresi Linier :
Keterangan :
a dan b adalah parameter yang akan ditentukan nilainya untuk
membangun persamaan regresi. Parameter tersebut tidak
diketahui sebelumnya. Kita perkirakan nilainya dengan
menghitung dari data yang ada.
b menunjukkan tingkat perubahan untuk setiap kenaikan nilai X.
X telah diketahui sebelumnya dan bernilai konstan.
Deviasi/Penyimpangan nilai bersifat independent dan
berdistribusi Normal ~ N(0,2).
Hasil Estimasi Persamaan Regresi :
xbby 10ˆ
Model Regresi Linier
y= a + b x +
Visualisasi Regresi Linier
Hubungan antara X dan Y
adalah Stright-Line (linear).
Nilai-nilai variabel X
independen diasumsikan tetap
(tidak acak), satu-satunya
keacakan dalam nilai-nilai Y
berasal dari kesalahan
Kesalahan tidak berkorelasi
(yaitu Independent) dalam
pengamatan berturut-turut.
Kesalahan biasanya
didistribusikan dengan mean 0
dan varians 2 yaitu: ~ N(0,2)
X
Y LINE assumptions of the Simple
Linear Regression Model
Identical normal
distributions of errors,
all centered on the
regression line.
my|x=a + b x
x
y
N(my|x, y|x2)
Estimasi Persamaan Umum Regresi :
Menghitung sum of squared errors (SSE):
Metode least squares/ kuadrat terkecil memberikan kita
hasil estimasi "terbaik" untuk kita set pada data sampel.
Metode least squares / kuadrat terkecil memilih nilai-nilai
b0 dan b1 untuk meminimalkan sum of squared errors
(SSE).
xbby 10ˆ
2
1
10
1
2)ˆ(
n
i
n
i
ii xbbyyySSE
221
x xn
x -xy n b
y n
xb-y xb y b
1
10
Estimasi Regresi Linier
. { ˆError e y y
i i i
ˆ the predicted value of for y xY
Y
X
ˆ the fitted regression liney xa b
ˆi
y
xi
yi
X
Y
Data
X
Y
Three errors
from a fitted line
X
Y
Three errors from the
least squares regression
line
e
X
Errors from the least
squares regression
line are minimized
Perhatikan data biaya iklan yang digunakan (X) dan hubungannya
dengan Tingkat penjualan (Y) diberikan dalam dataset berikut :
Tentukan persamaan Regresinya!
No X Y
1 1250 41
2 1380 54
3 1425 63
4 1425 54
5 1450 48
6 1300 46
7 1400 62
Contoh Studi Kasus
Penyelesaian :
Mengestimasi least squares/kuadrat terkecil dari koefisien Regresi :
Hasil Estimasi Persamaan Regresinya adalah :
508695368
1328065096307 2
xyy
xxn
075.0)9630()13280650(7
)368)(9630()508695(7
)( 2221
xxn
yxxynb
3125.50
7
)9630(075.0368
n
xb-y 1
0
b
xbby 10ˆ
50.3125-x075.0y
Perhatikan dataset berikut :
Tentukan persamaan Regresinya dan hitung SSE-nya!
No (X) (Y)
1 40 450
2 52 480
3 60 425
4 50 420
Latihan Individu