regresi-linier-dengan-metode-kuadrat-terkecil2.pdf

Seri Matematika Terapan untuk S2

Intellectual Property of DR. Ir. Setijo Bismo, DEA., TGP-FTUI Modul 3 - Regresi Linier dengan Metode Kuadrat Terkecil (1/1)

Modul 3:

Regresi Linier dengan Metode Kuadrat Terkecil A. Pendahuluan Metode Kuadrat Terkecil Metode kuadrat terkecil, yang lebih dikenal dengan nama Least-Squares Method, adalah salah satu metode ‘pendekatan’ yang paling penting dalam dunia keteknikan untuk: (a). regresi ataupun pembentukan persamaan dari titik-titik data diskretnya (dalam pemodelan), dan (b). analisis sesatan pengukuran (dalam validasi model).

Metode kuadrat terkecil termasuk dalam keluarga metode-metode pendekatan sesatan terdistribusi (“distributed error” approximation methods), berdasarkan karakterisik kerjanya yang melakukan pengurangan sesatan menyeluruh (global error) yang terukur berdasarkan interval pendekatan keseluruhan (whole approximation interval) sesuai dengan order pendekatan yang meningkat. Metode ini berbeda dengan metode-metode asimptotis, khususnya yang dikembangkan melalui pendekatan melalui deret ‘Taylor’, karena metode asimptotis memiliki karakteristik kerja yang memperkecil sesatan pada beberapa titik tertentu, sesuai dengan order pendekatan yang meningkat.

Metode kuadrat terkecil ini juga memainkan peranan penting dalam teori statistik, karena metode ini seringkali digunakan dalam penyelesaian problem-problem yang melibatkan kumpulan data yang tersusun secara acak, seperti dalam sesatan-sesatan percobaan. Namun demikian, hal-hal yang berhubungan dengan teori statistik tidak akan dibahas secara khusus dalam modul ini.



B. Persamaan dan Model sebagai obyek regresi Seperti telah dijelaskan di atas, dalam dunia keteknikan metode kuadrat terkecil ini digunakan untuk melakukan regresi dan atau pencocokan kurva yang diharapkan dapat membentuk persamaan matematis tertentu. Secara empiris, persamaan-persamaan matematis tertentu yang sering digunakan di antaranya adalah:

(a). Persamaan ‘garis lurus’ (linier): bxay +=

(b). Persamaan parabolis (kuadratis): rxqxpy ++= 2

(c). Persamaan polinomial (secara umum):

1

1

112321

−∞

=

−−

∑=

++++++=

k

kk

nn

kk

xc

xcxcxcxccy LL

(d). Persamaan eksponensial: dxcxbeay ++=2

(e). Persamaan asimptotis: dxc

xbxay

++

=2

C. Regresi Sederhana untuk Persamaan Linier Bentuk umum dari persamaan linier, dapat dituliskan sebagai berikut:

bxay +=

dengan: a = kelandaian (slope) kurva garis lurus

b = perpotongan (intercept) kurva dengan ‘ordinat’ atau sumbu tegak



Regresi yang dimaksudkan disini adalah: pencarian harga-harga tetapan a dan b berdasarkan deretan data yang ada (jumlah atau pasangan data x-y sebanyak N buah).

Sebagai contoh, di bawah ini diberikan 1 set data (x-y) sebanyak 7 buah:

Tabel 1. Set data regresi linier.

x y-3 -0.22

-2 0.67

-1 1.55

0 1.99

1 2.55

2 3.25

3 4.11 Hasil pengaluran kurva (plotting) titik-titik tersebut di atas dapat dilihat pada Gb. 1 di bawah ini.

-0.22

0.67

1.55

1.99

2.55

3.25

4.11y = 0.6841x + 1.9850

-1

0

1

2

3

4

5

-5 -4 -3 -2 -1 0 1 2 3 4 5

intercept

slope

Gambar 1. Kurva regresi linier, dengan N = 7.

Persamaan sebaran (S atau distribusi) yang menyatakan sesatan terdistribusi dari persamaan linier tersebut dinyatakan sebagai:



( )∑ −−= 2bxayS

Persyaratan yang harus dipenuhi untuk dapat menghitung a dan b adalah minimisasi turunan persamaan di atas terhadap tetapan a dan b (dalam hal ini, a dan b dianggap sebagai variabel-variabel semu), sehingga membentuk persamaan-persamaan berikut:

.0d

d).b(

dan;0d

d).a(

=

=

b

S

a

S

Untuk lebih jelasnya, kronologis penurunan kedua persamaan di atas adalah sebagai berikut:

(a). ( )[ ] 0d

d 2 =∑ −− bxaya

, sehingga akan terbentuk

persamaan berikut:

( ) 0)( =−∑ −− xbxay , atau

∑ ∑ ∑=+ yxxbxa 2 (A)

(b). ( )[ ] 0d

d 2 =∑ −− bxayb

, sehingga kemudian

terbentuk persamaan berikut:

( ) 0)1( =−∑ −− bxay , atau

∑ ∑=+ ybNxa (B)

Kedua persamaan (A) dan (B) seperti di atas adalah suatu sistem persamaan aljabar linier (SPAL), bila disusun-ulang



sebagai berikut:

∑

∑=

⋅

∑

∑∑y

yx

b

a

Nx

xx2

(C)

yang identik dengan persamaan matriks [ ] [ ] [ ]bxA =⋅ . Solusi SPAL tersebut relatif sangat mudah dilakukan dengan metode analitis.

Dengan menggunakan aturan Cramer, solusi konstanta-konstanta a dan b adalah:

∑

∑∑

∑

∑∑

=

Nx

xx

Ny

xyx

a2

det

det

; dan

∑

∑∑

∑∑

∑∑

=

Nx

xx

yx

yxx

b2

2

det

det

Karena hanya membentuk persamaan matriks berorder 2, maka determinan-determinan matriks di atas dapat langsung dihitung, dengan rincian sebagai berikut:

( )[ ]222

det ∑−⋅∑=

∑

∑∑xNx

Nx

xx

[ ]∑ ∑ ∑⋅−⋅=

∑

∑∑yxNyx

Ny

xyxdet



dan

[ ]∑⋅∑−∑⋅∑=

∑∑

∑∑yxxyx

yx

yxx 22

det

sehingga, diperoleh solusi harga-harga a dan b:

[ ]( )[ ]22 ∑−⋅∑

∑⋅∑−⋅∑=xNx

yxNyxa = 0,684143; dan

[ ]

( )[ ]22

2

∑−⋅∑

∑⋅∑−∑⋅∑=xNx

yxxyxb = 1,985000

Tugas di rumah:

Coba buat program dalam FORTRAN untuk mencari harga-harga a dan b dari satu set data berikut:

No. x y1 -1.0 5.00 2 1.0 9.00 3 3.0 13.00 4 5.0 17.00 5 7.0 21.00 6 9.0 25.00 7 11.0 29.00

D. Regresi Persamaan Parabola Persamaan Parabola atau Persamaan Kuadrat mempunyai bentuk umum yang dapat dituliskan sebagai berikut:

rxqxpy ++= 2

Regresi yang dimaksudkan disini adalah: pencarian harga-harga tetapan p, q dan r berdasarkan set data yang diberikan (ingat: jumlah atau pasangan data x-y sebanyak N buah !).



Persamaan sebaran (S) yang menyatakan sesatan terdistribusi dari persamaan linier tersebut dinyatakan sebagai:

( )∑ −−−=22 rxqxpyS

Persyaratan yang harus dipenuhi untuk dapat menghitung p, q dan r adalah minimisasi turunan persamaan di atas terhadap tetapan p q dan r (dalam hal ini, p, q dan r dianggap sebagai variabel-variabel semu), sehingga membentuk persamaan-persamaan minimisasi berikut:

.0d

d).c(

dan;0d

d).b(

;0d

d).a(

=

=

=

r

S

q

S

p

S

Tahapan penurunan ketiga persamaan-persamaan di atas terhadap p, q, dan r adalah sebagai berikut:

(a). ( ) 0d

d 22 =

∑ −−− rxqxpy

p, yang membentuk

persamaan berikut:

( ) 0)( 22 =−∑ −−− xrxqxpy , atau

∑ ∑ ∑=∑++ yxxrxqxp 2234 (E)

(b). ( ) 0d

d 22 =


q, yang membentuk:

( ) 0)(2 =−∑ −−− xrxqxpy , atau



∑ ∑ ∑=∑++ yxxrxqxp 23 (F)

(c). ( ) 0d

d 22 =


r, dan dihasilkan

( ) 0)1(2 =−∑ −−− rxqxpy , atau

∑ ∑ ∑=++ yNrxqxp 2 (G)

Seperti halnya pada regresi persamaan linier, ketiga persamaan (E), (F), dan (G) di atas juga membentuk suatu sistem persamaan aljabar linier (SPAL) dengan oreder 3, bila disusun-ulang sebagai berikut:

∑

∑

∑

=

⋅

∑∑

∑∑∑

∑∑∑

y

yx

yx

r

q

p

Nxx

xxx

xxx 2

2

23

234

(H)

Solusi SPAL di atas dapat dilakukan melalui 2 cara, yaitu: (a). analitis (aljabar) dan (b). numeris. Berbagai solusi SPAL (dengan menggunakan metode numeris) telah dijelaskan pada modul-modul pelajaran terdahulu. Sebagai catatan, determinan dari matriks bujur-sangkar dengan rank 3 dapat dihitung sebagai berikut:

122133112332132231

322113312312332211

333231

232221

131211

detaaaaaaaaa

aaaaaaaaa

aaa

aaa

aaa

⋅⋅−⋅⋅−⋅⋅−⋅⋅+⋅⋅+⋅⋅

=

Dengan menggunakan metode analitis, sebenarnya SPAL di atas masih relatif mudah diselesaikan, yaitu dengan menggunakan aturan Cramer untuk mencari solusi konstanta atau parameter-parameter p, q dan r.



∑∑

∑∑∑

∑∑∑

∑∑

∑∑∑

∑∑∑

=

Nxx

xxx

xxx

Nxy

xxyx

xxyx

p

2

23

234

2

232

det

det

;

∑∑

∑∑∑

∑∑∑

∑∑

∑∑∑

∑∑∑

=

Nxx

xxx

xxx

Nyx

xyxx

xyxx

q

2

23

234

2

3

224

det

det

; dan

∑∑

∑∑∑

∑∑∑

∑∑∑

∑∑∑

∑∑∑

=

Nxx

xxx

xxx

yxx

yxxx

yxxx

r

2

23

234

2

23

234

det

det

Berdasarkan catatan tentang determinan matriks berorder 3 seperti di atas, maka determinan-determinan matriks di atas berturut-turut adalah sebagai berikut:

( )( ) ( )2342

3232

2324

2

23

234

det

∑⋅−∑⋅∑

∑ ∑ ∑ −∑−⋅⋅

∑ ∑ ∑ ∑ ∑ +⋅⋅+⋅⋅

=

∑∑

∑∑∑

∑∑∑

xNxx

xxxx

xxxNxx

Nxx

xxx

xxx



( )( ) ∑ ∑ ∑⋅⋅−⋅∑

∑ ∑ ∑ ∑ −⋅∑−⋅⋅

∑ ∑ ∑ ∑ ∑ +⋅⋅+⋅⋅

=

∑∑

∑∑∑

∑∑∑

322

222

322

2

232

det

xyxNyxx

yxxyxx

yxxNxyx

Nxy

xxyx

xxyx

( )∑ ∑ ∑ ∑ ∑⋅⋅−⋅⋅∑ −∑ ∑⋅∑ ∑−⋅⋅

∑ ∑ ∑ ∑ ∑ +⋅⋅+⋅⋅

=

∑∑

∑∑∑

∑∑∑

yxxNyxx

yxxyxx

xxyxNyxx

Nyx

xyxx

xyxx

234

2232

224

2

3

224

det

dan

( )( )∑ ∑ ∑ ∑⋅∑−⋅⋅

∑ ∑ ∑ ∑ −⋅∑−⋅⋅

∑ ∑ ∑ ∑ ∑ ∑ +⋅⋅+⋅⋅

=

∑∑∑

∑∑∑

∑∑∑

yxyxxx

yxxyxxx

yxxxyxx

yxx

yxxx

yxxx

234

22223

3224

2

23

234

det

Tugas di rumah:

Coba buat program dalam FORTRAN untuk mencari harga-harga p, q dan r berdasarkan kurva di bawah ini:

-6.00

-4.00

-2.00

0.00

2.00

4.00

6.00

-4.0 -2.0 0.0 2.0 4.0

Pasangan data (x-y) dari kurva di atas dapat diberikan seperti pada tabel berikut:



No. x y1 -3.0 4.00 2 -2.2 -0.16 3 -0.9 -4.19 4 -0.1 -4.99 5 1.2 -3.56 6 2.5 1.25

E. Regresi Persamaan Kubus (polinomial order 3) Persamaan Kubus atau Persamaan polinomial order 3 mempunyai bentuk umum yang dapat dituliskan sebagai berikut:

012

23

3 cxcxcxcy +++=

Regresi yang dimaksudkan disini adalah: pencarian harga-harga parameter c0 sampai dengan c3 berdasarkan set data yang diberikan (ingat: pasangan data x-y selalu berjumlah N buah !).

Persamaan sebaran (S) yang menyatakan sesatan terdistribusi dari persamaan linier tersebut dinyatakan sebagai:

( )∑ −−−−=2

012

23

3 cxcxcxcyS

Persyaratan yang harus dipenuhi untuk dapat menghitung parameter-parameter c0 sampai dengan c3 adalah minimisasi turunan persamaan di atas, masing-masing terhadap setiap parameter (dalam hal ini, c0 sampai dengan c3 dianggap sebagai variabel-variabel semu), sehingga membentuk persamaan-persamaan minimisasi berikut:



0d

d(d).

dan;0d

d).c(

;0d

d).b(

;0d

d).a(

3

2

1

0

=

=

=

=

c

S

c

S

c

S

c

S

Tahapan penurunan ketiga persamaan-persamaan di atas terhadap c0 sampai dengan c3 adalah sebagai berikut:

(a). ( ) 0d

d 201

22

33

3=

∑ −−−− cxcxcxcy

c,

membentuk persamaan berikut:

( ) 0)( 301

22

33 =−∑ −−−− xcxcxcxcy , atau

∑ ∑ ∑=∑+∑++ yxxcxcxcxc 330

41

52

63 (I)

(b). ( ) 0d

d 201

22

33

2=


c,

membentuk:

( ) 0)( 201

22


∑ ∑ ∑=∑+∑++ yxxcxcxcxc 220

31

42

53 (J)

(c). ( ) 0d

d 201

22

33

1=


c,

dihasilkan:



( ) 0)(012

23


∑ ∑ ∑=∑+∑++ yxxcxcxcxc 02

13

24

3 (K)

(d). ( ) 0d

d 201

22

33

0=


c,

dihasilkan:

( ) 0)1(012

23

3 =−∑ −−−− cxcxcxcy , atau

∑ ∑ ∑=+∑++ yNcxcxcxc 012

23

3 (L)

Sistem Persamaan Aljabar Linier (SPAL) yang terbentuk dari persamaan-persamaan (I), (J), (K), dan (L) adalah sebagai berikut:

∑

∑

∑

∑

=

⋅

∑∑∑

∑∑∑∑

∑∑∑∑

∑∑∑∑

y

yx

yx

yx

c

c

c

c

Nxxx

xxxx

xxxx

xxxx2

3

0

1

2

3

23

234

2345

3456

(M)

Tugas Kelompok:

Buat program dalam FORTRAN untuk mencari harga-harga konstanta dari c0 sampai cn dari suatu persamaan polinomial, dari order 3 (n = 3) sampai dengan order 7 (n = 7). Artinya, program tersebut dapat menangani sembarang polinomial dari order 3 sampai 7 bahkan lebih tinggi lagi.

Gunakan subroutine EGAUSS untuk solusi SPAL yang terbentuk, dan buat program yang membaca data dari file ASCII (text file, dengan ekstensi *.dta).



F. Regresi Multilinier Beberapa persamaan aljabar dapat membentuk suatu ‘relasi linier’ atau yang sejenisnya, antara beberapa variabel bebas (independent variables) dengan sebuah variabel terikat (dependent variable). Relasi tersebut seringkali dijumpai dalam dunia keteknikan, termasuk hasil logaritmik dari persamaan-persamaan analisis adimensional ataupun relasi analogi bilangan-bilangan tak berdimensi.

Bentuk umum dari persamaan multilinier seperti di atas dapat disederhanakan dalam relasi fungsi matematis berikut:

wkvkucwvuy 321),,( ++=

Bila persamaan multilinier tersebut memiliki jumlah variabel bebas yang lebih besar lagi, maka secara sistematis dapat dituliskan sebagai berikut:

nnn xcxcxcxcxxxy ++++= LL 33221121 ),,,(

Persamaan sebaran (S) yang menyatakan ‘sesatan terdistribusi’ dari persamaan multilinier tersebut dapat dinyatakan sebagai:

( )∑ −−−−−= 2332211 nn xcxcxcxcyS L

Menarik untuk dicatat, bahwa jumlah konstanta atau parameter (c1 sampai dengan cn) yang dimiliki suatu persamaan multilinier sekurang-kurangnya sama dengan jumlah variabel bebasnya.

Seperti biasanya, persyaratan yang harus dipenuhi untuk dapat menghitung konstanta-konstanta c1 sampai dengan cn, adalah minimisasi turunan persamaan di atas terhadap masing-masing konstanta (dalam hal ini, semua konstanta dianggap sebagai variabel-variabel semu), sehingga membentuk persamaan-persamaan berikut:



0d

d(d).

;0d

d).c(

;0d

d).b(

;0d

d).a(

3

2

1

=

=

=

=

nc

S

c

S

c

S

c

S

M

Tahapan diferensiasi persamaan-persamaan di atas terhadap masing-masing parameternya (dari c1 sampai dengan cn) dapat disajikan sebagai berikut:

(a). ( )[ ] 0dd 2

3322111

=∑ −−−−− nn xcxcxcxcyc

L ,


( ) ( ) 01332211 =⋅∑ −−−−− xxcxcxcxcy nnL

dan, setelah disusun-ulang menjadi:

∑ ∑ ∑ ∑=++∑++ yxxxcxxcxxcxc nn 11313212211 L (O)

(b). ( )[ ] 0d

d 2332211

2=∑ −−−−− nn xcxcxcxcy

cL ,


( ) ( ) 02332211 =⋅∑ −−−−− xxcxcxcxcy nnL


∑ ∑ ∑ ∑=+∑ +++ yxxxcxxcxcxxc nn 22323222211 L (P)



(c). ( )[ ] 0d

d 2332211

3=∑ −−−−− nn xcxcxcxcy

cL ,


( ) ( ) 03332211 =⋅∑ −−−−− xxcxcxcxcy nnL


∑ ∑ ∑ ∑=+∑ +++ yxxxcxcxxcxxc nn 33233322311 L (Q)

M

(d). ( )[ ] 0d

d 2332211 =∑ −−−−− nn

nxcxcxcxcy

cL ,


( ) ( ) 0332211 =⋅∑ −−−−− nnn xxcxcxcxcy L


∑ ∑ ∑ ∑=+∑ +++ yxxcxxcxxcxxc nnnnnn2

332211 L (R)

Sistem Persamaan Aljabar Linier (SPAL) yang terbentuk dari persamaan-persamaan (O), (P), (Q), dan (R) adalah sebagai berikut:

∑

∑

∑

∑

=

⋅

∑∑∑∑

∑∑∑∑

∑∑∑∑

∑∑∑∑

yx

yx

yx

yx

c

c

c

c

xxxxxxx

xxxxxxx

xxxxxxx

xxxxxxx

nnnnnn

n

n

n

MM

L

MOMMM

L

L

L

3

2

1

3

2

1

2321

3233231

2322221

1312121

(S)

G. Soal-soal Latihan 1. Vargaftik (1975) memperkenalkan suatu data kapasitas



panas untuk metilsikloheksana, sebagai berikut (T adalah suhu absolut dalam K; dan Cp adalah kapasitas panas zat yang dinyatakan dalam kJ/kg·K):

T Cp

150 1,426 160 1,447 170 1,469 180 1,492 190 1,516 200 1,541 210 1,567 220 1,596 230 1,627 240 1,661 250 1,696 260 1,732 270 1,770 280 1,808 290 1,848 300 1,888

Lakukanlah pencocokan kurva (curve fitting), bila diinginkan persamaan Cp(T) sebagai fungsi dari temperatur dalam persamaan kuadrat: ( ) 2TcTbaTC p ++= !

2. Suatu model yang paling umum untuk pengungkapan laju reaksi kimia order satu tak-berdimensi adalah CkdtdC −= dengan 1)0( ==tC . Bentuk terintegrasi dari model tersebut adalah )exp( tkC −= , yang sebenarnya ‘nonlinier’ pada parameter k. Dengan data yang diberikan di bawah ini, tentukan nilai terbaik untuk k. Kembangkan juga prosedur hitungan saudara untuk ‘nilai nonlinier’ dari k.!

t (detik) 0,2 0,5 1,0 1,5 2,0

C (mol/L.detik) 0,75 0,55 0,21 0,13 0,04

Data tentang laju reaksi pada berbagai konsentrasi (C) dan



suhu reaksi (T) diberikan pada tabel di bawah ini:

Laju reaksi C T

0,0360 0,8 300 1,01 0,8 400 7,45 0,8 500 0,0231 0,4 300 0,649 0,4 400 4,79 0,4 500 0,0135 0,2 300 0,378 0,2 400 2,80 0,2 500

3. Dari tabel data laju reaksi seperti disajikan di atas, diinginkan untuk melakukan validasi data menjadi persamaan model nonlinier:

TaeC

CKreaksiLaju /

3,01−

+=

dengan cara menghitung harga-harga parameter K dan a. Coba Anda fikirkan dengan baik, kemudian berikan pendapat Anda tentang bagaimana caranya melakukan pencocokan data seperti di atas ?

4. Gilliland dan Sherwood (1934) mendapatkan data tentang perpindahan massa untuk berbagai cairan yang jatuh bebas pada dinding kolom terbasahi (wetted-wall column). Data tersebut dapat dilihat pada tabel data yang diberikan di bawah ini sehingga dapat digunakan untuk melakukan validasi model nonlinier berikut:

32Re1BB ScBSh =

Dari persamaan yang ‘nonlinier’ seperti di atas, fikirkanlah dengan baik dan kemudian carilah cara yang paling mudah untuk melakukan pencocokan data seperti di atas (maksudnya: menghitung parameter-parameter B1 sampai B3 sedemikian rupa sehingga didapat korelasi yang sesuai)?



Jika dari hasil-hasil penelitian Gilliland dan Sherwood di atas diperoleh suatu korelasi empiris berikut:

436,0789,0Re0336,0 ScSh =

Cobalah lakukan suatu perbandingan, mana yang terbaik antara hasil penelitian (experiment) dan hasil perhitungan (prediction) jika deviasi baku didefinisikan seperti di bawah ?

[ ] 21

1

2exp

3dev.std.

−

∑ −= =

N

ShShn

iipred

Tabel Data Perpindahan Massa dari Gilliland dan Sherwood.

Sh Re Sc

43,7 10,800 0,60 21,5 5,290 0,60 24,2 3,120 1,80 88,0 14,400 1,80 51,6 6,620 1,875 50,7 8,700 1,875 32,3 4,250 1,86 56,0 8,570 1,86 26,1 2,900 2,16 41,3 4,950 2,16 92,8 14,800 2,17 54,2 7,480 2,17 65,5 9,170 2,26 38,2 4,720 2,26 93,0 16,300 1,83 70,6 13,000 1,83 42,9 7,700 1,61 19,8 2,330 1,61



H. Daftar Pustaka Atkinson, Kendal E., “An Introduction to Numerical Analysis”, John

Wiley & Sons, Toronto, pp. 44-48, 1978. Atkinson, L.V., Harley, P.J., “An Introduction to Numerical

Methods with Pascal”, Addison-Wesley Publishing Co., Tokyo, pp. 49-51, 1983.

Hanna, O.T., Sandall, O.C., “Computational Methods in Chemical Engineering”, Prentice-Hall International Inc., Englewood Cliffs, New Jersey, pp. 121-149, 1995.

Press, W.H., Flannery, B.P., Teukolsky, S.A., dan Vetterling, W.T., “Numerical Recipes”, Cambridge Univ. Press, 1986.

regresi-linier-dengan-metode-kuadrat-terkecil2.pdf

Documents

Transcript of regresi-linier-dengan-metode-kuadrat-terkecil2.pdf