Maksimum Likelihood Estimation pada Regresi

Maksimum Likelihood Estimation pada Regresi Linier dan Regresi Logistikhttp://oc.its.ac.id/jurusan.php?fid=1&jid=3wiwiek@statistika.its.ac.idProsedur penaksiran parameter menggunakan metode MLE adalah berikut :1. Menuliskan model dugaan.2. Menuliskan PDF variabel respon setiap eksperimen,

disesuaikan dengan model dugaan.3. Mengalikan n PDF variabel respon (bila terdapat n

eksperimen); ini merupakan fungsi likelihood.

4. Melakukan operasi ln pada fungsi likelihood.

5. Menurunkan fungsi ln likelihood terhadap parameter

yang akan ditaksir, yaitu : koefisien regresi ((0 & (1)

dan variansi error((2), bila model dugaan adalah mo-

del regresi sederhana.Penerapan metode MLE pada regresi linier sederhana1. Model dugaan setiap eksperimen :

Yi = (0 + (1Xi + (i, (i ~ N(0,(2)

Yi ~ N((i, ,(2), (i = E(Yi) = E((0 + (1Xi + (i) = (0 + (1Xi

(2 = var(Yi) 2. PDF variabel respon setiap eksperimen :Eksperimen kePDF

1

2

n

..

.

3. Fungsi Likelihood :

LX X . . . X

.

EMBED Equation.3 4. ln fungsi likelihood :

lnL maksimum bilaminimum; ini merupakan jumlah kuadrat error metode least square, sehingga rumus penaksir koefisien regresi seperti pada metode least square; termasuk rumus untuk standart error penaksir koefisien regresi.5. Penurunan fungsi likelihood

Penaksir ini bias, yang tak bias ialah :

Penaksir parameter mejadi takbias bila n besar.

Selang kepercayaan parameter didapatkan seperti pada metode least square, begitu pula dengan pengujian hipo-tesis secara parsial.

Pengujian hipotesis secara sequensial menggunakan sta-tistik uji perbandingan nilai likelihood. Nilai likelihood ialah nilai yang didapatkan dengan cara mensubstitusikan nilai penaksir parameter pada fungsi likelihood.Contoh :

x12345678

y11,21,82,53,64,76,69,1

Model dugaan : Yi = (0 + (1Xi + (, atau Yi = b0 + b1Xi

Nilai penaksir :

b0 = -1,20 b1 = 1,11 SSE = 5,03 s12 = SSE/8 = 0,6288

MSE = SSE/6 = 0,84

Nilai likelihood, yaitu L(y;b0,b1, s12) =

= (10,7397)-4

Nilai likelihood untuk model-model yang lain :

L(y;b0,s02) = (121,8426)-4 , L(y;b0,b1,b2 ,s22) = (0,4270)-4Perumusan hipotesis dan statistik uji menggunakan per-bandingan nilai likelihood :

Perumusan hipotesisStatistik uji, dinotasikan X2

H0: (1 = 0 H1: (1 0

= 19,43

H0: (2 = 0

H1: (2 0

= 25,8

H0: (1 = (2 = 0

= 45,23

Catatan : L(y;b0,b1,b2 ,s22) untuk model kuadratik.

Perumusan hipotesisDistribusi Statistik uji bila H0 benarTitik KritisDaerah Penolakan H0Kesimpulan

H0: (1 = 0

H1: (1 0

= . . .

. . .

H0: (2 = 0

H1: (2 0

= . . .

. . .

H0: (1 = (2 = 0

= . . .

Isilah titik-titik pada tabel di atas dengan hasil tabel atau perhitungan yang benar.

Model mana yang terbaik? Berilah alasan.Penerapan metode MLE pada Regresi Logistik

Regresi Logistik ialah regresi dengan variabel respon ter-diri dari dua kejadian, sukses atau gagal, disebut respon biner; sehingga hasil kejadian tersebut dapat didekati o-leh distribusi Binomial. Selanjutnya, yang dimodelkan ialah probabilitas terjadi sukses, dengan prediktor yang diduga berkontribusi terhadap kejadian sukses.Model regresi logistik dinyatakan dengan persamaan :

i = 1, 2, ... , sdengan : P(xi) adalah probabilitas terjadi sukses pada

kelompok ke i,

xiT ( = (0 + (1xi , bila digunakan satu prediktor.Proses penaksiran parameter didahului oleh pembentukan fungsi likelihood. Misal eksperimen menggunakan s ke-lompok, setiap kelompok dinamai kelompok ke i, i = 1, 2, ... , s. Pada setiap kelompok terdapat ni subyek atau u-nit eksperimen, dan diantaranya terdapat ri sukses. Dengan asumsi terjadinya sukses atau tidak sukses ber-distribusi binomial, maka PDF banyak sukses setiap ke-lompok ke i, dengan ni subyek dan probabilitas setiap subyek sukses P(xi), adalah :

Tanda * pada persamaan di atas seharusnya diisi kombi-nasi(ni,ri) atau , tetapi ini akan hilang pada proses hasil pendeferensialan disamadengankan 0, sehingga ti-dak perlu dituliskan.

Fungsi Likelihood menjadi :

L(() =

ln L(() =

Khusus untuk satu prediktor, xiT ( = (0 + (1xi, sehingga ln fungsi likelihood menjadi :

Selanjutnya ln fungsi likelihood diturunkan terhadap (0 dan (1 , kemudian masing-masing disamadengankan 0, sehingga didapatkan :

Buktikan!Penaksir (0 dan (1 didapatkan dari solusi dua persamaan di atas. Solusi tidak dapat dihitung secara langsung, teta-pi harus melalui iterasi yang lazim digunakan pada meto-de numerik.Adapun perumusan hipotesis dan statistik uji (dilakukan dengan menggunakan perbandingan nilai likelihood) a-dalah sebagai berikut :

H0 : (1 = 0 , artinya pengaruh prediktor terhadap kejadian

sukses tidak bermakna,

H1 : (1 ( 0 Statistik uji :

dengan :

Distribusi Statistik uji bila H0 benar adalah :

Langkah selanjutnya seperti pada Tabel di atas.

Regresi logistik juga dapat dipandang sebagai regresi terboboti dengan :- variabel respon

- variabel prediktor X

- model regresi:= (0 + (1xi + (i.

- var~

- pembobot, wi = 1/var =

- V adalah matrik diagonal dengan elemen :

Proses selanjutnya seperti regresi WLS.

Penaksir probabilitas sukses pada prediktor bernilai x0 :

Contoh :

Suatu penelitian dilakukan untuk memodelkan hubungan antara proporsi lymphoblasts yang menyimpang dengan dosis pemaparan streptonigrin. Unit eksperimen yang di-gunakan adalah kelinci. Data eksperimen sbb :Dosis streptoni-grin (mg/kg berat badan)Banyak Lymphoblasts

(ni)Banyak yg menyimpang(ri)Proporsi yang menyimpang

030

60

75

90600500

600

300

3001596

187

100

1450,0250,192

0,312

0,333

0,483

Hasil perhitungan respon dan pembobot adalah sbb :

DosisPembobot

(wi)

-3,6636

-1,4373

-0,7908

-0,6946

-0,06800

30

60

75

9014,625

77,568

128,794

66,633

74,913

Sumber : Classical And Modern Regression With Appli-

cations, Second Edition, oleh Raymond H

Myers, 1990, halaman 320.Lakukan pengolahan data menggunakan WLS dan Mak-simum Likelihood, untuk mendapatkan model dan meng-evaluasi kemaknaan pengaruh prediktor.Kunci Jawaban :

= -2,56488 + 0,02806 X_1143154648.unknown

_1273256077.unknown

_1273263192.unknown

_1273264401.unknown

_1273264447.unknown

_1273264726.unknown

_1273264342.unknown

_1273263254.unknown

_1273256665.unknown

_1273261840.unknown

_1273263123.unknown

_1273261971.unknown

_1273259266.unknown

_1273256611.unknown

_1143155874.unknown

_1143159727.unknown

_1273252052.unknown

_1273255927.unknown

_1273255948.unknown

_1273250638.unknown

_1143159749.unknown

_1143156185.unknown

_1143158084.unknown

_1143158434.unknown

_1143156378.unknown

_1143156156.unknown

_1143155097.unknown

_1143155510.unknown

_1143154684.unknown

_1143072236.unknown

_1143143201.unknown

_1143150143.unknown

_1143153333.unknown

_1143154305.unknown

_1143150321.unknown

_1143146863.unknown

_1143140283.unknown

_1143143183.unknown

_1143139877.unknown

_1143064231.unknown

_1143064300.unknown

_1143072032.unknown

_1143064276.unknown

_1143063720.unknown

_1143064006.unknown

_1143064044.unknown

_1143064060.unknown

_1143063798.unknown

_1143063810.unknown

_1143021356.unknown