Generalized Linear Models Chapter 5.7

Assessing fits and the deviance

ML Estimation

Misalkan variabel random saling independen dengan

Jika diinginkan untuk mengestimasi parameter melalui hubungannya dengan link function:

maka untuk setiap mempunyai fungsi log likelihood

Penaksir maksimum likelihood dari diperoleh dengan cara memaksimumkan

1 2, , , nY Y Y( )i iE Y

0 1 1 2 2( ) ... i i i i i k kig x X X X

iY

( )ln ; , ln ( , )

i i i

i i iy af y c y

1 1 1

( ), ln ; , ln ( , )

n n ni i i

i i ii i i

y af y c y

ML Estimation

1

1

,( ) ( ) 0

n

ij i i i iij

x y g V

Menggunakan iterasi Newton-Raphson, diperoleh penaksir untuk adalah:

dan

dengan

( 1) ( ) 1

1 ( )

( ) ( )

( ) ( )

m m

m

X WX XWG y

XWX XW X G y

12( ) ( ) ; ( )i i iW g V G g

1ˆ , ( )N XWX

Assessing fits and the deviance

Goodness of fit (kesesuaian) dari suatu model diperlukan untuk mendapatkan model terbaik

Prinsip-prinsip pengujian signifikansi, pemilihan model dan tes diagnostik untuk GLMs sama seperti pada regresi normal, namun rincian teknis dari metode agak berbeda

Salah satu cara untuk menilai/ mengevaluasi kesesuaian suatu model adalah dengan membanding fitted model (terdapat p<n parameter dalam model) terhadap saturated model (jika terdapat n parameter dalam model)

Saturated model

Fungsi ln likelihood untuk keluarga eksponensial adalah:

Di bawah saturated model , penaksir maximum likelihood untuk adalah , dengan

Nilai ln likelihood untuk saturated model adalah:

1

( ), ln ( , )

ni i i

ii

y ac y

i i

( )i ia y

1 1

( ), ln ; , ln ( , )

n ni i i

i ii i

y af y c y

Fitted model

Fungsi ln likelihood untuk keluarga eksponensial adalah:

Di bawah fitted model, penaksir maximum likelihood untuk adalah berdasarkan variabel y dan x

Nilai maksimum ln likelihood untuk fitted model adalah:

1

ˆ ˆ( )ˆ , ln ( , )n

i i ii

i

y ac y

i i

1 1

( ), ln ; , ln ( , )

n ni i i

i ii i

y af y c y

Assessing fits and the deviance

Deviance adalah suatu ukuran jarak antara saturated model dengan fitted model

dengan

Model dikatakan bagus jika mendekati (tidak lebih besar) atau model dikatakan kurang bagus jika

2

1

ˆ ˆ( ) ( ) ( )ˆ2 2 ~n

i i i i in p

i

y a a

( )i ia y

ˆ ˆ( )i ig a x

1n p

Contoh pada distribusi Normal ( ) 2,

2

22

2 21 1

( ) 1 2, ln ( , ) ln 22 2

in n i i

i i i ii

i i

yy a yc y

2 21( )2i i i ia

Saturated model:

dan

22, 1 0 1( )

2i i ii iii

ii yy a y

Fitted model: 21ˆ ˆˆ ˆ( )2i i i ia

Deviance:

2 2 2

2 21 1 1

1 1ˆ ˆ( )ˆ ˆ ˆ( ) ( ) ( ) 2 22 2n n ni i i i i

i ii i i i i

i i i

y y y yy a a

1 1

( ), ln ( , ) ln( !) ln

n ni i i

i i i i ii i

y ac y y y

ln ( ) 1ii i i ia e

Saturated model:

,

lnln ln ( )

,1 0

i i

i ii

yi i i

ii

i i

i

y a e e

y

y

y

Fitted model: ˆ ˆlnˆ ˆˆ ˆln , ( ) i ii i i ia e e

Deviance:

1

1 1

ˆ ˆ( ) ( ) ( )2

ˆ ˆ ˆ2 (ln ln ) 2 lnˆ

ni i i i i

i

n ni

i i i i i i i ii i i

y a a

yy y y y y

Contoh pada distribusi Poisson ( )

Assessing fits and the deviance