Penaksir Maksimum Likelihood

INTEGRAL, Vol. 8 No. 1, April 2003

11

PENAKSIR MAKSIMUM LIKELIHOOD BAGI MODEL PROBIT DAN MODEL PROBIT BIVARIAT

Benny Yong

Jurusan Matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Katolik Parahyangan, Bandung 40141

E-mail : [email protected]

Intisari Tulisan ini menyajikan bagaimana mencari penaksir bagi model probit dan model probit bivariat , yaitu dengan metode maksimum likelihood .

Abstract This paper describes how to find the estimator for a probit model and for a bivariate probit model by maximum likelihood method .

Diterima : 19 Februari 2003

Disetujui untuk dipublikasikan : 7 Maret 2003 I. Metode Maksimum Likelihood

Misalkan nXXX ,...,, 21

menyatakan peubah acak yang saling bebas dengan fungsi padat peluangnya dinyatakan oleh

( )θ,ixf , dengan θ adalah

parameter yang akan ditaksir dengan metode maksimum likelihood. Maka fungsi padat peluang gabungannya adalah :

( ) ( ) ( ) ( )

( )∏=

=n

i

nn

xf

xfxfxfxxxf

1

2121

,

,...,.,;...,,

θ

θθθθ

= ( )nxxxL ,...,, 21θ

= ( )θL (disebut like-

lihood function) Taksiran maksimum likelihood untuk θ adalah nilai θ yang memaksimumkan L . Nilai θ yang memaksimumkan L adalah sama dengan nilai θ yang memaksimumkan Lln .

II. Model Probit Model probit adalah model tak linear ya ng menggunakan bilangan biner (peubah dummy ) sebagai peubah takbebasnya dan mengandaikan faktor disturbance ( galat ) iµ

berdistribusi normal ( )2,0 σN . Peubah dummy yang dimaksud disini adalah jenis peubah diskret yang mempunyai dua nilai. Misalkan ada peubah respons *

iΥ

yang menunjukkan sentimen atau perasaan individu terhadap suatu hal , contohnya sikap seseorang terhadap suatu par tai tertentu . Peubah respons ini dipengaruhi oleh berbagai karakteristik individu dan kondisi lingkungan sehingga

persamaan *iΥ dapat

dituliskan sebagai *

iΥ =


12

ii µβ +Χ' , dengan 'β adalah

vektor koefisien dan iΧ adalah

vektor peubah bebas.

*iΥ tidak dapat diamati tetapi kita

dapat mengamati tindakan / piliha n

tindakan individu bila *

iΥ melewat i batas tertentu . Misalkan

, jika *

iΥ > 0, maka 1=Υi dan

jika 0* ≤Υi , maka 0=Υi . Dari

hal tersebut diperoleh:

( ) ( ) ( )( )

( )( )i

i

ii

iiii

F

F

P

PPP

Χ=

Χ−−=

Χ−>=

>+Χ=>Υ==Υ

'

'

'

'*

1

001

β

β

βµ

µβ

Demikian pula untuk 0=Υi , diperoleh: ( ) ( )ii FP Χ−==Υ '0 β = ( )iF Χ− '1 β ,

dengan ( ) dteF

i

t

i ∫

Χ−

∞−

−=Χ−

σβ

πβ

'

2

2

1'

2

1 dan ( )iF Χ− 'β berdistribusi normal

( )1,0N .

Model dengan peluang sukses ( )ixF 'β dengan n pengamatan yang saling bebas memberikan fungsi kemungkinannya sebagai berikut :

( ) ==Υ=Υ=Υ nn yyyP ,...,, 2211 ( )( ) ( )( )∏ ∏= =

−0 1

''1i iy y

ii xFxF ββ

yang dapat ditulis sebagai : ( ) ( )[ ]∏ −−=

ny

iy

iii xFxFL

1

1'' 1 ββ .

Dengan melogaritmakan fungsi kemungkinannya diperoleh:

( ) ( ) ( )( )∑ ∑ −−+=n n

iiii xFyxFyL1 1

'' 1ln1lnln ββ

Kemudian untuk memaksimumkannya dihasilkan :

( )( ) ( ) ( )( ) ( )( ) ( )

( )( )( ) ( )( ) ( ) 0

1

1

11ln

1

'''

'

'

1''

''

=−

−=

−−−−

=∂

∂

∑

∑

i

n

iii

ii

ii

n

ii

iiii

xxfxFxF

xFy

xxfxFxF

xFyxFyL

βββ

β

βββ

βββ

Karena model probit mengandaikan iµ berdistribusi normal ( )2,0 σN maka

fungsi kemungkinan yang telah dilogaritmakan ( log-likelihood ) menjadi :

( )( ) ( )∑∑==

Φ+Φ−=1

'

0

' ln1lnlnii y

iy

i xxL ββ , ( )ix'βΦ adalah fungsi distribusi

dari peubah acak yang berdistribusi normal . Turunan pertamanya untuk memaksimumkan L adalah :


13

( )( ) i

n

ii

iii

yii

yii

yi

i

i

yi

i

i

xxqxqq

xx

xxL

ii

ii

∑

∑∑

∑∑

Φ=

+=

Φ+

Φ−−

=∂

∂

==

==

1'

'

1

1

0

0

101ln

ββφ

λλ

φφβ

∑ ==n

ii x1

0λ , dengan 12 −= ii yq

Koefisien MLβ ( penaksir maksimum likehood ) dapat dicari dari persamaan

0ln

=∂

∂β

L .

III. Model Probit Bivariat

Model probit bivariat adalah model yang dikembangkan dari model probit dengan menggunakan dua peubah dummy sebagai peubah tak bebasnya . Model ini mengandaikan faktor disturbance ( galat ) iµ berdistribusi normal bivariat.

Secara umum, model untuk dua persamaan dapat dituliskan sebagai berikut:

111*

1 ' iiiy µβ +Χ= , 11 =iy , jika 0*1 >iy

01 =iy , untuk yang lain

222*

2 ' iiiy µβ +Χ= , 12 =iy , jika 0*2 >iy

02 =iy , untuk yang lain

Dalam model probit bivariat , model untuk dua persamaan ini diandaikan sebagai berikut :

( ) ( )( ) ( )( ) ( )( ) ( )( )[ ]

( )ρ

µµµµµµµµ

µµ

µµ

=

Ε=Ε−Ε−Ε=

==

=Ε=Ε

21

221121

21

21

,

1

0

CovVarVar

Misalkan fungsi distribusi dari normal bivariat adalah :

( ) ( ) ( )∫ ∫∞− ∞−

Φ==<Χ<Χ2 1

,,,,, 212212122211

x x

xxdzdzzzxxP ρρφ

dengan fungsi padat peluangnya adalah :

( )( ) ( )

( )2

1/22

1

21212

,,

221

22

21

ρπρφ

ρρ

−=

−−+− xxxxexx ,

angka 2 pada 2φ dan 2Φ masing - masing menunjukkan fungsi padat peluang dan fungsi distribusi dari normal bivariat .


14

Misalkan 12 11 −= ii yq dan 12 22 −= ii yq

Diketahui 1=ijq jika 1=ijy dan 1−=ijq jika 2,10 =∀= jyij

Kemudian dimisalkan kembali ijjij xz 'β= dan 2,1=∀= jzqw ijijij

serta ρρ 21*

iii qq=

Maka didapat fungsi kemungkinannya adalah :

( ) ( )*2122211 ,,, iiiii wwyyP ρΦ==Υ=Υ

Bukti : Bila : a) 01 =iy dan 02 =iy

Maka 11 −=iq dan 12 −=iq . Kemudian diperoleh :

( ) ( )( )

* *1 2 1 2

' '1 1 1 2 2 2

0, 0 0, 0

0, 0

i i

i i i i

P P y y

P x xβ µ β µ

Υ = Υ = = < <

= + < + <

= ( )2'

221'

11 , iiii xxP βµβµ −<−<

= ( )∫∫−

∞−

−

∞−

1'

12'

2

21212 ,,ii x

iiii

x

ddββ

µµρµµφ

= ( )ρββ ,, 2'

21'

12 ii xx −−Φ

= ( )ρ2122112 ,, iiiiii qqzqzqΦ

= ( )*212 ,, iii ww ρΦ

b) 01 =iy dan 12 =iy

Maka 11 −=iq dan 12 =iq . Kemudian diperoleh :

( ) ( )( )

* *1 2 1 2

' '1 1 1 2 2 2

0, 1 0, 0

0, 0

i i

i i i i

P P y y

P x xβ µ β µ

Υ = Υ = = < >

= + < + >

= ( )2'

221'

11 , iiii xxP βµβµ −>−<

= ( )∫∫−

∞−

∞

−

1'

1

2'

2

21212 ,,i

i

x

iiiix

ddβ

β

µµρµµφ

( misalkan : 22 iiw µ−= )

= ( )∫∫−

∞−

−∞

−−1

'1

2'

2

21212 ,,i

i

x

iiiix

dwdwβ

β

µρµφ

= ( )∫∫−

∞−∞−

−1

'12

'2

21212 ,,ii x

iiii

x

dwdwββ

µρµφ

=

( )( )( )

∫∫−

∞−

−−−+−

∞− −

1'

12

212

22

1

2'

2

212

12

2

12

i

iiii

i x

ii

wwx

dwdeβ ρρµµ

β

µρπ


15

=

( )( )( )

∫∫−

∞−

−−−+−

∞− −

1'

12

212

22

1

2'

2

212

12

2

12

i

iiii

i x

ii

wwx

dwdeβ ρ

µρµβ

µρπ

= ( )∫∫−

∞−∞−

−1

'12

'2

21212 ,,ii x

iiii

x

dwdwββ

µρµφ

= ( )ρββ −−Φ ,, 2'

21'

12 ii xx


= ( )*212 ,, iii ww ρΦ

c) 11 =iy dan 02 =iy ( Untuk hal ini buktinya serupa dengan hal b) ) .

d) 11 =iy dan 12 =iy

Maka 11 =iq dan 12 =iq . Kemudian diperoleh :

( ) ( ) ( )0,00,01,1 22'

211'

1*

2*

121 >+>+=>>==Υ=Υ iiiiii xxPyyPP µβµβ

= ( )2'

221'

11 , iiii xxP βµβµ −>−>

= ( )∫∫∞

−

∞

− 1'

12'

2

21212 ,,ii x

iiiix

ddββ

µµρµµφ (misalkan: 11 iiw µ−= dan 22 iiw µ−= )

= ( )( )( )∫∫−∞−∞

−−−−1

'12

'2

21212 ,,ii x

iiiix

dwdwwwββ

ρφ

= ( )∫∫−∞−∞

1'

12'

2

21212 ,,ii x

iiiix

dwdwwwββ

ρφ

= ( )∫∫∞−∞−

1'

12'

2

21212 ,,ii x

iiii

x

dwdwwwββ

ρφ

= ( )ρββ ,, 2'

21'

12 ii xxΦ


= ( )*212 ,, iii ww ρΦ

Dari a) sampai d) , terbukti bahwa ( ) ( )*2122211 ,,, iiiii wwyyP ρΦ==Υ=Υ .

Misalkan dilakukan n pengamatan yang saling bebas . Ini memberikan fungsi

kemungkinannya sebagai berikut : ( )*212

1

,, iii

n

wwL ρΦ= ∏

Dengan demikian diperoleh : ( )∑ Φ=n

iii wwL1

*212 ,,lnln ρ

Turunan dari fungsi kemungkinannya yang telah dilogaritmakan ( log-likelihood ) adalah :

2,1ln

1 2

=∀

Φ=

∂∂ ∑ jx

gqL n

ijijij

jβ , dengan ( )

−

−Φ=

2*

1*

211

1 i

iiiii

wwwg

ρ

ρφ


16

∑

Φ=

∂∂ n

ii qqL

1 2

221ln φρ

Bukti :

( )∑ Φ=n

iii wwL1

*212 ,,lnln ρ = ( )∑ Φ

n

iiiii xqxq1

*2

'221

'112 ,,ln ρββ

Dari ( )( ) ( )

( )2

1/22

1

21212

,,

221

22

21

ρπρφ

ρρ

−=

−−+− xxxxexx , diperoleh :

( )*2

'221

'112 ,, iiiii xqxq ρββΦ =

( )

∫∫∞−

−

−+−

∞− −

1'

11

2

2*

*22

2'

22

*

12

2

12

iii

i

ii xq

i

uvvu

xq

dudveβ ρ

ρ

β

ρπ , maka :

( )( )

∫ ∫∞− ∞− −

−

−+−

∂∂=

∂Φ∂ 2

'22 1

'11

2

2

*

*

*22

11

*2

'221

'112

12

12

2exp

),,( ii iixq xq

i

i

i

iiiii dudv

uvvu

xqxq β β

ρπ

ρ

ρ

ββρββ

= dvxqe

ii

xq

i

vxqvxq

iii

iiiii

11*

12

2

2'

22

2

2*

1'

11*22

1

2'1

21

12∫∞−

−

−+−

−

β ρ

βρβ

ρπ

=

( )

dveexq ii

i

iii

i

ii

xqvxqv

xq

i

ii ∫∞−

−

−−

−

−

−

2'

222*

1'

11*2

2*

21

2'1

21

2

12

2

12

*

11

12

β ρ

βρ

ρ

β

ρπ

=

( ) ( )

dveexq ii

i

iiiiii

i

ii

xq

xqxqvxq

i

ii ∫∞−

−

−−−

−

−

−

2'

22 2*

2

1'

11*2

1'

11*

2*

21

2'1

21

2

1212

*

11

12

βρ

βρβρ

ρ

β

ρπ

=

( )

dveeexq ii

i

iii

i

iii

i

ii

xq

xqvxqxq

i

ii ∫∞−

−

−−

−

−

−

−

2'

22 2*

2

1'

11*

2*

21

2'1

21

2*

2*

21

2'1

21

2

121212

*

11

12

βρ

βρ

ρ

βρ

ρ

β

ρπ

=

( )

dveexq ii

i

iii

ii xq

xqvxq

i

ii ∫∞−

−

−−

−

−

2'

22 2*

2

1'

11*

21

2'1

21

2

122

*

11

12

βρ

βρβ

ρπ


17

= ( )

( )

dveexqii

i

iii

ii xq

xqv

i

xq

ii ∫∞−

−

−−

−

−

2'

22 2*

2

1'

11*

2

21

2'1

21

12

*

211

12

1

2

1β

ρ

βρβ

ρππ

= 111 iii gxq

dengan ( )

( ) ( )11'

1122

2

1'

11

21

2'1

21

2

1

2

1iii

xqxq

wxqeeii

ii

φβφππ

ββ

===−

−

dan

( )

( )

−

−Φ=

−∫∞−

−

−−

2

2'

222*

21

'11

*

2 *

1'

11*

2'

2212

* 112

1

i

iiiiixq

xqv

i

xqxqdve

iii

iii

ρ

βρβ

ρπ

β ρ

βρ

=

−

−Φ

2*

1*

2

1 i

iii ww

ρ

ρ

Dengan demikian diperoleh : 1111

*2

'221

'112 ),,(

iiiiiiii gxq

xqxq=

∂Φ∂

βρββ

Jadi : ( )( )∑

∂Φ∂

Φ=

∂∂ n

iii

iii

wwww

L

1 1

*212

*2121

,,

,,

1lnβ

ρ

ρβ

= ( )( )

∑

∂Φ∂

Φ

niiiii

iii

xqxqww1 1

*2

'221

'112

*212

,,

,,

1β

ρββ

ρ

= ( )∑Φ

n

iiiiii

gxqww1

111*212 ,,

1

ρ = ( ) 1

1*

212

11

,,i

n

iii

ii xwwgq∑

Φ ρ

Demikian pula bukti untuk 2

ln

β∂∂ L

, buktinya serupa dengan 1

ln

β∂∂ L

.

Diperoleh : 2

ln

β∂∂ L

= ( ) 21

*212

22

,,i

n

iii

ii xwwgq∑

Φ ρ

Jadi terbukti bahwa : 2,1ln

1 2

=∀

Φ

=∂

∂ ∑ jxgqL n

ijijij

jβ , dengan

( )

−

−Φ=

2*

1*

211

1 i

iiiii

wwwg

ρ

ρφ .

Sedangkan bukti untuk

∑

Φ

=∂

∂ nii qqL

1 2

221ln φρ

dapat secara

langsung diperoleh dengan mudah

dari persamaan

( )∑ Φ=n

iii wwL1

*212 ,,lnln ρ .


18

Penaksir maksimum likelihood untuk model probit bivariat ini dapat diperoleh dengan cara menyusun secara serentak ketiga

turunannya (yaitu : ,ln

,ln

21 ββ ∂∂

∂∂ LL

dan ρ∂

∂ Lln) sama dengan nol,

dimana proses pencariannya dapat menggunakan metode iterasi Newton dengan alat bantu software , salah satunya adalah software LIMDEP .

IV. Penutup

Metode maksimum likelihood merupakan salah satu metode penaksiran yang memenuhi kriteria penaksir yang baik . Khususnya untuk ukuran sampel yang cukup besar , seperti data yang digunakan untuk model probit dan model probit bivariat , metode ini sangat baik digunakan . Sifat – sifat penaksir maksimum likelihood antara lain konsisten ,

berdistribusi normal asimtotik dan efisien asimtotik .

V. Pustaka

[1] Greene , William H , “Econometrics Analysis” , Macmillan , Inc. , 1995

[2] Gujarati , D. , “Basic Econometrics”, McGraw-Hill , Inc. , 1978

[3] Hoel , P . G . , “Introduction to Mathematical Statistics” , John Wiley and Sons , Inc. , 1984

[4] Hogg and Craig , “Introduction to Mathematical Statistics”, Prentice-Hall , Inc. , 1995

[5] Maddala , G . S . , “Limited Dependent and Qualitative Variables in Econometrics” , Cambridge Univ . Press , 1983

[6] Myers and Walpole , “Probability and Statistics for Engineers and Scientists” , Macmillan , Inc. , 1978

Penaksir Maksimum Likelihood

Documents

Transcript of Penaksir Maksimum Likelihood