1

PENGARUH MIXED DISTRIBUTION PADA PENDEKATAN QUASI-LIKELIHOOD

DALAM MODEL LINEAR 1)

Anang Kurnia Departemen Statistika FMIPA IPB

Jl. Meranti, Wing 22 Level 4 Kampus IPB Darmaga, Bogor Email: anangk@ipb.ac.id

Abstrak. Diawali oleh Wedderburn (1974), perkembangan metode “quasi-likelihood” (QL) telah memberikan manfaat yang sangat besar dalam pemodelan statistika. Dengan keuntungan yang dimilikinya yaitu tidak memerlukan diketahuinya bentuk sebaran dari peubah respon, metode QL telah menjadi alternatif dalam pemodelan statistika yang komplek. Namun demikian, inferensi berdasarkan metode quasi-likelihood hanya bisa dilakukan berdasarkan sifat asimtotik. Disamping itu, pengaruh data pencilan atau terjadinya mixed distribution pada peubah respon akan mempengaruhi akurasi pendugaan yang dihasilkannya. Kajian simulasi untuk hal tersebut, menunjukkan bahwa terjadinya mixed distribution dibawah 10% masih memungkinkan untuk digunakan quasi-likelihood dengan menganggap respon berasal dari satu populasi. Sedangkan jika terjadi mixed distribution diatas 10%, analisis harus mempertimbangkan kondisi ini karena pendugaaan dan inferensi jika hal tersebut diabaikan menjadi jauh dari kondisi sebenarnya. Kata Kunci : Quasi-likelihood, mixed distribution

1. Pendahuluan Pemodelan statistika berkembang sangat cepat sejalan dengan perkembangan teknologi komputasi. Namun demikian banyak masalah-masalah aktual dalam pemodelan yang tidak bisa dilakukan dengan sederhana. Pendekatan full likelihood memiliki keterbatasan pada asumsi sebaran peubah respon. Diawali oleh Wedderburn (1974), kemudian McCullagh (1983) dikembangkan suatu pendekatan lain “quasi-likelihood” yang memiliki keuntungan tidak memerlukan diketahuinya bentuk sebaran dari peubah respon, karena estimating function dibentuk hanya berdasarkan pada momen satu dan momen kedua. Namun demikian, keuntungan ini tidak menjadikan quasi-likelihood sebagai metode yang power-full. Oleh karena sifatnya yang relatif bebas sebaran, inferensi berdasarkan metode quasi-likelihood hanya bisa dilakukan berdasarkan sifat asimtotik. Disamping itu, pengaruh data pencilan atau terjadinya mixed distribution pada peubah respon akan mempengaruhi akurasi pendugaan yang dihasilkannya. Seberapa besar pengaruh mixed distribution mempengaruhi pendugaan pada metode quasi-likelihood menjadi kajian pada paper ini. 2. Tinjauan Pustaka

Generalized Linear Model (GLM)

Model linear khususnya model regresi sudah mulai digunakan sejak awal abad 19, ditandai dengan kajian-kajian yang dilakukan oleh Francis Galton (1822-1911) tentang hubungan tinggi badan ayah dan anaknya. Dalam perkembangannya, model regresi linear dengan asumsi peubah respon Yi ~ N(µi, σ2) tidaklah mampu menjawab masalah-masalah yang dihadapi dalam pemodelan statistik. Generalized Linear Model (GLM) merupakan pengembangan dari model linear ”klasik” khususnya

1) Paper disampaikan pada Seminar Nasional Statistika, Universitas Islam Bandung, 24 Mei 2007

2

dalam mengatasi kendala peubah respon yang tidak normal. Namun demikian, peubah respon dalam GLM diasumsikan memiliki sebaran yang termasuk dalam keluarga sebaran eksponensial. Ada tiga komponen utama dalam GLM (McCullagh dan Nelder,1989), meliputi :

1. Komponen acak, yaitu peubah respon Y1, Y2, …, Yn yang merupakan contoh acak dimana Yi ~ (µi, σ2) dan termasuk dalam keluarga sebaran eksponensial

2. Komponen sistematik yang merupakan fungsi dari peubah penjelas : ηi = β1x1i + β2x2i + β3x3i + … + βpxpi

3. Fungsi hubung yang menghubungkan suatu fungsi dari nilai tengah komponen acak dengan komponen sistematik : g(µi) = ηi .

Jika Y adalah suatu peubah acak, baik kontinu maupun diskret, dan termasuk dalam keluarga sebaran eksponensial, maka fungsi peluang atau fungsi kepekatan peluang Y dapat dimodelkan sebagai berikut

dengan a, b, dan c merupakan fungsi spesifik yang diturunkan berdasarkan fungsi peluang atau fungsi kepekatan peluang dari Y. Nilai harapan dan ragam peubah acak Y dinotasikan :

Jika µ merepresentasikan nilai tengah dari Y, dan ragam merupakan fungsi dari nilai tengah, maka

dimana V(.) adalah suatu fungsi ragam yang diketahui. Fungsi likelihood dari n peubah acak Y1, Y2, ..., Yn didefinisikan sebagai fungsi kepekatan peluang bersama dari n peubah acak f(y|θ) yang dilihat sebagai fungsi dari θ dan dinotasikan dengan L(θ | y). Untuk suatu gugus y yang diketahui, memaksimumkan L(θ | y) adalah metode kemungkinan maksimum dalam menduga θ. Dalam kasus Yi adalah keluarga sebaran eksponensial, log [L(θ | y)] adalah Jika E(Y) = µ tergantung pada parameter β1, β2, …, βp maka penduga kemungkinan maksimum untuk setiap βj adalah penyelesaian dari persamaan berikut

dimana ηi = Xiβ, atau dapat pula ditulis dalam notasi score function yang merupakan turunan pertama terhadap θ dari fungsi log-likelihood.

Sedangkan nilai harapan dari turunan keduanya disebut Fisher information function. Solusi kemungkinan maksimum dari θ adalah penyelesaian S(θ) = 0, dan [I(θ)]-1 adalah penduga ragamnya.

Quasi Likelihood Quasi-likelihood (QL) merupakan suatu framework dalam pemodelan statistika yang didasari oleh pendekatan terhadap model fungsi likelihood. Keuntungan dari quasi-likelihood adalah tidak

E( )

3

memerlukan diketahuinya bentuk sebaran dari peubah respon, karena estimating function dibentuk berdasarkan momen satu dan momen kedua. Model dasar quasi-likelihood pertama kali dikembangkan oleh Wedderburn (1974). Fungsi quasi-likelihood didefinisikan sebagai

dengan E(yi) = µi dan ragam var(yi) = V(µi) dengan V merupakan suatu fungsi yang diketahui. Dalam kasus regresi, µi biasanya tergantung pada suatu fungsi linear xβ melalui suatu fungsi hubung g sehingga µi = g-1(xβ). Wedderburn (1974) memperlihatkan bahwa perhatian pada µi dan koefisien regresi β dari fungsi Q(µi;yi) memiliki sifat yang sama dengan fungsi log-likelihood. Hal ini dapat dijelaskan dengan memperhatikan prinsip-prinsip quasi-likelihood yang mirip dengan GLM, meliputi :

1. Pola hubungan nilai tengah dengan peubah bebas yang membentuk suatu fungsi hubung, g(µi) = ηi .

2. Pola hubungan ragam dengan nilai tengah yang membentuk fungsi ragam (variance function), Var(Yi) = φV(µi), dengan φ adalah dispersion parameter.

Berdasarkan dua komponen yang menyusun QL tersebut, jelas menjadikan quasi-likelihood mirip dengan fungsi log-likelihood pada GLM sehingga QL dapat diselesaikan dengan cara yang sama seperti pada penyelesaian GLM. Parameter yang akan diduga pada quasi-likelihood adalah θ = (β, φ) dimana β merupakan parameter yang menjadi perhatian, sedangkan φ biasanya bukan merupakan parameter yang menjadi perhatian dan sering disebut nuisance parameter. Pengaruh φ digunakan pada pendugaan galat baku penduga β. Dalam kasus model linear, Pawitan (2001) menunjukkan bahwa dengan kondisi E(yi) = xi’β = µi(β) dan var(yi) = σi

2 = Vi(β), maka untuk µi(.) dan Vi(.) yang diketahui, penduga bagi β adalah penyelesaian dari persamaan berikut

0=V

)y(∂∂

iii

n

1=i

i∑ µβµ

3. Kajian Simulasi untuk Kasus Mixed Distribution

Desain Simulasi Kajian simulasi didasarkan pada model linear. Untuk pasangan pengamatan (yi, xi), i = 1, 2, …, n dimana

E(yi) = xi’β = µi(β) var(yi) = σi

2 = Vi(β) Dengan memperhatikan bahwa penduga β merupakan penyelesaian dari

0=V

)y(∂∂

iii

n

1=i

i∑ µβµ ⇔ 0=

)'xy(x 2

i

iin

1=ii∑

σ

β

sehingga

∑∑

n1=i

2iii

n1=i

2iii

'xx

yx=ˆ

σ

σβ

= (X’V-1X)-1 X’V-1Y dengan V = diag[σi

2]. Dengan demikian, untuk kasus Yi ~ N(µi, σi

2) penyelesaian dengan quasi-likelihood, restricted maximum likelihood maupun ordinary least square akan menghasilkan pendugaan yang sama.

4

Kajian simulasi dilakukan dengan memberikan intervensi pada peubah respon seolah-olah berasal dari dua populasi yang berbeda. Banyaknya intervensi berturut-turut 5%, 10%, 15%, 20%, dan 25% dari banyaknya pengamatan. Banyaknya pengamatan ditentukan n = 200 dan masing-masing diulang sebanyak 30 ulangan. Algoritma pembangkitan data didesain sebagai berikut :

1. Bangkitkan X (sebagai peubah bebas), X ~ Seragam(145, 190) 2. Tetapkan parameter, β = (-100 1,1) 3. Hitung µi = Xiβ 4. Untuk setiap proporsi intervensi, set µi = Xiβ + 15 5. Hitung ragam untuk setiap pengamatan, σi

2 = sqrt(µi) 6. Bangkitkan Y (peubah respon), Yi ~ N(µi, σi

2) 7. Evaluasi pasangan pengamatan (yi, xi) dengan metode quasi-likelihood, restricted maximum

likelihood dan ordinary least square

Hasil Kajian Simulasi Gambar 1 dan Gambar 2 menyajikan pola distribusi data simulasi. Gambar 1 adalah pola distribusi data simulasi untuk 200 pengamatan dengan intervensi mixed distribusion sebesar 5%. Sedangkan Gambar 2 adalah pola distribusi data simulasi dengan pengamatan 200 dan intervensi mixed distribution sebesar 25%.

Gambar 1. Sebaran peubah respon dengan intervensi 5%

Gambar 2. Sebaran peubah respon dengan intervensi 25% Deskripsi hasil simulasi disajikan pada Tabel 1. Terlihat bahwa semakin besar intervensi yang dilakukan pada data, bias pendugaan baik intersep maupun koefisien model semakin besar. Gambar 3 menyajikan pola perubahan bias pendugaan parameter berdasarkan perubahan intervensi pada data. Berdasarkan Tabel 1 dan Gambar 3, terlihat bahwa intervensi data sampai dengan 10% dari banyaknya pengamatan masih memberikan toleransi bias pendugaan yang kecil. Baik intersep

5

maupun koefisien parameter memiliki nilai mutlak bias dibawah 5%. Nilai mutlak bias naik dengan tajam jika intervensi data lebih dari 10%.

Tabel 1. Deskripsi rata-rata pendugaan parameter model

Presentase Intervensi Intercept Coeff MSE-Model

5 -96.76 1.09 95.95 10 -105.20 1.14 104.49 15 -73.28 0.95 160.10 20 -64.92 0.90 175.72 25 -31.56 0.70 247.71

0

20

40

60

80

5 10 15 20 25

Persentase Intervensi

Pers

enta

se B

ias

Series1 Series2

Gambar 3. Persentase bias pendugaan parameter

untuk setiap persentase intervensi pada data Pendugaan MSE-model juga memiliki pola yang serupa dengan pola nilai mutlak bias pendugaan parameter. Untuk intervensi yang lebih dari 10% dari data pengamatan, besarnya pendugaan MSE-model meningkat dengan cukup tajam. Peningkatan MSE-model seperti yang disajikan pada Gambar 4, juga berpengaruh langsung secara linear dalam pendugaan galat baku atau MSE-penduga parameter, karena MSE-penduga parameter merupakan fungsi linear dari MSE-model.

104.4995.95

160.10 175.72

247.71

0

50

100

150

200

250

300

5 10 15 20 25

Persentase Intervensi

Gambar 4. Perubahan pendugaan MSE-Model

untuk setiap persentase intervensi pada data Peningkatan yang tajam baik pada nilai mutlak bias maupun MSE penduga parameter model untuk intervensi data memberikan indikasi bahwa jika ada indikasi mixed-distribution, apalagi lebih dari

Intersep Koefisien

6

10% data pengamatan, peneliti harus lebih hati-hati dalam melakukan analisis. Memaksakan melakukan analisis dengan menganggap bahwa respon berasal dari satu populasi beresiko dalam pendugaan parameter. 4. Kesimpulan Penggunaan metode quasi-likelihood (QL), restricted maximum likelihood (REML) maupun ordinary least square (OLS) untuk data simulasi yang dibangkitkan dari populasi normal menghasilkan pendugaan parameter yang sama. QL dan OLS adalah dua metode yang tidak mensyaratkan diketahuinya sebaran peubah respon, sedangkan REML ataupun maximum likelihood untuk kasus data normal secara analitik akan menghasilkan pendugaan parameter yang sama dengan QL maupun OLS. Pengaruh intervensi mixed distribution pada data simulasi baik dilakukan analisis dengan metode QL, OLS maupun REML memberikan hasil yang sama. Peningkatan proporsi intervensi yang diberikan semakin meningkaktan nilai mutlak bias maupun pendugaan MSE. Intervensi mixed distribution yang kurang dari 10%, menyebabkan bias kurang dari 5%, sehingga jika hal ini terjadi pada data empirik masih memungkinkan untuk dilakukan analisis dengan mengasumsikan data berasal dari satu populasi. Namun untuk intervensi yang lebih dari 10%, mengasumsikan data masih berasal dari satu populasi memberikan resiko yang besar dalam inferensi model, sehingga seharusnya dilakukan analisis berbasis mixed distribution.

Daftar Pustaka Godambe VP. dan Heyde CC. 1987. Quasi-likelihood and optimal estimation. Intl Statist Review.

;55:231–244.

McCullagh P. 1983. Quasi-likelihood functions. Ann Statist. ;11:59–67.

McCullagh, P.dan Nelder, JA. 1989. Generalized Linear Models. 2. Chapman and Hall, London.

Nelder JA, dan Lee Y. 1992. Likelihood, quasi-likelihood and pseudolikelihood: some comparisons. J R Statist Soc B.;54:273–284.

Pawitan, Y. 2001. In All Likelihood: Statistical Modelling and Inference Using Likelihood. Clarendon Press, Oxford.

Wedderburn RWM. 1974. Quasi-likelihood functions, generalized linear models, and the Gauss-Newton method. Biometrika.;61:439–447.

7

Lampiran 1. Sebagian Output Quasi-Likelihood, Restricted Maximum Likelihood dan Ordinary Least Square pada data simulasi dengan intervensi 5 %.

The GLIMMIX Procedure Model Information Response Distribution Unknown Link Function Identity Variance Function 1 Estimation Technique Quasi-Likelihood Parameter Estimates Standard Effect Estimate Error DF t Value Pr > |t| Intercept -104.09 9.2952 198 -11.20 <.0001 X 1.1250 0.05552 198 20.26 <.0001 Residual 107.87 . . . . The GLIMMIX Procedure Model Information Response Distribution Gaussian Link Function Identity Variance Function Default Estimation Technique Restricted Maximum Likelihood Parameter Estimates Standard Effect Estimate Error DF t Value Pr > |t| Intercept -104.09 9.2952 198 -11.20 <.0001 X 1.1250 0.05552 198 20.26 <.0001 Scale 107.87 10.8412 . . . The REG Procedure Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model 1 44280 44280 410.50 <.0001 Error 198 21358 107.86816 Corrected Total 199 65638 Parameter Estimates Parameter Standard Variable Label DF Estimate Error t Value Pr > |t| Intercept Intercept 1 -104.09398 9.29518 -11.20 <.0001 X X 1 1.12497 0.05552 20.26 <.0001

8

Lampiran 2. Hasil pendugaan parameter pada data simulasi berdasarkan metode quasi-likelihood

Intervensi 5% Intervensi 10% No. B0 B1 MSE-Model B0 B1 MSE-Model

1 -104.0900 1.1250 107.8700 -110.2000 1.1752 109.2200

2 -105.3000 1.1373 107.9700 -105.3500 1.1426 90.2208

3 -95.7839 1.0829 123.0500 -111.7600 1.1837 101.4700

4 -87.9778 1.0257 102.4000 -107.1400 1.1510 112.9300

5 -87.9365 1.0320 98.1003 -96.7979 1.0897 86.9418

6 -106.4700 1.1469 91.1556 -108.8600 1.1591 97.2449

7 -100.2000 1.1117 87.8798 -110.4800 1.1709 88.0713

8 -92.0821 1.0548 99.9047 -96.5088 1.0921 119.8200

9 -88.5113 1.0357 93.2441 -110.3300 1.1762 101.5100

10 -105.1900 1.1385 105.1400 -97.3053 1.0974 102.9200

11 -96.5193 1.0867 87.6829 -108.4900 1.1566 103.7700

12 -111.7500 1.1701 108.7800 -103.3100 1.1313 113.4600

13 -96.3774 1.0775 93.7820 -101.4900 1.1185 94.1875

14 -90.1284 1.0455 81.1876 -91.3852 1.0530 92.0453

15 -101.7400 1.1156 82.6093 -105.4900 1.1381 108.6100

16 -94.7503 1.0760 106.6200 -98.5473 1.1008 108.8100

17 -94.4194 1.0758 76.6619 -98.6479 1.1036 97.7858

18 -94.7401 1.0724 85.0134 -105.0000 1.1431 95.3625

19 -89.4162 1.0377 89.4151 -99.5995 1.1043 106.5400

20 -91.4737 1.0551 76.5309 -110.1500 1.1662 95.9693

21 -91.8156 1.0550 87.3936 -110.0800 1.1724 110.7100

22 -96.3271 1.0841 113.2000 -120.8700 1.2343 118.0000

23 -91.7637 1.0589 98.6719 -108.0900 1.1557 118.2000

24 -104.3900 1.1310 76.9285 -107.5400 1.1517 108.3800

25 -94.5840 1.0714 96.0896 -119.3300 1.2277 121.6000

26 -94.4193 1.0762 91.5096 -96.8744 1.0936 105.0300

27 -106.5200 1.1390 98.1910 -94.1486 1.0725 107.3100

28 -95.1057 1.0800 116.3600 -100.6700 1.1119 109.8900

29 -99.1103 1.1036 99.3868 -118.6700 1.2155 105.1700

30 -93.7602 1.0673 95.6922 -102.7600 1.1230 103.4800

9

Lampiran 2. Hasil pendugaan parameter pada data simulasi berdasarkan metode quasi-likelihood

Intervensi 15% Intervensi 20% No. B0 B1 MSE-Model B0 B1 MSE-Model

1 -61.6212 0.8789 160.1500 -70.1561 0.9256 180.6800

2 -80.9142 1.0006 164.4600 -58.5970 0.8620 182.9000

3 -76.9403 0.9668 164.3200 -69.4084 0.9222 186.8000

4 -66.3130 0.9102 162.6100 -71.8121 0.9382 156.9100

5 -77.7803 0.9796 147.7500 -50.8781 0.8119 190.5300

6 -74.2710 0.9544 143.4200 -70.9390 0.9364 180.2800

7 -69.0762 0.9183 140.3500 -61.4570 0.8777 184.2900

8 -65.0806 0.8949 159.8700 -41.6533 0.7528 185.1000

9 -80.4510 0.9970 176.6500 -53.4820 0.8316 174.2500

10 -78.4694 0.9783 177.8000 -62.3355 0.8830 180.1600

11 -70.0338 0.9337 158.0600 -62.2864 0.8818 177.6400

12 -72.4576 0.9465 191.2600 -76.2894 0.9704 178.1000

13 -71.3514 0.9421 171.3600 -68.6345 0.9256 146.4300

14 -74.1147 0.9508 149.6100 -71.5045 0.9352 201.1400

15 -63.9835 0.8905 155.2800 -71.7678 0.9343 156.0400

16 -88.4130 1.0424 149.5100 -67.5960 0.9081 168.5400

17 -72.9315 0.9453 170.0400 -78.1077 0.9740 197.0900

18 -62.3561 0.8782 143.8300 -51.2083 0.8155 174.3000

19 -74.5510 0.9514 182.3800 -53.9479 0.8349 168.7500

20 -78.8687 0.9872 137.5900 -54.0066 0.8273 194.7900

21 -74.0964 0.9497 175.6700 -70.6045 0.9309 180.5500

22 -61.2068 0.8709 132.9700 -64.5814 0.8947 145.0000

23 -66.0670 0.9142 162.4900 -76.7923 0.9676 191.3900

24 -73.5612 0.9483 151.2100 -78.2506 0.9769 165.0700

25 -68.8475 0.9202 157.9300 -61.6423 0.8759 180.1800

26 -71.5390 0.9360 175.1000 -70.2674 0.9313 176.1200

27 -77.8568 0.9807 141.5900 -59.8571 0.8620 173.7300

28 -83.5256 1.0147 149.4500 -70.1822 0.9261 161.0100

29 -87.8618 1.0456 175.6300 -63.8013 0.8907 158.6900

30 -74.0090 0.9556 174.5200 -65.4642 0.8980 175.2300

10

Lampiran 2. Hasil pendugaan parameter pada data simulasi berdasarkan metode quasi-likelihood

Intervensi 25% No. B0 B1 MSE-Model 1 -32.7793 0.7046 230.2600

2 -39.5092 0.7475 261.1200

3 -31.5739 0.6994 243.6500

4 -35.5297 0.7264 221.2300

5 -26.5146 0.6736 220.6000

6 -26.5101 0.6700 246.3800

7 -30.9150 0.7009 259.2900

8 -19.2076 0.6294 239.1700

9 -22.3491 0.6459 228.2400

10 -43.7108 0.7747 236.9300

11 -39.5022 0.7494 267.8400

12 -35.2377 0.7256 257.8700

13 -26.7754 0.6710 236.2700

14 -26.7865 0.6737 231.5800

15 -36.1538 0.7331 238.1200

16 -24.2711 0.6613 266.6100

17 -34.8963 0.7203 231.0000

18 -31.0452 0.7020 215.9000

19 -40.2408 0.7550 264.6400

20 -23.6834 0.6511 247.5700

21 -17.7075 0.6206 289.9100

22 -20.6716 0.6389 262.4400

23 -32.1472 0.7082 251.8500

24 -31.7064 0.7019 269.5000

25 -42.0327 0.7665 266.5200

26 -45.5136 0.7898 261.8100

27 -26.7614 0.6736 244.9800

28 -40.2888 0.7568 252.6900

29 -28.3523 0.6805 242.5700

30 -34.2910 0.7194 244.6700