MA3081 STATISTIKA MATEMATIKA “Statistika ...personal.fmipa.itb.ac.id/khreshna/files/2011/04/.........

34
Catatan Kuliah MA3081 STATISTIKA MATEMATIKA “Statistika Mengalahkan Matematika” disusun oleh Khreshna I.A. Syuhada, MSc. PhD. Kelompok Keilmuan STATISTIKA - FMIPA Institut Teknologi Bandung 2011

Transcript of MA3081 STATISTIKA MATEMATIKA “Statistika ...personal.fmipa.itb.ac.id/khreshna/files/2011/04/.........

Catatan Kuliah

MA3081 STATISTIKA MATEMATIKA“Statistika Mengalahkan Matematika”

disusun olehKhreshna I.A. Syuhada, MSc. PhD.

Kelompok Keilmuan STATISTIKA - FMIPAInstitut Teknologi Bandung

2011

Daftar Isi

1 Peubah Acak dan Distribusi Kontinu 11.1 Fungsi distribusi . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Unsur Peluang . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.3 Ekspektasi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.4 Distribusi Bivariat . . . . . . . . . . . . . . . . . . . . . . . . . 91.5 Distribusi Bersyarat . . . . . . . . . . . . . . . . . . . . . . . . 111.6 Fungsi Pembangkit Momen . . . . . . . . . . . . . . . . . . . . 13

2 Distribusi Sampel, Likelihood dan Penaksir 12.1 Sampel Acak . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12.2 Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12.3 Statistic Cukup . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.4 Distribusi Sampel . . . . . . . . . . . . . . . . . . . . . . . . . . 62.5 Statistik Terurut . . . . . . . . . . . . . . . . . . . . . . . . . . 62.6 Momen dari Mean dan Proporsi Sampel . . . . . . . . . . . . . 72.7 Teorema Limit Pusat . . . . . . . . . . . . . . . . . . . . . . . . 7

3 Penaksiran dan Selang Kepercayaan 13.1 “Sifat-sifat” (Kesalahan) penaksiran . . . . . . . . . . . . . . . . 13.2 Konsistensi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23.3 Selang Kepercayaan . . . . . . . . . . . . . . . . . . . . . . . . . 33.4 Efisiensi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

4 Uji Hipotesis 14.1 Hipotesis, Statistik Uji dan P-value . . . . . . . . . . . . . . . . 14.2 Daerah Penolakan, Kesalahan dan Fungsi Kuasa . . . . . . . . . 24.3 Uji Paling Kuasa . . . . . . . . . . . . . . . . . . . . . . . . . . 34.4 Uji Paling Kuasa Seragam . . . . . . . . . . . . . . . . . . . . . 44.5 Uji Rasio Likelihood . . . . . . . . . . . . . . . . . . . . . . . . 4

i

BAB 1

Peubah Acak dan DistribusiKontinu

1.1 Fungsi distribusi

Definisi:Misalkan X peubah acak. Fungsi distribusi (kumulatif) dari X adalah

FX(x) = P (X ≤ x)

Contoh:

1. Misalkan X ∼ Bin(3, 0.5), maka fungsi distribusi F (x) adalah fungsitangga berikut

F (x) =

0, x ∈ (−∞, 0);

1/8, x ∈ [0, 1);

1/2, x ∈ [1, 2);

7/8, x ∈ [2, 3);

1, x ∈ [3,∞).

2. Misalkan X peubah acak dengan ‘support’ S = [a, b], b > 0. Misalkanpeluang X akan berada di selang S proporsional terhadap panjang se-lang. Dengan kata lain,

P (x1 ≤ X ≤ x2) = λ (x2 − x1),

1

untuk a ≤ x1 ≤ x2 ≤ b. Untuk menentukan λ, misalkan x1 = a danx2 = b. Maka,

P (a ≤ X ≤ b) = 1 = λ (b− a) ⇒ λ = 1/(b− a)

Fungsi distribusinya:

F (x) = P (X ≤ x) = P (a ≤ X ≤ x) =

0, x < a;x−ab−a

, x ∈ [a, b];

1, x > b.

Peubah acak X dikatakan berdistribusi Uniform, X ∼ U(a, b).

Sifat-sifat fungsi distribusi:

• F (−∞) = 0 dan F (∞) = 1

• F merupakan fungsi tidak turun; F (a) ≤ F (b) untuk a ≤ b

• F adalah fungsi kontinu kanan; limε→0+ F (x + ε) = F (x)

Misalkan X peubah acak dengan fungsi distribusi F (x).

• Jika b ≥ a, maka P (a < X ≤ b) = F (b)− F (a)

• Untuk setiap x, P (X = x) = limε→0+ P (x− ε < X ≤) = F (x)− F (x−)(Perhatikan notasi F (x−) dan kasus apabila fungsi distribusi kontinukiri)

Definisi:Distribusi dari peubah acak X dikatakan KONTINU jika fungsi distribusi dis-etiap x kontinu dan fungsi distribusi tersebut dapat diturunkan.

Misalkan X peubah acak kontinu dengan fungsi distribusi FX(x).

• Misalkan g(X) fungsi naik satu-satu kontinu. Untuk y yang berada didaerah hasil dari g, fungsi invers x = g−1(y) ada. Misalkan Y = g(X).Fungsi distribusi dari Y adalah

P (Y ≤ y) = P (g(X) ≤ y) = P (X ≤ g−1(y)) = FX(g−1(y))

• Misalkan g(X) fungsi turun satu-satu kontinu. Untuk y yang berada didaerah hasil dari g, fungsi invers x = g−1(y) ada. Misalkan Y = g(X).Fungsi distribusi dari Y adalah

P (Y ≤ y) = P (g(X) ≤ y) = P (X > g−1(y)) = 1− FX(g−1(y))

MA3081 Stat.Mat. 2 K. Syuhada, PhD.

• Misalkan X ∼ U(0, 1) dan Y = g(X) = hX + k, h < 0. Maka

X = g−1(Y ) =

FX(x) =

FY (y) =

Y ∼

Latihan:

1. Misalkan X peubah acak kontinu yang memiliki fungsi distribusi FX(x)yang naik murni. Misalkan Y = FX(X). Tentukan distribusi dari Y

2. Misalkan U peubah acak berdistribusi U(0, 1). Misalkan FX(x) fungsidistribusi yang naik murni dari X. Tentukan fungsi distribusi dari peubahacak F−1

X (U)

3. Misalkan U1, U2, . . . , Un sampel acak dari U(0, 1). Bangkitkan sampelacak dari FX(x) (ambil contoh misalnya untuk FX(x) = 1− e−λ x, x > 0)

Misalkan X peubah acak kontinu dengan fungsi distribusi FX(x). MisalkanY = g(X) fungsi kontinu tidak monoton. Kita ketahui bahwa pada fungsiyang monoton,

FY (y) = P (Y ≤ y) = P (g(X) ≤ y)

dimana dalam hal ini setiap solusi inverse x = g−1(y) digunakan untuk menen-tukan FY (y) dengan menggunakan FX(g−1(y)). Untuk X ∼ U(−1, 2) dang(X) = Y = X2, kita dapatkan fungsi distribusi dari Y :

FY (y) =

MA3081 Stat.Mat. 3 K. Syuhada, PhD.

1.2 Unsur Peluang

Misalkan X peubah acak kontinu, 4x bilangan positif kecil. Definisikan

h(a, b) =def P (a ≤ X ≤ a + b) = FX(a + b)− FX(a)

Untuk h(x,4x) = P (x ≤ X ≤ x + 4x), maka deret Taylor-nya disekitar4x = 0 adalah

h(x,4x) = F (x +4x)− F (x)

= h(x, 0) +d

d4xh(x,4x)

∣∣4x=0

4x + o(4x)

=

=

dimana

lim4x→0

o(4x)

4x= 0

Fungsi

dF (x) =

[d

dxF (x)

]4x

disebut DIFERENSIAL. Dalam statistika, diferensial dari fungsi distribusiadalah UNSUR PELUANG (yang merupakan pendekatan terhadap h(x,4x)).Unsur peluang adalah fungsi linier dari d

dxF (x).

Contoh:Misalkan F (x) = 1− e−3x untuk x ≥ 0. Apakah F (x) suatu fungsi distribusi?Hitung unsur peluang di x = 2. Cari pendekatan untuk P (2 ≤ X ≤ 2.01).

Densitas rata-rata pada selang (x, x +4x) didefinisikan:

Density rata-rata =def P (x ≤ X ≤ x +4x)

4x

Sedangkan fungsi densitas peluang atau fungsi peluang (f.p) di x adalah limit

MA3081 Stat.Mat. 4 K. Syuhada, PhD.

densitas rata-rata saat 4x → 0:

f.p = f(x) =def lim4x→0

P (x ≤ X ≤ x +4x)

4x

=

=

=d

dxF (x)

Catatan: Unsur peluang dituliskan sebagai dF (x) = f(x)4x.

Sifat-sifat fungsi peluang:

• f(x) ≥ 0 untuk semua x

• ∫∞−∞ f(x) = 1

Hubungan antara fungsi peluang dan fungsi distribusi:

f(x) =d

dxF (x)

F (x) =

∫ x

−∞f(u)du

P (a < X < b) = ... = ... = ... = F (b)− F (a) =

∫ b

a

f(x)dx

Latihan:

1. Misalkan λ bilangan riil positif. Jika F (x) = 1− e−λx, maka f(x) =

2. Jika X ∼ U(a, b) maka F (x) = dan f(x) =

3. *Misalkan f(x) = c/(1 + x2) untuk −∞ < x < ∞ dan c konstanta.Fungsi f(x) tak negatif dan

∫∞−∞ (1 + x2)−1 dx = π. Berapa nilai c agar

f(x) menjadi fungsi peluag? Tentukan fungsi distribusinya.

4. *Pandang distribusi waktu tunggu. Misalkan T adalah waktu kedatan-gan kejadian ke-r dalam Proses Poisson dengan laju λ. Tentukan fungsipeluang dari T

MA3081 Stat.Mat. 5 K. Syuhada, PhD.

Misalkan X peubah acak kontinu dengan fungsi peluang f(x) dan Y = g(X)fungsi yang terdiferensial bernilai tunggal. Maka fungsi peluang dari Y :

fY (y) = fX(g−1(y))

∣∣∣∣d

dyg−1(y)

∣∣∣∣

untuk ‘support’ Y = g(X). Komponen

J(y) =d

dyg−1(y)

adalah transformasi Jacobian.BUKTI:

Misalkan g(x) memiliki lebih dari satu fungsi invers maka unsur peluang yangterpisah harus dihitung untuk setiap fungsi invers. Contoh, misalkan X ∼U(−1, 2) dan Y = g(X) = X2. Maka untuk y ∈ [0, 1], terdapat 2 fungsi inversyaitu ?, dan satu fungsi invers untuk y ∈ (1, 4] yaitu ?. Fungsi peluang dari Yadalah:

f(y) =

MA3081 Stat.Mat. 6 K. Syuhada, PhD.

1.3 Ekspektasi

Misalkan X peubah acak dengan fungsi peluang f(x). Nilai harapan dari X,jika ada, adalah

E(X) = µX =

∫ ∞

−∞f(x)dx

Catatan: nilai ekspektasi dikatakan ada jika nilai integral adalah hingga.

Misalkan X rv dengan pdf f(x). Maka nilai harapan dari g(X), jika ada,adalah

E[g(X)] =

∫ ∞

−∞g(x)f(x)dx

.

Operator integral bersifat linier. Jika g1(X) dan g2(X) fungsi-fungsi yangmemiliki ekspektasi dan a, b, c konstanta, maka

E[ag1(X) + bg2(X) + c] = aE[g1(X)] + bE[g2(X)] + c

Contoh/Latihan:

1. Jika distribusi X simetrik di sekitar c dan nilai harapanny ada makaE(X) = c.

Bukti:

E(X − c) =

∫ ∞

−∞(x− c)f(x) dx

=

∫ c

−∞(x− c)f(x)dx +

∫ ∞

c

(x− c)f(x)dx

= −∫ ∞

0

uf(c− u)du +

∫ ∞

0

uf(c + u)du

=

∫ ∞

0

u(f(c + u)− f(c− u)) du = 0

2. Misalkan X ∼ U(a, b). Tunjukkan bahwa distribusi tersebut simetrikdisekitar (a + b)/2.

MA3081 Stat.Mat. 7 K. Syuhada, PhD.

Bukti:

f

(a + b

2− δ

)= f

(a + b

2+ δ

)=

1

b− a

untuk δ ∈ [− b−a2

, b−a2

]

3. Misalkan X berdistribusi Cauchy dengan fungsi peluang

f(x) =1

σπ[1 + (x−µ)2

σ2

] ,

dengan µ, σ konstanta yang memenuhi |µ| < ∞ dan σ ∈ (0, σ). Tun-jukkan bahwa fungsi peluang simetrik di sekitar µ namun ekspektasinyabukanlah µ.

4. Misalkan X ∼ Exp(λ). Nilai harapan dari X adalah...

MA3081 Stat.Mat. 8 K. Syuhada, PhD.

1.4 Distribusi Bivariat

Suatu fungsi fX,Y (x, y) dikatakan fungsi peluang bivariat jika

• fX,Y (x, y) ≥ 0, untuk semua x, y

• ∫∞−∞

∫∞−∞ fX,Y (x, y) dxdy = 1

Jika fX,Y (x, y) fungsi peluang bivariat maka

FX,Y (x, y) = P (X ≤ x, Y ≤ y) =

∫ x

−∞

∫ y

−∞fX,Y (u, v) dvdu

Sifat-sifat fungsi distribusi bivariat:

1. FX,Y (x,∞) = FX(x)

2. FX,Y (∞, y) = FY (y)

3. FX,Y (∞,∞) = 1

4. FX,Y (−∞, y) = FX,Y (x,−∞) = FX,Y (−∞,−∞) = 0

5. fX,Y (x, y) = ∂2

∂x∂yFX,Y (x, y)

fX,Y (x, y)4x4y adalah unsur peluang bersama,

P (x ≤ X ≤ x +4x, y ≤ Y ≤ y +4y) = fX,Y (x, y)4x4y + o(4x4y)

Contoh/Latihan:

1. Jika (X, Y ) ∼ U(a, b, c, d) maka fX,Y (x, y) =

2. Untuk soal no 1 di atas, misalkan a = c = 0, b = 4, d = 6 maka

P (2.5 ≤ X ≤ 3.5, 1 ≤ Y ≤ 4) =

P (X2 + Y 2 > 16) =

3. Jika fX,Y (x, y) = 6/5(x + y2) untuk x ∈ (0, 1) dan y ∈ (0, 1). TentukanP (X + Y < 1).

MA3081 Stat.Mat. 9 K. Syuhada, PhD.

Untuk menentukan fungsi peluang marginal, integralkan “peubah yang tidakdiinginkan”:

fX(x) =

∫ ∞

−∞fX,Y (x, y) dy

fY (y) =

∫ ∞

−∞fX,Y (x, y) dx

fX,Y (x, y) =

∫ ∞

−∞

∫ ∞

−∞fW,X,Y,Z(w, x, y, z) dwdz

Pada fungsi peluang fX,Y (x, y) = 6/5(x + y2) diperoleh

fX(x) =

fY (y) =

dan nilai harapan

E(g(X,Y )) = E(X) =

∫ ∞

−∞

∫ ∞

−∞g(x, y) fX,Y (x, y) dxdy =

MA3081 Stat.Mat. 10 K. Syuhada, PhD.

1.5 Distribusi Bersyarat

Misalkan fX,Y (x, y) adalah fungsi peluang bersama, maka fungsi peluang Y ,diberikan X = x, adalah

fY |X(y|x) =def fX,Y (x, y)

fX(x),

asalkan fX(x) > 0.

Contoh: Misalkan X dan Y memiliki distribusi bersama

fX,Y (x, y) = 8xy, 0 < x < y < 1,

maka

fX(x) =

E(Xr) =

fY (y) =

E(Y r) =

fX|Y (x|y) =

fY |X(y|x) =

E(Xr|Y = y) =

E(Y r|X = x) =

Misalkan (X, Y ) adalah peubah acak berpasangan dengan fungsi peluang bersamafX,Y (x, y). Pandang persoalan memprediksi Y setelah X = x terobservasi.Prediktor dinotasikan sebagai y(x). Prediktor terbaik didefinisikan sebagaifungsi Y (X) yang meminimumkan

E[Y − Y (X)

]2

=

∫ ∞

−∞

∫ ∞

−∞(y − y(x))2 fX,Y (x, y) dydx

Prediktor terbaik adalah y(x) = E(Y |X = x).BUKTI:

Contoh/Latihan:

1. Misalkan X dan Y memiliki distribusi bersama

fX,Y (x, y) = 8xy, 0 < x < y < 1,

MA3081 Stat.Mat. 11 K. Syuhada, PhD.

maka

fY |X(y|x) =

y(x) =

2. Misalkan (Y, X) berdistribusi normal bivariat dengan E(Y ) = µY , E(X) =µX , V ar(Y ) = σ2

Y , V ar(X) = σ2X , Cov(X, Y ) = ρX,Y σX σY . Distribusi

bersyarat Y , diberikan X, adalah

(Y |X = x) ∼

3. Tunjukkan bahwa

EX

[fY |X(y|X)

]= fY (y)

4. Buktikan

EX

{E

[h(Y )|X

]}= E

[h(Y )

]

5. Buktikan

V ar(Y ) = EX

[V ar(Y |X)

]+ V ar

[E(Y |X)

]

6. Misalkan X dan Y memiliki distribusi bersama

fX,Y (x, y) =3y2

x3, 0 < y < x < 1

Maka

fY (y) =

E(Y r) = · · · , E(Y ) = · · · , V ar(Y ) = · · ·fX(x) =

fY |X(y|x) =

E(Y r|X = x) = · · · , E(Y |X = x) = · · · , V ar(Y |X = x) = · · ·V ar(E(Y |X)) =

E(V ar(Y |X)) =

MA3081 Stat.Mat. 12 K. Syuhada, PhD.

1.6 Fungsi Pembangkit Momen

Misalkan X peubah acak kontinu, fungsi pembangkit momen dari X adalah

MX(t) = E(etX) =

∫ ∞

−∞etxf(x)dx,

asalkan ekspektasi ada untuk t disekitar 0. Jika semua momen dari X tidakada, maka fungsi pembangkit momen juga tidak ada. Fungsi pembangkitmomen berkaitan dengan fungsi pembangkit peluang

MX(t) = GX(et)

asalkan GX(t) ada untuk t disekitar 1. Jika MX(t) adalah fungsi pembangkitpeluang maka MX(0) = 1.

Contoh/Latihan:

1. Jika fX(x) = λe−λx I0,∞(x), maka

MX(t) =

2. Jika MX(t) ada maka

Ma+bX(t) =

3. Jika Xi, i = 1, . . . , n saling bebas, MXi(t) ada untuk setiap i, dan S =∑

Xi, maka

MS(t) =

4. Fungsi pembangkit momen bersifat unik. Setiap distribusi memilikifungsi pembangkit momen yang unik, dan setiap fungsi pembangkitmomen berkorespondensi dengan tepat satu distribusi. Akibatnya, jikafungsi pembangkit momen ada maka fungsi pembangkit momen tersebutsecara unik menentukan distribusinya. Beri contoh.

5. Pandang turunan dari MX(t) yang kemudian dievaluasi di t = 0. Apayang dapat anda katakan? Dapatkah kita mendapatkan momen ordetinggi?

6. Dapatkah hasil diatas digunakan untuk distribusi diskrit? Ambil contohdistribusi Geometrik dengan parameter p.

MA3081 Stat.Mat. 13 K. Syuhada, PhD.

7. Misalkan Y ∼ U(a, b). Gunakan fungsi pembangkit momen untuk men-dapatkan momen pusat

E((Y − µY )2) = E

((Y − a + b

2

)r)

MA3081 Stat.Mat. 14 K. Syuhada, PhD.

BAB 2

Distribusi Sampel, Likelihooddan Penaksir

2.1 Sampel Acak

Misalkan X1, X2, . . . , Xn sampel acak berukuran n (random sample of size n).Fungsi peluang n-variat nya adalah

fX1,X2,··· ,Xn(x1, x2, . . . , xn) =n∏

i=1

fXi(xi)

Contoh/Latihan:

1. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Eksponensial den-gan parameter θ. Fungsi peluang n-variatnya adalah...

2. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Uniform pada selang(a, b). Fungsi peluang n-variatnya adalah...

2.2 Likelihood

Misalkan fungsi peluang n-variat bergantung pada parameter yang tidak dike-tahui θ. Fungsi peluang tersebut ditulis sebagai

fX1,X2,...,Xn(x1, . . . , xn|θ1, . . . , θk)

atau

fX(x|θ)

1

Contoh/Latihan:

1. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi N(µ, σ2). Fungsipeluang n-variat yang bergantung pada parameternya ditulis sebagai...

DefinisiFungsi likelihood adalah ukuran yang menyatakan sebarapa sering nilai θ,diberikan bahwa x telah terobservasi. Fungsi likelihood BUKAN suatu pelu-ang. Fungsi likelihood diperoleh dengan (i) menukar peran θ dan x dalamfungsi peluang n-variat, dan (ii) membuang suku yang tidak bergantung padaθ. Notasi:

L(θ) = L(θ|x) ∝ fX(x|θ)

Contoh/Latihan:

1. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Eksponensial den-gan parameter θ. Fungsi likelihoodnya adalah...

function likefunction;

% this function calculates the likelihood function of distribution

%

% created by K Syuhada, 14/3/2011

clear

clc

n = input(’n = ’); % size of random sample

% data

x = exprnd(0.5,n,1);

sumx = sum(x);

% parameter of exponential distribution

lambda = 0.5:0.05:5;

for i = 1:length(lambda)

L(i) = (lambda(i)^n)*exp(-lambda(i)*sumx);

end

plot(lambda,L)

MA3081 Stat.Mat. 2 K. Syuhada, PhD.

2. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Uniform pada selang(π, b). Fungsi likelihoodnya adalah...

Prinsip LikelihoodJika dua percobaan, yang melibatkan model dengan parameter θ, memberikanlikelihood yang sama, maka inferensi terhadap θ haruslah sama.

IlustrasiPandang percobaan 1 dimana sebuah koin dilantunkan sebanyak n kali secarabebas. Misalkan p adalah peluang muncul MUKA dan X peubah acak yangmenyatakan banyaknya MUKA yang muncul. Fungsi peluang dari X danfungsi likelihoodnya adalah...

Pandang percobaan 2 dimana sebuah koin dilantunkan hingga diperoleh MUKAsebanyak 6 kali secara bebas. Misalkan Y peubah acak yang menyatakanbanyaknya lantunan yang dibutuhkan agar diperoleh enam MUKA. Fungsipeluang dari X dan fungsi likelihoodnya adalah...

Dari 2 percobaan diatas, misalkan kita ingin melakukan uji hipotesis:

H0 : p = 0.5 versus H0 : p < 0.5

Nilai signfikansinya atau p-value adalah...

Penaksir Likelihood MaksimumMisalkan L(θ) adalah fungsi likelihood (fungsi dari parameter θ). Kita da-pat menentukan nilai θ yang memaksimumkan L(θ). Penaksir untuk θ, yaituθ disebut Penaksir Likelihood Maksimum (maximum likelihood estimator,MLE). Penaksir suatu parameter adalah fungsi dari peubah acak.

Contoh/Latihan:

1. Diketahui sampel acak berukuran n dari distribusi Bernoulli (p). Fungsilikelihoodnya:

L(θ) = θP

xi (1− θ)n−P xi , 0 < θ < 1.

Untuk menentukan nilai θ yang memaksimumkan L(θ), transformasikanL(θ) menjadi log L(θ):

`(θ) = log L(θ) =∑

xi log(θ) + (n−∑

xi) log(1− θ),

kemudian hitung turunan pertama `(θ) terhadap θ:

d`(θ)

dθ=

∑xi

θ− n−∑

xi

1− θ.

MA3081 Stat.Mat. 3 K. Syuhada, PhD.

Normalisasi dari turunan pertama tersebut memberikan nilai

θ =

∑xi

n,

yang mana sebagai penaksir ditulis sebagai berikut:

θ =

∑Xi

n= X.

(Pr: Tunjukkan bahwa θ ini memaksimumkan L(θ) dengan menghitungturunan kedua).

2. Misalkan X1, . . . , Xn sampel acak berdistribusi U(0, θ). Tentukan θ yangmemaksimumkan L(0, θ). Dengan kata lain, tentukan penaksir θ untukθ.

Sifat PenaksirSetelah kita mendapatkan penaksir θ, kita dapat menentukan sifat baik pe-naksir. Salah satunya adalah sifat TAK BIAS. Penaksir θ dikatakan tak biasapabila

E(θ) = θ.

Untuk contoh sampel acak Bernoulli,

E(θ) = E

(X1 + · · ·+ Xn

n

)

=1

nE(X1 + · · ·+ Xn)

=1

n

(E(X1) + · · ·+ E(Xn)

)

=1

n(θ + · · ·+ θ)

= θ

Jadi, penaksir θ = X adalah penaksir tak bias untuk θ.

Catatan: Jika suatu penaksir θ bersifat bias maka selisih nilai ekspektasi dannilai θ tidak nol, atau

E(θ − θ) 6= 0.

MA3081 Stat.Mat. 4 K. Syuhada, PhD.

2.3 Statistic Cukup

Definisi -1Suatu statistik T = t(X) adalah CUKUP atau sufficient untuk suatu keluargadistribusi fX(x|θ) JIKA dan HANYA JIKA fungsi likelihoodnya bergantungterhadap X hanya melalui T:

L(θ) = h(t(X), θ)

Definisi -2Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusifX(x|θ) JIKA dan HANYA JIKA distribusi bersyarat dari X TIDAK BERGAN-TUNG pada θ:

fX|T (x|t, θ) = h(x)

Definisi -3Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusifX(x|θ) JIKA dan HANYA JIKA fungsi peluangnya dapat difaktorkan sebagai:

fX(x|θ) = g(t(x)|θ) h(x)

Contoh/Latihan:

1. Misalkan Xi untuk i = 1, . . . , n saling bebas dan berdistribusi identikBernoulli(p). Tunjukkan bahwa Y =

∑ni=1 Xi adalah statistik cukup.

2. Misalkan X1, . . . , Xn sampel acak berdistribusi Poisson dengan parame-ter λ. Tunjukkan bahwa T =

∑ni=1 Xi adalah statistik cukup.

3. Misalkan Xi untuk i = 1, . . . , n saling bebas dan berdistribusi identikN(µ, 1). Tunjukkan bahwa Y = X adalah statistik cukup.

4. Misalkan X1, . . . , Xn sampel acak berdistribusi Gamma dengan param-eter (α, λ). Tunjukkan bahwa T =

∑ni=1 ln(Xi) adalah statistik cukup.

5. Pandang sampel acak berukuran n dari U(a, b), dengan a diketahui. Tun-jukkan bahwa T = X(n) adalah statistik cukup.

6. Pandang sampel acak berukuran n dari N(µ, σ2), dengan µ, σ2 tidakdiketahui. Tunjukkan bahwa statistik T berikut adalah cukup:

T =

(S2

X

X

)

MA3081 Stat.Mat. 5 K. Syuhada, PhD.

2.4 Distribusi Sampel

Misalkan X1, X2, . . . , Xn sampel acak berukuran n dari distribusi Poisson den-gan parameter λ. Peubah acak Xi, i = 1, . . . , n saling bebas dan berdistribusiidentik dengan fungsi peluang n-variat:

P (X = x) =n∏

i=1

e−λ λxi

xi!=

e−nλ λy

∏ni=1 xi!

,

dengan y =∑

xi. Dapat ditunjukkan juga Y =∑

Xi cukup. Distribusisampel dari Y adalah

fY(y|θ) =e−nλ (nλ)y

y!.

Misalkan Xi ∼ U(0, θ). Peubah acak-peubah acak Xi tersebut saling bebasdan berdistribusi identik, dengan fungsi peluang:

fX(x|θ) =

Statistik T = X(n) cukup dan memiliki fungsi distribusi:

P (X(n) ≤ x) =

dan fungsi peluang:

f(x) =

2.5 Statistik Terurut

Misalkan X1, . . . , Xn sampel acak berukuran n dari suatu populasi yang berdis-tribusi tertentu, dengan fungsi peluang fX dan fungsi distribusi FX . PandangX(k), statistik terurut ke-k. Untuk menentukan fX(k)

(x), pertama partisikan

I1 = (−∞, x]; I2 = (x, x + dx]; I3 = (x + dx,∞).

Fungsi peluang fX(k)(x) adalah peluang mengamati sejumlah k − 1 dari X di

I1, tepat sebuah X di I2, dan sejumlah n− k dari X di I3:

fX(k)(x) ≈

(n

k − 1, 1, n− k

) (FX(x)

)k−1 (fX(x)dx

)1 (1− FX(x)

)n−k

MA3081 Stat.Mat. 6 K. Syuhada, PhD.

yang dengan metode diferensial maka kita peroleh

fX(k)(x) =

(n

k − 1, 1, n− k

) (FX(x)

)k−1 (1− FX(x)

)n−kfX(x)

Contoh/Latihan:

1. Fungsi peluang dari statistik terurut terkecil/terbesar adalah...

2. Statistik terurut ke-k pada distribusi U(0, 1) memiliki fungsi peluang...

2.6 Momen dari Mean dan Proporsi Sampel

2.7 Teorema Limit Pusat

TeoremaMisalkan X1, . . . , Xn sampel acak berukuran n dari populasi dengan mean µX

dan variansi σ2X . Distribusi dari

Zn =X − µX

σX/√

n

konvergen ke N(0, 1) untuk n →∞.

Catatan:

• Hal penting dari Teorema Limit Pusat (Central Limit Theorem) adalahbahwa kekonvergenan dari Zn ke distribusi normal akan terjadi apapunbentuk distribusi dari X.

• Kita dapat memanipulasi sedemikian hingga

X ∼ N(µX , σ2X/n),

asalkan n besar.

• Ekspresi lain dari TLP adalah

limn→∞

P

(√n (X − µX)

σX

≤ c

)= Φ(c)

MA3081 Stat.Mat. 7 K. Syuhada, PhD.

• Pandang: X1 + · · ·+ Xn,

E

(n∑

i=1

Xi

)= nµX ,

V ar

(n∑

i=1

Xi

)= nσ2

X ,

limn→∞

P

(∑ni=1 Xi − nµX√

nσX

≤ c

)= Φ(c)

• Seberapa besar n harus kita pilih agar X berdistribusi normal? n = 1?Bergantung pada distribusi dari data (parent distribution)!Misalkan X ∼ Exp(θ). Distribusi ini memiliki kemencengan (skewness)dan kelancipan (kurtosis):

κ3 =E(X − µX)3

√σ3

X

= 2,

dan

κ4 =E(X − µX)4

σ4X

− 3 = 6,

dengan µX = 1/θ dan σ2X = 1/θ2. Mean sampel X berdistribusi Ga(n, nθ).

Kemencengan (skewness) dan kelancipan (kurtosis) dari X adalah

κ3 =E(X − µX)3

√σ3

X

=2√n

,

dan

κ4 =E(X − µX)4

σ4X

− 3 = 6/n,

Perhatikan plot berikut:

MA3081 Stat.Mat. 8 K. Syuhada, PhD.

Misalkan X ∼ B(n, p) (ingat bahwa distribusi X tersebut sama dengan dis-tribudi dari sejumlah n peubah acak Bernoulli(p)). Untuk n besar,

p ∼ N

(p,

p(1− p)

n

)

P (p ≤ c) ≈ Φ

(√n(c− p)√p(1− p)

)

X ∼ N(np, np(1− p))

P (X = x) = P

(x− 1

2≤ X ≤ x +

1

2

), x = 0, 1, . . . , n

≈ Φ

(x + 0.5− np√

np(1− p)

)− Φ

(x− 0.5− np√

np(1− p)

),

dimana menambah dan mengurangi dengan 0.5 disebut “continuity correc-tion”.

Koreksi kekontinuan untuk pendekatan normal terhadap fungsi distribusi dariX dan p adalah

P (X ≤ c) = P

(X ≤ x +

1

2

), x = 0, 1, . . . , n

≈ Φ

(x + 0.5− np√

np(1− p)

)

dan

P (p ≤ c) = P

(p ≤ c +

1

2n

), c = 0/n, 1/n, . . . , n/n

≈ Φ

(√n(c + 0.5/n− p)√

p(1− p)

)

MA3081 Stat.Mat. 9 K. Syuhada, PhD.

BAB 3

Penaksiran dan SelangKepercayaan

3.1 “Sifat-sifat” (Kesalahan) penaksiran

Pada penaksiran parameter θ, misalnya, penaksir θ adalah fungsi peubah acak.Nilai taksirannya “TIDAK” akan pernah sama dengan nilai parameternya.Misalkan T = T (X) adalah penaksir untuk θ. Didefinisikan:

bT = E(T − θ) = E(T )− θ,

dan

V ar(T ) = σ2T = E(T − µT )2 = E(T )− θ; µT = E(T ),

adalah bias dan variansi dari penaksir T . Selain itu, didefinisikan pula, MSEatau Mean Square Error,

MSET (θ) = E(T − θ)2 = V ar(T ) + b2T ,

Misalkan X1, . . . , Xn sampel acak dari N(µ, σ2). Penaksir untuk σ2 adalah

S2 =1

n− 1

n∑i=1

(Xi − X)2,

dan/atau

V =1

n

n∑i=1

(Xi − X)2,

1

Bias and MSE dari kedua penaksir adalah

bS2 = · · · bV = · · ·

dan

MSES2 = · · · MSEV = · · ·

Catatan: Penaksir dari deviasi standar dari suatu penaksir disebut “standarderror” atau SE. Apakah SE dari jenis pengambilan sampel (sampling):

• Apapun asalkan tanpa pengembalian?

• Bernoulli tanpa pengembalian?

3.2 Konsistensi

Salah satu sifat dari penaksir yang baik adalah sifat “tak bias”. Kita akanmempelajari sifat baik yang lain yaitu “konsisten”. Namun sebelumnya, per-hatikan Ketaksamaan Chebyshev. Misalkan X peubah acak dengan fungsipeluang fX(x). Misalkan h(X) fungsi non-negatif dari X dan ekpektasinyaada serta k adalah konstanta positif. Maka

P (h(X) ≥ k) ≤ E(h(X))

k.

Bukti:

Aplikasi 1 Ketaksamaan Chebyshev. Misalkan E(X) = µX dan V ar(X) =σ2

X < ∞. Maka

P

[ |X − µX |2σ2

X

≥ k2

]≤ 1

k2.

Bukti:

Aplikasi 2 Ketaksamaan Chebyshev. Misalkan T peubah acak (penaksir dariparameter θ) dengan E(T ) = µT dan V ar(T ) = σ2

T < ∞. Maka

P [|X − θ| < ε] ≥ 1− MSEX(θ)

ε2.

Bukti:

MA3081 Stat.Mat. 2 K. Syuhada, PhD.

KonsistensiDefinisi: Barisan dari penaksir-penaksir, {Tn}, disebut KONSISTEN untuk θjika

limn→∞

P (|Tn − θ| < ε) = 1,

untuk setiap ε > 0.

Konvergen dalam PeluangDefinisi: Barisan dari penaksir-penaksir, {Tn}, KONVERGEN dalam PELU-ANG untuk θ jika barisan tersebut konsisten untuk θ. Notasi:

Tn →prob θ.

Contoh/Latihan:

1. (Hukum Bilangan Besar) Jika X adalah mean sampel dari suatu s.aberukuran n dengan mean µX , maka

X →prob µX .

Bukti:

2. Sebuah penaksir untuk θ dikatakan “Mean Square Consistent” jika

limn→∞

MSETn(θ) = 0.

Buktikan bahwa jika sebuah penaksir memiliki sifat MSC maka penaksirtersebut konsiten.

3.3 Selang Kepercayaan

Misalkan Tn adalah penaksir untuk θ dan

limn→∞

P

(Tn − θ

σTn

≤ c

)= Φ(c).

Dengan kata lain,

Tn ∼ N(θ, σ2Tn

),

MA3081 Stat.Mat. 3 K. Syuhada, PhD.

asalkan ukuran sampel cukup besar. Misalkan σ2Tn

= ω2/n dan W 2n adalah

penaksir yang konsisten untuk ω2. Maka

limn→∞

P

(Tn − θ

STn

≤ c

)= Φ(c).

Dengan menggunakan distribusi (sampel besar) dari Tn, didapat

P

(−zα/2 ≤ Tn − θ

STn

≤ zα/2

)≈ 1− α,

yang dapat dimanipulasi shg

P(Tn − zα/2 STn ≤ θ ≤ Tn + zα/2 STn

) ≈ 1− α.

Selang acak diatas disebut selang kepercayaan 100(1−α)% sampel besar untukθ. Selang disebut acak karena Tn dan STn adalah peubah acak.

Contoh/Latihan:

1. Misalkan X1, . . . , Xn s.a dari populasi dengan mean µX dan variansi σ2X .

Jika sampel cukup besar, maka

X ∼

S2X =

V ar(S2X) =

Selang kepercayaan untuk µX adalah

· · · ≤ µX ≤ · · ·

2. Tentukan selang kepercayaan untuk proporso populasi, p, untuk s.a dariBern(p).

3.4 Efisiensi

Ketaksamaan Cramer-RaoMisalkan peluang bersama X1, . . . , Xn adalah fX(x|θ), dimana θ bersifat skalardan support dari X tidak bergantung pada θ. Misalkan statistik T (X) adalahpenaksir tak bias untuk fungsi (yang terdiferensial) dari θ; E(T ) = g(θ). Maka,dibawah kondisi regularitas sedang,

V ar(T ) ≥ (∂g(θ)/∂θ)2

,

MA3081 Stat.Mat. 4 K. Syuhada, PhD.

dengan

Iθ = E

(∂ ln fX(X|θ)

∂θ

)2

.

• Kuantitas Iθ disebut informasi Fisher dan merupakan indeks yang meny-atakan banyaknya informasi yang dimiliki oleh X tentang θ.

• Suku

(∂g(θ)/∂θ)2

disebut Batas Bawah Cramer-Rao atau Cramer-Rao Lower Bound.

Contoh/Latihan:

1. Misalkan sampel acak berukuran n dari Poi(λ). Apakah penaksir MLEuntuk λ memuat/memenuhi/mencapai CRLB?

2. Pandang s.a dari eksponensial dengan mean 1/θ. Apakah penaksirnyamencapai CRLB?

EfisiensiEfisiensi dari penaksir tak bias dari g(θ) adalah rasio dari CRLB terhadapvariansi dari penaksir. Misalkan T penaksir tak bias untuk g(θ), maka efisiensidari T adalah

Efisiensi =CRLB

V ar(T ),

Jika rasio sama dengan satu, maka penaksir dikatakan efisien.

Contoh/Latihan:

1. Misalkan sampel acak berukuran n dari Geo(p). Tentukan efisiensi daripenaksir untuk p.

2. Dapatkah kita mencari efisiensi dari penaksir parameter untuk sampelacak yang BUKAN keluarga eksponensial?

MA3081 Stat.Mat. 5 K. Syuhada, PhD.

BAB 4

Uji Hipotesis

4.1 Hipotesis, Statistik Uji dan P-value

Beberapa definisi:

1. Hipotesis, H0 dan H1, adalah pernyataan tentang model peluang. Dapatjuga dikatakan sebagai karakteristik populasi. H0 umumnya menyatakantidak ada efek, tidak ada perbedaan dsb. H1 adalah lawan dari H0.

2. Statistik uji adalah fungsi dari data θ0. Statistik uji dipilih untuk mem-bedakan H0 dengan H1. Umumnya, statistik uji memuat penaksir dariθ. Statistik uji yang dikenal antara lain Z, t, χ2.

3. Salah satu cara untuk mendapatkan statistik uji untuk menguji

H0 : θ = θ0

versus H1 1-sisi atau 2-sisi adalah dengan menguji rasio likelihood

LR =L(θ0|X)

maxθL(θ|X)

dimana memaksimumkan penyebut atas semua θ yang memenuhi H1. LRadalah rasio dari peluang dari data dibawah H0 terhadap peluang terbe-sar yang mungkin dari data dibawah H1. Nilai LR berada diantara noldan satu. Nilai yang kecil diinterpretasikan sebagai bukti yang melawanH0.

4. P-value adalah ukuran kekonsistenan antara data dan H0. Didefinisikan:

p− value = P (T > tobs|H0)

dimana T adalah statistik uji dan tobs adalah realisasinya. Menghitungp-value untuk T > tobs dengan mengikuti arah H1.

1

5. Kesalahan tentang p-value:1. P-value yang besar adalah bukti untuk H0

2. P-value yang sangat kecil menunjukkan adanya efekyang besar/penting

4.2 Daerah Penolakan, Kesalahan dan Fungsi

Kuasa

Beberapa definisi:

1. Misalkan data X1, . . . , Xn. Daerah penolakan adalah himpunan nilai-nilai dari statistik uji yang menolak H0. Daerah penerimaan adalahkomplemen dari daerah penolakan.

2. Kesalahan:Tipe I: kesalahan menolak H0 yang benarTipe II: kesalahan menerima H0 yang salah

3. Ukuran uji (test size):

α = P (menolak H0|H0 benar)

4. Kesalahan tipe II dan kuasa adalah, berturut turut,

β = P (menerima H0|H0 salah)

dan

1− β = P (menolak H0|H0 salah)

Contoh/Latihan:

1. Pandang uji

H0 : p = 0.4 versus H1 : p 6= 0.4

berdasarkan sampel acak berukuran 10 dari Bernoulli(p). Misalkan Y =∑Xi. Jika daerah kritisnya adalah menolak H0 jika Y ≤ 0 atau Y ≥ 8,

maka ukuran uji-nya adalah

α = 1− P (1 ≤ Y ≤ 7|p = 0.4) =

Sedangkan kesalahan tipe II dan kuasanya adalah

β =

MA3081 Stat.Mat. 2 K. Syuhada, PhD.

kuasa =

Plot sbb:

2. Pandang Uji Z. Lakukan seperti hal diatas.

Fungsi KuasaMisalkan X1, . . . , Xn sampel acak dari fX(x|θ). Misalkan ruang parameter θadalah Θ. Misalkan Θ0 dan Θ1 adalah subruang dari Θ yang saling asing.Pandang uji

H0 : θ ∈ Θ0 versus H1 : θ ∈ Θ1.

Fungsi kuasa adalah fungsi dari θ, didefinisikan sbg

π(θ) = P (menolak H0|θ),

untuk semua θ ∈ Θ (meskipun biasanya digunakan saat θ ∈ Θ1).

Contoh/Latihan:

1. Pandang uji

H0 : µ = µ0 versus H1 : µ > µ0

berdasarkan sampel acak berukuran n dari N(µ, σ2), dengan σ2 dike-tahui. Uji satu sampel

Z =X − µ0

σ/√

n

akan menolak H0 jika Z > z1−α. Fungsi kuasanya adalah

π(µ0) =

(ilustrasikan untuk µ0 = 100, σ = 10, n = 25, α = 0.05.

2. Pandang uji proporsi dan lakukan seperti hal diatas.

4.3 Uji Paling Kuasa

Definisi:Hipotesis sederhana adalah hipotesis yang secara lengkap memberikan spesi-fikasi distribusi bersama dari data. Tidak ada parameter yang tidak diketahui

MA3081 Stat.Mat. 3 K. Syuhada, PhD.

dalam hipotesis sederhana. Contoh:

H0 : Y ∼ B(25, 1/3).

Definisi:Uji Paling Kuasa (Most Powerful Test) adalah suatu uji untuk H0 sederhanaversus H1 sederhana dengan ukuran α yang mana tidak ada lagi uji lain denganukuran kurang dari sama dengan α yang memiliki kuasa lebih besar.

Lema (Neyman-Pearson):Pandang uji

H0 : X ∼ f0(x), versus H1 : X ∼ f1(x),

dengan f0 dan f1 adalah fungsi peluang bersama dibawah H0 dan H1. Ujipaling kuasa adalah menolak H0 jika

Λ(x) =f0(x)

f1(x)< K

adalah rasio likelihood. Ukuran uji-nya adalah

α =

R

f0(x) dx,

dengan R = {x : Λ(x) < K}.

Contoh/Latihan:

1. Misalkan s.a X1, . . . , Xn dari distribusi NB(k, θ), dengan k diketahui.Cari uji paling kuasa dari tes

H0 : θ = θ0 versus H1 : θ = θ1,

dengan θ1 > θ0.

2. Carilah uji paling kuasa untuk s.a dari distribusi eksponensial denganmean 1/θ.

4.4 Uji Paling Kuasa Seragam

4.5 Uji Rasio Likelihood

MA3081 Stat.Mat. 4 K. Syuhada, PhD.