Statistika Matematika II -...
-
Upload
nguyenlien -
Category
Documents
-
view
241 -
download
0
Transcript of Statistika Matematika II -...
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Statistika Matematika II
Nanda Arista Rizki, M.Si.
Jurusan MatematikaFakultas Matematika dan Ilmu Pengetahuan Alam
Universitas Mulawarman2017
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Referensi:Hogg, R.V., McKean, J.W., dan Craig, A.T. (2013). Introduction toMathematical Statistics, Edisi ke tujuh. New York: Pearson.Penilaian: tugas, UAS, dan kehadiran (min. 80%).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Mengulang Kembali
Misalkan A1 dan A2 masing-masing adalah kejadian tertentu. Jika A1 dan A2adalah kejadian yang saling lepas, maka
P(A1 ∪ A2) = P(A1) + P(A2)
Namun jika A1 ⊂ A2, maka
P(A1) ≤ P(A2)
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Peluang Bersyarat
Misalkan jumlah semua mahasiswa/i UNMUL yang sedang mengambil matakuliah StatMat II adalah 15 pria dan 25 wanita. Diketahui bahwa terdapat 20mahasiswi yang mengenakan jilbab. Jika dilakukan penyebutan nama yangada pada absensi kelas secara acak, maka
1. peluang bahwa seseorang mahasiswa/i akan terpanggil adalah ...2. peluang bahwa mahasiswa/i dengan nomor urut pertama yang
terpanggil adalah ...3. peluang bahwa yang terpanggil mengenakan jilbab adalah ...4. peluang yang terpanggil mengenakan jilbab, jika penyebutan nama
hanya dilakukan kepada mahasiswi-mahasiswinya saja adalah ...
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Konsep Peluang Bersyarat
Peluang bersyarat dari kejadian A jika kejadian B sudah terjadi adalah
P(A|B) =P(A ∩ B)
P(B), (1)
jika P(B) > 0.
Dari persamaan (1), maka P(A ∩ B) = P(A|B)P(B).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Perhatikan persamaan berikut:
P(A ∩ B) = P(A)P(B|A). (2)
Jika A = A1 ∩ A2 dan B = A3, maka ruas kanan persamaan (2) menjadiP(A1 ∩ A2)P(A3|A1 ∩ A2).
Karena P(A1 ∩ A2) = P(A1)P(A2|A1), maka persamaan (2) bisa ditulis ulangmenjadi:
P(A1 ∩ A2 ∩ A3) = P(A1)P(A2|A1)P(A3|A1 ∩ A2).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Soal Latihan
Misalkan Ω = 1, 2, 3, 4, 5, 6.Diketahui Kejadian-kejadian berikut:
A =1, 2, 3, 4, 5B =2, 4, 6C =1, 2, 3, 4D =2, 3, 4.
Maka A ∩ B = · · ·Berarti P(A|B) = · · ·
P(C|B) = · · ·P(D|B) = · · · .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Soal Latihan
Misalkan Ω = 1, 2, 3, 4, 5, 6.Diketahui Kejadian-kejadian berikut:
A =1, 2, 3, 4, 5B =2, 4, 6C =1, 2, 3, 4D =2, 3, 4.
Maka A ∩ B = · · ·Berarti P(A|B) = · · ·
P(C|B) = · · ·
P(D|B) = · · · .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Soal Latihan
Misalkan Ω = 1, 2, 3, 4, 5, 6.Diketahui Kejadian-kejadian berikut:
A =1, 2, 3, 4, 5B =2, 4, 6C =1, 2, 3, 4D =2, 3, 4.
Maka A ∩ B = · · ·Berarti P(A|B) = · · ·
P(C|B) = · · ·P(D|B) = · · · .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Hukum Peluang Total
Misalkan A1,A2,A3 merupakan partisi dari ruang sampel Ω atau dapat ditulissebagai
A1 ∪ A2 ∪ A3 = Ω,
dan P(Ai) > 0, i = 1, 2, 3.
Kemudian ada kejadian lain, katakanlah B,
B = B ∩ (A1 ∪ A2 ∪ A3)
= (B ∩ A1) ∪ (B ∩ A2) ∪ (B ∩ A3),
dengan P(B) > 0.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Karena B ∩ Ai, i = 1, 2, 3 adalah kejadian saling lepas, maka
P(B) = P(B ∩ A1) + P(B ∩ A2) + P(B ∩ A3).
Selanjutnya untuk setiap i = 1, 2, 3; P(B ∩ Ai) = P(Ai)P(B|Ai). Sehingga
P(B) =P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)
=
3∑i=1
P(Ai)P(B|Ai). (3)
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Teorema Bayes
Perhatikan persamaan berikut:
P(Aj|B) =P(Aj ∩ B)
P(B), j = 1, 2, . . . , k.
Dengan menggunakan hukum peluang total, maka
P(Aj|B) =P(Aj ∩ B)
P(B)=
P(Aj)P(B|Aj)∑kj=1 P(Aj)P(B|Aj)
. (4)
Persamaan (4) dikenal juga dengan Teorema Bayes.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Dua Kejadian Yang Saling Bebas
Misalkan diketahui suatu kejadian A namun tidak mengubah nilai peluangkejadian B, dengan P(A) > 0,
P(B|A) = P(B).
Maka dalam kasus ini, kejadian A dan B saling bebas. Sehingga menghasilkanaturan perkalian berikut:
P(A ∩ B) = P(A)P(B|A) = P(A)P(B). (5)
Sebaliknya ketika P(B) > 0, maka
P(A|B) =P(A ∩ B)
P(B)=
P(A)P(B)
P(B)= P(A).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Dengan kata lain, jika P(A) > 0 dan P(B) > 0, serta berlaku:
P(A ∩ B) = P(A)P(B),
maka kejadian A dan kejadian B saling bebas.
Bagaimana jika P(A) = 0 atau P(B) = 0?
Maka ruas kanan bernilai 0.Ruas kiri juga bernilai 0 karena A ∩ B ⊂ A dan A ∩ B ⊂ B.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Dengan kata lain, jika P(A) > 0 dan P(B) > 0, serta berlaku:
P(A ∩ B) = P(A)P(B),
maka kejadian A dan kejadian B saling bebas.
Bagaimana jika P(A) = 0 atau P(B) = 0?
Maka ruas kanan bernilai 0.Ruas kiri juga bernilai 0 karena A ∩ B ⊂ A dan A ∩ B ⊂ B.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Dengan kata lain, jika P(A) > 0 dan P(B) > 0, serta berlaku:
P(A ∩ B) = P(A)P(B),
maka kejadian A dan kejadian B saling bebas.
Bagaimana jika P(A) = 0 atau P(B) = 0?
Maka ruas kanan bernilai 0.Ruas kiri juga bernilai 0 karena A ∩ B ⊂ A dan A ∩ B ⊂ B.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Soal Latihan
1. Misalkan Aj, j = 1, 2, 3, 4, 5 merupakan partisi dari ruang sampel Ω
dengan P(Aj) = j15 dan P(B|Aj) = 5−j
15 , j = 1, 2, 3, 4, 5. TentukanP(Aj|B), j = 1, 2, 3, 4, 5!
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Soal Latihan
2. Misalkan disediakan 10 cangkir kopi dan 2 diantaranya mengandung’sinida’. Untuk mendapatkan secangkir kopi yang mengandung ’sinida’,dilakukan pengujian di Laboratorium Stastistika Kimia dengan caramengambil dan menguji satu per satu secara acak tanpa pengembalian.
Berapakah peluang diperoleh 2 cangkir kopi ’sinida’ pada duapengujian yang pertama?
Misalkan S1 dan S2 masing-masing adalah kejadian diperoleh ’sinida’pada pengujian pertama dan kedua.Maka P(S1) = · · ·P(S2|S1) = · · ·Sehingga P(S1 ∩ S2) = · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Soal Latihan
2. Misalkan disediakan 10 cangkir kopi dan 2 diantaranya mengandung’sinida’. Untuk mendapatkan secangkir kopi yang mengandung ’sinida’,dilakukan pengujian di Laboratorium Stastistika Kimia dengan caramengambil dan menguji satu per satu secara acak tanpa pengembalian.
Berapakah peluang diperoleh 2 cangkir kopi ’sinida’ pada duapengujian yang pertama?
Misalkan S1 dan S2 masing-masing adalah kejadian diperoleh ’sinida’pada pengujian pertama dan kedua.Maka P(S1) = · · ·P(S2|S1) = · · ·Sehingga P(S1 ∩ S2) = · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Soal Latihan
3. Ayu dan Ting Ting secara bersamaan menembak sasaran tertentu.Peluang tembakan Ayu mengenai sasaran adalah 0, 7; sedangkanpeluang tembakan Ting Ting (bebas dari tembakan Ayu) mengenaisasaran adalah 0, 4. Jika sebuah tembakan mengenai sasaran, berapapeluang bahwa itu tembakan Ayu?
Misalkan A= kejadian Ayu menembak sasaran,T= kejadian Ting Ting menembak sasaran,K=kejadian tembakan mengenai (kena) sasaran.Maka,
P(A|K) =P(A ∩ K)
P(K)= · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Soal Latihan
3. Ayu dan Ting Ting secara bersamaan menembak sasaran tertentu.Peluang tembakan Ayu mengenai sasaran adalah 0, 7; sedangkanpeluang tembakan Ting Ting (bebas dari tembakan Ayu) mengenaisasaran adalah 0, 4. Jika sebuah tembakan mengenai sasaran, berapapeluang bahwa itu tembakan Ayu?
Misalkan A= kejadian Ayu menembak sasaran,T= kejadian Ting Ting menembak sasaran,K=kejadian tembakan mengenai (kena) sasaran.Maka,
P(A|K) =P(A ∩ K)
P(K)= · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
4. Direktur perusahaan mengundang para karyawan yang memilikisetidaknya satu anak laki-laki (L) ke acara syukuran khitanan. Seorangkaryawan memiliki dua anak. Berapa peluang bahwa kedua anakkaryawan adalah laki-laki, jika karyawan tersebut diundang ke acarasyukuran?
Misalkan L kejadian memiliki anak laki-laki; LK kejadian memilikidua anak laki-laki; dan U kejadian diundang ke acara syukuran. Jadi,
P(LK|U) =P(LK ∩ U)
P(U)
=P(LL ∩ LL,LLc,LcL)
P(LL,LLc,LcL)= · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
4. Direktur perusahaan mengundang para karyawan yang memilikisetidaknya satu anak laki-laki (L) ke acara syukuran khitanan. Seorangkaryawan memiliki dua anak. Berapa peluang bahwa kedua anakkaryawan adalah laki-laki, jika karyawan tersebut diundang ke acarasyukuran?
Misalkan L kejadian memiliki anak laki-laki; LK kejadian memilikidua anak laki-laki; dan U kejadian diundang ke acara syukuran. Jadi,
P(LK|U) =P(LK ∩ U)
P(U)
=P(LL ∩ LL,LLc,LcL)
P(LL,LLc,LcL)= · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Studi Kasus Bayesian
Misalkan dihadapkan dua parameter yaitu θ1 dan θ2. Perhatian terfokus padaθ1 yang mengandung θ2, namun θ2 merupakan suatu peubah acak. Apakahhal ini bisa dimodelkan menggunakan konsep Bayesian?
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Mengenang Kembali Konsep Monte Carlo
Membangkitkan pengamatan-pengamatan sampel dari suatu distribusi spesi-fik disebut pembangkitan Monte Carlo. Teknik pembangkitan ini untuk me-nyimulasikan proses-proses yang sulit dan meneliti sifat-sifat sampel tersebut.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Sebagai contoh, misalkan X adalah peubah acak yang bernilai 1 jika nilaiangka sebuah dadu yang muncul adalah 1 atau 2. Namun jika tidak, maka Xbernilai 0.
Perhatikan bahwa µ(X) = 1/3. (Kenapa?)Jika U ∼ Uniform(0, 1), maka X dapat dinyatakan sebagai
X =
1, jika 0 < U ≤ 1/30, jika 1/3 < U ≤ 1.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Sintaks Octaven=10;u=unifrnd(n);x=zeros(n,1);for i=1:n if (u(i)<=1/3) x(i)=1;x
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Konsep Monte Carlo
Tabel: Contoh Hasil Output
ui 0.4743 0.7891 0.555 0.9693 0.0299xi 0 0 0 0 1ui 0.8425 0.6012 0.1009 0.0545 0.4677xi 0 0 1 1 0
Berdasarkan pengamatan dari sampel-sampel acak berdistribusi X, bahwa da-ri 10 pengamatan nilai realisasi statistik X adalah x = 0, 3.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Prosedur Bayesian
Properti Fungsi Gamma
Γ(z) =
∞∫0
xz−1e−xdx jika z ∈ C,Re(z) ≥ 0
Γ(n) = (n− 1)! jika n ∈ Z, n ≥ 1∞∫
0
xne−axdx =Γ(n + 1)
an+1 jika n > −1, a > 0.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Intuisi Bayesian
Perhatikan kembali distribusi Poisson berikut:
P(X = x|θ) = e−θθx
x! , x = 1, 2, . . .E(X) = θ, σ2(X) = θ.θ > 0.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Misalkan suatu sampel berasal dari distribusi Poisson. Lalu berdasarkan pe-nilaian subjektif, bahwa parameternya ada dua kemungkinan, yaitu θ = 2atau θ = 3, dengan peluang prior:
P(Θ = 2) =13, P(Θ = 3) =
23.
Namun ternyata ketika diambil sampel acak berukuran n = 2, diperoleh pe-ngamatan x1 = 4 dan x2 = 2.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Diberikan dua pengamatan tersebut, maka peluang posterior bahwa Θ = 2adalah
P(Θ = 2|x1 = 4, x2 = 2) =P(Θ = 2 dan x1 = 4, x2 = 2)
P(x1 = 4, x2 = 2)
=
( 13
) e−224
4!e−222
2!( 13
) e−224
4!e−222
2! +( 2
3
) e−334
4!e−332
2!
= 0, 245.
Lalu peluang posterior bahwa Θ = 3, jika diberikan dua pengamatan terse-but adalah
P(Θ = 3|x1 = 4, x2 = 2) = 1− P(Θ = 2|x1 = 4, x2 = 2)
= 1− 0, 245= 0, 755.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Diberikan dua pengamatan tersebut, maka peluang posterior bahwa Θ = 2adalah
P(Θ = 2|x1 = 4, x2 = 2) =P(Θ = 2 dan x1 = 4, x2 = 2)
P(x1 = 4, x2 = 2)
=
( 13
) e−224
4!e−222
2!( 13
) e−224
4!e−222
2! +( 2
3
) e−334
4!e−332
2!
= 0, 245.
Lalu peluang posterior bahwa Θ = 3, jika diberikan dua pengamatan terse-but adalah
P(Θ = 3|x1 = 4, x2 = 2) = 1− P(Θ = 2|x1 = 4, x2 = 2)
= 1− 0, 245= 0, 755.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
P(Θ = 2|x1 = 4, x2 = 2) > P(Θ = 2|x1 = 4, x2 = 2), maka berdasarkandua pengamatan tersebut maka parameter Θ lebih mendekati nilai 3 dibandingnilai 2. Sehingga intuisinya x = 3.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Mengenal lebih dekat lagi
Misalkan X1,X2, . . . ,Xniid∼ Bernoulli (θ). Maka, MLE untuk θ adalah
θ = · · · .
Namun, estimator apa yang cocok jika parameter θ juga berdistribusi terten-tu?
Misalkanθ ∼ Beta(α, β)
dengan nilai α dan β yang telah ditentukan, maka θ = · · · .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Mengenal lebih dekat lagi
Misalkan X1,X2, . . . ,Xniid∼ Bernoulli (θ). Maka, MLE untuk θ adalah
θ = · · · .
Namun, estimator apa yang cocok jika parameter θ juga berdistribusi terten-tu? Misalkan
θ ∼ Beta(α, β)
dengan nilai α dan β yang telah ditentukan, maka θ = · · · .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Secara umum dapat ditulis sebagai berikut:
X|θ ∼ f (x|θ)Θ ∼ h(θ).
Misalkan θ adalah nilai yang mungkin dari peubah acak Θ. Maka fungsipeluang h(θ) disebut fungsi peluang prior dari Θ.
Misalkan X1,X2 . . . ,Xn adalah sampel acak dari distribusi X diberikan (ber-syarat) Θ = θ dengan fungsi peluang f (x|θ). Fungsi peluang bersama untukX = (X2,X2, . . . ,Xn) diberikan Θ = θ dapat ditulis menjadi
L(x|θ) = f (x1|θ)f (x2|θ) · · · f (xn|θ).
Maka fungsi peluang bersama dari X dan Θ adalah
g(x, θ) = L(x|θ)h(θ).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Secara umum dapat ditulis sebagai berikut:
X|θ ∼ f (x|θ)Θ ∼ h(θ).
Misalkan θ adalah nilai yang mungkin dari peubah acak Θ. Maka fungsipeluang h(θ) disebut fungsi peluang prior dari Θ.
Misalkan X1,X2 . . . ,Xn adalah sampel acak dari distribusi X diberikan (ber-syarat) Θ = θ dengan fungsi peluang f (x|θ). Fungsi peluang bersama untukX = (X2,X2, . . . ,Xn) diberikan Θ = θ dapat ditulis menjadi
L(x|θ) = f (x1|θ)f (x2|θ) · · · f (xn|θ).
Maka fungsi peluang bersama dari X dan Θ adalah
g(x, θ) = L(x|θ)h(θ).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Jika Θ adalah peubah acak kontinu, maka fungsi peluang bersama dari Xadalah
g1(x) =
∫ ∞−∞
g(x, θ)dθ. (6)
Fungsi peluang bersyarat dari Θ diberikan X adalah
k(θ|x) =g(x, θ)g1(x)
=L(x|θ)h(θ)
g1(x).
Fungsi k(θ|x) disebut fungsi peluang posterior.
Distribusi prior mengambarkan keyakinan subjektif dari Θ sebelum sampeldigunakan, sementara distribusi posterior adalah distribusi bersyarat dari Θsetelah sampel digunakan.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Perhatikan persamaan berikut:
k(θ|x) =L(x|θ)h(θ)
g1(x)
k(θ|x) ∝ L(x|θ)h(θ).
Seandainya terdapat statistik cukup Y = u(X) untuk parameter sedemikiansehingga L(x|θ) = g[u(X)|θ]H(x), maka
k(θ|x) ∝g[u(X)|θ]h(θ).
Selanjutnya jika statistik cukup Y ada, maka
k(θ|y) ∝ g[y|θ]h(θ). (7)
Dalam kasus statistik cukup Y , fungsi g1(y) dapat digunakan untuk menyata-kan fungsi peluang marginal dari Y:
g1(y) =
∫ ∞−∞
g(y|θ)h(θ)dθ.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Perhatikan persamaan berikut:
k(θ|x) =L(x|θ)h(θ)
g1(x)
k(θ|x) ∝ L(x|θ)h(θ).
Seandainya terdapat statistik cukup Y = u(X) untuk parameter sedemikiansehingga L(x|θ) = g[u(X)|θ]H(x), maka
k(θ|x) ∝g[u(X)|θ]h(θ).
Selanjutnya jika statistik cukup Y ada, maka
k(θ|y) ∝ g[y|θ]h(θ). (7)
Dalam kasus statistik cukup Y , fungsi g1(y) dapat digunakan untuk menyata-kan fungsi peluang marginal dari Y:
g1(y) =
∫ ∞−∞
g(y|θ)h(θ)dθ.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Latihan Soal
1. Misalkan X|θ ∼ Binomial (20, θ). Peluang prior untuk Θ adalahP(θ = 0, 3) = 2/3 dan P(θ = 0, 5) = 1/3. Jika x = 9, tentukanpeluang posterior untuk θ = 0, 3 dan θ = 0, 5!
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Latihan Soal
2. Misalkan X1,X2, . . . ,Xn|λiid∼ Poisson(λ), dengan Λ ∼ Gamma(α, β).
a. Tentukan distribusi posterior dari Λb. Hitung mean dan variansi dari posterior.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Latihan Soal
Jawab:Perhatikan bahwa Y =
n∑i=1
Xi|λ ∼ Poisson(nλ).
a. Fungsi peluang massa marginal Y adalah
g1(y) =
∫ ∞0
(nλ)ye−nλ
y!
1Γ(α)βα
λα−1e−λ/βdλ
=ny
y!Γ(α)βα
∫ ∞0
λ(y+α)−1e−λ
β/(nβ+1) dλ
=ny
y!Γ(α)βαΓ(y + α)
(β
nβ + 1
)y+α
.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Latihan Soal
Sehingga
k(λ|y) =L(y|λ)h(λ)
g1(y)
=λ(y+α)−1e−
λβ/(nβ+1)
Γ(y + α)(
βnβ+1
)y+α ∼ Gamma(
y + α,β
nβ + 1
).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Distribusi Prior dan Distribusi Posterior
Latihan Soal
b. Karena λ|y ∼ Gamma (y + α, βnβ+1 ) maka
E(λ|y) = (y + α)β
nβ + 1=
β
nβ + 1y +
1nβ + 1
(αβ)
Var(λ|y) = (y + α)β2
(nβ + 1)2 .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Fungsi Keputusan dan Fungsi Kerugian
Misalkan δ adalah sejumlah fungsi untuk memilih sedemikian sehingga δ(x)adalah nilai θ yang diprediksi (nilai eksperimental dari peubah acak Θ), ketikanilai x yang dihitung dan pdf bersyarat k(θ|x) diketahui.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Misalkan Θ adalah peubah acak kontinu, maka suatu estimator Bayes adalahfungsi keputusan δ yang meminimalkan
E L[Θ, δ(x)]|X = x =
∫ ∞−∞
L[θ, δ(x)]k(θ|x)dθ,
dengan L adalah fungsi kerugian. Artinya,
δ(x) = arg min∫ ∞−∞
L[θ, δ(x)]k(θ|x)dθ.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Peubah acak terkait δ(X) disebut estimator Bayes dari θ. Ada dua fungsikerugian yang biasa digunakan, yaitu [θ − δ(x)]2 dan |θ − δ(x)|.
Jika fungsi kerugian dinyatakan dengan L[θ, δ(x)] = [θ − δ(x)]2, maka esti-masi Bayesnya adalah δ(x) = E(Θ|x). Perhatikan bahwa E[(W − b)2] (jikaada) menjadi minimum ketika b = E(W).
Jika fungsi kerugian dinyatakan sebagai L[θ, δ(x)] = |θ−δ(x)|, maka mediandari distribusi Θ bersyarat X = x menjadi solusi Bayes.
Namun jika L[θ, δ(x)] = a(θ − θ)− + b(θ − θ)+, maka estimator Bayesnyaadalah kuantil ke a
a+b dari F(θ|X).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Peubah acak terkait δ(X) disebut estimator Bayes dari θ. Ada dua fungsikerugian yang biasa digunakan, yaitu [θ − δ(x)]2 dan |θ − δ(x)|.
Jika fungsi kerugian dinyatakan dengan L[θ, δ(x)] = [θ − δ(x)]2, maka esti-masi Bayesnya adalah δ(x) = E(Θ|x). Perhatikan bahwa E[(W − b)2] (jikaada) menjadi minimum ketika b = E(W).
Jika fungsi kerugian dinyatakan sebagai L[θ, δ(x)] = |θ−δ(x)|, maka mediandari distribusi Θ bersyarat X = x menjadi solusi Bayes.
Namun jika L[θ, δ(x)] = a(θ − θ)− + b(θ − θ)+, maka estimator Bayesnyaadalah kuantil ke a
a+b dari F(θ|X).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Peubah acak terkait δ(X) disebut estimator Bayes dari θ. Ada dua fungsikerugian yang biasa digunakan, yaitu [θ − δ(x)]2 dan |θ − δ(x)|.
Jika fungsi kerugian dinyatakan dengan L[θ, δ(x)] = [θ − δ(x)]2, maka esti-masi Bayesnya adalah δ(x) = E(Θ|x). Perhatikan bahwa E[(W − b)2] (jikaada) menjadi minimum ketika b = E(W).
Jika fungsi kerugian dinyatakan sebagai L[θ, δ(x)] = |θ−δ(x)|, maka mediandari distribusi Θ bersyarat X = x menjadi solusi Bayes.
Namun jika L[θ, δ(x)] = a(θ − θ)− + b(θ − θ)+, maka estimator Bayesnyaadalah kuantil ke a
a+b dari F(θ|X).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Peubah acak terkait δ(X) disebut estimator Bayes dari θ. Ada dua fungsikerugian yang biasa digunakan, yaitu [θ − δ(x)]2 dan |θ − δ(x)|.
Jika fungsi kerugian dinyatakan dengan L[θ, δ(x)] = [θ − δ(x)]2, maka esti-masi Bayesnya adalah δ(x) = E(Θ|x). Perhatikan bahwa E[(W − b)2] (jikaada) menjadi minimum ketika b = E(W).
Jika fungsi kerugian dinyatakan sebagai L[θ, δ(x)] = |θ−δ(x)|, maka mediandari distribusi Θ bersyarat X = x menjadi solusi Bayes.
Namun jika L[θ, δ(x)] = a(θ − θ)− + b(θ − θ)+, maka estimator Bayesnyaadalah kuantil ke a
a+b dari F(θ|X).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Untuk fungsi kerugian L, estimator Bayes dari l(θ) adalah fungsi keputusanδ yang meminimumkan
EL[l(Θ), δ(x)]|X = x =
∫ ∞−∞
L[l(θ), δ(x)]k(θ|x)dθ.
Ekspektasi bersyarat dari fungsi kerugian diberikan X = x dinotasikan seba-gai ∫ ∞
−∞
∫ ∞−∞
L[θ, δ(x)]k(θ|x)dθ
g1(x)dx
=
∫ ∞−∞
∫ ∞−∞
L[θ, δ(x)]L(x|θ)dx
h(θ)dθ.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Contoh Soal
Pandang model distribusi berikut:
Xi|θiid∼ Binomial(1, θ), untuk i = 1, 2, . . . , n
Θ ∼ Beta(α, β),
dengan α dan β diketahui. Maka pdf priornya
h(θ) =
Γ(α+β)
Γ(α)Γ(β)θα−1(1− θ)β−1; 0 < θ < 1
0; lainnya,
dengan α dan β konstanta positif.
Ingat, estimator untuk distribusi prior iniadalah θ = α/(α + β). Selanjutnya dicari fungsi keputusan δ yang menjadisolusi Bayes.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Contoh Soal
Pandang model distribusi berikut:
Xi|θiid∼ Binomial(1, θ), untuk i = 1, 2, . . . , n
Θ ∼ Beta(α, β),
dengan α dan β diketahui. Maka pdf priornya
h(θ) =
Γ(α+β)
Γ(α)Γ(β)θα−1(1− θ)β−1; 0 < θ < 1
0; lainnya,
dengan α dan β konstanta positif. Ingat, estimator untuk distribusi prior iniadalah θ = α/(α + β). Selanjutnya dicari fungsi keputusan δ yang menjadisolusi Bayes.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Perhatikan bahwa statistik cukupnya adalah Y =n∑
i=1Xi|θ yang berdistribusi
Binomial(n, θ). Fungsi peluang bersyarat Y diberikan Θ = θ adalah
g(y|θ) =
(ny
)θy(1− θ)n−y; y = 0, 1, . . . , n
0; untuk lainnya.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Berdasarkan hukum Bayes (jika statistik cukup Y ada):
k(θ|y) ∝ g[y|θ]h(θ),
maka
k(θ|y) ∝ θy(1− θ)n−yθα−1(1− θ)β−1, 0 < θ < 1.
Sehingga
k(θ|y) =Γ(n + α+ β)
Γ(α+ y)Γ(n + β − y)θα+y−1(1− θ)β+n−y−1, 0 < θ < 1,
dengan y = 0, 1, . . . , n.
Oleh karena itu, distribusi untuk posterior adalahBeta(α + y, β + n − y). Selanjutnya, pilih fungsi kerugian error kuadrat,L[θ, δ(y)] = [θ − δ(y)]2. Maka estimator Bayes dari θ adalah mean dari pdfBeta,
δ(y) =α+ y
α+ β + n.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Berdasarkan hukum Bayes (jika statistik cukup Y ada):
k(θ|y) ∝ g[y|θ]h(θ),
maka
k(θ|y) ∝ θy(1− θ)n−yθα−1(1− θ)β−1, 0 < θ < 1.
Sehingga
k(θ|y) =Γ(n + α+ β)
Γ(α+ y)Γ(n + β − y)θα+y−1(1− θ)β+n−y−1, 0 < θ < 1,
dengan y = 0, 1, . . . , n. Oleh karena itu, distribusi untuk posterior adalahBeta(α + y, β + n − y). Selanjutnya, pilih fungsi kerugian error kuadrat,L[θ, δ(y)] = [θ − δ(y)]2. Maka estimator Bayes dari θ adalah mean dari pdfBeta,
δ(y) =α+ y
α+ β + n.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Estimator Bayes tersebut dapat ditulis menjadi
δ(y) =
(n
α+ β + n
)yn
+
(α+ β
α+ β + n
)α
α+ β,
yang merupakan rata-rata terboboti dari maksimum likelihood yang menges-timasi parameter distribusi Binomial dan estimator prior yang berdistribusiBeta. Untuk n yang besar maka estimator Bayes mendekati nilai MLE θ,sehingga δ(Y) merupakan estimator yang konsisten.
Perhatikan bahwa α dan β seharusnya dipilih sedemikian sehingga tidak ha-nya mean prior α/(α + β) yang diinginkan, tetapi juga penjumlahan α + βmengindikasikan nilai opini prior tergantung pada ukuran sampel n. Misal-kan opini prior bahwa ukuran sampelnya 20, maka α + β = 20. Jadi, jikamean priornya 3/4, maka yang dipilih adalah α = 15 dan β = 5.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Estimator Bayes tersebut dapat ditulis menjadi
δ(y) =
(n
α+ β + n
)yn
+
(α+ β
α+ β + n
)α
α+ β,
yang merupakan rata-rata terboboti dari maksimum likelihood yang menges-timasi parameter distribusi Binomial dan estimator prior yang berdistribusiBeta. Untuk n yang besar maka estimator Bayes mendekati nilai MLE θ,sehingga δ(Y) merupakan estimator yang konsisten.
Perhatikan bahwa α dan β seharusnya dipilih sedemikian sehingga tidak ha-nya mean prior α/(α + β) yang diinginkan, tetapi juga penjumlahan α + βmengindikasikan nilai opini prior tergantung pada ukuran sampel n. Misal-kan opini prior bahwa ukuran sampelnya 20, maka α + β = 20. Jadi, jikamean priornya 3/4, maka yang dipilih adalah α = 15 dan β = 5.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Contoh Soal
Pandang model berikut:
Xi|θiid∼ N(θ, σ2), (σ2 diketahui)
Θ ∼ N(θ0, σ20), (θ0 dan σ2
0 diketahui).
a. Tentukan distribusi posterior dari Θ
b. Hitung mean dan variansi dari posterior.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Misalkan Y = X adalah statistik cukup, maka
Y|θ ∼ N(θ, σ2/n), (σ2 diketahui)
Θ ∼ N(θ0, σ20), (θ0 dan σ2
0 diketahui).
Lalu
k(θ|y) ∝ g[y|θ]h(θ)
∝ 1√2πσ/
√n
1√2πσ0
exp[− (y− θ)2
2(σ2/n)− (θ − θ0)2
2σ0
]
∝ exp
−(θ − yσ2
0 + θ0(σ2/n)
σ20 + (σ2/n)
)2
2(σ2/n)σ20
[σ20 + (σ2/n)]
.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
TUGAS 1
Misalkan X1,X2, . . . ,Xn|λiid∼ Poisson(λ), dengan Λ ∼ Gamma(α, β).
a. Tentukan distribusi posterior dari Λ
b. Hitung mean dan variansi dari posterior.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Fungsi Peluang Bersama (Marginal)
Misalkan X′ = (X1,X2, . . . ,Xn) menyatakan sampel acak dengan fungsi like-lihood L(x|θ) dan peluang prior h(θ). Maka, fungsi peluang bersama dari Xadalah
g1(x) =
∫ ∞−∞
L(x|θ)h(θ)dθ,
yang dikenal juga sebagai distribusi prediktif dari X, karena mengandungfungsi likelihood dan peluang prior.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Definisi Keluarga Distribusi Konjugat
DefinisiDistribusi prior dan posterior disebut distribusi konjugat jika fungsi peluangposterior memiliki keluarga distribusi yang sama dengan prior. Lalu priornyadisebut prior konjugat.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Contoh Keluarga Distribusi Konjugat
1. Misalkan X1,X2, . . . ,Xn|λiid∼ Poisson(λ), dengan Λ ∼ Gamma(α, β).
Selanjutnya Y =∑n
i=1 Xi|λ ∼ Poisson(nλ). Sehingga diperoleh
k(λ|y) ∼ Gamma(
y + α,β
nβ + 1
).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Contoh Keluarga Distribusi Konjugat
2. Pandang model berikut:
Xi|θiid∼ N(θ, σ2), (σ2 diketahui)
Θ ∼ N(θ0, σ20), (θ0 dan σ2
0 diketahui).
Maka
Y = X|θ ∼ N(θ, σ2/n), (σ2 diketahui)
Lalu k(θ|y) ∼ Normal. Sehingga posterior juga berdistribusi Normal.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Contoh Keluarga Distribusi Konjugat
3. Pandang model distribusi berikut:
Xi|θiid∼ Binomial(1, θ), untuk i = 1, 2, . . . , n
Θ ∼ Beta(α, β), dengan α dan β diketahui.
Lalu Y =n∑
i=1Xi|θ ∼ Binomial(n, θ). Sehingga
k(θ|y) ∼ Beta (α+ y, β + n− y) .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Secara intuisi, bahwa prior konjugat (secara transparan) menunjukkan bagai-mana fungsi likelihood memperbaharui distribusi prior.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Prior Non-Informatif
Pandang kembali model distribusi berikut:
Xi|θiid∼ Binomial(1, θ), untuk i = 1, 2, . . . , n
Θ ∼ Beta(α, β), dengan α dan β diketahui.
Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyakpengetahuan tentang θ. Lalu diperoleh
δ(y) =
(n
α+ β + n
)yn
+
(α+ β
α+ β + n
)α
α+ β
=
(n
2 + n
)yn
+
(2
2 + n
)12.
Sehingga terjadi penyusutan karena estimator y/n ditarik ke arah rata-rataprior 1/2.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Prior Non-Informatif
Pandang kembali model distribusi berikut:
Xi|θiid∼ Binomial(1, θ), untuk i = 1, 2, . . . , n
Θ ∼ Beta(α, β), dengan α dan β diketahui.
Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyakpengetahuan tentang θ.
Lalu diperoleh
δ(y) =
(n
α+ β + n
)yn
+
(α+ β
α+ β + n
)α
α+ β
=
(n
2 + n
)yn
+
(2
2 + n
)12.
Sehingga terjadi penyusutan karena estimator y/n ditarik ke arah rata-rataprior 1/2.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Prior Non-Informatif
Pandang kembali model distribusi berikut:
Xi|θiid∼ Binomial(1, θ), untuk i = 1, 2, . . . , n
Θ ∼ Beta(α, β), dengan α dan β diketahui.
Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyakpengetahuan tentang θ. Lalu diperoleh
δ(y) =
(n
α+ β + n
)yn
+
(α+ β
α+ β + n
)α
α+ β
=
(n
2 + n
)yn
+
(2
2 + n
)12.
Sehingga terjadi penyusutan karena estimator y/n ditarik ke arah rata-rataprior 1/2.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Lalu Haldane (1948) mencoba prior Beta jika α = β = 0, maka penyu-sutan estimator akan berkurang ke MLE y/n. Dan tentu saja fungsi peluangBeta(0,0) bukanlah suatu fungsi peluang.
Kemudian diambillah
h(θ) ∝ 1θ(1− θ)
, 0 < θ < 1.
Ketika prior digunakan, lalu dikombinasikan dengan likelihood diperoleh fung-si peluang posterior yang proper. Sehingga dipadukan dengan konstanta po-sitif, menghasilkan fungsi peluang posterior berikut.
f (θ|y) ∝ θy−1(1− θ)n−y−1, n > y > 0.
Dalam hal ini, mean posterior adalah y/n.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Lalu Haldane (1948) mencoba prior Beta jika α = β = 0, maka penyu-sutan estimator akan berkurang ke MLE y/n. Dan tentu saja fungsi peluangBeta(0,0) bukanlah suatu fungsi peluang. Kemudian diambillah
h(θ) ∝ 1θ(1− θ)
, 0 < θ < 1.
Ketika prior digunakan, lalu dikombinasikan dengan likelihood diperoleh fung-si peluang posterior yang proper. Sehingga dipadukan dengan konstanta po-sitif, menghasilkan fungsi peluang posterior berikut.
f (θ|y) ∝ θy−1(1− θ)n−y−1, n > y > 0.
Dalam hal ini, mean posterior adalah y/n.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Definisi Improper
Definisi
Misalkan X′ = (X1,X2, . . . ,Xn) sampel acak dari suatu distribusi denganfungsi peluang f (x|θ). Suatu prior h(θ) ≥ 0 dikatakan improper jika bukansuatu fungsi peluang, namun membuat k(θ|x) ∝ L(x|θ)h(θ) proper.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Prior Non-Informatif
Suatu prior dapat dikatakan prior non-informatif jika θ memiliki kesempat-an yang sama (secara uniform) untuk semua kemungkinan. Praktisnya, priorimproper digunakan sebagai prior non-informatif.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Misalkan distribusi N(θ1, θ2) dengan θ1, θ2 > 0 tidak diketahui.
Lalu priorinformatif untuk θ1 adalah
h1(θ1) = 1, −∞ < θ1 <∞.
Jelas ini bukan fungsi peluang. Kemudian prior improper untuk θ2 adalah
h2(θ2) = c2/θ2, 0 < θ2 <∞.
Dalam hal ini, −∞ < log θ2 <∞.
Selanjutnya jika diasumsikan bahwa kedua parameter tersebut saling bebas,maka prior bersama juga improper:
h1(θ1)h2(θ2) ∝ 1/θ2, −∞ < θ1 <∞, 0 < θ2 <∞.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Misalkan distribusi N(θ1, θ2) dengan θ1, θ2 > 0 tidak diketahui. Lalu priorinformatif untuk θ1 adalah
h1(θ1) = 1, −∞ < θ1 <∞.
Jelas ini bukan fungsi peluang. Kemudian prior improper untuk θ2 adalah
h2(θ2) = c2/θ2, 0 < θ2 <∞.
Dalam hal ini, −∞ < log θ2 <∞.
Selanjutnya jika diasumsikan bahwa kedua parameter tersebut saling bebas,maka prior bersama juga improper:
h1(θ1)h2(θ2) ∝ 1/θ2, −∞ < θ1 <∞, 0 < θ2 <∞.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
Misalkan distribusi N(θ1, θ2) dengan θ1, θ2 > 0 tidak diketahui. Lalu priorinformatif untuk θ1 adalah
h1(θ1) = 1, −∞ < θ1 <∞.
Jelas ini bukan fungsi peluang. Kemudian prior improper untuk θ2 adalah
h2(θ2) = c2/θ2, 0 < θ2 <∞.
Dalam hal ini, −∞ < log θ2 <∞.
Selanjutnya jika diasumsikan bahwa kedua parameter tersebut saling bebas,maka prior bersama juga improper:
h1(θ1)h2(θ2) ∝ 1/θ2, −∞ < θ1 <∞, 0 < θ2 <∞.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
TUGAS 2
1. Tunjukkan bahwa
X1,X2, . . . ,Xn|θiid∼ Eksponensial(θ)
Θ ∼ Gamma(α, β), (α dan β diketahui),
adalah keluarga distribusi konjugat!
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
TUGAS 2
2. Tentukan distribusi posterior, jika diketahui model Bayesian berikut.
X1,X2, . . . ,Xn|θiid∼ Bernoulli(θ), 0 < θ < 1
Θ ∼ h(θ) = 1.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Prior KonjugatPrior Non-Informatif
INFO TUGASKumpulkan TUGAS 1 dan TUGAS 2, paling lambat tanggal 27 November2017 jam 09.10.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Integrasi menggunakan Monte Carlo
Misalkan ingin menghitung1∫
0x dx. Dalam hal ini, yang dihitung adalah luas
dibawa kurva y = x ketika dibatasi x = 0 dan x = 1.
Sintaks Octave% integrasi Monte Carloclc; clear all; N=10000;
x1=0; x2=1;y1=0; y2=1;x=unifrnd(x1,x2,N,1);y=unifrnd(y1,y2,N,1);hitung di bawah kurva=zeros(N,1);
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Sintaks Octave (Lanjutan)
for i=1:Nif y(i)<x(i) hitung di bawah kurva(i)=1;endif;endfor;
peluang luas=sum(hitung di bawah kurva)/N;luas di bawah kurva=peluang luas*(x2-x1)*(y2-y1);luas di bawah kurva
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Contoh ke 2:2∫−2
x2dx
Sintaks Octave% integrasi Monte Carlo (2)close all; clc; clear all; N=10000;x1=-2; x2=2;y1=0; y2=max(x1ˆ2,x2ˆ2);x=unifrnd(x1,x2,N,1);y=unifrnd(y1,y2,N,1);hitung di bawah kurva=zeros(N,1);
for i=1:Nif y(i)<x(i)*x(i) hitung di bawah kurva(i)=1;endif;endfor;
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Sintaks Octave (Lanjutan)
peluang luas=sum(hitung di bawah kurva)/N;luas di bawah kurva=peluang luas*(x2-x1)*(y2-y1);luas di bawah kurva
xxx=x1:0.01:x2;yyy=xxx.ˆ2;
plot(x,y,’b.’,xxx,yyy,’r-’,’linewidth’,2);title(’Integrasi Monte Carlo pada kurva y=xˆ2’);xlabel(’x’); ylabel(’y’);
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Gambar: Sampling pada kurva y = x2
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Tabel: Simulasi Integrasi Menggunakan Teknik Monte Carlo
N b∫a
f (x)dx100 1000 10000 100000f (x) = x 0,4700 0,4890 0,5074 0,4982 1/2f (x) = x2 4,4800 5,4240 5,2976 5,3794 16/3
Ket:a = 0, b = 1a = −2, b = 2.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Integrasi Monte Carlo
Misalkan g adalah fungsi tertutup dan terbatas pada interval [a, b]. Maka
b∫a
g(x)dx = (b− a)
b∫a
g(x)1
b− adx = (b− a)E[g(x)],
dengan X ∼ U(a, b). Selanjutnya menggunakan teknik Monte Carlo:1 bangkitkan sampel acak X1,X2, . . . ,Xn dari U(a, b)
2 hitung Yi = (b− a)g(Xi) untuk i = 1, 2, . . . , n
3 hitung Y yang merupakan estimator tak bias darib∫
ag(x)dx.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Model Bayesian
Teknik integrasi memainkan peranan penting dalam inferensi Bayesian. Tek-nik Monte Carlo dapat digunakan untuk integrasi dalam inferensi Bayesian.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Misalkan sampel acak berasal dari distribusi N(θ, σ2), dengan parameter σ2
diketahui. Misalkan juga Y = X adalah suatu statistik cukup. Lalu pandangmodel Bayes berikut:
Y|θ ∼ N(θ, σ2/n)
Θ ∼ h(θ) ∝ 1b
exp− (θ−a)b
(1 + exp− (θ−a)b )2
, −∞ < θ <∞,
dengan a, b > 0 yang diketahui.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Karena prior Θ berdistribusi Logistik, maka fungsi peluang posteriornya yaitu
k(θ|y) =
1√2πσ/
√n
exp− 1
2(y−θ)2
σ2/n
b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2
∞∫−∞
1√2πσ/
√n
exp− 1
2(y−θ)2
σ2/n
b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2dθ
.
Selanjutnya dengan asumsi kerugian error kuadrat, maka estimator Bayesadalah mean dari distribusi posterior.
Namun perhitungannya melibatkan dua integral, yang tidak dapat dipecah-kan solusinya secara eksplisit.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Solusinya? Teknik Integrasi Monte Carlo?
Karena fungsi likelihood f (y|θ) juga merupakan fungsi dari θ maka dapatdimisalkan bahwa
w(θ) = f (y|θ) =1√
2πσ/√
nexp
−1
2(y− θ)2
σ2/n
.
Sehingga diperoleh estimator Bayes
δ(y) =
∫∞−∞ θw(θ)b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2dθ∫∞−∞ w(θ)b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2dθ
=E[Θw(Θ)]
E[w(Θ)].
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Langkah selanjutnya adalah mengestimasi menggunakan Monte Carlo. Halini dilakukan dengan cara membangkitkan Θ1, Θ2, . . ., Θm dari distribusiLogistik yang berfungsi peluang h(θ).
Lalu gunakan metode transformasi invers. Adapun invers dari fungsi kumu-latif Logistik, yaitu:
a + b log
u1− u
, 0 < u < 1.
Kemudian dibentuk peubah acak baru,
Tm =
m−1m∑
i=1Θiw(Θi)
m−1m∑
i=1w(Θi)
.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
δ(y) =E[Θw(Θ)]
E[w(Θ)],
Tm =
1m
m∑i=1
Θiw(Θi)
1m
m∑i=1
w(Θi)
Dengan hukum lemah dari bilangan besar dan Teorema Slutsky, bahwa
TmP→ δ(y).
Dengan menggunakan bootstrap, maka dapat diperoleh interval kepercayaanuntuk E[Θw(Θ)]/E[w(Θ)].
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Teorema
TeoremaMisalkan dibangkitkan peubah acak dengan mengikuti algoritma berikut:
1. bangkitkan Y ∼ fY(y)
2. bangkitkan X ∼ fX|Y(x|Y).Maka X memiliki fungsi peluang, yaitu fX(x).
Bukti: Untuk menghindari kesalahpahaman, misalkan T adalah peubah acakyang dibangkitkan oleh algoritma tersebut. Maka akan dibuktikan bahwa Tmemiliki fungsi peluang, yaitu fX(x).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Teorema
TeoremaMisalkan dibangkitkan peubah acak dengan mengikuti algoritma berikut:
1. bangkitkan Y ∼ fY(y)
2. bangkitkan X ∼ fX|Y(x|Y).Maka X memiliki fungsi peluang, yaitu fX(x).
Bukti: Untuk menghindari kesalahpahaman, misalkan T adalah peubah acakyang dibangkitkan oleh algoritma tersebut. Maka akan dibuktikan bahwa Tmemiliki fungsi peluang, yaitu fX(x).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Bukti Teorema
∀t ∈ R, P(T ≤ t) = E[FX|Y(t)] =
∞∫−∞
t∫−∞
fX|Y(x|y)dx
fY(y)dy
=
t∫−∞
∞∫−∞
fX|Y(x|y)fY(y)dy
dx
=
t∫−∞
∞∫−∞
fX,Y(x, y)dy
dx
=
t∫−∞
fX(x)dx.
Sehingga fX(x) adalah fungsi peluang dari T .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Ketika ingin menentukan nilai E[W(X)] untuk beberapa fungsi W(x), di-mana E[W2(X)] < ∞. Maka dapat dibangkitkan pasangan secara bebas(Y1,X1), (Y2,X2), . . ., (Ym,Xm), dengan Yi berasal dari fY(y) dan Xi berasaldari fX|Y(x|Y).
Lalu dengan menggunakan hukum lemah dari bilangan besar,
W =1m
m∑i=1
W(Xi)P→∞∫−∞
W(x)fX(x)dx = E[W(X)].
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Dengan Teorema Limit Pusat,
√m(W − E[W(X)])
D→ N(0, σ2W), dimana σ2
W = Var(W(X)),
atau diperoleh interval kepercayaan untuk E[W(x)] yaitu
w± zα/2sW√
m,
dimana s2W = (m− 1)−1
m∑i=1
(wi − w)2.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Soal Latihan
Diketahui:
fX(x) =
2e−x(1− e−x), 0 < x <∞0, untuk x yang lainnya
fY(y) =
2e−2y, 0 < y <∞0, untuk y yang lainnya
fX|Y(x|y) =
e−(x−y), y < x <∞0, untuk kondisi lainnya
Misalkan cara membangkitkan peubah acaknya, mengikuti algoritma:
1. Bangkitkan Y ∼ fY(y)
2. Bangkitkan X ∼ fX|Y(x|Y)
F−1Y (u) = · · ·
F−1X|Y(u) = · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Soal Latihan
Diketahui:
fX(x) =
2e−x(1− e−x), 0 < x <∞0, untuk x yang lainnya
fY(y) =
2e−2y, 0 < y <∞0, untuk y yang lainnya
fX|Y(x|y) =
e−(x−y), y < x <∞0, untuk kondisi lainnya
Misalkan cara membangkitkan peubah acaknya, mengikuti algoritma:1. Bangkitkan Y ∼ fY(y)
2. Bangkitkan X ∼ fX|Y(x|Y)
F−1Y (u) = · · ·
F−1X|Y(u) = · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Soal Latihan
Diketahui:
fX(x) =
2e−x(1− e−x), 0 < x <∞0, untuk x yang lainnya
fY(y) =
2e−2y, 0 < y <∞0, untuk y yang lainnya
fX|Y(x|y) =
e−(x−y), y < x <∞0, untuk kondisi lainnya
Misalkan cara membangkitkan peubah acaknya, mengikuti algoritma:1. Bangkitkan Y ∼ fY(y)
2. Bangkitkan X ∼ fX|Y(x|Y)
F−1Y (u) = · · ·
F−1X|Y(u) = · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
FY(t) =
∫ t
0fY(y)dy = · · ·
FX|Y(t) =
∫ t
yfX|Y(x|y)dx = · · ·
F−1Y (u) = · · ·
F−1X|Y(u) = · · · .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Gibbs Sampler
Algoritma sebelumnyalah yang memotivasi untuk menggunakan algoritmalainnya yang disebut Gibbs Sampler.
Misalkan pasangan peubah acak (X,Y) memiliki fungsi peluang bersamaf (x, y). Tujuannya adalah membangkitkan peubah-peubah acak yang iid,masing-masing yaitu X dan Y .
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Gibbs Sampler
Algoritma Gibbs Sampler
Misalkan m dan X0 masing-masing menyatakan bilangan bulat positif dannilai inisial (yang diberikan). Maka untuk i = 1, 2, . . . ,m,
1. Bangkitkan Yi|Xi−1 ∼ f (y|x)
2. Bangkitkan Xi|Yi ∼ f (x|y).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Algoritma Gibbs Sampler (Lanjutan)
Maka untuk i→∞
YiD→Y ∼ fY(y)
XiD→X ∼ fX(x)
dan untuk m→∞
1m
m∑i=1
W(Xi)P→ E[W(X)].
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Perhatikan bahwa untuk menghitung pasangan (Xk+1,Yk+1) hanya memer-lukan pasangan (Xk,Yk), tanpa pasangan-pasangan dari 1 sampai ke k − 1.Dalam proses stokastik, rangkaian ini disebut Rantai Markov.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Soal Latihan
Misalkan (X,Y) memiliki fungsi peluang yang merupakan campuran daridiskrit dan kontinu berikut
f (x, y) =
1Γ(α)
1x! y
α+x−1e−2y, α > 0; y > 0; x = 0, 1, 2, . . .0, kondisi lainnya.
Maka
f (y|x) ∝ · · ·f (x|y) ∝ · · ·
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Maka algoritma Gibbs Samplernya adalah,untuk i = 1, 2, . . . ,m,
1. Bangkitkan Yi|Xi−1 ∼ Γ(α+ Xi−1, 2)
2. Bangkitkan Xi|Yi ∼ Poi(Yi).Sehingga dengan membesarnya nilai m dan n > m,
Y =1
n− m
n∑i=m+1
YiP→ E(Y)
X =1
n− m
n∑i=m+1
XiP→ E(X).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Dalam hal ini, dapat dibuktikan bahwa
Y ∼ Γ(α, 1)
X ∼ Binomial Negatif(α, 1/2).
Dapat dibuktikan juga nilai ekspektasi untuk X dan Y adalah
E(Y) = E(X) = α.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Sintaks R
gibbser2 = function(alpha,m,n)x0 = 1yc = rep(0,m+n)xc = c(x0,rep(0,m+n-1))for(i in 2:(m+n))yc[i] = rgamma(1,alpha+xc[i-1],2)xc[i] = rpois(1,yc[i])y1=yc[1:m]y2=yc[(m+1):(m+n)]x1=xc[1:m]x2=xc[(m+1):(m+n)]list(y1 = y1,y2=y2,x1=x1,x2=x2)
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Sintaks R (Lanjutan)
library(stats)n<-10000;alpha<-8;coba simulasi<-gibbser2(alpha,5000,n);y topi<-mean(coba simulasi$y2)x topi<-mean(coba simulasi$x2)sigma2 y<-var(coba simulasi$y2)sigma2 x<-var(coba simulasi$x2)ba y<-mean(coba simulasi$y2)+1.64*sd(coba simulasi$y2)/sqrt(n)bb y<-mean(coba simulasi$y2)-1.64*sd(coba simulasi$y2)/sqrt(n)ba x<-mean(coba simulasi$x2)+1.64*sd(coba simulasi$x2)/sqrt(n)bb x<-mean(coba simulasi$x2)-1.64*sd(coba simulasi$x2)/sqrt(n)dibuat tabel y<-data.frame(alpha,y topi,sigma2 y,bb y,ba y)dibuat tabel x<-data.frame(alpha,x topi,sigma2 x,bb x,ba x)
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Tabel: Interval Kepercayaan 99% untuk Peubah Acak X dan Y
Parameter Estimasi sampel Variansi sampel Interval kepercayaanE(Y) = α = 8 y = 7.908535 s2(y) = 7.693978 (7.854168, 7.962901)E(X) = α = 8 x = 7.8694 s2(x) = 15.86193 (7.791339, 7.947461)E(Y) = α = 10 y = 9.990611 s2(y) = 9.735782 (9.929455, 10.05177)E(X) = α = 10 x = 10.0196 s2(x) = 19.58697 (9.932856, 10.10634)E(Y) = α = 30 y = 30.06515 s2(y) = 30.20128 (29.95743, 30.17286)E(X) = α = 30 x = 30.0674 s2(x) = 58.79374 (29.91711, 30.21769)
Parameter α = 8 tidak berada di dalam interval interval 99%.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Simulasi Histogram
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Tabel: Simulasi Interval Kepercayaan 99% ketika α = 8
n Estimasi sampel Variansi sampel Interval kepercayaan10000 y = 7.908535 s2(y) = 7.693978 (7.854168, 7.962901)10000 x = 7.8694 s2(x) = 15.86193 (7.791339, 7.947461)100000 y = 7.998176 s2(y) = 8.005376 (7.980639, 8.015713)100000 x = 8.01055 s2(x) = 16.0435 (7.985724, 8.035376)
1000000 y = 8.004814 s2(y) = 8.003643 (7.999269, 8.010359)1000000 x = 8.007286 s2(x) = 16.01347 (7.999443, 8.015129)
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Soal Latihan
1. Misalkan Y ∼ Γ(1, 1) dan
f (x|y) =
e−(x−y), 0 < y < x <∞0, kondisi lainnya.
a. Buatlah algoritma untuk membangkitkan pengamatan iid dengan fungsipeluang fX(x)!
b. Berikan prosedur untuk mencari E[X]!
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Jawab:Perhatikan bahwa F−1
X|Y(u) = y− log(1− u). Sehingga
a. Bangkitkan U1 dan U2 yang iid Uniform(0,1)Bangkitkan Y = log(1/(1− U1))Bangkitkan X = Y + log(1/(1− U2)).
b. Untuk n→∞, X =n∑
i=1x/n→ E(X).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Sintaks Octavefunction [kumpulkan] = simulasikan(n)kumpulkan=zeros(n,1);for i=1:ny=-log(1-unifrnd(0,1,1));kumpulkan(i)=y-log(1-unifrnd(0,1,1));end;endfunction
x=simulasikan(1000);mean(x);
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Soal Latihan
2. Misalkan
f (x, y) ∝ (n
x
)yx+α−1(1− y)n−x+β−1, x = 0, 1, . . . , n; 0 < y < 1
0, untuk kondisi lainnya,
dengan α, β > 0.a. Tentukan f (x|y) dan f (y|x)!b. Buatlah algoritma Gibbs sampler untuk membangkitkan peubah acak X
dan Y!
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Jawab:
a. f (x|y) ∝(n
x
)yx(1− y)n−x; sehingga X|Y ∼ BIN(n,Y).
f (y|x) ∝ yx+α−1(1− y)n−x+β−1; sehinggaY|X ∼ beta(x + α, n− x + β)
b. untuk i = 1, 2, . . . ,mBangkitkan Yi|Xi−1 ∼ beta(Xi−1 + α, n− Xi−1 + β)Bangkitkan Xi|Yi ∼ BIN(n,Yi).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Jawab:
a. f (x|y) ∝(n
x
)yx(1− y)n−x; sehingga X|Y ∼ BIN(n,Y).
f (y|x) ∝ yx+α−1(1− y)n−x+β−1; sehinggaY|X ∼ beta(x + α, n− x + β)
b. untuk i = 1, 2, . . . ,mBangkitkan Yi|Xi−1 ∼ beta(Xi−1 + α, n− Xi−1 + β)Bangkitkan Xi|Yi ∼ BIN(n,Yi).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
PendahuluanGibbs Sampler
Jawab:
a. f (x|y) ∝(n
x
)yx(1− y)n−x; sehingga X|Y ∼ BIN(n,Y).
f (y|x) ∝ yx+α−1(1− y)n−x+β−1; sehinggaY|X ∼ beta(x + α, n− x + β)
b. untuk i = 1, 2, . . . ,mBangkitkan Yi|Xi−1 ∼ beta(Xi−1 + α, n− Xi−1 + β)Bangkitkan Xi|Yi ∼ BIN(n,Yi).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Metode Bayesian Modern
Fungsi peluang prior memiliki pengaruh penting dalam kesimpulan Bayesian.
Lebih lanjut, prior juga dapat dipengaruhi oleh peubah acak lain. Perhatikanmodel Bayesian hirarki berikut.
X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ)
Γ ∼ ψ(γ).
Parameter γ dapat dikatakan sebagai parameter pengganggu atau hyperparameter.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Metode Bayesian Modern
Fungsi peluang prior memiliki pengaruh penting dalam kesimpulan Bayesian.Lebih lanjut, prior juga dapat dipengaruhi oleh peubah acak lain. Perhatikanmodel Bayesian hirarki berikut.
X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ)
Γ ∼ ψ(γ).
Parameter γ dapat dikatakan sebagai parameter pengganggu atau hyperparameter.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Misalkan fungsi g adalah fungsi peluang secara umum, maka
g(x, θ, γ) = g(x|θ, γ)g(θ, γ)
= f (x|θ)h(θ|γ)ψ(γ) (karena f (x|θ) tidak bergantung pada γ).
Sehingga fungsi peluang posteriornya adalah
k(θ|x) =
∞∫−∞
g(x, θ, γ)dγ
∞∫−∞
∞∫−∞
g(x, θ, γ)dγdθ
=
∞∫−∞
f (x|θ)h(θ|γ)ψ(γ)dγ
∞∫−∞
∞∫−∞
f (x|θ)h(θ|γ)ψ(γ)dγdθ.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Dengan mengasumsikan kerugian error kuadrat, maka estimator Bayesian un-tuk W(θ) adalah
δW(x) =
∞∫−∞
∞∫−∞
W(θ)f (x|θ)h(θ|γ)ψ(γ)dγd(θ)
∞∫−∞
∞∫−∞
f (x|θ)h(θ|γ)ψ(γ)dγdθ.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Selanjutnya adalah menggunakan algoritma Gibbs Sampler.Untuk i = 1, 2, . . . ,m:
Θi|x, γi−1 ∼ g(θ|x, γi−1)
Γi|x, θi ∼ g(γ|x, θi).
Kemudian untuk i→∞,
ΘiD→ k(θ|x)
ΓiD→ g(γ|x).
Lebih lanjut, untuk m→∞,
1m
m∑i=1
W(Θi)P→ E[W(Θ)|x] = δW(x).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Contoh Soal
Perhatikan kembali model Bayesian berikut.
Xi|θiid∼ N(θ, σ2), (σ2 diketahui)
Θ ∼ N(0, σ20), (σ2
0 diketahui).
Misalkan Y = X adalah statistik cukup, maka
Y|θ ∼ N(θ, σ2/n), (σ2 diketahui)
Θ ∼ N(0, σ20), (σ2
0 diketahui).
Lalu
k(θ|y) ∝ exp
−(θ − yσ2
0
σ20 + (σ2/n)
)2
2(σ2/n)σ20
[σ20 + (σ2/n)]
.Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Namun ketika σ20 merupakan peubah acak (sebutlah τ 2), maka model dapat
berubah menjadi
Y|θ ∼ N(θ, σ2/n), (σ2 diketahui)
Θ|τ 2 ∼ N(0, τ 2)
1τ 2 ∼ Γ(a, b), (a dan b diketahui).
Sehingga diperlukan fungsi peluang bersyarat g(θ|y, τ 2) dan g(τ 2|y, θ). Per-hatikan bahwa
g(θ|y, τ 2) ∝ f (y|θ)h(θ|τ 2)ψ(τ−2)
berdistribusi N(
yτ 2
τ 2+(σ2/n), (σ2/n)τ 2
[τ 2+(σ2/n)]
).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
g(
1τ 2 |y, θ
)∝ f (y|θ)g(θ|τ 2)ψ(1/τ 2)
∝ 1τ
exp−1
2θ2
τ 2
(1τ 2
)a−1
exp− 1τ 2
1b
∝(
1τ 2
)a+(1/2)−1
exp− 1τ 2
[θ2
2+
1b
],
yang diketahui berdistribusi Γ
a + (1/2), [(θ2/2) + (1/b)]−1
.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Sehingga Gibbs Sampler untuk model ini adalah
Θ|y, τ 2i−1 ∼ N
(yτ 2
i−1
τ 2i−1 + (σ2/n)
,(σ2/n)τ 2
i−1
[τ 2i−1 + (σ2/n)]
)1τ 2 |y,Θi ∼ Γ
(a +
12,
[θ2
i
2+
1b
]−1),
untuk i = 1, 2, . . . ,m.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Dengan menentukan bilangan m yang besar dan n∗ > m, maka diperoleh him-punan pasangan (Θm, τm), (Θm+1, τm+1), . . . , (Θn∗ , τn∗). Jika diasumsikankerugian error kuadrat, maka
θ =1
n∗ − m
n∗∑i=m+1
Θi.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Karena diketahui distribusi bersyarat
Θ|y, τ 2i−1 ∼ N
(yτ 2
i−1
τ 2i−1 + (σ2/n)
,(σ2/n)τ 2
i−1
[τ 2i−1 + (σ2/n)]
),
maka θ juga dapat diestimasi oleh
θ∗ =1
n∗ − m
n∗∑i=m+1
τ 2i
τ 2i + (σ2/n)
x.
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Latihan Soal
Perhatikan kembali model Bayesian berikut.
X1,X2, . . . ,Xn|λiid∼ Poisson(λ)
Λ ∼ Gamma(α, β).
Perhatikan bahwa Y =n∑
i=1Xi|λ ∼ Poisson(nλ). Sehingga
k(λ|y) ∼ Gamma(
y + α,β
nβ + 1
).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Namun jika β = b merupakan peubah acak dan diberikan model Bayesianberikut
X|λ ∼ Poisson(λ)
Λ|b ∼ Γ(1, b)
B ∼ g(b) = τ−1b−2 exp− 1
bτ
; b > 0, τ > 0.
Makaa. tentukan posterior g(λ|x, b)!b. tentukan g(b|x, λ)!
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Perhatikan bahwa fungsi peluang bersama
g(x, λ, b) = f (x|λ)h(λ|b)ψ(b).
Diperoleh
g(λ|x, b) ∝ e−λλx
x!
1b
e−λ/b
∝ λx+1−1e−λ[1+(1/b)],
yang merupakan fungsi peluang dari distribusi Γ(x + 1, b/[b + 1]).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Lalu
g(b|x, λ) ∝ 1b
e−λ/bτ−1b−2e−1/(bτ)
∝ b−3 exp−1
b
[1τ
+ λ
]
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Misalkan y = 1/b, maka berdasarkan Jacobian dbdy = −y−2.
Sehingga diperoleh
g(b|x, λ) ∝ b−3 exp−1
b
[1τ
+ λ
]g(y|x, λ) ∝ y3 exp
−y[
1τ
+ λ
]y−2
∝ y2−1 exp−y[
1τ
+ λ
],
yang merupakan fungsi peluang dari distribusi Γ(2, τ/[λτ + 1]).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Sehingga diperoleh algoritma Gibbs Sampler, yakni untuk i = 1, 2, . . . ,m
Λi|x, bi−1 ∼ Γ(x + 1, bi−1/[1 + bi−1])
Bi = Y−1i dengan Yi|x, λi ∼ Γ(2, τ/[λiτ + 1]).
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Bayes Empirik
Pandang model Bayesian hirarki berikut.
X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ).
Lalu bagaimanakah distribusi posterior untuk θ?
Perhatikan bahwa
g(x, θ|γ) =g(x, θ, γ)
ψ(γ)=
f (x|θ)h(θ|γ)ψ(γ)
ψ(γ)= f (x|θ)h(θ|γ).
Diperoleh fungsi likelihood berikut.
m(x|γ) =
∞∫−∞
f (x|θ)h(θ|γ)dθ.
Fokus perhatian tertuju pada bagaimana cara mengestimasi parameter γ?
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Bayes Empirik
Pandang model Bayesian hirarki berikut.
X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ).
Lalu bagaimanakah distribusi posterior untuk θ?Perhatikan bahwa
g(x, θ|γ) =g(x, θ, γ)
ψ(γ)=
f (x|θ)h(θ|γ)ψ(γ)
ψ(γ)= f (x|θ)h(θ|γ).
Diperoleh fungsi likelihood berikut.
m(x|γ) =
∞∫−∞
f (x|θ)h(θ|γ)dθ.
Fokus perhatian tertuju pada bagaimana cara mengestimasi parameter γ?
Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Bayes Empirik
Pandang model Bayesian hirarki berikut.
X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ).
Lalu bagaimanakah distribusi posterior untuk θ?Perhatikan bahwa
g(x, θ|γ) =g(x, θ, γ)
ψ(γ)=
f (x|θ)h(θ|γ)ψ(γ)
ψ(γ)= f (x|θ)h(θ|γ).
Diperoleh fungsi likelihood berikut.
m(x|γ) =
∞∫−∞
f (x|θ)h(θ|γ)dθ.
Fokus perhatian tertuju pada bagaimana cara mengestimasi parameter γ?Nanda Arista Rizki, M.Si. Statistika Matematika II
Konsep Dasar BayesianProsedur Bayesian
Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif
Gibbs SamplerMetode Bayesian Modern
Bayes Empirik
Untuk memperoleh estimator γ = γ(x), diperoleh melalui fungsi peluangm(x|γ) dengan metode maksimum likelihood. Nilai γ inilah yang akan di-gunakan untuk melakukan prosedur Bayes empirik melalui fungsi peluangposterior k(θ|x, γ).
Nanda Arista Rizki, M.Si. Statistika Matematika II