BAB 2 MOMEN DAN ENTROPI - Perpustakaan Digital...
Transcript of BAB 2 MOMEN DAN ENTROPI - Perpustakaan Digital...
BAB 2
MOMEN DAN ENTROPI
2.1 Satu Peubah Acak (Univariat)
Misalkan diketahui suatu peubah acak X. Didefinisikan ekspektasi dari peubah acak X
adalah sebagai berikut
[ ]( )
( )-
, diskrit
E, kontinu
xxP X x X
Xxf x dx X
∞
∞
⎧ =⎪⎪= ⎨⎪⎪⎩
∑
∫ (2.1)
dengan P(X=x) adalah fungsi massa peluang untuk X diskrit dan f(x) adalah fungsi
padat peluang untuk X kontinu. Persamaan (2.1) mempunyai syarat
( )x
x P X x= < ∞∑ dan ( )x
x f x < ∞∑ . Selanjutnya jika dibangun Y yaitu suatu
fungsi dari peubah acak X, dengan Y=g(X) maka
( )( ) ( )
( ) ( )-
, diskrit
E, kontinu
x
g x P X x X
g Xg x f x dx X
∞
∞
⎧ =⎪⎪⎡ ⎤ = ⎨⎣ ⎦⎪⎪⎩
∑
∫ (2.2)
Khusus untuk g(X)= Xk disebut momen ke k dari peubah acak X yang dinotasikan
dengan µk. Jadi, persamaan (2.1), ekspektasi X, E[X] tidak lain adalah momen
pertama atau yang lebih dikenal sebagai rataan (mean).
5
BAB 2 MOMEN DAN ENTROPI 6
Selanjutnya jika ( ) ( )kg X X µ= − , dikenal sebagai momen terpusat ke k dan
dinotasikan sebagai . Khusus untuk momen terpusat ke 2 ini, dikenal sebagai
variansi, dinotasikan dengan σ
'kµ
2. Variansi ini dipakai sebagai ukuran penyebaran dari
peubah acak. Untuk lebih jelas dapat dilihat pada Hogg dan Craig (2005, 55). Momen
terpusat lain yang juga sering digunakan adalah
a. momen ketiga, skewness yang menyatakan kesimetrian distribusi,
didefinisikan 31 3
µγσ
= dan
b. momen keempat, kurtosis yang menyatakan kelandaian atau kelancipan
dari suatu distribusi, didefinisikan sebagai 42 4
µγσ
=
Kemudian, jika ( ) ( )( )
log , untuk diskritlog , untuk kontinu
P X x Xg X
f x X− =⎧⎪= ⎨ −⎪⎩
akan diperoleh suatu
ukuran entropi yang merupakan ukuran ketidakpastian dari suatu peubah acak X dan
dinotasikan H(X=x). Jadi entropi didefinisikan sebagai berikut :
H(X=x)
( )
( )( ) ( )
log ( ) ( ), diskrit
log , kontinu
x
P X x P X x X
f x f x dx X∞
−∞
⎧− = =⎪⎪= ⎨⎪ −⎪⎩
∑
∫ (2.3)
Mengingat definisi dari ekspektasi pada persamaan (2.1) maka entropi dari suatu
peubah acak tidak lain adalah
H(X=x)= ( )E log P X x⎡ ⎤− =⎣ ⎦ (2.4)
Jadi entropi dari peubah acak X tidak lain adalah ekspektasi dari –log fungsi peluang
dari X sendiri. Perhatikan bahwa nilai dari entropi untuk peubah acak X tidak
bergantung pada nilai-nilai dari peubah acak X (seperti yang terjadi di momen)
melainkan pada peluang dari X.
BAB 2 MOMEN DAN ENTROPI 7
Hal menarik dari entropi, karena diambil ( ) ( )( )logg X P X x= − = maka untuk X
yang diskrit, entropi H(X=x) bernilai non negatif. Sebaliknya untuk peubah acak
kontinu, entropi dapat bernilai negatif atau positif. Entropi bernilai nol, H(X=x)= 0,
jika dan hanya jika X berdistribusi degenerate, dengan bernilai nol hanya jika
.
logp p
0p =
Contoh 2.1
Entropi untuk peubah acak diskrit dengan fungsi massa peluang (fmp)
( )
62 , 1,2,3,4,5,664
1 , 764
x
xP X x
x
−⎧=⎪⎪= = ⎨
⎪ =⎪⎩
dalam satuan meter.
Fungsi Massa Peluang Contoh 1
0
1/10
1/5
3/10
2/5
1/2
3/5
1 2 3 4 5 6 7
X (meter)
P (X
=x)
Gambar 2.1 : Grafik Fungsi Massa Peluang
Dari grafik di atas terlihat bahwa peubah acak ini memiliki nilai peluang maksimum
sebesar 3264
semakin lama menuju ke nol. Berdasarkan persamaan (2.1) dan (2.2),
BAB 2 MOMEN DAN ENTROPI 8
diperoleh rataan (momen 1) dan variansi (momen terpusat 1) masing-masing adalah
sebagai berikut: 66
1
2 1 1277 1,9844 meter64 64 64
x
xxµ
−
=
= + = =∑ dan
662 2 2
1
2 17 1,9844 1,796764 64
x
xxσ
−
=
⎛ ⎞= + − =⎜ ⎟⎝ ⎠∑ meter 2
Sedangkan untuk entropi adalah
H(X=x)
( )7
1log ( ) ( )
xP X x P X x
=
= − = =∑
32 32 16 16 1 1log log ... log64 64 64 64 64 64
⎡ ⎤⎛ ⎞ ⎛ ⎞ ⎛ ⎞= − + + +⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎢ ⎥⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎣ ⎦
Jika diambil basis dari logaritma di atas adalah 2 maka nilai entropinya menjadi
H(X=x) ( ) ( ) ( )2 616 1 8 2 ... 6 1,968864 32
= − − + − + + − = =⎡ ⎤⎣ ⎦3
Sehingga µ = 1,9844 ; σ2 = 1,7967 dan H(X=x) = 1,9688. Untuk basis lain, dapat
digunakan rumus perubahan basis logloglog
ba
a
xxb
= .
Dalam membicarakan suatu peubah acak, sering dibicarakan beberapa peubah acak
secara bersamaan. Hal ini berguna karena peubah acak yang satu dapat bergantung
dari peubah acak yang lain. Misalnya, didefinisikan suatu peubah acak baru Y=F(X),
dengan F(.) adalah fungsi deterministik. Sehingga dengan mengetahui X berarti dapat
diketahui pula nilai-nilai dari Y. Kedua peubah acak ini juga memiliki ukuran momen
dan entropi dan dibahas pada sub bab berikut.
2.1 Momen dan Entropi Multivariat
Dalam praktek banyak observasi yang melibatkan lebih dari satu peubah acak. Untuk
itu, momen dan entropi multivariat dapat dilihat sebagai berikut. Sebagai batasan
BAB 2 MOMEN DAN ENTROPI 9
diambil dua peubah acak yang mempunyai keterkaitan maka dapat pula didefinisikan
momen dan entropi dari dua peubah acak (bivariat) dengan syarat fungsi padat
peluang gabungan diketahui. Misal X dan Y masing-masing peubah acak dengan
fungsi peluang gabungan P(X=x,Y=y) untuk diskrit atau f(x,y) untuk kontinu.
Perhatikan persamaan (2.2), maka untuk kasus bivariat momen didefinisikan sebagai
berikut.
( )
- -
( , ) , dan diskrit
E, , dan kontinu
kl
k l
y xk l
XYk l
x y P X x Y y X Y
X Yx y f x y X Y
µ ∞ ∞
∞ ∞
⎧ = =⎪⎪⎡ ⎤= = ⎨⎣ ⎦⎪⎪⎩
∑∑
∫ ∫ (2.5)
Terlihat di atas bahwa untuk X dan Y yang keduanya kontinu, akan muncul integral
lipat. Sedangkan momen terpusat untuk X dan Y dituliskan dengan
( ) ( )( ) ( )
( ) ( ) ( )- -
( , ) , dan diskrit
E, , dan kontinu
XY
m nX Y
y xm nmnX Y
m nX Y
x y P X x Y y X Y
X Yx y f x y dxdy X Y
µ µ
µ µ µµ µ
∞ ∞
∞ ∞
⎧ − − = =⎪⎪⎡ ⎤= − − = ⎨⎣ ⎦ ⎪ − −⎪⎩
∑∑
∫ ∫ (2.6)
H(X=x,Y=y)
( )
( )( )
log ( , ) ( , ), dan diskrit
log , ( , ) , dan kontinu
x yP X x Y y P X x Y y X Y
f x y f x y dxdy X Y∞ ∞
−∞ −∞
⎧− = = = =⎪⎪= ⎨⎪ −⎪⎩
∑∑
∫ ∫
(2.7)
Terlihat bahwa dalam bivariat kontinu akan muncul integral lipat. Dalam hal ini
menghitung tiga persamaan di atas menjadi tidak sesederhana seperti dalam kasus
univariat (Sub Bab 2.1) di atas, khususnya persamaan (2.7), entropi untuk X dan Y
kontinu. Entropi gabungan juga masih dapat dituliskan dalam ekspektasi yaitu
H(X=x,Y=y) ( )E E log ( , )X Y P X x Y y⎡ ⎤= − = =⎡ ⎤⎣ ⎦⎣ ⎦ (2.8)
BAB 2 MOMEN DAN ENTROPI 10
Sifat lain dari entropi gabungan dapat dilihat pada teorema berikut.
Teorema 2.1
Untuk peubah –peubah acak, X dan Y maka entropi gabungan menjadi
H(X=x,Y=y) ≤ H(X=x) + H(Y=y) (2.9)
dan berlaku kesamaan jika dan hanya jika X dan Y adalah dua peubah acak yang
saling bebas.
Bukti :
Sebagai bukti akan dipilih peubah acak diskrit, sedangkan untuk kasus kontinu,
langkah-langkah yang dilakukan serupa tetapi menggunakan teknik pengintegralan.
Pandang ruas kanan persamaan (2.9), maka berdasarkan definisi pada persamaan
(2.3) maka
H(X=x)+H(Y=y) ( ) ( )log ( ) ( ) log ( ) ( )x y
P X x P X x P Y y P Y y⎛ ⎞
= − = = + = =⎜ ⎟⎝ ⎠∑ ∑ (2.10)
( ) ( )log ( ) ( , ) log ( ) ( , )x y y x
P X x P X x Y y P Y y P X x Y y⎛ ⎞
=− = = = + = = =⎜ ⎟⎝ ⎠∑∑ ∑∑
(2.11)
dengan menggunakan sifat dari logaritma maka
H(X=x) + H(Y=y) ( )log ( ) ( ) ( , )x y
P X x P Y y P X x Y y⎛ ⎞
= − = = = =⎜ ⎟⎝ ⎠∑∑ (2.12)
Kemudian pandang ruas kiri persamaan (2.9), berdasarkan definisi entropi gabungan
X dan Y maka
H(X=x,Y=y) ( )log ( , ) ( , )x y
P X x Y y P X x Y y= − = = = =∑∑ (2.13)
dengan mengurangkan persamaan (2.13) terhadap persamaan (2.12) didapat
H(X=x,Y=y)- H(X=x)- H(Y=y)
( )1log ( , ) log ( ) ( ) ( , )( , )x y x y
P X x Y y P X x P Y y P X x Y yP X x Y y
⎛ ⎞⎛ ⎞= = = + = =⎜ ⎟⎜ ⎟= =⎝ ⎠ ⎝ ⎠∑∑ ∑∑ = =
BAB 2 MOMEN DAN ENTROPI 11
( ) ( )log ( , ) (sifat dari logaritma)( , )x y
P X x P Y y P X x Y yP X x Y y
⎛ ⎞= == = =⎜ ⎟= =⎝ ⎠∑∑
( )log ( ) ( ) log 1 =0x y
P X x P Y y⎛ ⎞
≤ = = =⎜ ⎟⎝ ⎠∑∑
sehingga H(X=x,Y=y) ≤ H(X=x) + H(Y=y).
Selanjutnya akan dibahas entropi bagi X dan Y yang saling bebas, dengan fungsi
peluang gabungan menjadi lebih sederhana.
2.2 Entropi Untuk Variabel-Variabel Yang Saling Bebas
Seperti yang telah disinggung pada bagian akhir Sub Bab 2.1, dalam distribusi
bivariat dikenal istilah kebebasan yang didefinisikan sebagai berikut. Dua peubah
acak X dan Y dikatakan saling bebas jika
P(X=x,Y=y) = P(X=x)P(Y=y), untuk dua peubah acak diskrit (2.14)
f(x,y) = f(x)f(y) , untuk dua peubah acak kontinu (2.15)
Jika X dan Y independent (saling bebas), maka operator ekspektasi mempunyai sifat-
sifat
[ ] [ ] [ ]E = E + EX Y X Y+ dan [ ] [ ] [ ]E = E EXY X Y (2.16)
dan untuk variansi dari peubah acak gabungannya adalah
( ) ( ) ( )var = var + var X Y X Y+ dan ( ) ( ) ( )var = var var XY X Y (2.17)
BAB 2 MOMEN DAN ENTROPI 12
Sifat kebebasan dua peubah acak juga dapat berlaku pada entropi. Mengingat sifat
dari logaritma yaitu log (P(X=x)P(Y=y)) = log (P(X=x)) + log (P(Y=y)) maka untuk
X dan Y saling bebas entropinya menjadi H(X=x,Y=y)= H(X=x)+ H(Y=y). Bukti
sebagai berikut, dengan menggunakan definisi entropi pada kasus peubah acak diskrit
pada persamaan (2.8) maka
H(X=x,Y=y) (2.18) ( )log ( ) ( ) ( ) ( )x y
P X x P Y y P X x P Y y= − = = = =∑∑
( ) ( )( )log ( ) log ( ) ( ) ( )x y
P X x P Y y P X x P Y y= − = + = = =∑∑ (2.19)
( ) ( )log ( ) ( ) ( ) log ( ) ( ) (x y
P X x P X x P Y y P Y y P X x P Y y= − = = = + = = =∑∑ ) (2.20)
( ) ( )log ( ) ( ) ( ) log ( ) ( ) ( )x y x y
P X x P X x P Y y P Y y P Y y P X x= − = = = − = = =∑∑ ∑∑ (2.21)
( ) ( )log ( ) ( ) ( ) ( ) log ( ) (x y x y
P X x P X x P Y y P X x P Y y P Y y= − = = = − = = =∑ ∑ ∑ ∑ ) (2.22)
( ) ( )log ( ) ( ) log ( ) (x y
)P X x P X x P Y y P Y y= − = = − = =∑ ∑
(2.23)
= H(X=x) + H(Y=y) (2.24)
Bukti serupa untuk peubah acak kontinu.
Dapat pula didefinisikan entropi marjinal untuk peubah acak diskrit X adalah
H(X=x) ( )log ( ) ( )x
P X x P X x= − = =∑ (2.25)
( )log ( ) ( , )x y
P X x P X x Y y= − = = =∑∑ (2.26)
Begitu pula dengan entropi marjinal untuk peubah acak diskrit Y yaitu
H(Y=y) ( )log ( ) ( )y
P Y y P Y y= − = =∑ (2.27)
( )log ( ) ( , )x y
P Y y P X x Y y= − = = =∑∑ (2.28)
BAB 2 MOMEN DAN ENTROPI 13
Kebebasan dari dua peubah acak juga dapat dihitung melalui entropi relatif dan
informasi mutual yang dijelaskan pada Sub Bab 2.5. Kasus lain yang ditinjau yaitu
jika dipunyai n peubah acak dituliskan sebagai X1,X2,...,Xn dan diasumsikan masing-
masing peubah acak saling bebas mutual, maka
H(X1, X2,..., Xn) = H(X1) + H(X2)+...+ H(Xn) (2.29)
Contoh 2.2
Ukuran ini juga diterapkan pada kasus peubah acak diskrit, misalnya dua peubah acak
X dan Y yang berdistribusi
( ) ( ), , 0,1,2,3 0,1,230
x yP X x Y y x y
+= = = = =
1,9844µ = , dan H(X=x,Y=y) = 3,3523 2 1,7967σ =
Contoh 2.3
Untuk kasus distribusi kontinu, dapat dilihat contoh sebagai berikut.
( ), 0 1, 0 1
,0, dan lainnya
x y x yf x y
x y+ < < < <⎧
= ⎨⎩
dengan fungsi peluang marjinal masing-masing adalah
( ) ( )1
0
1 , 0 12
0 , lainnya
x xg x x y dy
x
⎧⎛ ⎞+ <⎪⎜ ⎟= + = ⎝ ⎠⎨⎪⎩
∫< dan ( ) ( )
1
0
1 , 0 12
0 , y lainnya
y yh y x y dx
⎧⎛ ⎞+ <⎪⎜ ⎟= + = ⎝ ⎠⎨⎪⎩
∫<
Rataan gabungan dari peubah acak tersebut adalah
( )1 1 1
,0 0 0
1 1 13 2 3X Y xy x y dxdy y y dyµ ⎛ ⎞= + = +⎜ ⎟
⎝ ⎠∫ ∫ ∫ = .
Untuk menghitung kovariansi, terlebih dahulu dicari mean untuk X dan Y yang
diperoleh dari fungsi padat peluang marjinalnya yaitu
µX =1
0
1 12
x dx+ =∫ , µY =1
0
1 12
y dy+ =∫ , sehingga kovariansi X dan Y menjadi
BAB 2 MOMEN DAN ENTROPI 14
σXY = ( )( )( ) ( )( )( )1 1 1 1
0 0 0 0
11 16X Yx y x y dxdy x y x y dxdyµ µ− − + = − − + =∫ ∫ ∫ ∫
Sedangkan entropi gabungan untuk fungsi peluang gabungan di atas adalah
H(X,Y)= ( )( )1 1
0 0
ln x y x y dxdy− + +∫ ∫ = -0,0909.
2.3 Momen dan Entropi Bersyarat
Seringkali ingin diketahui perilaku variabel X jika variabel Y dikontrol. Dalam teori
peluang ini dinamakan dengan peluang bersyarat. Rataan bersyarat dari X diberikan
adalah Y y=
( )
( )
, dan peubah acak diskritE
| , dan peubah acak kontinu
xxP X x Y y X Y
X Y yxf x y dx X Y
∞
−∞
⎧= =⎪
⎪⎡ ⎤= = ⎨⎣ ⎦⎪⎪⎩
∑
∫ (2.30)
Misal X dan Y menyatakan peubah acak yang mempunyai fungsi massa peluang (fpm)
gabungan (bersama) P(X=x,Y=y), atau fungsi densitas peluang (fdp) f(x,y). Misal
P(X=x), P(Y=y) fmp marjinal dari X dan Y, sedangkan f(x) dan f(y), fdp marjinal dari
X dan Y.
Sehingga fmp bersyarat dari peubah acak Y, diberikan bahwa peubah acak diskrit
adalah P(Y=y|X=x) maka P(X=x,Y=y)=P(X=x)P(Y=y|X=x)=P(Y=y)P(X=x|Y=y).
Fdp bersyarat dari peubah acak Y, diberikan nilai bahwa peubah acak
kontinu adalah f(y|x) maka f(x,y)= f(x) f(y|x)= f(y) f(x|y).
X x=
X x=
Untuk fmp marjinal dari X dan Y masing-masing sebagai berikut
dan ( ) ( ,y
P X x P X x Y y= = = =∑ ) ( ) ( , )x
P Y y P X x Y y= = = =∑ . Sedangkan untuk
BAB 2 MOMEN DAN ENTROPI 15
peubah acak kontinu, peluang marjinal untuk X dan Y adalah f(x)= ( ),y
f x y dy∫ dan
f(y)= ( ),x
f x y dx∫ .
Momen yang sudah dikenal adalah mean dan variansi bersyarat dan didefinisikn
sebagai berikut. Jika ada, maka E Y x⎡ ⎤⎣ ⎦ adalah mean dan [ ]( )2E |Y E Y x x⎡ ⎤−⎢ ⎥⎣ ⎦
adalah variansi dari distribusi bersyarat dari Y, diberikan X = x, dapat dituliskan
sebagai var(Y|x). Agar memudahkan dalam memahami, dinamakan mean bersyarat
dan variansi bersyarat dari Y, diberikan X = x. Sehingga didapatkan
( ) [ ]( )22var | = E | E | Y x Y x Y x⎡ ⎤ −⎣ ⎦ (2.31)
Sedangkan untuk entropi bersyarat dari Y jika diberikan X = x dapat dituliskan
sebagai
H(Y|X=x) ( )log ( | ) ( | )y
P Y y X x P Y y X x= − = = = =∑ untuk setiap x. (2.32)
Kemudian entropi bersyarat dari Y jika diberikan X dapat dituliskan sebagai
H(Y=y|X=x) H(Y|X=x) untuk setiap x. (2.33) ( )x
P X x= =∑
( )( ) log ( | ) ( |x y
P X x P Y y X x P Y y X x= − = = = = =∑ ∑ )
)⎤⎦
( )log ( | ) ( | ) ( )x y
P Y y X x P Y y X x P X x= − = = = = =∑∑
( )log ( | ) ( , )x y
P Y y X x P X x Y y= − = = = =∑∑
(E log ( | )P Y y X x= − = =⎡⎣ (2.34)
Rumus ini juga berlaku untuk X dan Y peubah acak kontinu. Tentu saja menarik jika
ada keterkaitan antara peubah acak yang satu dengan yang lain. Apabila kedua
peubah acak tidak saling bebas maka entropi bersyarat juga dapat dihitung melalui
BAB 2 MOMEN DAN ENTROPI 16
aturan rantai menggunakan entropi gabungan kedua peubah acak dengan fungsi padat
peluang gabungan dan marjinal, diketahui P(X=x) atau f(x) yaitu
H(Y=y|X=x) = H(X=x,Y=y) - H(X=x)
Bukti :
H(X=x|Y=y) ( )log ( | ) ( | ) ( )x y
P X x Y y P X x Y y P X x= − = = = = =∑∑
( , )log ( , )( )x y
P X x Y y P X x Y yP X x
⎛ ⎞= == − = =⎜ ⎟=⎝ ⎠∑∑ , ( )Xp x > 0
( ) ( )( )log ( , ) log ( ) ( , )x y
P X x Y y P X x P X x Y y= − = = − = = =∑∑
( ) ( )log ( , ) ( , ) log ( ) ( ,x y x y
P X x Y y P X x Y y P X x P X x Y y= − = = = = + = = =∑∑ ∑∑ )
=
= H(X=x,Y=y) ( )log ( ) ( )x
P X x P X x+ =∑
= H(X=x,Y=y) - H(X=x)
Sifat ini berlaku simetris sehingga H(X=x,Y=y) = H(Y=y|X=x) + H(X=x) =
H(X=x|Y=y) + H(Y=y). Akibat dari sifat tersebut maka H(X=x|Y=y)≤ H(Y=y),
berlaku kesamaan jika dan hanya jika X dan Y saling bebas. Interpretasi entropi
bersyarat dari Y jika diberikan peubah acak X adalah rata-rata informasi yang
dibutuhkan untuk menentukan observasi khusus dari Y dengan diberikan telah
mempunyai observasi X. Sebagai catatan, H(Y=y|X=x)≠ H(X=x|Y=y).
Selanjutnya, akan dibahas entropi untuk kasus tiga peubah acak. Misalkan terdapat
tiga peubah acak X, Y dan Z dengan distribusi peluang masing-masing diketahui maka
entropi gabungannya adalah
BAB 2 MOMEN DAN ENTROPI 17
H(X=x,Y=y,Z=z)( )( ) ( )
( )( ) ( )
log , , , , , , dan diskrit
log , , , , , , dan kontinu
x y zP X x Y y Z z P X x Y y Z z X Y Z
f x y z f x y z dxdydz X Y Z∞ ∞ ∞
−∞ −∞ −∞
⎧− = = = = = =⎪⎪= ⎨⎪ −⎪⎩
∑∑∑
∫ ∫ ∫
(2.35)
Pada kasus tiga peubah acak ini dapat pula didefinisikan entropi marjinal untuk
peubah acak diskrit X, Y dan Z adalah
H(X=x) ( )( ) ( )log , ,x y z
P X x P X x Y y Z z= − = = = =∑∑∑ (2.36)
H(Y=y) ( )( ) ( )log , ,x y z
P Y y P X x Y y Z z= − = = = =∑∑∑ (2.37)
H(Z=z) ( )( ) ( )log , ,x y z
P Z z P X x Y y Z z= − = = = =∑∑∑ (2.38)
Selain itu, dapat juga dituliskan entropi bersyarat dan entropi gabungan X dan Y
sebagai berikut
H(X=x|Y=y) ( )( ) ( )log | , ,x y z
P X x Y y P X x Y y Z z= − = = = = =∑∑∑ (2.39)
H(X=x,Y=y) ( )( ) ( )log , , ,x y z
P X x Y y P X x Y y Z z= − = = = = =∑∑∑ (2.40)
Entropi bersyarat dari X dan Y jika diberikan Z adalah
H(X=x,Y=y|Z=z) ( )z
P Z z= =∑ H(X,Y|Z=z) (2.41)
( )( ) ( )log , | , ,x y z
P X x Y y Z z P X x Y y Z z= − = = = = = =∑∑∑
sedangkan entropi bersyarat dari X jika diberikan Y dan Z dituliskan
H(X=x|Y=y,Z=z) ( ),y z
P Y y Z z= − = =∑∑ H(X|Y=y,Z=z) (2.42)
( )log ( | , ) ( , , )x y z
P X x Y y Z z P X x Y y Z z= − = = = = = =∑∑∑
Jika pada peubah acak diskrit terdapat tiga penjumlahan maka untuk peubah acak
kontinu, digunakan integral lipat tiga.
BAB 2 MOMEN DAN ENTROPI 18
Contoh 2.4 (Hogg and Craig,2005, 122)
Pada contoh ini diberikan distribusi tiga peubah acak
( )( )2
, 0 1, 0 1, 0 1, , 30, , , lainnya
x y zx y zf x y zx y z
⎧ + +< < < < < <⎪= ⎨
⎪⎩
Distribusi peluang dan entropi marjinal untuk X adalah
( ) ( ) (1 1
0 0
2 2 13 3
x y zf x d ydz x
+ += =∫ ∫ )+ dan
H(X=x)= ( ) ( )1
0
2 2ln 1 13 3
x x dx⎛ ⎞− + +⎜ ⎟⎝ ⎠∫ ( ) ( )7 1ln 2 ln 3
3 2=− + + = - 0,0187
Sedangkan distribusi peluang dan entropi marjinal untuk Y dan Z yaitu
( ) ( )2 13
f y y= + , ( ) (2 13
f z z= + ) , H(Y=y)= - 0,0187 dan H(Z=z)= - 0,0187
Entropi gabungan untuk X, Y dan Z
H(X=x,Y=y,Z=z)= ( ) ( )1 1 1
0 0 0
2 2ln
3 3x y z x y z
dxdydz⎛ ⎞+ + + +
− ⎜ ⎟⎝ ⎠
∫ ∫ ∫
= ( ) ( )1 5ln 2 ln 33 4
− +1312
= - 0,0588
Fungsi gabungan Y dan Z bersyarat pada X=x0 adalah sebagai berikut
( ) ( )( )
( )
( )( )( )
( )
0
0 00
0 00
0
0 0
2, , 3, | 2 11
3
, 0 1 dan 0 11 1
0 , dan lainnya
x y zf x y z x y z
f y z xf x xx
y zx y zx x
y z
+ ++ +
= = =++
⎧ ++ < < < <⎪= + +⎨
⎪⎩
Terlihat bahwa fungsi ini merupakan penjumlahan suatu konstanta dengan rasio
peubah acak Y dan Z dengan suatu konstanta. Sehingga entropi gabungan Y dan Z
bersyarat pada X=x0 adalah
BAB 2 MOMEN DAN ENTROPI 19
H(Y=y,Z=z|X=x) = ( )( ) ( )1 1 1
0 0 0
ln , | , ,f y z x f x y z dxdydz−∫ ∫ ∫
= ( )1 1 1
0 0 0
2ln
1 3x y zx y z dxdydz
x+ ++ +⎛ ⎞− ⎜ ⎟+⎝ ⎠∫ ∫ ∫
= ( )1 1 1
0 0 0
2 ln3 1
x y z x y z dxdydzx+ +⎛ ⎞− + +⎜ ⎟+⎝ ⎠∫ ∫ ∫
= - 0,04016
dengan H(Y=y,Z=z|X=x)=H(X=x,Z=z|Y=y)= H(X=x,Y=y|Z=z)=-0,04016.
Fungsi gabungan X bersyarat pada Y dan Z adalah sebagai berikut
( ) ( )
( )
( )
( )
( )
0
00 1 1
0 0
0
2, , 3| ,
2, ,3
, 0 1 dan 0 112
x y zf x y z
f x y zf x y z dx x y z dx
x y zy z
y z
+ +
= =+ +
+ += < < < <⎛ ⎞+ +⎜ ⎟⎝ ⎠
∫ ∫
Dari kasus dua dan peubah acak di atas, dapat diperumum untuk k peubah acak
(multivariat). Entropi dari k peubah acak dapat dituliskan sebagai
H(X1=x1,X2=x2,…,Xk=xk)
( )( ) ( )
( )( ) ( )
1 2
1 1 2 2 1 1 2 2
1 2 1 2 1 2
... log , ,..., , ,..., , peubah acak diskrit
... log , ,..., , ,..., ... , peubah acak kontinu
k
k k k kx x x
k k k
P X x X x X x P X x X x X x
f x x x f x x x dx dx dx∞ ∞ ∞
−∞ −∞ −∞
⎧− = = = = = =⎪⎪= ⎨⎪ −⎪⎩
∑∑ ∑
∫ ∫ ∫(2.43)
2.4 Entropi Relatif dan Informasi Mutual
Konsep umum dari entropi adalah entropi relatif yang dikenal juga dengan Kullback
Leibler distance atau cross entropy. Entropi relatif dinotasikan dengan
BAB 2 MOMEN DAN ENTROPI 20
(D p r )adalah suatu ukuran jarak antara dua distribusi dan ukuran keadaan dari
mengasumsikan bahwa distribusinya adalah r padahal distribusi sebenarnya adalah p.
Definisi 2.1 : Entropi relatif atau Kullback Leibler distance dari dua fmp, p(x) dan
r(x) didefinisikan sebagai
( ) ( ) ( )( )
( )( )
D log =E logpx
p x p Xp r p x
r x r X∈Χ
⎡ ⎤= ⎢ ⎥
⎢ ⎥⎣ ⎦∑ (2.44)
Sifat-sifat dari entropi relatif
1. bernilai non negatif
2. ( )D p r = 0 jika dan hanya jika p = r
Entropi relatif bersyarat dari dua distribusi adalah
( ) ( )( ) ( ) ( ) ( )( )1 2
2 12 1 2 1 1 2 1
2 1
|D | | | log
|x x
p x xp x x r x x p x p x x
r x x=∑ ∑ (2.45)
( ) ( )( ) ( ) ( )( ) ( ) ( )( )2 1 2 1 1 1 2 1 2 1D , , D Dp x x r x x p x r x p x x r x x= + (2.46)
Konsep lain yang dapat digunakan untuk melihat hubungan dari dua distribusi
peluang adalah informasi mutual dan didefinisikan sebagai berikut. Misalkan dua
peubah acak, X dan Y dengan fungsi peluang gabungannya, p(x,y) dan fmp marjinal
adalah p(x) dan p(y).
Definisi 2.2 : Untuk peubah acak diskrit, informasi mutual didefinisikan sebagai
( ) ( )( ) ( )
( ) ( ) ( )( ) ( )( )
( ) ( ),
,I( ; ) = log,
,D , E log
x y
p x y
p X x Y yX Y p X x Y y
p X x p Y y
p X Yp X x Y y p X x p Y y
p X p Y
= == =
= =
⎡ ⎤= = = = = = ⎢ ⎥
⎢ ⎥⎣ ⎦
∑∑ (2.47)
sedangkan untuk peubah acak kontinu, dituliskan sebagai
BAB 2 MOMEN DAN ENTROPI 21
( ) ( )( ) ( )
( ) ( ) ( )( )
,I( ; ) = , log
D ,
x y
f x yX Y f x y
f x f y
f x y f x f y=
∑∑ (2.48)
Informasi mutual, I(X;Y), merupakan ukuran kebebasan, yaitu informasi mutual
bernilai nol jika dan hanya jika dua peubah acak saling bebas. Entropi dan informasi
mutual mempunyai hubungan sebagai berikut
( )
, ,
,
( , )I ; = ( , ) log( ) ( )( | )( , ) log
( )
( , ) log ( ) ( , ) log ( |
( ) log ( ) ( , ) log ( | )
x y
x y
x y x y
x x y
P X x Y yX Y P X x Y yP X x P Y yP X x Y yP X x Y y
P X x
)P X x Y y P X x P X x Y y P X x Y y
P X x P X x P X x Y y P X x Y y
= == =
= =
= == = =
=
= − = = = + = = = =
⎛ ⎞= − = = − − = = = =⎜ ⎟
⎝ ⎠
∑∑
∑∑
∑ ∑
∑ ∑
= H(X=x)- H(X=x|Y=y)
Begitu pula dengan informasi mutual, ( ) ( )I ; =I ;X Y Y X = H(Y=y) - H(Y=y|X=x).
Sehingga dapat dituliskan hubungan-hubungan,
I (X;Y) = H(X=x) – H(Y=y)
= H(Y=y) - H(Y=y|X=x)
= H(X=x) + H(Y=y) - H(X=x,Y=y)
= I (Y;X)
dan I (X;X) = H(X=x). Sebagai suatu ukuran, dikenal juga informasi mutual bersyarat
yang didefinisikan sebagai
I (X;Y | Z) = I ((X;Y) | Z) = H(X=x|Z=z) - H(X=x|Y=y,Z=z) (2.49)
Sebagai catatan, penulisan entropi pada bab ini dibedakan dengan entropi untuk
proses stokastik rantai Markov pada Bab 4 karena entropi pada matriks peluang
transisi dilihat sebagai entropi perbaris. Untuk lebih jelas, akan dibahas pada bab 4.