Proses Stokastik

adalah suatu keluarga peubah acak Xt atau X(t), di mana t Tdengan T = {1, 2, 3, …} untuk t diskret dan T = {0,} untuk t kontinu.ContohPada percobaan pelemparan mata uang berkali – kali

X1 adalah peubah acak yang berhubungan dengan pelemparan pertamaX2 adalah peubah acak yang berhubungan dengan pelemparan kedua

Xn adalah peubah acak yang berhubungan dengan pelemparan ke-n

X1 sampai Xn ini disebut keluarga peubah acak yang dapat juga disebut proses stokastik.

Definisi proses stokastik :

Contoh Perhatikan banyaknya kelahiran di suatu

tempat pada suatu hari. Bila Xt adalah banyaknya kelahiran pada (0,t) dengan t [0,1440], maka kumpulan dari Xt adalah proses stokastik.

Definisi Proses Markov adalah proses stokastik yang

mempunyai sifat bahwa jika nilai Xt telah diketahui, maka Xs di mana s > t tidak dipengaruhi oleh Xu di mana u < t.

Definisi tersebut memiliki arti bahwa fenomena masa datang hanya dipengaruhi oleh fenomena masa sekarang dan tidak dipengaruhi oleh masa lalu.

Rantai Markov dengan waktu diskret (Diskret Time Markov Chain) adalah suatu proses markov dengan waktu diskret dan Xt memiliki nilai diskret.

RANTAI MARKOV

Secara matematis Proses Markov dapat dinyatakan sebagai berikut:P(Xn+1=j| X1 = i1, X2=i2, …, Xn=in) = P(Xn+1 =j|Xn = in)

Xn = j artinya rantai markov pada waktu n berada pada state j. Peluang Xn+1 berada pada state j jika Xn berada pada state i dilambangkan dengan

1, nnijP

Peluang ini juga dinamakan peluang transisi satu langkah (one-step transition probability) dan secara matematis dapat dinyatakan sebagai berikut P(Xn+1=j|Xn=i).

Bila peluang transisi satu langkah bebas terhadap peubah waktu n, maka rantai markov mempunyai peluang transisi yang stasioner atau = Pij

1, nnijP

Secara umum, peluang transisi diatur dalam suatu matriks yang dinamakan matriks peluang transisi.

Baris ke – i+1 dari P adalah sebaran peluang dari nilai Xn+1 dibawah kondisi Xn= i.

Jika banyaknya state terhingga maka P adalah matriks kuadrat terhingga

.

P

3210

23222120

13121110

03020100

iiii PPPP

PPPP

PPPP

PPPP

Nilai Pij memenuhi kondisi

Pij 0 untuk semua i dan j

dan untuk i = 0, 1, 2, …

j

ijP 1

Jika matriks peluang transisi P dan sebaran peluang X0 diketahui, maka perilaku dari rantai markov dapat diketahui. Pernyataan ini akan ditunjukkan dalam penjelasan berikut: Misalkan diketahui matriks peluang transisi dan P(X0=i) = pi, maka kita dapat mencari P(X0=i0, X1=i1, X2 = i2, …, Xn=in)

Berdasar definisi peluang bersyarat kita dapatkanP(X0=i0, X1=i1, X2 = i2, …, Xn=in)

=P(Xn=in| X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1) P(X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1)

Berdasar definisi rantai markov kita dapatkanP(X0=i0, X1=i1, X2 = i2, …, Xn=in)

= P(Xn=in| Xn-1=in-1) P(X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1)

= P(X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1)

Melalui induksi akan kita dapatkanP(X0=i0, X1=i1, X2 = i2, …, Xn=in) =

nnnn iiiiiii PPPp ,11,2100

Analisis dari rantai markov berpusat pada perhitungan peluang kemungkinan realisasi proses yang mungkin. Perhitungan ini berpusat pada matriks peluang transisi n langkah P(n) = . melambangkan peluang proses pindah dari state i ke state j dalam n langkah. Secara formal dapat dinyatakan sebagai =P(Xm+n=j|Xm=i).

Matriks Peluang Transisi Rantai Markov

)(nijP

)(nijP

)(nijP

Sifat Markov memungkinkan kita menyatakan dalam theorema berikutTheoremaPeluang transisi n langkah dari rantai markov memenuhi

Di mana

Dari teori matriks, maka persamaan dalam teorema ini adalah rumus untuk perkalian matriks, sehingga P(n) = PP(n-1). Dengan mengiterasikan rumus ini kita dapatkan

Dengan kata lain, peluang transisi n langkah adalah isi matriks Pn.

0

)1()(

k

nkjik

nij PPP

ji

jiPij ,0

,1)0(

n

nfaktor

n PPPPP )(

Matriks Peluang Transisi RegulerMisalkan P (matriks peluang transisi) mempunyai sifat jika dipangkatkan k, Pk mempunyai elemen yang semuanya positif, maka P dikatakan regulerRantai Markov yang reguler memiliki limiting probability distribution = (0, 1, …, N); di mana j>0 dan =1 dan sebaran ini bebas dari state awal

THE LONG RUN BEHAVIOR OF MARKOV CHAIN

j

j

Untuk matriks peluang transisi yang regular , j = 0, 1, …, N

Contoh Rantai Markov regular dengan matriks peluang transisi

Mempunyai limiting probability distribution 0 1

0lim )( j

nij

nP

bb

aa

1

1P

ba

b

ba

aba

b

ba

a

n

1

0lim nP

Contoh numerik dapat ditunjukkan, misalkan rantai markov memiliki matriks peluang transisi

Beberapa pangkat pertama dari P adalah

Limiting distribution-nya adalah b/(a+b) = 0.5282 dan a/(a+b) = 0.4718.

25.075.0

67.033.0P

5650.04350.0

3886.06114.02 P4327.05673.0

5068.04932.03 P4883.05117.0

4572.05328.04 P

4560.05350.0

4780.05220.05P

4747.05253.0

4693.05307.06 P4706.05294.0

4729.05271.07 P

Untuk semua matriks peluang transisi dengan state 0, 1, 2, …,N yang memenuhi dua kondisi berikut adalah regular Untuk setiap pasang state i,j, terdapat path

(jalur) k1, k2, …, kr di mana Pik1Pk1k2 ... Pkrj>0 Terdapat minimal satu state di mana Pii>0

TheoremaMisalkan P adalah matriks peluang transisi suatu rantai markov regular dengan state 0, 1, 2, …, N, maka limiting probability distribution =(0, 1, 2, …,N) adalah solusi unik dari sistem persamaan berikut = P dan

1i

i

Bila diketahui rantai markov dengan matriks peluang transisi

0 1 2

Carilah limiting probability distributionnya!

Contoh

45.050.005.0

25.07.005.0

1.05.04.0

2

1

0

P

=P

Sehingga kita memiliki persamaan, yaitu

Jawab

45.050.005.0

25.07.005.0

1.05.04.0

210210

210210210210 45.025.01.05.07.05.005.005.04.0

2100 05.005.04.0

2101 5.07.05.0

2102 45.025.01.0 1210

Solusi dari sistem persamaan di samping adalah0 = 0.077, 1 = 0.625, 2 = 0.298

Sehingga limiting probability distribution-nya adalah

0 1 2

298.0625.0077.0

298.0625.0077.0

298.0625.0077.0

2

1

0

lim

n

nP