PROSES KEPUTUSAN MARKOV

Rantai markov adalah suatu teknik matematik yang biasa digunakan untuk pembuatan model bermacam-macam sistem dan proses bisnis. Teknik ini dapat digunakan untuk memperkirakan perubahan-perubahan di waktu yang akan datang dalam variabel-variabel dinamis atas dasar perubahan-perubahan dari variabel-variabel dinamis tersebut waktu lalu.

Penerapan proses markov mula-mula adalah digunakan untuk menganalisa dan memperkirakan perilaku konsumen misalkan menganalisa tentang perpindahan merk dalam pemasaran, perhitungan rekening, jasa persewaan mobil, perencanaan penjualan, masalah persediaan, pemeliharaan mesin, antrian, perubahan harga pasar saham, dan administrasi rumah sakti.

Analisis Markov adalah suatu cara menganalisis perangai beberapa variabel yang sedang beredar dalam usaha menduga perangai mendatang dari variabel yang sama.

Analisis Markov telah digunakan dengan berhasil terhadap berbagai macam situasi keputusan antara lain penyelidikan dan dugaan terhadap perangai konsumen perihal kesetia-annya terhadap “merk” tertentu dan peralihan mereka dari satu merk ke merk lainnya, perubahan sikap pelanggan dari “pembayaran lang-sung” ke pembayaran terlambat 30 hari “atau” pembayaran terlambat 60 hari “hingga” hutang buruk/kredit macet.

Outputinformasi berbentuk analisis deskriptif dan probabilistik

Outcomemembantu proses pengambilan keputusan

Adapun proses model rantai Markov, dapat dilakukan dengan langkah-langkah :

1. Menyusun Matriks Probabilitas Transisi. Probabilitas transisi adalah probabilitas suatu merk tertentu (atau penjual) akan tetap menguasai para pelanggannya.

2. Menghitung kemungkinan Market Share di waktu yang akan datang. Perhitungan market share di periode waktu kedua dapat diperoleh dengan mengalikan martiks probabilitas transisi dengan market share pada periode pertama.

3. Menentukan Kondisi Equilibrium. Kondisi equilibrium tercapai bila tidak ada pesaing yang mengubah matriks probabilitas transisi. Peng-gunaan matriks probabilitas transisi dapat menggambarkan kondisi-kon-disi equilibrium.

Proses Markov

Kondisi Analisis Markov(asumsi dasar)

1. Jumlah probabilitas pada setiap kejadian yang independen secara bersamaan adalah sama dengan satu (=1)

2. Probabilitas tidak berubah selamanya3. Probabilitas tergantung pada status sekarang.

Menyusun Matriks Probabilitas Transisi

Untuk memperoleh matriks probabilitas transisi atau matrik P diperlukan pengamatan yang diteliti terhadap kondisi system yang diamati pada satu periode ke periode berikutnya. Misalkan di suatu daerah dipasarkan 4 merk sabun deterjen, mis merk A, B, C, dan D. Tabel berikut menunjukkan data jumlah langganan masing-masing merk pada periode pertama, perubahan jumlah langganan yang terjadi pada satu periode, dan jumlah langganan pada periode kedua.

Data di atas memberikan informasi sebagai berikut:•Dari sejumlah 220 langganan A pada periode pertama,

telah beralih menjadi langganan B sebanyak 20 orang, menjadi langganan C sebanyak 10 orang dan langganan D sebanyak 15 orang. Maka jumlah langganan pada periode pertama memilih A dan pada periode kedua masih tetap memilih A (bukan langganan baru) adalah sebanyak (220-20-10-15=175 orang). Dengan kata lain probabilitas bahwa langganan A pada periode pertama tetap menjadi langganan A, pada periode kedua adalah sebesar 175/220=0,796. Apabila perhitungan dilanjutkan maka probabilitas transisi akan menjadi

Contoh 2

Pemilik angkot mempunyai probabilitas narik atau mogok pada esok hari adalah:P(narik/narik) =0,6 P(narik/mogok) =0,8P(mogok/narik)=0,4 P(mogok/mogok)=0,2

Tricks: P(narik/mogok) = 0,8 bararti probabilitas besok narik jika hari ini mogok adalah 0,8.

Matriks probabilitasnya…..

Sekarang

Besok

Narik Mogok

Narik 0,6 0,4

Mogok 0,8 0,2

Analisis Markov

Hari 3

Narik

Mogok

narik

Mogok

Hari 1

Narik

Hari 2

Narik

Mogok

0,6

0,4

0,60,6

0,4

0,4

0,8

0,2

0,36

0,24

0,32

0,08

Analisis Markov

Hari 1 Hari 2 Hari 3

Mogok

Narik

Mogok

Narik

Mogok

narik

Mogok

0,8

0,2

0,8

0,2

0,6

0,8

0,48

0,32

0,16

0,04

0,2

0,4

Kesimpulan Probabilitas angkot narik pada hari ke-3 jika hari ke 1 narik adalah : 0,36 + 0,32 = 0,68Probabilitas angkot mogok pada hari ke-3 jika hari ke 1 narik adalah : 0,24 + 0,08 = 0,32Probabilitas angkot narik pada hari ke-3 jika hari ke 1 mogok adalah : 0,48 + 0,16 = 0,64Probabilitas angkot mogok pada hari ke-3 jika hari ke 1 mogok adalah : 0,32 + 0,04 = 0,36

Pendahuluan

MisalkanKondisi sebuah mesin yang digunakan dalam suatu proses produksi diketahui menurun dengan cepat, baik dalam kualitas maupun outpunya. Karena itu, thd mesin dilakukan pemeriksaan secara periodik, yaitu pada setiap akhir bulan. Kondisi mesin dicatat dan diklasifikasikan ke dalam tiga keadaan (state)

State Kondisi1 Baik2 Cukup3 Rusak

Jika Xt adalah state mesin setelah dilakukan pemeriksaan pada akhir bulan ke-t, maka urutan dari state {Xt} dapat dipandang sbgi proses stochastic. Probabilitas Transisi selama periode 1 bulan adalah:

State pada bulan

ini P1=

  State bulan YAD

1 (baik)

2 (cukup)

3 (rusak)

1 (Baik) 0.2 0.5 0.3

2 (cukup) 0 0.5 0.5

3 (Rusak) 0 0 1

Dari matrik P1 di atas jelas bahwa sekali mesin itu rusak (State 3) maka akan tetap rusak. Kondisi akan berubah bila ada perbaikan (overhaul), maka matrsik transisinya adalah P2 sebagai berikut:

Struktur ongkos (penerimaan/pengeluaran) selama periode 1 bulan tergantung pada state masing-masing matriks transisi. Jika diketahui bahwa struktur ongkos apabila tidak dilakukan overhaul adalah R1 dan struktur ongkos bila overhaul adalah R2, dimana:

State pada bulan ini P2=

1 2 3

1 0.3 0.6 0.1

2 0.1 0.6 0.3

3 0.05 0.4 0.55

R1 =

  1 2 3

1 7 6 3

2 0 5 1

3 0 0 -1

R2 =

  1 2 3

1 6 5 -1

2 7 4 0

3 6 3 -2

Keputusan apakah yang sebaiknya harus dilakukan? Apakah mesin ini terus dioperasikan dalam beberapa bulan tertentu yang lamanya terbatas atau tidak terbatas dioperasikannya. Jenis keputusan lainnya ialah pengevaluasian ekspektasi pendapatan dari suatu tindakan yang ditetapkan apabila suatu state dari sistem terjadi. Misal diputuskan untuk melakukan overhaul bila mesin dalam kondisi rusak (state 3). Proses ini dikatakan STATTIONARY POLICY

STATIONARY STATE: berkaitan dengan matriks transisi dan matriks ongkos yang berbeda yang dibentuk oleh matriks P1, P2, R1, dan R2.

Contoh:Stationary Policy untuk melakukan overhaul hanya jika mesin dalam kondisi rusak (state 3),

matriks transisi dan matriks ongkosnya adalah P dan R sebagai berikut:

Matriks P dan R berbeda dari matrik P1 dan R1 hanya baris ketiga yang diambil lansung dari P2 dan R2. Alasannya matriks-matriks yang dihasilkan apabila overhaul dilakukan pada setiap state

MODEL DENGAN STAGE TIDAK TERBATAS

1. Metode Enumerasi SempurnaMengenumerasi seluruh stationary policy hingga diperoleh solusi optimumnyaMetode ini dgunakan apabila jumlah total stationary tidak terlalu besar sehingga masing dapat dihitung.

2. Policy Iteration; efisien dalam arti dapat mencapai solusi optimum dalam jumlah iterasi yang kecil.

P=

  1 2 3

1 0.2 0.5 0.3

2 0 0.5 0.5

3 0.05 0.4 0.55

R=

  1 2 3

1 7 6 3

2 0 5 1

3 6 3 -2

METODE ENUMERASI SEMPURNA

Misalkan suatu persoalan keputusan mempunyai sejumlah S stationary policy dan diasumsikan bahwa P dan R adalah matriks transisi (Satu langkah) dan matriks pendapatan yang berkaitan dengan policy ke-k, s=1,2,,...,S. Maka langkah-langkah enumerasinya adalah sbb:Langkah 1.Hitung harga yaitu ekspektasi pendapatan satu langkah (satu periode) dari policy S pada state i, i = 1,2,3,...,Langkah 2.Hitung yaitu probabilitas steady stationary jangka panjang dari matriks transisi Yang berkaitan dengan policy S. Probabilitas ini jika ada dihitung dengan persamaan:

Langkah 3.Tentukan yaitu ekspektasi pendapatan dari policy s untuk setiap langkah transisi(Periode) dengan menggunakan persamaan

METODE ENUMERASI SEMPURNALangkah 4.Policy Optimum S* ditentukan dengan:

Contoh:Pada perosalan perbaikan mesin ada 8 stationary policy sbb:Stationary policy sTindakan1 Tidak melakukan overhaul sama sekali2 Overhaul tanpa memperhatikan state3 Overhaul jika sistem dalam state 14 Overhaul jika sistem dalam state 25 Overhaul jika sistem dalam state 36 Overhaul jika sistem dalam state 1 atau 27 Overhaul jika sistem dalam state 1 atau 38 Overhaul jika sistem dalam state 2 atau 3

Maka diperoleh:

Langkah 1. Nilai nya dihitung sebagai berikut:

1110000

315,055,000

3,533,065,072,0

13

12

11

XXXV

XXXV

XXXV S    

1 2 3

1 5,3 3 -1

2 4,7 3,1 0,4

3 4,9 3 -1

4 4,49 3,1 -1

5 5,3 3 0,4

6 4,7 3,1 -1

7 4,9 3 0,4

8 5,3 3,1 0,4

Langkah 2. Perhitungan probabilitas stationarynya diperoleh dengan menggunakan persamaan

Contoh: perhitungan pada state 1 dengan tindakan tidak melakukan overhaul sama sekali, maka nilai adalah:1

1V

1...21

Sm

SS

SSSP

Di mana)1,...,,( 21

Sm

SSS

Sebagai contoh, jika s = 2 maka dipeorleh

1321

3355,023,011,0

234,026,016,0

1305,021,013,0

Dengan menggunakan eliminasi atau substitusi maka diperoleh:

59/2

59/31

59/6

23

22

21

Maka ekspektasi pendapatan per bulan adalah:

3

1

222

iii VE 1/59 (6x4,7+31x3,1+22x0,4) = 2,256

Si

SE

Dengan cara yang sama, maka dapat diketahui nilai dan sebagai berikut:Si SE

Sebuah perusahaan sedang memikirkan media massa di antara Radio, TV, atau Koran yang sebaiknya digunakan untuk media advertensinya. Perusahaan dapat mengklasifikasikan volume penjualan per minggunya sebagai:

1.Cukup2.Baik3.Sangat memuaskan

  Probabilitas transisi untuk ketiga media advertensinya di ketahui sebagai berikut:

Sedangkan penghasilan per minggunya apabila melakukan advertensi pada masing-masing media adalah

Ditanyakan solusi maksimumnya dengan menggunakan metode Enumerasi Sempurna, media manakah yang akan diambil.

Latihan soal metode enumerasi sempurna

Radio

  1 2 3

Koran

  1 2 3

TV

  1 2 3

1 0,3 0,4 0,1 1 0,2 0,4 0,2 1 0,6 0,2 0,1

2 0,1 0,6 0,2 2 0,1 0,6 0,2 2 0,2 0,5 0,1

3 0,1 0,2 0,6 3 0 0,1 0,7 3 0,1 0,6 0,2

Radio

  1 2 3

Koran

  1 2 3

TV

  1 2 3

1 4 5,2 6 1 4 5,3 7,1 1 10 13 16

2 3 4 7 2 3,5 4,5 8 2 8 10 17

3 2 2,5 5 3 2,5 4 6,5 3 6 7 11

JawabLangkah 1 Tentukan nilai Vi

s

Nilai Vis di dapat dari perkalian antara probabilias transisi dengan penghasilan per

minggu.

Maka:

Langkah 2 Tentukan nilai probabilitas steady state dari masing-masing media.Probabilitas steady state untuk radio

METODE POLICY ITERASI

METODE POLICY ITERATION TANPA POTONGANMetode policy iteration didasarkan aturan berikut:

1.Untuk satu policy tertentu, ekspektasi pendapatan total stage pada n dinyatakan oleh persamaan rekursif:

m

jnijin jfpVif

11 )()( di mana i = 1, 2, ..., m

2. Definisikan sebagai banyaknya stage yang diamati. Maka pers rekursifnya

m

jiji jfpVif

11 )()(

di mana i =1, 2, ..., m, f adalah ekspektasi pendapatan kumulatif

3. Vektor probabilitas pada keadaan steady state dari mariks transisi:

),...,,( 21

Sm

SSS

Ekspektasi pendapatan per stage:

m

i

Si

Si

S VE1

Untuk yang sangat besar:

)(ifEf

Sehingga persamaan rekursifnya menjadi:

m

jiji jfEpVifE

1

)()1()( atau

m

jiji ifjfpVE

1

)()(

Tujuan menentukan policy optimum dan E maksimum

Proses iteratif terdiri atas dua komponen dasar yang disebut langkah penentuan nilai dan langkah perbaikan policy.

1. Langkah Penentuan NilaiPilihlah suatu policy s secara sembarang. Gunakan matriks Ps dan Rs

Kemudian secara sembarang asumsikan fs (m) = 0 selesaikan persamaan berikut:

2. Langkah perbaikan policy Untuk setiap state i, tentukan alternatik k yang menghasilkan

m

j

SSSij

Si ifjfpVE

1

)()(

m

j

sij

Kk

KjfpVMaks

1

)(

Contoh:Selesaikan persoalan perbaikan mesin dengan metode policy iteration, menetapkan policy secara sembarang. Policy tidak melakukan overhaul. Matriks dari policy itu adalah:

Persamaan-persamaan dari langkah penentuan nilainya adalahE + f(1) – 0,2 f(1) – 0,5f(2) – 0,3 f(3) = 5,3E + f(2) - 0,5 f(2) - 0,5 4(3) = 3E + f(3) - 1 f (3) = -1

Sembarang f(3) = 0, maka:E = -1, f(1) = 12,88 , f2) = 8, f(3) = 0.Berikutnya adalah langkah perbaikan policy. Perhitungannya

adalah:

Policy yang baru adalah melakukan overhaul tanpa memperhatikan state. Karena policy ini berbeda dari semula (tidak melakukan overhaul), maka langkah penentuan nilai harus diulangai. Matriks dari policy yang baru adalah:

Matriks ini akan memberikan persamaan:E + f(1) – 0,3 f(1) – 0,6 f(2) – 0,1 f(3) =

4,7E + f(2) – 0,1 f(1) – 0,6 f(2) – 0,3 f(3) =

3,1E + f(3) – 0,05 f(1) – 0,4 f(2) – 0,55 f(3) =

0,4Dengan f(3) = 0, makaE = 2,26, f(1) = 6,75, f(2) = 3,79, f(3) = 0

P2=

  1 2 3

R2 =

  1 2 3

1 0,3 0,6 0,1 1 6 5 -1

2 0,1 0,6 0,3 2 7 4 0

3 0,05 0,4 0,55 3 6 3 -2

B. METODE POLICY ITERATION POTONGAN

Metode yang dijelaskan dapat diperluas dengan memasukkan faktor potongan. Jika faktor potongan itu adalah α (<1) maka persamaan rekuesif untuk stage yang terbatas dinyatakan dengan:

m

j

kij

Ki

KjfpVMaksif

11 )}({)(

1.Langkah Penentuan Nilai

Pilihlah suatu policy s secara sembarang. Gunakan matriks Ps dan Rs selesaikan m persamaan berikut:

m

j

Sij

Si

S jfpVif1

)()(

2.Langkah perbaikan policy Untuk setiap state i tentukan alternatif k yang menghasilkan:

m

j

sSij

Kk

KjfpVMaks

1

)( di mana i = 1,2,.., m

Dimana fs (j) adalah hasil yang diperoleh pada langkah penentuan nilai. Jika policy t yang dihasilkan sama dengan s, stop; t adalah policy optimum. Jika tidak, tetapkan s=t, dan kembali pada langkah penentuan nilai

Contoh:

Selesaikan persoalan perbaikan mesin dengan metode policy iteration yang menggunakan faktor potongan 0,6. Mulai dengan sembarang policy s =1, 1, 1 yaitu tidak melakukan overhaul sama sekali Matrik P dan R nya

P=

  1 2 3

R =

  1 2 3

1 0,2 0,5 0,3 1 7 6 3

2 0 0,5 0,5 2 0 5 1

3 0 0 1 3 0 0 -1

Sehingga diperoleh persamaan f(1) -0,6 { 0,2 f(1) + 0,5 f(2) + 0,3 f(3) } =

5,3f(2) – 0,6 { 0,5 f(2) + 0,5 f(3) } = 3f (3) -0,6 { f(3) } = -

1

Solusinyaf(1) = 6,6, f(2) = 3,21; f(3) = -2,5

Kembali kepada langkah penentuan nilai dengan matriks

Bila policy berbeda dari policy sebelumnya, maka langkah penentuan nilai diulang dengan matrik P dan R sebagai berikut

Bila policy baru ini identik dengan policy sebelumnya, maka policy ini optimum