Catene di Markov e affidabilità

I guasti però non solo determinano la cessazione di un

dispositivo ad adempiere la funzione richiesta (guasti totali)

ma anche la variazione della prestazione del dispositivo

rispetto alla funzione richiesta

Si possono verificare anche i guasti intermittenti.

Ci sono diversi STATI che il sistema può occupare nel corso del tempo.

La transizione da uno stato all’altro avviene con una certa probabilità,

nel senso che se un sistema parallelo (a 3 sottosistemi) si trova ad e-

sempio inizialmente nello stato pienamente funzionante (stato 3) ,

può passare allo stato 2 (ne funzionano 2) con una certa probabilità

(quale?) e allo stato 1 con un’altra probabilità e così via. Se i guasti(quale?) e allo stato 1 con un’altra probabilità e così via. Se i guasti

sono intermittenti, c’è la possibilità che dallo stato 2 il sistema torni

allo stato 3 - che dipende dalla natura del guasto.

CATENE DI MARKOV

{ }1

Una catena di Mar-

kov è una successione di

v.a.

definite sullo stesso spazio

n nX

≥

Def :

definite sullo stesso spazio

campione e che godono di

certe proprietà.

stato occupato dal

sistema al passo

nX

n

=

Prove di Bernoulli = esempio di catena in cui le variabili aleatorie

sono indipendenti tra di loro.

1 2 3

1 ( 1), , , con

0 ( 0)

i

i

i

P X pX X X X

P X q

= ==

= =…

0 1

q

pCostruire lo SPAZIO DELLETRAIETTORIE

Nella relazione tra le variabili, saliamo di un gradino, ossia supponiamo

che la variabile aleatoria allo stato n dipenda solo da quella precedente.

−−==

==

=

=+= −

qpXP

pXP

X

nXYY

n

n

n

nnn

1)0(0

)1(1

,2,1con 1 …

…specificando il tipo di relazione di dipendenza al seguente modo

=−=−

−−===

qXP

qpXPX

n

nn

)1(1

1)0(0

i i+1

q

p

i-1

1 p q− −

costruire lo spazio

delle

traiettorie

ESEMPIO DI TRAIETTORIE PER LA PASSEGGIATA ALEATORIA

∑∑==

=−⇒==⇒+=n

i

in

n

i

in XyYyYPXYY1

000

1

0 1)(

La passeggiata aleatoria è un esempio di catena di Markov.

Altro

esempio:

Catene di Markov omogenee Non dipendono da n.

( )La matrice = si chiama ijP p matrice di transizione

0 0.5 0.5 0

0 0.5 0.5 0

0 0 0 1

0.5 0 0.5 0

matrice di transizione

P

=

0

In una catena omogenea, detto

il vettore delle probabilità che il sistema

occupi una posizione al tempo 0 e il vet-

tore delle probabilità che il sistema occupi

una posizione al tempo ,

n

n

p

p

Teorema :

0si ha .n

nP=p p

Ci sono situazioni nelle quali la potenza di P si

stabilizza da un certo indice in poi.

0 1La catena non è regolare: =

1 0P

Nell’esempio precedente

(0.4,0.2,0.4)w =

Il teorema dimostra che la riga comune di W è l’unico vettore ad esserevettore fisso riga.

Il vettore riga w è autovettore sinistro dell’autovalore 1.

La function per trovare gli autovalori è eig(X)

Se vogliamo trovare anche gli autovettori è [V,D]=eig(X)

Dunque abbiamo

>> [v,d]=eig(p)

v =

-0.5774 -0.7071 0.2357

-0.5774 -0.0000 -0.9428

-0.5774 0.7071 0.2357

d =

Cosa si deduce?

d =

1.0000 0 0

0 0.2500 0

0 0 -0.2500

Il problema è che dobbiamo trovare l’autovettore sinistro che

corrisponde all’autovalore 1. Il Matlab restituisce autovettori

destri.

>>q=p’;

>> [v,d]=eig(q)

v =

-0.6667 -0.7071 0.4082

-0.3333 -0.0000 -0.8165

-0.6667 0.7071 0.4082

d =

Ovviamente l’autovettore va normalizzato

perché risulti un vettore di probabilità

>> c=sum(v(:,1))

c =

-1.6667

>> w=v(:,1)/c

w =d =

1.0000 0 0

0 0.2500 0

0 0 -0.2500

w =

0.4000

0.2000

0.4000

CONSEGUENZA

Significato: per n Significato: per n

crescente la proba-

bilità di andare da

uno stato all’altro

diventa costante

e indipendente

dallo stato iniziale

(interessa solo

la colonna e non la

riga).

>> [v,d]=eig(p')

v =

-0.3162 -0.7071 0.7071 -0.6325

-0.3162 0.7071 -0.7071 0.3162

-0.6325 -0.0000 0.0000 -0.3162

-0.6325 0.0000 0.0000 0.6325

>> c=sum(v(:,1))

c =

-1.8974

>> w=v(:,1)/c

Per la matrice di transizione di cui all’

esempio precedente

-0.6325 0.0000 0.0000 0.6325

d =

1.0000 0 0 0

0 -0.0000 0 0

0 0 0.0000 0

0 0 0 -0.5000

>> w=v(:,1)/c

w =

0.1667

0.1667

0.3333

0.3333

CATENE ASSORBENTI

Qual è la probabilità che il processo raggiunga uno stato assorbente?

Quanto tempo impiega il sistema ad essere assorbito?

In media, in quanti passi viene assorbito?

Danneggiamento non riparabile: una volta che il

componente si è guastato non vi è alcuna possi-

bilità che si auto-ripari senza l’intervento di una

forza esterna.

TR Ass TR

Ass

Forma canonica

lefondamenta matrice detta e' )( 1−−= QIN

( ) # medio di passaggi per lo stato

transiente essendo il sistema partito dal-

lo stato transiente

ij

j

i

N

s

s

=

1 2 3 0 4

−−

−

=− 5.015.0

05.01

QI

ESEMPIO:

=

10000

01000

5.0005.00

005.005.0

05.005.00

P

1 2 3 0 4

−

−−=−

15.00

5.015.0QI

>> mat^(-1)

ans =

1.5000 1.0000 0.5000

1.0000 2.0000 1.0000

0.5000 1.0000 1.5000

1 2 3 1.5 1 0.5 1 3

1 2 1 1 4

0.5 1 1.5 1 3

t Nc

= = =

��

1.5 1 0.5

1 2 1

0.5 1 1.5

N

= >> mat^(-1)*[1;1;1]

Data la matrice , il generico elemento rappresenta la probabilità

che, essendo partito da uno stato transiente , il sistema venga assorbito nello stato .

ij

i j

B NR B

s s

=Teorema :

==⇒

=

4/34/1

2/12/1

4/14/3

5.00

00

05.0

NRBR

Esercizio: Marco ha 3 euro ed è rinchiuso in carcere. La cauzione è di 5 euro.Decide di giocare con il poliziotto di turno. Il gioco funziona al seguente modo:ad ogni giocata scommette 1 euro. Lo vince con probabilità 0.4 e lo perde conprobabilità 0.6. Quale è la probabilità che Marco riesca ad uscire?

Catene di Markov a tempo continuo

( )( )Le transizioni sono nella forma | ( ) ( )ijP X t s j X s i P t+ = = =

( ) ( ) 0, per 0,

( ) ( ) 1, per 0,

ij

ij

j

a P t t

b P t t

≥ >

= >∑( ) sono differenziabiliijP t

0

( ) ( ) sono f.continue;

( ) lim ( )

ij

ij ijt

c P t

d P t δ→

=

ij

Facciamo solo un esempio di modello in cui questo tipo di

catene di Markov risulta utile per la trattazione

Si consideri una valvola oleodinamica che abbia tasso di guasto costante e tasso

di riparazione costanti nel tempo.

Stato 0 – prodotto

funzionante

Stato 1 – prodotto

guasto

λ

µ

( )

( )0 probabilità che il componente funzioni al tempo

probabilità che il componente sia guasto al tempo

P t t

P t t( )1 probabilità che il componente sia guasto al tempo

tasso di guasto, tasso di riparazione

P t t

λ µ

( ) ( )( ) ( )( )0 0 11P t t P t t P t tλ µ+ ∆ = − ∆ + ∆

( ) ( ) ( )0 0 1'P t P t P tλ µ= − +

Qual è la matrice di transizione?

( ) ( ) ( ) ( )( )1 1 01P t t P t t P t tµ λ+ ∆ = − ∆ + ∆

( ) ( ) ( )1 0 1'P t P t P tλ µ= −

Si tratta di un sistema di equazioni differenziali a coefficienti costanti

0 0

1 1

'( ) ( )

'( ) ( )

P t P t

P t P t

λ µ

λ µ

− =

− 1 1'( ) ( )P t P tλ µ−

Risolvere il precedente sistema di equazioni lineari.