Teoría General de Procesos de Markov, Sharpe[8]

Carlos E. Martinez Rodriguez

14 de Mayo de 2012

Proceso de Estados Markoviano para el SistemaProcesos Fuerte de Markov

Propiedades de Markov

Propiedades de Markov

Propiedades de Markov

Propiedades de Markov

Propiedades de Markov

Propiedades de Markov

Propiedades de MarkovPrimer Condición de Regularidad

Sean Qk (t) el número de usuarios en la cola k, Ak (t) el tiempo residualde arribos a la cola k, para cada servidor m, sea Hm (t) par ordenado queconsiste en la cola que está siendo atendida y la política de servicio quese está utilizando. Bm (t) los tiempos de servicio residuales, B0

m (t) eltiempo residual de traslado, Cm (t) el número de usuarios atendidosdurante la visita del servidor a la cola dada en Hm (t).

El proceso para el sistema de visitas se puede denir como:

X (t)T =(Qk (t) ,Ak (t) ,Bm (t) ,B0

m (t) ,Cm (t))

(1)

para k = 1, . . . ,K y m = 1, 2, . . . ,M.X evoluciona en el espacio deestados:X = ZK

+ × RK+ × (1, 2, . . . ,K × 1, 2, . . . ,S)M × RK

+ × RK+ × ZK

+ .Antes enunciemos los supuestos que regirán en la red.

Sean Qk (t) el número de usuarios en la cola k, Ak (t) el tiempo residualde arribos a la cola k, para cada servidor m, sea Hm (t) par ordenado queconsiste en la cola que está siendo atendida y la política de servicio quese está utilizando. Bm (t) los tiempos de servicio residuales, B0

m (t) eltiempo residual de traslado, Cm (t) el número de usuarios atendidosdurante la visita del servidor a la cola dada en Hm (t).El proceso para el sistema de visitas se puede denir como:

X (t)T =(Qk (t) ,Ak (t) ,Bm (t) ,B0

m (t) ,Cm (t))

(1)

para k = 1, . . . ,K y m = 1, 2, . . . ,M.

X evoluciona en el espacio deestados:X = ZK

+ × RK+ × (1, 2, . . . ,K × 1, 2, . . . ,S)M × RK

+ × RK+ × ZK

+ .Antes enunciemos los supuestos que regirán en la red.

Sean Qk (t) el número de usuarios en la cola k, Ak (t) el tiempo residualde arribos a la cola k, para cada servidor m, sea Hm (t) par ordenado queconsiste en la cola que está siendo atendida y la política de servicio quese está utilizando. Bm (t) los tiempos de servicio residuales, B0

m (t) eltiempo residual de traslado, Cm (t) el número de usuarios atendidosdurante la visita del servidor a la cola dada en Hm (t).El proceso para el sistema de visitas se puede denir como:

X (t)T =(Qk (t) ,Ak (t) ,Bm (t) ,B0

m (t) ,Cm (t))

(1)

para k = 1, . . . ,K y m = 1, 2, . . . ,M.X evoluciona en el espacio deestados:X = ZK

+ × RK+ × (1, 2, . . . ,K × 1, 2, . . . ,S)M × RK

+ × RK+ × ZK

+ .Antes enunciemos los supuestos que regirán en la red.

A1) ξ1, . . . , ξK , η1, . . . , ηK son mutuamente independientes y sonsucesiones independientes e idénticamente distribuidas.

A2) Para algún entero p ≥ 1

E[ξl (1)p+1

]<∞ para l ∈ A y

E[ηk (1)p+1

]<∞ para k = 1, . . . ,K .

donde A es la clase de posibles arribos.

A3) Para k = 1, 2, . . . ,K existe una función positiva qk (x) denida enR+, y un entero jk , tal que

P (ξk (1) ≥ x) > 0, para todo x > 0 (2)

P (ξk (1) + . . . ξk (jk) ∈ dx) ≥ qk (x) dx0 y (3)∫ ∞0

qk (x) dx > 0 (4)

A1) ξ1, . . . , ξK , η1, . . . , ηK son mutuamente independientes y sonsucesiones independientes e idénticamente distribuidas.

A2) Para algún entero p ≥ 1

E[ξl (1)p+1

]<∞ para l ∈ A y

E[ηk (1)p+1

]<∞ para k = 1, . . . ,K .

donde A es la clase de posibles arribos.

A3) Para k = 1, 2, . . . ,K existe una función positiva qk (x) denida enR+, y un entero jk , tal que

P (ξk (1) ≥ x) > 0, para todo x > 0 (2)

P (ξk (1) + . . . ξk (jk) ∈ dx) ≥ qk (x) dx0 y (3)∫ ∞0

qk (x) dx > 0 (4)

A1) ξ1, . . . , ξK , η1, . . . , ηK son mutuamente independientes y sonsucesiones independientes e idénticamente distribuidas.

A2) Para algún entero p ≥ 1

E[ξl (1)p+1

]<∞ para l ∈ A y

E[ηk (1)p+1

]<∞ para k = 1, . . . ,K .

donde A es la clase de posibles arribos.

A3) Para k = 1, 2, . . . ,K existe una función positiva qk (x) denida enR+, y un entero jk , tal que

P (ξk (1) ≥ x) > 0, para todo x > 0 (2)

P (ξk (1) + . . . ξk (jk) ∈ dx) ≥ qk (x) dx0 y (3)∫ ∞0

qk (x) dx > 0 (4)

En Dai [2] se muestra que para una amplia serie de disciplinas de servicioel proceso X es un Proceso Fuerte de Markov, y por tanto se puedeasumir que

((Ω,F) ,Ft ,X (t) , θt ,Px)

es un proceso de Borel Derecho, Sharpe [8], en el espacio de estadosmedible (X ,BX ).

Se harán las siguientes consideraciones: E es un espacio métricoseparable.

DeniciónUn espacio topológico E es llamado Luisin si es homeomorfo a unsubconjunto de Borel de un espacio métrico compacto.

DeniciónUn espacio topológico E es llamado de Radón si es homeomorfo a unsubconjunto universalmente medible de un espacio métrico compacto.

Equivalentemente, la denición de un espacio de Radón puedeencontrarse en los siguientes términos:

DeniciónE es un espacio de Radón si cada medida nita en (E ,B (E )) es regularinterior o cerrada, tight.

En Dai [2] se muestra que para una amplia serie de disciplinas de servicioel proceso X es un Proceso Fuerte de Markov, y por tanto se puedeasumir que

((Ω,F) ,Ft ,X (t) , θt ,Px)

es un proceso de Borel Derecho, Sharpe [8], en el espacio de estadosmedible (X ,BX ).Se harán las siguientes consideraciones: E es un espacio métricoseparable.

DeniciónUn espacio topológico E es llamado Luisin si es homeomorfo a unsubconjunto de Borel de un espacio métrico compacto.

DeniciónUn espacio topológico E es llamado de Radón si es homeomorfo a unsubconjunto universalmente medible de un espacio métrico compacto.

Equivalentemente, la denición de un espacio de Radón puedeencontrarse en los siguientes términos:

DeniciónE es un espacio de Radón si cada medida nita en (E ,B (E )) es regularinterior o cerrada, tight.

En Dai [2] se muestra que para una amplia serie de disciplinas de servicioel proceso X es un Proceso Fuerte de Markov, y por tanto se puedeasumir que

((Ω,F) ,Ft ,X (t) , θt ,Px)

es un proceso de Borel Derecho, Sharpe [8], en el espacio de estadosmedible (X ,BX ).Se harán las siguientes consideraciones: E es un espacio métricoseparable.

DeniciónUn espacio topológico E es llamado Luisin si es homeomorfo a unsubconjunto de Borel de un espacio métrico compacto.

DeniciónUn espacio topológico E es llamado de Radón si es homeomorfo a unsubconjunto universalmente medible de un espacio métrico compacto.

Equivalentemente, la denición de un espacio de Radón puedeencontrarse en los siguientes términos:

DeniciónE es un espacio de Radón si cada medida nita en (E ,B (E )) es regularinterior o cerrada, tight.

En Dai [2] se muestra que para una amplia serie de disciplinas de servicioel proceso X es un Proceso Fuerte de Markov, y por tanto se puedeasumir que

((Ω,F) ,Ft ,X (t) , θt ,Px)

es un proceso de Borel Derecho, Sharpe [8], en el espacio de estadosmedible (X ,BX ).Se harán las siguientes consideraciones: E es un espacio métricoseparable.

DeniciónUn espacio topológico E es llamado Luisin si es homeomorfo a unsubconjunto de Borel de un espacio métrico compacto.

DeniciónUn espacio topológico E es llamado de Radón si es homeomorfo a unsubconjunto universalmente medible de un espacio métrico compacto.

Equivalentemente, la denición de un espacio de Radón puedeencontrarse en los siguientes términos:

DeniciónE es un espacio de Radón si cada medida nita en (E ,B (E )) es regularinterior o cerrada, tight.

En Dai [2] se muestra que para una amplia serie de disciplinas de servicioel proceso X es un Proceso Fuerte de Markov, y por tanto se puedeasumir que

((Ω,F) ,Ft ,X (t) , θt ,Px)

es un proceso de Borel Derecho, Sharpe [8], en el espacio de estadosmedible (X ,BX ).Se harán las siguientes consideraciones: E es un espacio métricoseparable.

DeniciónUn espacio topológico E es llamado Luisin si es homeomorfo a unsubconjunto de Borel de un espacio métrico compacto.

DeniciónUn espacio topológico E es llamado de Radón si es homeomorfo a unsubconjunto universalmente medible de un espacio métrico compacto.

Equivalentemente, la denición de un espacio de Radón puedeencontrarse en los siguientes términos:

DeniciónE es un espacio de Radón si cada medida nita en (E ,B (E )) es regularinterior o cerrada, tight.

En Dai [2] se muestra que para una amplia serie de disciplinas de servicioel proceso X es un Proceso Fuerte de Markov, y por tanto se puedeasumir que

((Ω,F) ,Ft ,X (t) , θt ,Px)

es un proceso de Borel Derecho, Sharpe [8], en el espacio de estadosmedible (X ,BX ).Se harán las siguientes consideraciones: E es un espacio métricoseparable.

DeniciónUn espacio topológico E es llamado Luisin si es homeomorfo a unsubconjunto de Borel de un espacio métrico compacto.

DeniciónUn espacio topológico E es llamado de Radón si es homeomorfo a unsubconjunto universalmente medible de un espacio métrico compacto.

Equivalentemente, la denición de un espacio de Radón puedeencontrarse en los siguientes términos:

DeniciónE es un espacio de Radón si cada medida nita en (E ,B (E )) es regularinterior o cerrada, tight.

DeniciónUna medida nita, λ en la σ-álgebra de Borel de un espacio metrizable Ese dice cerrada si

λ (E ) = sup λ (K ) : K es compacto en E . (5)

El siguiente teorema nos permite tener una mejor caracterización de losespacios de Radón:

TeoremaSea E espacio separable metrizable. Entonces E es Radoniano si y sólo sícada medida nita en (E ,B (E )) es cerrada.

Sea E espacio de estados, tal que E es un espacio de Radón, B (E )σ-álgebra de Borel en E , que se denotará por E .Sea (X ,G,P) espacio de probabilidad, I ⊂ R conjunto de índices.Sea F≤tla σ-álgebra natural denida como σ f (Xr ) : r ∈ I , r ≤ t, f ∈ E.Seconsiderará una σ-álgebra más general, (Gt) tal que (Xt) sea E-adaptado.

DeniciónUna medida nita, λ en la σ-álgebra de Borel de un espacio metrizable Ese dice cerrada si

λ (E ) = sup λ (K ) : K es compacto en E . (5)

El siguiente teorema nos permite tener una mejor caracterización de losespacios de Radón:

TeoremaSea E espacio separable metrizable. Entonces E es Radoniano si y sólo sícada medida nita en (E ,B (E )) es cerrada.

Sea E espacio de estados, tal que E es un espacio de Radón, B (E )σ-álgebra de Borel en E , que se denotará por E .Sea (X ,G,P) espacio de probabilidad, I ⊂ R conjunto de índices.Sea F≤tla σ-álgebra natural denida como σ f (Xr ) : r ∈ I , r ≤ t, f ∈ E.Seconsiderará una σ-álgebra más general, (Gt) tal que (Xt) sea E-adaptado.

DeniciónUna medida nita, λ en la σ-álgebra de Borel de un espacio metrizable Ese dice cerrada si

λ (E ) = sup λ (K ) : K es compacto en E . (5)

El siguiente teorema nos permite tener una mejor caracterización de losespacios de Radón:

TeoremaSea E espacio separable metrizable. Entonces E es Radoniano si y sólo sícada medida nita en (E ,B (E )) es cerrada.

Sea E espacio de estados, tal que E es un espacio de Radón, B (E )σ-álgebra de Borel en E , que se denotará por E .Sea (X ,G,P) espacio de probabilidad, I ⊂ R conjunto de índices.Sea F≤tla σ-álgebra natural denida como σ f (Xr ) : r ∈ I , r ≤ t, f ∈ E.Seconsiderará una σ-álgebra más general, (Gt) tal que (Xt) sea E-adaptado.

DeniciónUna medida nita, λ en la σ-álgebra de Borel de un espacio metrizable Ese dice cerrada si

λ (E ) = sup λ (K ) : K es compacto en E . (5)

El siguiente teorema nos permite tener una mejor caracterización de losespacios de Radón:

TeoremaSea E espacio separable metrizable. Entonces E es Radoniano si y sólo sícada medida nita en (E ,B (E )) es cerrada.

Sea E espacio de estados, tal que E es un espacio de Radón, B (E )σ-álgebra de Borel en E , que se denotará por E .

Sea (X ,G,P) espacio de probabilidad, I ⊂ R conjunto de índices.Sea F≤tla σ-álgebra natural denida como σ f (Xr ) : r ∈ I , r ≤ t, f ∈ E.Seconsiderará una σ-álgebra más general, (Gt) tal que (Xt) sea E-adaptado.

DeniciónUna medida nita, λ en la σ-álgebra de Borel de un espacio metrizable Ese dice cerrada si

λ (E ) = sup λ (K ) : K es compacto en E . (5)

El siguiente teorema nos permite tener una mejor caracterización de losespacios de Radón:

TeoremaSea E espacio separable metrizable. Entonces E es Radoniano si y sólo sícada medida nita en (E ,B (E )) es cerrada.

Sea E espacio de estados, tal que E es un espacio de Radón, B (E )σ-álgebra de Borel en E , que se denotará por E .Sea (X ,G,P) espacio de probabilidad, I ⊂ R conjunto de índices.

Sea F≤tla σ-álgebra natural denida como σ f (Xr ) : r ∈ I , r ≤ t, f ∈ E.Seconsiderará una σ-álgebra más general, (Gt) tal que (Xt) sea E-adaptado.

DeniciónUna medida nita, λ en la σ-álgebra de Borel de un espacio metrizable Ese dice cerrada si

λ (E ) = sup λ (K ) : K es compacto en E . (5)

El siguiente teorema nos permite tener una mejor caracterización de losespacios de Radón:

TeoremaSea E espacio separable metrizable. Entonces E es Radoniano si y sólo sícada medida nita en (E ,B (E )) es cerrada.

Sea E espacio de estados, tal que E es un espacio de Radón, B (E )σ-álgebra de Borel en E , que se denotará por E .Sea (X ,G,P) espacio de probabilidad, I ⊂ R conjunto de índices.Sea F≤tla σ-álgebra natural denida como σ f (Xr ) : r ∈ I , r ≤ t, f ∈ E.

Seconsiderará una σ-álgebra más general, (Gt) tal que (Xt) sea E-adaptado.

DeniciónUna medida nita, λ en la σ-álgebra de Borel de un espacio metrizable Ese dice cerrada si

λ (E ) = sup λ (K ) : K es compacto en E . (5)

El siguiente teorema nos permite tener una mejor caracterización de losespacios de Radón:

TeoremaSea E espacio separable metrizable. Entonces E es Radoniano si y sólo sícada medida nita en (E ,B (E )) es cerrada.

Sea E espacio de estados, tal que E es un espacio de Radón, B (E )σ-álgebra de Borel en E , que se denotará por E .Sea (X ,G,P) espacio de probabilidad, I ⊂ R conjunto de índices.Sea F≤tla σ-álgebra natural denida como σ f (Xr ) : r ∈ I , r ≤ t, f ∈ E.Seconsiderará una σ-álgebra más general, (Gt) tal que (Xt) sea E-adaptado.

DeniciónUna familia (Ps,t) de kernels de Markov en (E , E) indexada por paress, t ∈ I , con s ≤ t es una función de transición en (E , E), si para todor ≤ s < t en I y todo x ∈ E, B ∈ E

Pr ,t (x ,B) =

∫E

Pr ,s (x , dy)Ps,t (y ,B) 1. (6)

Se dice que la función de transición (Ps,t) en (E , E) es la función detransición para un proceso (Xt)t∈I con valores en E y que satisface lapropiedad de Markov2 (7) relativa a (Gt) si

P f (Xt) |Gs = Ps,t f (Xt) s ≤ t ∈ I , f ∈ bE . (8)

DeniciónUna familia (Pt)t≥0 de kernels de Markov en (E , E) es llamadaSemigrupo de Transición de Markov o Semigrupo de Transición si

Pt+s f (x) = Pt (Ps f ) (x) , t, s ≥ 0, x ∈ E f ∈ bE .

1Ecuación de Chapman-Kolmogorov2

P H|Gt = P H|Xt H ∈ pF≥t . (7)

DeniciónUna familia (Ps,t) de kernels de Markov en (E , E) indexada por paress, t ∈ I , con s ≤ t es una función de transición en (E , E), si para todor ≤ s < t en I y todo x ∈ E, B ∈ E

Pr ,t (x ,B) =

∫E

Pr ,s (x , dy)Ps,t (y ,B) 1. (6)

Se dice que la función de transición (Ps,t) en (E , E) es la función detransición para un proceso (Xt)t∈I con valores en E y que satisface lapropiedad de Markov

2 (7) relativa a (Gt) si

P f (Xt) |Gs = Ps,t f (Xt) s ≤ t ∈ I , f ∈ bE . (8)

DeniciónUna familia (Pt)t≥0 de kernels de Markov en (E , E) es llamadaSemigrupo de Transición de Markov o Semigrupo de Transición si

Pt+s f (x) = Pt (Ps f ) (x) , t, s ≥ 0, x ∈ E f ∈ bE .

1Ecuación de Chapman-Kolmogorov2

P H|Gt = P H|Xt H ∈ pF≥t . (7)

DeniciónUna familia (Ps,t) de kernels de Markov en (E , E) indexada por paress, t ∈ I , con s ≤ t es una función de transición en (E , E), si para todor ≤ s < t en I y todo x ∈ E, B ∈ E

Pr ,t (x ,B) =

∫E

Pr ,s (x , dy)Ps,t (y ,B) 1. (6)

Se dice que la función de transición (Ps,t) en (E , E) es la función detransición para un proceso (Xt)t∈I con valores en E y que satisface lapropiedad de Markov2 (7) relativa a (Gt) si

P f (Xt) |Gs = Ps,t f (Xt) s ≤ t ∈ I , f ∈ bE . (8)

DeniciónUna familia (Pt)t≥0 de kernels de Markov en (E , E) es llamadaSemigrupo de Transición de Markov o Semigrupo de Transición si

Pt+s f (x) = Pt (Ps f ) (x) , t, s ≥ 0, x ∈ E f ∈ bE .

1Ecuación de Chapman-Kolmogorov2

P H|Gt = P H|Xt H ∈ pF≥t . (7)

DeniciónUna familia (Ps,t) de kernels de Markov en (E , E) indexada por paress, t ∈ I , con s ≤ t es una función de transición en (E , E), si para todor ≤ s < t en I y todo x ∈ E, B ∈ E

Pr ,t (x ,B) =

∫E

Pr ,s (x , dy)Ps,t (y ,B) 1. (6)

Se dice que la función de transición (Ps,t) en (E , E) es la función detransición para un proceso (Xt)t∈I con valores en E y que satisface lapropiedad de Markov2 (7) relativa a (Gt) si

P f (Xt) |Gs = Ps,t f (Xt) s ≤ t ∈ I , f ∈ bE . (8)

DeniciónUna familia (Pt)t≥0 de kernels de Markov en (E , E) es llamadaSemigrupo de Transición de Markov o Semigrupo de Transición si

Pt+s f (x) = Pt (Ps f ) (x) , t, s ≥ 0, x ∈ E f ∈ bE .

1Ecuación de Chapman-Kolmogorov2

P H|Gt = P H|Xt H ∈ pF≥t . (7)

ObservacionesSi la función de transición (Ps,t) es llamada homogénea si Ps,t = Pt−s .

Un proceso de Markov que satisface la ecuación (8) con función detransición homogénea (Pt) tiene la propiedad característica

P f (Xt+s) |Gt = Ps f (Xt) t, s ≥ 0, f ∈ bE . (9)

La ecuación anterior es la Propiedad Simple de Markov de X relativa a(Pt).En este sentido el proceso (Xt)t∈I cumple con la propiedad de Markov(9) relativa a (Ω,G,Gt ,P) con semigrupo de transición (Pt).

ObservacionesSi la función de transición (Ps,t) es llamada homogénea si Ps,t = Pt−s .

Un proceso de Markov que satisface la ecuación (8) con función detransición homogénea (Pt) tiene la propiedad característica

P f (Xt+s) |Gt = Ps f (Xt) t, s ≥ 0, f ∈ bE . (9)

La ecuación anterior es la Propiedad Simple de Markov de X relativa a(Pt).

En este sentido el proceso (Xt)t∈I cumple con la propiedad de Markov(9) relativa a (Ω,G,Gt ,P) con semigrupo de transición (Pt).

ObservacionesSi la función de transición (Ps,t) es llamada homogénea si Ps,t = Pt−s .

Un proceso de Markov que satisface la ecuación (8) con función detransición homogénea (Pt) tiene la propiedad característica

P f (Xt+s) |Gt = Ps f (Xt) t, s ≥ 0, f ∈ bE . (9)

La ecuación anterior es la Propiedad Simple de Markov de X relativa a(Pt).En este sentido el proceso (Xt)t∈I cumple con la propiedad de Markov(9) relativa a (Ω,G,Gt ,P) con semigrupo de transición (Pt).

DeniciónUn proceso estocástico (Xt)t∈I denido en (Ω,G,P) con valores en elespacio topológico E es continuo por la derecha si cada trayectoriamuestral t → Xt (w) es un mapeo continuo por la derecha de I en E.

Denición (HD1)Un semigrupo de Markov /Pt) en un espacio de Radón E se dice quesatisface la condición HD1 si, dada una medida de probabilidad µ en E,existe una σ-álgebra E∗ con E ⊂ E y Pt (bE∗) ⊂ bE∗, y un E∗-procesoE-valuado continuo por la derecha (Xt)t∈I en algún espacio deprobabilidad ltrado (Ω,G,Gt ,P) tal que X = (Ω,G,Gt ,P) es de Markov(Homogéneo) con semigrupo de transición (Pt) y distribución inicial µ.

Considérese la colección de variables aleatorias Xt denidas en algúnespacio de probabilidad, y una colección de medidas Px tales quePx X0 = x, y bajo cualquier Px , Xt es de Markov con semigrupo (Pt).Px puede considerarse como la distribución condicional de P dado

X0 = x .

DeniciónUn proceso estocástico (Xt)t∈I denido en (Ω,G,P) con valores en elespacio topológico E es continuo por la derecha si cada trayectoriamuestral t → Xt (w) es un mapeo continuo por la derecha de I en E.

Denición (HD1)Un semigrupo de Markov /Pt) en un espacio de Radón E se dice quesatisface la condición HD1 si, dada una medida de probabilidad µ en E,existe una σ-álgebra E∗ con E ⊂ E y Pt (bE∗) ⊂ bE∗, y un E∗-procesoE-valuado continuo por la derecha (Xt)t∈I en algún espacio deprobabilidad ltrado (Ω,G,Gt ,P) tal que X = (Ω,G,Gt ,P) es de Markov(Homogéneo) con semigrupo de transición (Pt) y distribución inicial µ.

Considérese la colección de variables aleatorias Xt denidas en algúnespacio de probabilidad, y una colección de medidas Px tales quePx X0 = x, y bajo cualquier Px , Xt es de Markov con semigrupo (Pt).Px puede considerarse como la distribución condicional de P dado

X0 = x .

DeniciónUn proceso estocástico (Xt)t∈I denido en (Ω,G,P) con valores en elespacio topológico E es continuo por la derecha si cada trayectoriamuestral t → Xt (w) es un mapeo continuo por la derecha de I en E.

Denición (HD1)Un semigrupo de Markov /Pt) en un espacio de Radón E se dice quesatisface la condición HD1 si, dada una medida de probabilidad µ en E,existe una σ-álgebra E∗ con E ⊂ E y Pt (bE∗) ⊂ bE∗, y un E∗-procesoE-valuado continuo por la derecha (Xt)t∈I en algún espacio deprobabilidad ltrado (Ω,G,Gt ,P) tal que X = (Ω,G,Gt ,P) es de Markov(Homogéneo) con semigrupo de transición (Pt) y distribución inicial µ.

Considérese la colección de variables aleatorias Xt denidas en algúnespacio de probabilidad, y una colección de medidas Px tales quePx X0 = x, y bajo cualquier Px , Xt es de Markov con semigrupo (Pt).Px puede considerarse como la distribución condicional de P dado

X0 = x .

DeniciónSea E espacio de Radón, (Pt) semigrupo de Markov en (E , E). Lacolección X = (Ω,G,Gt ,Xt , θt ,P

x) es un proceso E-Markov continuo porla derecha simple, con espacio de estados E y semigrupo de transición(Pt) en caso de que X satisfaga las siguientes condiciones:

i) (Ω,G,Gt) es un espacio de medida ltrado, y Xt es un procesoE-valuado continuo por la derecha E∗-adaptado a (Gt);

ii) (θt)t≥0 es una colección de operadores shift para X , es decir, mapeaΩ en sí mismo satisfaciendo para t, s ≥ 0,

θt θs = θt+s y Xt θt = Xt+s ; (10)

iii) Para cualquier x ∈ E,Px X0 = x = 1, y el proceso (Xt)t∈I tiene lapropiedad de Markov (9) con semigrupo de transición (Pt) relativoa (Ω,G,Gt ,Px).

DeniciónSea E espacio de Radón, (Pt) semigrupo de Markov en (E , E). Lacolección X = (Ω,G,Gt ,Xt , θt ,P

x) es un proceso E-Markov continuo porla derecha simple, con espacio de estados E y semigrupo de transición(Pt) en caso de que X satisfaga las siguientes condiciones:

i) (Ω,G,Gt) es un espacio de medida ltrado, y Xt es un procesoE-valuado continuo por la derecha E∗-adaptado a (Gt);

ii) (θt)t≥0 es una colección de operadores shift para X , es decir, mapeaΩ en sí mismo satisfaciendo para t, s ≥ 0,

θt θs = θt+s y Xt θt = Xt+s ; (10)

iii) Para cualquier x ∈ E,Px X0 = x = 1, y el proceso (Xt)t∈I tiene lapropiedad de Markov (9) con semigrupo de transición (Pt) relativoa (Ω,G,Gt ,Px).

DeniciónSea E espacio de Radón, (Pt) semigrupo de Markov en (E , E). Lacolección X = (Ω,G,Gt ,Xt , θt ,P

x) es un proceso E-Markov continuo porla derecha simple, con espacio de estados E y semigrupo de transición(Pt) en caso de que X satisfaga las siguientes condiciones:

i) (Ω,G,Gt) es un espacio de medida ltrado, y Xt es un procesoE-valuado continuo por la derecha E∗-adaptado a (Gt);

ii) (θt)t≥0 es una colección de operadores shift para X , es decir, mapeaΩ en sí mismo satisfaciendo para t, s ≥ 0,

θt θs = θt+s y Xt θt = Xt+s ; (10)

iii) Para cualquier x ∈ E,Px X0 = x = 1, y el proceso (Xt)t∈I tiene lapropiedad de Markov (9) con semigrupo de transición (Pt) relativoa (Ω,G,Gt ,Px).

DeniciónSea E espacio de Radón, (Pt) semigrupo de Markov en (E , E). Lacolección X = (Ω,G,Gt ,Xt , θt ,P

x) es un proceso E-Markov continuo porla derecha simple, con espacio de estados E y semigrupo de transición(Pt) en caso de que X satisfaga las siguientes condiciones:

i) (Ω,G,Gt) es un espacio de medida ltrado, y Xt es un procesoE-valuado continuo por la derecha E∗-adaptado a (Gt);

ii) (θt)t≥0 es una colección de operadores shift para X , es decir, mapeaΩ en sí mismo satisfaciendo para t, s ≥ 0,

θt θs = θt+s y Xt θt = Xt+s ;

(10)

iii) Para cualquier x ∈ E,Px X0 = x = 1, y el proceso (Xt)t∈I tiene lapropiedad de Markov (9) con semigrupo de transición (Pt) relativoa (Ω,G,Gt ,Px).

DeniciónSea E espacio de Radón, (Pt) semigrupo de Markov en (E , E). Lacolección X = (Ω,G,Gt ,Xt , θt ,P

x) es un proceso E-Markov continuo porla derecha simple, con espacio de estados E y semigrupo de transición(Pt) en caso de que X satisfaga las siguientes condiciones:

i) (Ω,G,Gt) es un espacio de medida ltrado, y Xt es un procesoE-valuado continuo por la derecha E∗-adaptado a (Gt);

ii) (θt)t≥0 es una colección de operadores shift para X , es decir, mapeaΩ en sí mismo satisfaciendo para t, s ≥ 0,

θt θs = θt+s y Xt θt = Xt+s ; (10)

iii) Para cualquier x ∈ E,Px X0 = x = 1, y el proceso (Xt)t∈I tiene lapropiedad de Markov (9) con semigrupo de transición (Pt) relativoa (Ω,G,Gt ,Px).

Denición (HD2)Para cualquier α > 0 y cualquier f ∈ Sα, el proceso t → f (Xt) escontinuo por la derecha casi seguramente.

DeniciónUn sistema X = (Ω,G,Gt ,Xt , θt ,P

x) es un proceso derecho en el espaciode Radón E con semigrupo de transición (Pt) provisto de:

i) X es una realización continua por la derecha, 9.5, de (Pt).

ii) X satisface la condicion HD2, 9.6, relativa a Gt .

iii) Gt es aumentado y continuo por la derecha.

H. Chen, 1995, Fluid approximations and stability of multiclass queueingnetworks I: Work-conserving disciplines, Annals Applied Probab.,toappear.

Jean G. Dai, On positive Harris Recurrence of Multiclass QueueingNetworks: A Unied Approach Via Fluid Limit Models, The Annals ofApplied Probability, Vol. 5, No. 1, Feb 1995, pp. 49-77.

Jim G. Dai and Sean P. Meyn, Stability and convergence of Moments forMulticlass Queueing Networks via Fluid Limit Models, IEEE transactionson Automatic Control, vol. 40, No. 11, November 1995.

Davis, M. H. A., 1984, Piecewise deterministic Markov Processes: ageneral class of nondifussion stochastic models. J. Royal StatisticsSociety Serie B, vol. 46.

D. Down, On the Stability of Polling Models with Multiple Servers,Journal of Applied Probability, Vol. 35, 1998.

A. Gut, Stopped Random Walks: Limit Theorems and Applications,Applied Probability, 1995.

Kaspi, H. and Mandelbaum, A. Regenerative closed queueing networks,Stochastics: An International Journal of Probability and StochasticProcesses, vol.39, no. 4, 1992.

Michael Sharpe, General Theory of Markov Processes. Boston, M.A.Academic, 1998.