Estado de Arte sobre las Cadenas Ergódicas deMarkov________________________________________________________

Por: Ing. David Alberto Rojas RodríguezInstituto Tecnológico de Costa RicaMaestría en Sistemas Modernos de Manufactura

Resumen: Una cadena de Markov es una serie de eventos, en la cual laprobabilidad de que ocurra un evento depende del evento inmediato anterior. Enefecto, las cadenas de este tipo tienen memoria. “Recuerdan” el último eventoy esto condiciona las posibilidades de los eventos futuros. Esta dependenciadel evento anterior distingue a las cadenas de Markov de las series de eventosindependientes, como tirar una moneda al aire o un dado. En los negocios, lascadenas de Markov se han utilizado para analizar los patrones de compra de losdeudores morosos, para planear las necesidades de personal y para analizar elreemplazo de equipo. El análisis de Markov, llamado así en honor de unmatemático ruso que desarrollo el método en 1907, permite encontrar laprobabilidad de que un sistema se encuentre en un estado en particular en unmomento dado. Algo más importante aún, es que permite encontrar el promedio ala larga o las probabilidades de estado estable para cada estado. Con estainformación se puede predecir el comportamiento del sistema a través deltiempo.

Abstract: A Markov chain is a series of events, in which the probability of anevent depends on the preceding event. Indeed, this type chains have memory."Remember" the last event and this affects the possibilities for futureevents. This dependence of the previous event distinguishes Markov chainsseries of independent events, such as a coin toss or a dice. In business,Markov chains have been used to analyze the buying patterns of defaultingdebtors to plan staffing needs and to discuss the replacement of equipment.Markov analysis, named in honor of a Russian mathematician who developed themethod in 1907, to find the probability that a system is in a particular stateat a given time. Something more important is to find the average in the longrun or steady-state probabilities for each state. With this information youcan predict the behavior of the system over time.

I. Introducción

Según lo menciona Hillier & G.Lieberman, una cadena de Markov esergódica si todos sus estados son nonulos, no periódicos y recurrentes. Propiedad: las cadenas de Markovergódicas cumplen la siguiente

propiedad: el límite limn→0 Pij(n)

existey es independiente del estado

inicial i. Lo denominaremos πj :

Πj =limn→0 Pij(n)

Las probabilidades límites πj sedenominan probabilidades de estadoestable.Propiedad: si los límites anterioresexisten, entonces:

limn→∞ (1N∑k=1

nPij

(k ))=πj

La aplicación de las Cadenasde Markov abarcan sistemas deproducción y procesosestadísticos de toda

naturaleza, sin embargo lasCadenas que son Ergódicastienen un área de influenciaestablecida, caracterizadapor factores propios de suaplicación, lo cual seevidencia mediante el estudiodel estado del arte.

Por otra parte en su libro sobreTeoría Elemental de la Probabilidady de los Procesos Estocásticos, elfísico Kai Lai Chung se refiere aque una Cadena de Markov es ergódicasi y sólo si es irreductible,positivamente recurrente yaperiódica. A continuación veremos que significacada uno de estos adjetivosacaparados bajo el teorema de Chung.Cadenas irreductibles: Decimos queel estado j es accesible desde el isi es posible transitar desde i a jen un número ¯nito de pasos, esdecir, si pij (n) > 0 para algún n ¸0. Esto equivale a decir que existe,sobre el diagrama de transición,algún camino que lleva de i a j. Sies posible el tránsito en ambossentidos decimos que los dos estadosestán comunicados.Ejemplo 5.5. En este ejemplo losestados 1 y 2 están comunicados.Además 1, 2 y 3 son accesibles desde0, pero este último no es accesibledesde ningún otro estado.

Cuando un subconjunto de estados estal que todos ellos estáncomunicados unos con otros decimosque dicho subconjunto constituye unaclase comunicante. Estas clasesdeben ser además conjuntosmaximales, lo que implica que cadaestado sólo puede estar en una clase

y que dos estados que comunicandeben estar siempre en la mismaclase. En el ejemplo anterior haydos clases comunicantes, una formadapor los estados 1 y 2, y otra por elestado 3. Decimos que una cadena esirreducible “si todos sus estadoscomunican unos con otros, es decir,si están todos contenidos en unaúnica clase comunicante”.

Ejemplo 5.6. El proceso binomialtiene una clase por cada estado. Sinembargo, el paseo aleatorioconstituye una cadena irreducible.

Cadenas recurrentes: Supongamos queestamos en el estado i y sea filaprobabilidad de volver en algúnmomento a dicho estado. Decimos queel estado i es recurrente si fi = 1y que es transitorio si fi < 1. Esdecir, un estado es transitorio si,estando en él, existe la posibilidadde salir y no volver a pasar por él.

Ejemplo 5.7. En la cadena delejemplo 5.5 los estados 1, 2 y 3 sonrecurrentes, el 0 es transitorio.

Observación: Todos los estados enuna misma clase comunicante son delmismo tipo, recurrentes otransitorios. Como consecuencia, enuna cadena finita e irreducibletodos los estados serán recurrentes.

Ejemplo 5.8. En el proceso binomialtodos los estados son transitorios.Sin embargo, se puede demostrar queen un paseo aleatorio simétricotodos los estados son recurrentes,si bien dejan de serlo si el paseono es simétrico. Supongamos quenuestra cadena está en este momentoen un estado recurrente i. Sabemosentonces que tarde o temprano lacadena volvería a dicho estado conprobabilidad 1. Nos interesa ahoraestudiar la variable Ti ´ tiempo que

se tarda en volver al estado i. Enparticular es importante conocer laesperanza de esta variable, E[Ti](lo cual puede no ser fácil). Cuandodicha esperanza es finita decimosque el estado es positivamenterecurrente. Así mismo diremos que lacadena es positivamente recurrentecuando todos sus estados lo son.

Observación: Toda cadena finita yrecurrente es positivamenterecurrente.

Cadenas aperiódicas: Consideremos unestado recurrente i. Sabemos que lacadena volvería a pasar por lasinfinitas veces. La informaciónsobre los instantes en que estopuede ocurrir viene dada por pii(n),la probabilidad de que se vuelva aél en n pasos. Decimos que dichoestado tiene periodo d sid = mcd (n:pii(n)

Ejemplo 5.9. La siguiente cadena esperiódica con periodo d = 3:

Observación: Nótese que todos losestados en una misma clasecomunicante tendrán siempre el mismoperiodo, por tanto, cuando tenemosuna cadena irreducible podemoshablar del periodo de dicha cadena.Decimos que una cadena irreduciblees aperiódica cuando sus estadostienen periodo d = 1.

Ejemplo 5.10. La siguiente cadena esaperiódica:

Por tanto tenemos ya una serie deideas para reconocer cuando nosencontramos ante una cadenaergódica. En este tipo de cadenasocurre que:

limn→∞P(n )=1Tπ

Lo cual implica:limn→∞

p(n)=limn→∞p(0)P(n)=p(0)1Tπ=π

Ya que p(0)1T=1Observación: si P tiene dimensiónfinita y no contiene ceros, lacadena de Markov asociada seráergódica.

II. Acerca del proceso

Para conceptualizar el campode estudio específico, esprimordial realizar unainvestigación acerca desucesos pasados que serelacionen en contexto yforma, además de conocerprevias investigaciones,metodologías y sobre todoalcances obtenidos con eltema en cuestión. El objetivode este estado del arte esinformarse acerca delconocimiento que existerespecto al tema (cadenasergódicas), esto será unabase para darle la direccióncorrecta a la investigación.Cuando es exhaustivo elproceso, se generaconocimiento importante quelleva a plasmar losresultados de manera másconcisa, razón que lleva alinvestigador a recopilardocumentosinterdisciplinarios queconverjan en el tema tratado.

III. Investigaciones relacionadasal tema tratado

Las Cadenas Ergódicas deMarkov, surgen en el año de1907, cuando el matemáticoruso Andrei AndreevitchMarkov realiza suinvestigación sobre teoríasde probabilidades.

Existe un amplio rango ocampos de aplicación de lascadenas ergódicas de Markov,a saber, se pueden utilizarpara procesos de negocios,donde se utilizan paraanalizar patrones de comprasus clientes y de susdeudores morosos, ayudan enla planeación de necesidadesde personal y en la industriason manipulados para analizarla necesidad del remplazo deequipos. Además en cienciasexactas como en el campo dela física, ingeniería,biología, medicina ymatemáticas inclusive.

La investigación y aplicación de lascadenas ergódicas de Markov arrojanun resultado importante acerca desus límites dentro del campoestadístico, según lo planteaRestrepo y Ossa en su tesis doctoralsobre Investigación de Operaciones yEstadística, donde establecen lascondiciones necesarias para teneruna cadena ergódica, a saber lacondición suficiente es si existe unn>0 tal que Pij

n >0, donde i,j=0,1,2....m. la cadena de Markov,con esta propiedad, se llamaergódica. Entonces,Pijn =∑ k=0 (Pik

n ∗Pkj) , luegoπj=∑ k=0 (πk∗Pkj) y como ∑ j=0Pij

n =1 ,

entonces∑ j=0πj=1

Teorema. Para una cadena de Markov

ergódica, πj=Limn→∞Pijn

existe y

πj(j pertenece {0,...m }) es la única

solución no negativa de πj .Entonces:

πj=∑ k=0 (πk∗Pkj) y∑ j=0πj=1

Límites ergódicos en las cadenas deMarkov: La relación fundamental enuna cadena de Markov es: Pn =Mn P0. Ysi nuestro interés es elcomportamiento asintótico de Pn, esdecir Lim ninfinito Pn entonces elproblema es encontrar lascondiciones para que este límiteexista y en caso de existir,¿dependerá del estado inicial delsistema?Bajo condiciones de “regularidad” ladistribución asintótica existe ybajo estas condiciones ladistribución en el límite seráindependiente de la distribucióninicial.Teorema básico del límite paracadenas de Markov: En una cadena deMarkov recurrente irreducible yaperiódica se tiene que:

Lim ninfinito Piin =

1

infn=1 n fii

n

Siendo fii la probabilidad de que elproceso regrese al estado i dado quecomienza en el estado i. Y ademásLimn→∞

Pijn =Limn→∞

Pijn

.Del teorema sepueden sacar fuertes conclusiones:

1. Si M = Pij es la matriz detransición de una cadena deMarkov, y si suponemos queesta cadena es recurrente,irreducible y aperiódica, senos garantiza la existenciade la matriz M(infinita) donde laentrada j,i es Pij

(inf) =Limninfinito Pij

n , pero como Pij(inf)

= Pii(inf) se concluye que la

matriz M(infinita) tiene suscolumnas iguales, esto es dela forma :

2. Sea C una cadena irreducibley recurrente, entonces Pij

n =0para i pertenece a C y j nopertenece a C dado n. Estoes, toda vez que entremos enC no es posible abandonarlo,luego la matriz Pij con i,jperteneciendo a C estaráasociada a una cadena deMarkov irreducible yrecurrente luego el teoremabásico es aplicable si laclase resulta ser aperiódica.Ahora si Lim ninfinito Pii

n = =0y la clase es recurrente sedirá entonces que la clase esdébilmente ergódica o nularecurrente.

El valor infn=1 n fii

n = mi. Se definecomo el tiempo medio de recurrenciadel estado i. Ahora se asegura, sindemostración, que bajo lascondiciones de regularidad delteorema anterior, que Lim ninfinito Pii

n

= 1/mi = i. El cálculo de los i seentrega en el siguiente teorema.Teorema. En una clase aperiódicapositiva recurrente con estados i=0,1,2.... Se tiene que:Limn→∞

Piin =πi=∑ k=0

inf πk;∑ k=oinf πk=1 (1)

Cualquier conjunto i que satisfaga(1) se llama probabilidad dedistribución estacionaria de lacadena de Markov.Observe que si Pij es la matriz detransición asociada a una claserecurrente ergódica positiva,entonces la ecuación

πi=∑ k=0inf πkPkjπk llevada a su forma

matricial:

Establece claramente que (1 2 3.....t

es un auto vector (a la derecha) dela matriz Pij asociado al auto valor1. Para esto debemos saber que lamatriz de Markov tiene un auto valorigual a 1, más aún, este valor seráel mayor, en valor absoluto, si lamatriz es primitiva, esto es sitodas sus entradas son positivaspara alguna potencia de la matriz.

La aplicación de una Cadena Ergódicaa los problemas más comunes queexisten en el entorno cotidiano, sepuede observar en la tésis doctoralde Moreno Díaz, sobre los ModelosMultivariables para VariablesOrdinales: Aplicaciones en Estudiosde Calidad del Servicio, en la mismaMoreno Díaz define tres conceptosprimordiales para iniciar unaaplicación de Markov de este tipo,para Díaz una Cadena es Ergódica sitodos los estados de una Cadena deMarkov son recurrentes, aperiódicosy se comunican entre sí. Mientrasque define un estado rcurrente comoel estado i es recurrente si fii =1. Esto significa lo siguiente:siempre que parta del estado i,podré regresar a él (en un tiempofinito). Siguiente la mismafilosofía ergódica se puntualiza elestado periódico cuando existe unestado recurrente i, con periodo k >1, si k es el menor número tal quetodas las trayectoria que parte dei y regresan a i, tienen longitudmúltiplo de k. Si no es periódico sele dice aperiódico.Igualmente expone su ejemplo de lasiguiente manera para un modelo para

el desplazamiento poblacional: Paraefectos de una investigación, en undeterminado país, una familia puedeclasificarse como habitante de zonaurbana, rural o suburbana. Se haestimado que durante un añocualquiera, el 15% de todas lasfamilias urbanas se cambian a zonasuburbana y el 5% a zona rural. El6% de las familias suburbanas pasana zona urbana y el 4% a zona rural.El 4% de las familias rurales pasana zona urbana y el 6% a zonasuburbana.Pregunta interesante: ¿Existe unaprobabilidad límite de que elsistema se encuentre en el estado j,después de muchas transiciones, yque esta probabilidad seaindependiente del estado inicial? Afirmación: Si P es la matriz detransición de una Cadena de Markovque tiene los estados {1,2,...k},entonces, para j=1,2,.., k:

limn→∞Pi,j

(n ) =πjEscrito de otra forma:

limlimn→∞

Pn=¿

|π1|π1|. .|. .|π1

¿

π2 . . . πk|π2 . . . πk|. . . . . .|. . . . . .|π2 . . . πk

¿

¿

Para obtener los πj se tiene

presente las ecuaciones de estadoestable:a) πj>0

b) πj=∑i=1

kπiPi,j esto es πt=πt

c)∑j=1

kπj=1

Dado que la matriz del ejemplo 3 esergódica, podemos hacer:

(π1,π2,π3 )=(π1,π2,π3 )¿(0,80 0,15(0,06 0,90(0,04 0,06

(¿

0,05)0,04)0,90

¿

)¿

π1+π2+π3=1Una opción es:

π1=0,80π1+0,06π2+0,04π3π2=0,15π1+0,90π2+0,06π31=π1+π2+π3

Cuya solución es: (π1,π2,π3 )=(0.2077, 0.4918, 0.3005)

Es decir, si con el paso del tiempose mantiene el comportamientodescrito por el modelo (lo cual esmuy poco probable) después de muchosaños, aproximadamente, el 21% de lapoblación ocupará las zonas urbanas,el 49% las zonas suburbanas y el 30%la rural.

El Ing. Blasco en su tesis paraoptar por el doctorado en Cienciasde Telecomunicaciones, expone demanera concisa la filosofía de lascadenas ergódicas, se tiene unescenario donde hay una cadenaestacionaria, con una distribucióninicial p(0) = ¼. Si consideramosuna distribución inicial distinta lacadena deja de ser estacionaria, sinembargo presenta un comportamientomuy interesante ya que, a largoplazo, cuando pasa mucho tiempo, sealcanza una distribuciónestacionaria que además resulta ser¼, es decir:

Limn→∞P(n)=π

De hecho, esta distribuciónestacionaria es siempre la mismaindependientemente de cual haya sidola distribución inicial. Cuando unacadena de Markov se comporta de estamanera decimos que es ergódica. Elsiguiente resultado nos dice comoreconocer cuando una cadena tieneesta propiedad:

Teorema: Una cadena de Markoves ergódica si y sólo si esirreducible, positivamenterecurrente y aperiódica.

IV. Conclusiones yrecomendaciones para el

planteamiento de

investigaciones futuras

1) La aplicación de las cadenas deMarkov y propiamente las cadenasergódicas se ha hecho desde hace másde un siglo y su vigencia a laactualidad sigue siendo sumamenteimportante para procesosindustriales, médicos, comerciales,etc. Aún más interesante le factorde que la teoría no ha cambiado y elconcepto aplica igualmente paracualquier campo.2) Independientemente del contextode aplicación de las cadenasergódicas, la asignación de lasprobabilidades y datos recopilados,el método siempre es el mismo parala resolución de un problema.3) Las cadenas de Markov sonmecanismos que ayudan a solventarnecesidades creadas en las personaspor falta de conocimiento de loseventos futuros en donde lainformación recolectada no es unbuen punto de referencia debido avariabilidad de los datos, por lotanto el estudio de eventosanteriores de manera inmediataorigina panoramas realistas yaplicables.4) Los procesos estocásticos¨reviven¨ eventos para colocar alinvestigador en un presenteinmediato, de esta manera puedeenterarse antes de continuar con losprocesos de recolección de datos sien realidad está en el espacio ytiempo correctos o si encontraposición necesita de nuevasguías que lo orienten hacia lasrepuestas que necesita parasolventar sus objetivos deinvestigación.5) Como toda herramientametodológica las cadenas de Markovpresentan resultados que ayudan aaclarar el panorama hacia unadeterminada situación, sin embargo

es el investigador que basado en esainformación de verá concluir y tomarlas decisiones atinadas quebeneficien o concluyan de manerasatisfactoria las pruebas.6) La flexibilidad de las cadenasde Markov permiten realizar estudiosen ambientes hostiles desde el puntode vista de recolección de datos ometodologías que se adecuen a losobjetivos del proyecto, esto porqueno se necesitan grandes historialesde información, ya que el presentees necesario para justificaracciones futuras y realistas.7)

V. Propuesta del tema yjustificación

Una cadena de Markov se puedecaracterizar por la probabilidad deir al estado n+1 condicionada a queantes estábamos en el estado n:

P(Xn+1 /Xn )Que es la probabilidad de transicióndel proceso, la propiedad de lascadenas de Markov es que lastransiciones entre los estados, sólopueden producirse entre estadosvecinos, sólo se puede llegar delestado n al estado n+1 ó n-1.

VI. Bibliografía

F. Hillier - G. Lieberman:Introducción a la investigación deoperaciones. Sexta edición. Ed. Mc-Graw Hill. México.

Kai Lai Chung. ElementaryProbability Theory with StochasticProcessess. Third Edition. EditorialReverté, S.A.

Una Aplicación de las Cadenas deMarkov en un Proceso industrial.Ing. Jorge Hernán Restrepo, MscCarlos Alberto Ossa. UniversidadTecnológica de Pereira. Doctorado en

Investigación de Operaciones yEstadística, 2004.

Modelos Multivariables paraVariables Ordinales: Aplicaciones enEstudios de Calidad de Servicio.Msc. Arminda Moreno Díaz. Tesisdoctoral, Facultad de Informática,Departamento de InteligenciaArtificial. Universidad Politécnicade Madrid. 2001.

Cadenas de Markov, Ciencias de lasTelecomunicaciones. Ing. ÁngelBlasco, Msc. Tesis doctoral,Ingeniería de Telecomunicaciones.Universidad de Alca