Download - cadenas de markov

Cadenas de Markov

3. Cadenas de Markov

Algunas veces nos interesa saber cómo cambia una variable aleatoria através del tiempo. Por ejemplo, desearíamos conocer cómo evoluciona elprecio de las acciones de una empresa en el mercado a través del tiempo. Elestudio de cómo evoluciona una variable aleatoria incluye el concepto deprocesos estocásticos. En este capítulo explicaremos esos procesos, enespecial uno que se conoce como cadena de Markov. Las cadenas de Markov sehan aplicado en áreas tales como educación, mercadotecnia, servicios desalud, contabilidad y producción.Qué es un Proceso Estocástico?Supóngase que observamos alguna característica de un sistema en puntosdiscretos en el tiempo (que llamamos 0,1,2,...). Sea Xt el valor de lacaracterística del sistema en el tiempo t. En la mayor parte de los casosno se conoce Xt con certeza antes del tiempo t y se puede considerar comovariable aleatoria. Un proceso estocástico de tiempo discreto essimplemente una descripción de la relación entre las variables aleatoriasX0, X1, X2,... A continuación daremos algunos ejemplos de procesosestocásticos de tiempo discreto.Ejemplo 1 La ruina del jugador: En el tiempo 0 tengo 2 dólares. En lostiempos 1,2,3... participo en un juego en el que apuesto 1 dólar. Gano eljuego con probabilidad p, y lo pierdo con probabilidad 1-p. Mi meta esaumentar mi capital a 4 dólares, y tan pronto como lo logre se suspende el

Ing. Efraín Murillo

1

Cadenas de Markov

juego. El juego también se suspende si mi capital se reduce a 0 dólares. Sidefinimos que Xt es mi capital después del juego cuando el tiempo es t, sies que lo hay, entonces se puede considerar que X0, X1, ..., Xt son procesosestocásticos de tiempo discreto. Nótese que X0=2 es una constante conocida,pero que X1 y las demás Xt son aleatorias. Por ejemplo X1=3 con probabilidadp y X1=1 con probabilidad 1-p. Nótese que si Xt=4, entonces Xt+1 y todas lasdemás Xt también serán igual a 4. Igualmente, si Xt=0, entonces Xt+1 y todaslas demás Xt serán 0 también.Ejemplo 2: Sea X0 el precio de una acción de computadoras CSL al principiode este día hábil. También sea Xt el precio de esa acción al principio delt-ésimo día hábil en el futuro. Es claro que si se conocen los valores deX0, X1, ..., Xt nos dicen algo de la distribución de probabilidad de Xt+1; elasunto es: ¿Qué nos dice el pasado (los precios de las acciones hasta eltiempo t) acerca de Xt+1? La respuesta de esta pregunta es de importanciacrítica en finanzas.Un proceso estocástico de tiempo continuo es simplemente un procesoestocástico en el que el estado del tiempo se puede examinar en cualquiertiempo y no sólo en instantes discretos. Por ejemplo, se puede considerarque el número de personas en un supermercado a los t minutos después deabrir, es un proceso estocástico de tiempo continuo. Así también, el preciode una acción se puede observar en cualquier tiempo, y no sólo al abrir labolsa, por lo que se puede considerar como proceso estocástico de tiempocontinuo. Al considerarlo así, se ha podido a importantes resultados en lateoría de finanzas, incluyendo la famosa fórmula de Black-Scholes paraopción de precio.

Definición de Cadena de MarkovCadenas de Markov es un modelo matemático que se basa en dos conceptos:estado y transición. El sistema ocupa un estado i con probabilidad pi y,después de un periodo, procede a una transición para el estado j conprobabilidad de transición tij. Sean N los estados del sistema, entonces,para cualquier estado i:

En los modelos más simples de cadenas de Markov, los valores de lasprobabilidades de transición tij no dependen ni de cómo el sistema llegó alestado i, ni del periodo n. Las probabilidades de ocupar un estado idependen del número de periodos o de transiciones efectuadas.Por lo tanto una secuencia de intentos de un experimento es una cadena deMarkov si:a) El resultado del m-ésimo intento depende sólo del resultado del intento

(m-1)-ésimo y no de los resultados en los intentos anteriores, yb) La probabilidad de pasar del estado i al estado j en dos intentos

sucesivos del experimento permanece constante.


2

Cadenas de Markov

Aplicación 1:Participaciones de mercado Una investigación de mercados sobre el consumo de 3 marcas de cerveza: A,B y C por 1000 personas dará al inicio (n=0) y después de un periodo (n=1)los siguientes resultados:

Se desea saber:a) El porcentaje de los clientes que consumen cada marca de cerveza

después de un periodo.b) El porcentaje de los clientes que consumen cada marca de cerveza

después de 2 periodos.c) A la larga cómo se reparte el mercado de bebedores de cerveza entre

las tres marcas?Gráficamente se tiene:

Observamos que estamos delante de un fenómeno dinámico, en el cual Aaumentó su participación en el mercado de 20% a 29%.Siendo p la probabilidad de que un consumidor está demostrando preferenciapor uno de los tres productos (osea la participación de cada producto en elmercado) y observando que cada producto (o el hecho de estar consumiendo undeterminado producto) corresponde a un estado, resulta: Xo = [pA(0) pB(0) pC(0)] = [0,2 0,3 0,5]Donde X0 es el vector de distribución de estados al inicio. yX1 = [0,29 0,27 0,44]


3

Cadenas de Markov

Donde X1 es el vector de distribución de estados después de un periodo(n=1). Las probabilidades del vector X1 nos indican que después de un periodo, elcomportamiento del mercado será: 29% consume el producto A, 27% el B y 44%el producto C.Deseando analizar como ocurren estas alteraciones, y utilizando el cuadrocorrespondiente a las transiciones, se tiene que:La probabilidad de que un consumidor de A (o en A) permanece con A es:

tAA =

La probabilidad de que un consumidor en A pase a C es tAC =

Entonces las probabilidades de transición resultan: A B C

T =

Donde observamos que la suma de los elementos de cada fila siempre es 1.Para visualizar mejor el fenómeno, diseñamos la siguiente cadena:

La probabilidad de ocupar estado j después de un periodo es:

pj(1)=

o en forma matricial: X1 = X0TDespués de la segunda transición (n=2), resulta:


4

Cadenas de Markov

X2 = X1 T

X2 = [0,34 0,26 0,40]Lo que significa que después de 2 periodos, el comportamiento del mercadoserá: 34% consume el producto A, 26% el B y 40% el producto C.También X2= X0T T = X0T2

Después de la tercera transición (n=3), resulta: X3 = X2 T = X0T2 T = X0T3

Después de n transiciones se tiene: Xn=Xn-1T =X0Tn-1T =X0Tn

Donde Xn es el vector de distribución de probabilidad de estados en elperiodo n.Después de muchas transiciones, se llega a una situación estacionaria o derégimen de equilibrio dinámico (osea, lo contrario de transitoria) en lacual las participaciones de mercado no se alteran más. En este caso:

Xn = Xn-1 = donde : Vector de distribución de estado estable). Por lo tanto: = .TDeseando calcular los elementos de =[A B C], tenemos:

[A B C] = [A B C]

además de: A + B + C =1El sistema de ecuaciones sería: A + B + C =1 0,7A + 0,1B + 0,24C = A

0,2A + 0,5B + 0,16C = B

0,1A + 0,4B + 0,6C = C

Este sistema es redundante y, para resolverlo, eliminamos una de las tresúltimas ecuaciones (por ejemplo la última).


5

Cadenas de Markov

A + B + C =1 -0,3A + 0,1B + 0,24C = 0 0,2A - 0,5B + 0,16C = 0y la solución es: = [ 0,376 0,265 0,359]Observamos el aumento en la participación de A, que pasa de 20% a 37.6%;principalmente a costa de C, que cae de 50% a 35,9%. Entonces si C quierepromover una campaña publicitaria para quebrar el proceso, debería,principalmente, dirigirla hacia los actuales consumidores de A, ya quetAC=0,1 (muy pequeño). Se observa que tBC es bastante grande.La siguiente tabla muestra las distribuciones de estado para diferentes periodos de transición:

Se observa que a partir del periodo 7, las variaciones en los tres estados son casi despreciables.

ANÁLISIS ECONOMICO: Si la marca A, por cada cliente ganadoaumenta sus ventas en $40 ¿por cuántos períodos se debe realizar la campañapublicitaria, sabiendo que esta cuesta $500 por semana?Para dar respuesta a esta inquietud realizamos el siguiente cuadro:

En consecuencia se deberá realizar la campaña durante 3 semanas, luego cambiar.


6

Participación número de incremento Ingresos Costo

Periodo de mercado clientes de clientes adicionales publicidad Utilidad

0 0.2 2001 0.29 290 90 $3600 $500

$ 3100

Cadenas de Markov

NOTA.- Para que exista un único vector de distribución estacionaria , se requiere que T sea regular.

T = [tij] es regular si tij > 0 en al menos una de sus potencias Tm

Ejemplos:

a) T= es regular ya que tij > 0

b) T= , T2= ,

T3= ,

entónces cualquier Tm no cumplirá la condición tij > 0 ya que siempreexistirá el elemento t21= 0, por lo tanto T no es regular.

c) T= , T2= ,

por lo tanto T es regular.Si T es matriz regular existe un vector único de tal forma que T = donde es llamado a menudo vector de distribución de estado establecompuesto por probabilidades de estar en cada estado a largo plazo.

Aplicación 2:Pronóstico del clima

Las probabilidades del estado del tiempo para la ciudad de Arequipa el mesde enero del presente año fueron extraídas de la base de datos de SENAMHIArequipa. Dichos valores han sido tomados de un dia anterior al dia queirían a ser puestos a conocimiento de la población arequipeña. Estos datosse pueden expresar mediante la siguiente matriz de transición:

La matriz P representa el modelo del clima, en donde dice que un dia essoleado es 90% posible de que sea seguido por otro dia soleado y un dialluvioso es 50% posible de que sea seguido por otro dia lluvioso. Las


7

Cadenas de Markov

columnas pueden ser nombradas como “soleado” y “lluvioso” respectivamente ylas filas pueden ser nombradas en el mismo orden.

(P) es la probabilidad que, dado un dia de tipo j, sea seguido por un dia i. Nótese que las columnas de P suman 1, es así porque P es una matrizestocástica.

Pronosticando el clima.-

El clima en el dia 0 es conocido como soleado. Esto es representado por elvector en donde la entrada de “soleado” es 100% y la de “lluvioso” es 0%

El clima en el día 1 puede ser pronosticado de la siguiente manera

Por eso, hay un 90% de posibilidad de que el dia 1sea tambien soleado

El clima para el día 2 puede ser pronosticado de la siguiente manera:

Las reglas generales para el día n son:

Estado estacional del clima.-Para este caso, las predicciones para el clima en días mas distantes sonincrementalmente imprecisos y tienden a tornarse en un vector de estadoestacional. Este vector representa las probabilidades de condicionessoleadas y lluviosas para todos los días y son independientes del climainicial.El vector del estado estacional se define como:


8

Cadenas de Markov

pero solo converge si P es una matriz de transición regular.Desde que q es independiente desde condiciones iniciales, no debe seralterada cuando transformada por P. Esto genera un eigenvector (vocablo alemanque significa vector propio) y significa que puede ser derivado de P.

Par el caso que se venia tratando:

Asi que;q1 − 5q2 = 0

Estableciendo s = q2 asi que s = q1. Se require s + 5s = 1 para lo cual s= 0.167. Elvector estacional seria el siguiente:

Repuesta.- En conclusión, a final de cuentas, 83% de los días fueronsoleados en la cuidad de Arequipa para el mes de Enero del presente año.

CADENAS DE MARKOV ABSORBENTESMuchas aplicaciones interesantes de las cadenas de Markov incluyen cadenasen las que algunos de los estados son absorbentes y el resto sontransitorios. A esas cadenas se les llaman cadenas absorbentes. Un estado i de una cadena de Markov se dice que es absorbente si, una vezalcanzado el estado i en algún intento, el sistema permanece en el estado ien todos los intentos futuros.


9

Cadenas de Markov

Una cadena de Markov es absorbente si tiene uno o más estados absorbentes yes posible llegar a un estado absorbente a partir de cualquiera de losestados no absorbentes o transitorios.Nota.- Puede ser necesario pasar por varios estados transitorios parallegar a un estado absorbente.Si el estado i es absorbente, la probabilidad de transición de i a j es de1. En otras palabras, el estado i es absorbente sí y sólo sí tij=1. Elnúmero de estados absorbentes de una cadena de Markov es igual al número deunos en la diagonal de su matriz de transición. La probabilidad de que elsistema esté en un estado transitorio disminuye al aumentar el número deintentos

Aplicación 3:Planificación de PersonalLa empresa de abogados “Los Justicieros” emplea a tres categorías de

abogados: principiantes, con experiencia y socios. Durante un añodeterminado hay una probabilidad 15% que un abogado principiante seaascendido a abogado con experiencia y una probabilidad 5% que deje laempresa. También hay una probabilidad 20% que un abogado con experienciasea ascendido a socio y una probabilidad 10% que deje la empresa. Tambiénhay una probabilidad 5% que un socio deje la empresa. La empresa nuncadegrada a un abogado.Surgen muchas preguntas interesantes que la empresa podría contestar. Porejemplo:1. ¿Cuál es la duración promedio de un abogado joven recién contratado enla empresa?.2. ¿Cuál es la probabilidad de que un abogado joven llegue a ser socio?.3. ¿Cuál es la duración promedio que pasa un socio en el bufete? entremuchas otras.Modelaremos la trayectoria de un abogado en “Los Justicieros” como cadenaabsorbente con la siguiente matriz de probabilidad de transición:


10

s-m m columnas columnas

T =

Cadenas de Markov

Los dos últimos estados son estados absorbentes y los demás sontransitorios. Por ejemplo, Experimentado es estado transitorio, por que hayuna trayectoria de Experimentado a Sale sin ser socio, pero no haytrayectoria que regrese de Sale sin ser socio a Experimentado. Suponemosque una vez que un abogado sale de la empresa nunca regresa.Para toda la cadena absorbente se desea conocer: (1) Si la cadena comienzaen un determinado estado transitorio, y antes de alcanzar un estadoabsorbente, ¿cuál es el número esperado de veces que se entrará en cadaestado? ¿Cuántos periodos esperamos pasar en un estado transitorio dadoantes que se efectúe la absorción?. (2) Si una cadena inicia en un estadotransitorio dado, ¿cuál es la probabilidad de terminar en cada uno de losestados absorbentes?.Para contestar estas preguntas necesitamos formular la matriz de transicióncon los estados en una lista con el siguiente orden: primero los estadostransitorios y después los absorbentes. Para precisar, se supondrá que hays-m estados transitorios (t1, t2, ..., ts-m) y m estados absorbentes (a1,a2, ..., am). Entonces la matriz de transición para la cadena de absorciónpuede escribirse como sigue:En este caso, I es una matriz identidad mxm, que refleja el hecho de quenunca podemos dejar un estado absorbente; Q es una matriz (s-m)x(s-m) querepresenta las transiciones entre los estados transitorios; R es una matriz(s-m)xm que representa las transiciones desde los estados transitorios alos estados absorbentes; 0 es una matriz mx(s-m) que consta de ceros. Estorefleja de que es imposible ir de un estado absorbente a uno transitorio.Aplicando esta notación a la aplicación, tenemos que:t1= Principiante,t2 = Experimentado,t3= Socio,a1= Sale sin ser socio ya2 = Sale siendo socio.y podemos escribir la matriz de probabilidad de transición como:


11

Cadenas de Markov

Entonces s=5, m=2, y

Q = R =

Para dar respuesta a las preguntas formuladas anteriormente, es necesarioobtener las matrices: (I-Q)-1 y (I-Q)-1R, la información contenida en estasmatrices debidamente interpretadas, permite tomar decisiones.Entonces,

I-Q =

Con el método Gauss-Jordan o el método de la matriz adjunta, se encuentraque:

t1 t2 t3

(I-Q)-1 =

Entonces, a1 a2

(I-Q)-1R =

Interpretación: (1) Si en este momento estamos en el estado transitorio ti,el número esperado de periodos que pasarán en un estado transitorio tj antesde la absorción es el ij-ésimo elemento de la matriz (I-Q)-1. (2) Si en este


12

Cadenas de Markov

momento estamos es un estado transitorio ti, la probabilidad de serabsorbidos finalmente por un estado absorbente aj es el ij-ésimo elemento dela matriz (I-Q)-1R.

Por lo tanto,1. El tiempo esperado que un abogado principiante permanece en la empresa =(duración esperada del abogado principiante en la empresa comoprincipiante) + (tiempo esperado que el abogado principiante permanece enla empresa como abogado con experiencia) + (tiempo esperado que el abogadoprincipiante permanece en la empresa como socio). Entonces- Tiempo esperado como principiante = (I-Q)-1

11=5- Tiempo esperado como con experiencia = (I-Q)-1

12=2,5- Tiempo esperado como socio = (I-Q)-1

13 =10Por lo tanto, el tiempo total esperado que un abogado principiantepermanece en la empresa es 5 + 2,5 + 10 = 17,5 años.

2. La probabilidad de que un abogado principiante recién ingresado llegue aser socio es tan sólo la probabilidad de que salga de la empresa siendosocio. Como t1 = Principiante y a2 = Sale siendo socio, la respuesta es elelemento 12 de (I-Q)-1R = 50.

3. Como t3 = Socio, buscamos el número esperado de años que pasa en t3, dadoque comenzamos en t3. Este es justamente el elemento 33 de (I-Q)-1 = 20años. Es razonable, por que durante cada año hay una probabilidad de 0,05(1 en 20) que un socio deje el bufete y, por lo tanto, debe tardar unpromedio de 20 años en dejar la empresa.

Aplicación 4:MODELOS DE PLANEACION DE PERSONALMuchas empresas, como por ejemplo “Los Justicieros” del ejemplo de planificación de personal, emplean varias categorías de personal. Con finesde planeación a largo plazo, a menudo es útil poder predecir el número de empleados de cada categoría que, si las tendencias actuales continúan, estarán disponibles en el estado estable.Si existe censo de estado estable podemos encontrarlo al resolver unsistema de s ecuaciones que se plantea como sigue: tan sólo nótese que paraque exista ese estado, debe ser válido que, para i=1, 2, ..., S,Número de personas que entran al grupo i durante cada periodo = Número depersonas que salen del grupo i durante cada periodoEjemplo: Regresemos al bufete de abogados “Los Justicieros” (Ejemploanterior) Supongamos que la meta a largo plazo de ese bufete es tener 50


13

Cadenas de Markov

abogados principiantes, 30 con experiencia y 10 socios. Para alcanzar estecenso de estado estable, ¿cuántos abogados de cada tipo deben contratarcada año?.Solución: Sean

Grupo 1 = abogados principiantesGrupo 2 = abogados con experienciaGrupo 3 = sociosGrupo 4 = abogados que salen del bufete

Censo de estado estable: N1=50, N2=30 y N3=10Además:H1= número de abogados principiantes a contratar

H2 = número de abogados con experiencia a contratar

H3 = número de abogados asociados a contratar

Entonces:Número que ingresa al grupo i = número que sale del grupo i H1 = (0,15 + 0,05)50 (abogados principiantes)(0,15)50 + H2 = (0,20 + 0,10)30 (abogados con experiencia)(0,20)30 + H3 = (0,05)10 (abogados asociados)La solución única de este sistema de ecuaciones es H1=10, H2=1,5, H3=-5,5.Estos significa que para mantener el censo deseado de estado estable, “LosJusticieros” deben despedir 5,5 socios cada año. Esto es razonable, por quecada año hay 0,20(30) = 6 abogados con experiencia que pasan a ser socios,y una vez que lo hacen, permanecen en ese puesto un promedio de 20 años.Esto muestra que para mantener el número de asociados en 10, debendespedirse algunos de ellos. Otra solución podría ser reducir, a menos desu valor actual de 0,20, la fracción de abogados con experiencia que pasana ser socios cada año.

MAS APLICACIONES:

APLICACIÓN 1.- Una empresa necesita contratar copiadoras en renta,escogiendo entre dos máquinas. Las dos máquinas hacen copias que no sepueden distinguir. Cada máquina funciona o no funciona. Según los registrosanteriores, se ha determinado que si la máquina I trabaja un díadeterminado, la probabilidad es de 0,95 que trabaje el día siguiente. Si notrabaja un cierto día, la probabilidad es de 0,75 que funcione el siguientedía. Si la máquina II trabaja hoy, la probabilidad es de 0,9 que trabajemañana. Si no funciona hoy, la probabilidad es de 0,8 que trabaje mañana.¿Qué máquina debe rentar la empresa?.


14

Cadenas de Markov

SOLUCIÓN:Siendo los estados: F (funciona) y NF (no funciona), elaboramos lasmatrices de transición de estados respectivas.Matriz de transición de estados (T) para la Máquina 1

Matriz de transición de estados para la Máquina 2

Luego hallamos los vectores de estado estable para ambas máquinas aplicandola relación: = .T Siendo = [ x1 x2 ]Donde :

x1: probabilidad de estado estable de que la máquina Funcionex2: probabilidad de estado estable de que la máquina No Funcione

Además x1+x2=1Para la máquina 1 tenemos:[ x1 x2 ] = [ x1 x2 ]*Tx1+x2=1Reemplazando los datos de matriz de Transición de estados de la máquina 1 yresolviendo el sistema de ecuaciones tenemos:x1= 0.9375 y x2=0.0625entonces 1 = [ 0.9375 0.0625 ]Para la máquina 2 tenemos 2 = [ 0.8889 0.1111 ]Por lo tanto se observa que la máquina 1 tiene mayor probabilidad defuncionamiento (93.75%) frente a 88.89% de la máquina 2, en consecuencia laempresa debe rentar la máquina 1.

APLICACIÓN 2.- Una pequeña tienda de videos lleva un control del número deveces por semana que es rentado un video y estima las siguientesprobabilidades de transición (ver matriz siguiente).


15

Cadenas de Markov

Donde: los estados en orden son: 5 veces, 4 veces, 3 veces, 2 veces, 1 vez y 0 veces

Por ejemplo, si un video se rentó 5 veces esta semana, entonces hay unaprobabilidad de 80% de que sea rentado 5 veces la siguiente semana, 10% deprobabilidades de que sea rentado 4 veces y 10% de probabilidades de quesea rentado 3 veces. Cuando un video es rentado 0 veces, este se desecha.La siguiente matriz fue calculada utilizando el las funciones de Excel:

a) Suponga que un video fue rentado 5 veces esta semana. ¿Cuál es laprobabilidad de que sea rentado 4 veces durante la siguiente semana?.Entonces se tiene que:Xo = [ 1 0 0 0 0 0 ]Hallamos X1X1 = XoTX1 = [ 0.8 0.1 0.1 0.0 0.0 0.0 ]Entonces la probabilidad de que sea rentado 4 veces la próxima semana es 10%.

b) Suponga que un video fue rentado 3 veces esta semana. ¿Cuál es laprobabilidad de que sea rentado 2 veces durante la segunda semana?.Entonces se tiene que:Xo = [ 0 0 1 0 0 0 ]Hallamos X2X1 = XoTX1 = [ 0.0 0.0 0.6 0.3 0.1 0.0 ]X2 = X1T


16

Cadenas de Markov

X2 = [ 0.0 0.0 0.51 0.30 0.15 0.004 ]Entonces la probabilidad de que sea rentado 2 veces la segunda semana es 30%.

c) Suponga que un video fue rentado 5 veces esta semana. En promedio,¿cuántas veces más será rentado antes de que se deseche?.Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (primera fila)5(5)+ 1.667(4) + 6.481(3) + 3.519(2) + 2.5(1) = 61 veces

d) Suponga que esta semana se rentó 5 veces. En promedio, ¿cuántas semanasserá rentado por lo menos 2 veces?.Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (primera fila)3.519 semanas será rentado 2 veces6.481 semanas será rentado 3 veces1.667 semanas será rentado 4 veces5.000 semanas será rentado 5 vecesEntonces será rentado por lo menos 2 veces 3.519 + 6.481 + 1.667 + 5 = 16.7 semanas.

e) Suponga que un video fue rentado 3 veces esta semana. En promedio,¿cuántas veces más será rentado?.Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (tercera fila)0(5)+ 0(4) + 6.667(3) + 3.333(2) + 2.5(1) = 29 veces.

f) Suponga que un video fue rentado 4 veces esta semana. ¿Cuál es laprobabilidad de que sea desechado?.

Hallamos la matriz (I-Q)-1*R =

Usamos la información de la segunda fila: La probabilidad de que sea desechado es 100%


17

Cadenas de Markov

APLICACIÓN 3.- Juan es propietario de un terreno con 5000 pinos. Cada añoJuan le permite a los detallistas de árboles de navidad seleccionar ycortar árboles para la venta a clientes individuales. Juan protege losárboles pequeños (por lo general de menos de 120 cm. de alto) de manera queestén disponibles para la venta en años futuros. Actualmente estánclasificados 1500 árboles como protegidos, en tanto que los 3500 restantesestán disponibles para corte. Sin embargo, aunque en un año dado un árbolesté disponible para corte, quizás no sea seleccionado sino hasta en añosfuturos. Aunque la mayoría de los árboles que no se cortan en un año dadoviven hasta el siguiente, todos los años se pierden algunos pinos enfermos.Al estudiar la operación de los árboles de navidad de Juan como un procesode Markov con periodos anuales, definimos los cuatro estados siguientes:

Estado 1. Cortado y vendido.Estado2. Perdido por enfermedad.Estado3. Pequeño para cortarseEstado4. Disponible para cortar, pero no cortado ni vendido

La siguiente matriz de transición es apropiada

Aplicando el Excel hallamos las siguientes matrices:

a) ¿Cuántos de los 5000 árboles se venderán y cuántos se perderán?.

1500*0.52 + 3500*0.8 = 3580 árboles se venderán1500*0.48 + 3500*0.2 = 1420 árboles se perderán

b) ¿Cuántos años se espera que pase un árbol pequeño en el vivero antes deser cortado y vendido o perdido por enfermedad?.

2 + 0.8 = 2.8 años


18

Cadenas de Markov

c) ¿Cuál es la probabilidad de que un árbol disponible para cortar seacortado y vendido?. ¿y cuál es la probabilidad de que se pierda porenfermedad?.

80% de probabilidad de que un árbol disponible para cortar sea cortadoy vendido y

20% de probabilidad de que un árbol disponible para cortar se pierda por enfermedad.

APLICACIONES PROPUESTAS

APLICACIÓN 1.- Una máquina puede estar en dos estados: F “funciona” o Q“averiada”, con tFF = 0.8, tQQ = 0.4, tQF = 0.6, tFQ = 0.2. Cuando funciona dauna utilidad de 480 por periodo y, cuando está averiada, los gastos son de160 por periodo, considerando la situación de régimen estable: a) Calcule la ganancia media por periodo. b) Verifique si un plan de mantenimiento preventivo que cuesta $50 por

periodo, alterando: tFF a 0.9 y tQQ a 0.3 vale la pena?.

APLICACIÓN 2.- Calcule la situación de régimen para el modelo cuyasprobabilidades de transición son las siguientes:

t11= 0.4 t22=0.3 t31=0.5 t12= 0.3 t23=0.7 t33=0.5 t13= 0.3

Repita en el caso de t23=0,4 en vez de 0,7.

APLICACIÓN 3.- Un asaltante notorio puede estar en uno de tres estados:i) Suelto, practicando asaltos.ii) Preso en la delegación de policía, esperando su transferencia.iii)Preso en la cárcel.

Considerando las siguientes probabilidades de transición:taa = 0.6; Permanecer suelto.tab = 0.4; Ser preso y llevado para la delegación.tba = 0.2; Fugar de la delegación.tbb = 0.2; Continuar en la delegación.tbc = 0.6; Ser llevado a prisión.tcc = 0.8; Continuar en la prisión.


19

Cadenas de Markov

tca = 0.2; Fugar de la prisión.a) Haga un diagrama de la situación.b) Calcule la probabilidad de que un asaltante, inicialmente suelto,

siga suelto (practicando asaltos) después de dos periodos.

APLICACIÓN 4.- Se usa una máquina para producir herramientas de precisión.Si la máquina está hoy en buenas condiciones, entonces estará bien mañanacon 90% de probabilidad. Si la máquina está en mal estado hoy, entoncesestará en mal estado mañana con 80% de probabilidad. SI la máquina está enbuen estado, produce 100 herramientas por día, y si está en mal estado, 60herramientas por día. En promedio, ¿cuántas herramientas por día seproducen?.

APLICACIÓN 5.- La Zephyr Electronics Co. Fabrica tocacintas portátiles.Antes de mandar a ventas un casete o portacintas, se analiza el lote. Lascategorías de inspección son: no funciona (NF), regular, bueno y excelente.Los portacintas NF se desechan, mientras que los lotes excelentes se envíaninmediatamente a ventas. Los lotes regulares y buenos se regresan paraajustes y se vuelven a probar. Las proporciones de lotes regulares y buenosque cambian de categoría se dan en la tabla siguiente:

a) Descríbase este proceso de prueba como una cadena de Markovabsorbente y calcúlese la matriz de transición.

b) Cuántas veces, en promedio, se volverá a inspeccionar un lote que yase había probado y había resultado regular en la prueba anterior?

c) Cuántas veces, en promedio, se inspeccionará de nuevo un lote que yase había probado y dio por resultado ser bueno?

d) Cuál es la probabilidad de que se deseche un lote regular? e) Cuál es la probabilidad de que un lote regular llegue a ventas? f) De 30 000 lotes probados como buenos originalmente. Cuántos llegarán

a ventas?

APLICACIÓN 6.- Freezco, Inc., vende refrigeradores. La fabrica otorga unagarantía en todos los refrigeradores que especifica cambio gratis decualquier unidad que se descomponga antes de tres años. Se nos da lasiguiente información: (1) el 3% de todos los refrigeradores nuevos falladurante su primer año de funcionamiento; (2) el 5% de todos losrefrigeradores con 1 año de funcionamiento falla durante el segundo año de


20

Cadenas de Markov

trabajo, y (3) el 7% de todos los refrigeradores con dos años defuncionamiento falla durante su tercer año. La garantía no vale para elrefrigerador de repuesto.

a) Use la teoría de cadenas de Markov para predecir la fracción de todoslos refrigeradores que deberá cambiar Freezco.

b) Suponga que a Freezco le cuesta 500 dólares cambiar un refrigerador yque vende 10000 refrigeradores al año. Si la fabrica redujera elplazo de garantía a dos años, ¿cuánto dinero se ahorraría en costosde reemplazo?.

APLICACIÓN 7.- El Programa Profesional de Ingeniería Industrial, despuésde haber recogido datos durante varios años, puede predecir lasproporciones de los estudiantes que pasarán de una categoría a otra en unaño dado. Estos datos se dan en la tabla siguiente.

Se observa el estado de cada estudiante al principio de cada año. Porejemplo, si un estudiante es del 3er año al principio de este año, habrá65% de probabilidades de que al principio del año siguiente sea del 4toaño, 15% de probabilidad de que aún sea del tercer año y 20% de que seretire. Suponemos que una vez de que se retire un estudiante ya nuncavuelve a inscribirse.

a) Si un estudiante entra al Programa a primer año, ¿Cuántos años seespera que pasen siendo estudiante?.

b) ¿Cuál es la probabilidad de que egrese un estudiante de nuevoingreso?.

c) Si hay 250 estudiantes de primer año, 150 estudiantes de segundo año,120 de tercer año, 80 de cuarto año y 50 de quinto año. ¿Cuántos deéstos estudiantes culminarán la carrera?.

APLICACIÓN 8.- El equipo de fútbol del FBC Melgar consta de 2 estrellas,9 novatos y 11 sustitutos. Para fines de impuestos, los accionistas debenevaluar a los jugadores. Se define el valor de cada jugador como el valortotal del sueldo que gana hasta su retiro. Al inicio de cada temporada, seclasifican los jugadores en cuatro categorías:Categoría 1: Estrella (Gana 1 millón de dólares al año).


21

Cadenas de Markov

Categoría 2: Novato (Gana 400 mil dólares al año).Categoría 3: Reserva (Gana 100 mil dólares al año).Categoría 4: Retirado (No gana salario).Si un jugador es estrella, novato o reserva el principio de ésta temporada,las probabilidades de que pase a ser estrella, novato, reserva o retiradoal principio de la siguiente temporada son como sigue:

Determine el valor de los jugadores del equipo.

APLICACIÓN 9.- En un proceso productivo las piezas una vez procesadas soninspeccionadas para determinar si son rechazadas, reprocesadas o aceptadaspara su posterior venta. Estadísticamente el 80% de las piezas sonaceptadas y el 5% son rechazadas.

a) Si el costo de proceso es de $15 por pieza y el de reproceso $5.¿Cuál seria el costo de un item que termine en ventas?.

b) En un lote de 10000 piezas ¿cuántas serán rechazadas?

APLICACIÓN 10.- Una fábrica de jabón se especializa en jabón de tocador delujo. Las ventas de este jabón fluctúan entre dos niveles –bajo y alto- ydependen de dos factores: 1) si hacen o no publicidad y 2) si loscompetidores anuncian y comercializan nuevos productos. El segundo factorestá fuera de control de la compañía, pero quieren determinar cuál debe sersu propia política publicitaria. Por ejemplo, el gerente decomercialización propone hacer publicidad cuando las ventas están bajas yno hacerla cuando están altas. La publicidad que se hace en un trimestredado del año tiene su impacto el siguiente trimestre. De cualquier manera,al principio de cada trimestre se dispone de la información necesaria parapronosticar con exactitud si las ventas serán altas o bajas ese trimestre ydecidir si hacer publicidad o no.El costo de publicidad es de $1 millón de dólares cada trimestre del añoque se haga. Cuando se hace publicidad en un trimestre, la probabilidad detener ventas altas el siguiente trimestre es ½ o ¾ según si en el trimestreactual se tiene ventas bajas o altas. Estas probabilidades bajan a ¼ y ½cuando no se hace publicidad en el trimestre actual. Las gananciastrimestrales de la compañía (sin incluir los costos de publicidad) son de$4 millones cuando las ventas son altas pero sólo $2 millones cuando sonbajas. (De aquí en adelante utilice cifras en millones de dólares).


22

Cadenas de Markov

a) Construya la matriz de transición (de un paso) para cada una de lassiguientes estrategias de publicidad: i) nunca hacer publicidad, ii)siempre hacer publicidad, iii) seguir la propuesta del gerente decomercialización.

b) Determine las probabilidades de estado estable para los tres casosdel inciso a).

c) Encuentre la ganancia promedio a la larga (incluyendo una deducciónpor los costos de publicidad) por trimestre para cada una de lasestrategias del inciso a). ¿Cuál de estas estrategias es la mejorsegún esta medida de desempeño?.

APLICACIÓN 11.- El estado de las cuentas por cobrar en una empresa semodela con frecuencia como una cadena absorbente de Markov. Suponga que unaempresa supone que una cuenta es incobrable si han pasado más de tres mesesde su fecha de vencimiento. Entonces, al principio de cada mes, se puedeclasificar cada cuenta en uno de los siguientes estados específicos:Estado 1 Cuenta nueva.Estado 2 Los pagos de la cuenta están retrasados un mes.Estado 3 Los pagos de la cuenta están retrasados dos meses.Estado 4 Los pagos de la cuenta están retrasados tres meses.Estado 5 Se ha saldado una cuenta.Estado 6 Se ha cancelado la cuenta por ser mal pagador.

Supongamos que los últimos datos indican que la siguiente cadena de Markovdescribe cómo cambia el estado de una cuenta de un mes al siguiente:

Por ejemplo si al principio de un mes una cuenta lleva dos meses devencida, hay 40% de probabilidades de que no se pague al principio del messiguiente y, por lo tanto, que tenga tres meses de retraso y unaprobabilidad de 60% de que se pague.Suponga ademán que después de tres meses, la cuenta o se cobra o seconsidera incobrable.Una vez que una deuda se paga o se considera incobrable, se cierra y no setiene más transiciones.


23

Cadenas de Markov

a) ¿Cuál es la probabilidad que una cuenta nueva sea cobrada algunavez?.

b) ¿Cuál es la probabilidad que una cuenta atrasada un mes se vuelvafinalmente incobrable?

c) Si las ventas de la empresa son 100 000 dólares en promedio mensual,¿cuánto dinero será incobrable cada año?.

APLICACIÓN 12.- En la siguiente matriz de probabilidad de transición seresume la información del progreso de los estudiantes universitarios en unauniversidad en particular.

Donde los estados son:Estado 1: Graduado, Estado 2: Abandona, Estado 3: De primer año, Estado 4:De segundo año, Estado 5: De tercer año y Estado 6: De cuarto año

a) ¿Qué estados son absorbentes?.b) ¿Cuál es la probabilidad de que un estudiante de segundo año se

gradúe, ¿cuál la probabilidad de que abandone?.c) En un discurso de bienvenida a 600 alumnos de nuevo ingreso, el

rector les pide que se den cuenta de que aproximadamente 50% de lospresentes no llegará al día de graduación. ¿Un análisis de losprocesos de Markov apoya la declaración del rector?. Explique.

d) ¿Cuántos años se espera que pase en la universidad un estudiante denuevo ingreso antes de que se gradúe?

e) Hoy, la universidad tiene 600 estudiantes nuevos; 520 de segundo año;460 de tercero y 420 de cuarto. ¿Qué porcentaje se graduará de los2000 estudiantes de la universidad?.

f) Dentro de 5 años, ¿cuál será la distribución de los 2000 estudiantes?

APLICACIÓN 13.- El 1 de enero (de este año), las panaderías Klosmancontrolaban el 40% de su mercado local, mientras que las otras dospanaderías, A y B, tenían 40 y 20 por ciento, respectivamente, del mercado.Basándose en un estudio de una empresa de investigación de mercado, secompilaron los siguientes datos: la panadería Klosman retiene el 90% de susclientes, y gana el 5% de los clientes de A y el 10% de los de B. La


24

Cadenas de Markov

panadería A retiene el 85% de sus clientes y gana 5% de los clientes deKlosman y 7% de los de B. La panadería B retiene 83% de sus clientes y gana5% de los clientes de Klosman y 10% de los de A.

a) ¿Cuál será la participación de cada empresa en 1° de enero del añosiguiente.

b) Klosman decide hacer una campaña publicitaria a efectos de ganarclientes, dicha campaña altera las probabilidades de transición deestados de la siguiente manera: la panadería Klosman retiene el 90%de sus clientes, y gana el 15% de los clientes de A y el 20% de losde B. La panadería A retiene el 75% de sus clientes y gana 5% de losclientes de Klosman y 7% de los de B. La panadería B retiene 73% desus clientes y gana 5% de los clientes de Klosman y 10% de los de A.Si a Klosman le cuesta 350 dólares por mes una campaña publicitaria ypor cada cliente ganado obtiene un ingreso igual a 10 dólaresmensuales, ¿por cuántos periodos debe mantener su campañapublicitaria, sabiendo que se compite en un mercado de 1000clientes?.


25