Cadenas de markov

4. Cadenas de Markov

Instituto Tecnológico de Puebla

INVESTIGACIÓN DE OPERACIONES IIEquipo 5:

Mayra Priscila Fernanda Escalona ContrerasIvannia

Alejandra Méndez MéndezJesús Antonio Rivera Sánchez

UlisesJuan Carlos Marín Rosas

ÍNDICE

4.1 Introducción.

4.2 Formulación de las cadenas de Markov.

4.3 Procesos estocásticos.

4.4 Propiedad Markoviana de primer orden.

4.5 Probabilidad de transición estacionarias de un solo paso.

4.6 Probabilidad de transición estacionarias de “n” pasos.

4.7 Estados absorbentes.

4.8 Probabilidad de transición estacionarias de estados estables.

Tiempos de primer paso.

4.1 INTRODUCCIÓN

“Cuando, conociendo el pasado

y el presente, el comportamiento

probabilístico del futuro inmediato sólo depende del estado

presente”

Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner


Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en una serie de días consecutivos: el tiempo cambia día a día de una manera que en apariencia es algo aleatoria.

Un ejemplo simple de un proceso estocástico es una sucesión de ensayos de Bernoulli, por ejemplo, una sucesión de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es independiente de todos los resultados previos.

Sin embargo, en la mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio por completo sino que es afectado en cierto grado por el tiempo de días previos.


El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos.

Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente). Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922) que desarrollo el método en 1907.

Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico.

Cadena de Márkov

• Proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior.

• Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias.

• El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

• Donde xi es el estado del proceso en el instante i. La identidad mostrada es la Propiedad de Márkov.

Tipos de cadenas de Markov

Cadenas irreducibles

• Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí):

• 1. Desde cualquier estado de E se puede acceder a cualquier otro.

• 2. Todos los estados se comunican entre sí.• 3. C(x)=E para algún x∈E.• 4. C(x)=E para todo x∈E.• 5. El único conjunto cerrado es el total.

Cadenas positivo-recurrentes

• Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por:

Cadenas regulares

• Se dice regular (también primitiva o ergódica) si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.

• Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena.

Cadenas absorbentes

• Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:

• 1. La cadena tiene al menos un estado absorbente.

• 2. De cualquier estado no absorbente se accede a algún estado absorbente.

• Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:

• Su matriz de transición siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.

• esto es, no importa en donde se encuentre la

cadena, eventualmente terminará en un estado absorbente.

Cadenas de Markov en tiempo continuo

• Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto de números naturales, se consideran las variables aleatorias Xt con t que varía en un intervalo continuo del conjunto de números reales, tendremos una cadena en tiempo continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de la siguiente manera:

•

• tal que

• FORMATO DE LA MATRIZ DE TRANCISIONES:

Como realizar el diagrama de transición

A

Ejemplo: la ruina del jugador

En el tiempo 0, tengo $2. en los tiempos 1,2 … n participo en un juego en el que apuesto $1. con la probabilidad P, gano el juego, y con probabilidad 1-P, pierdo el juego. Mi objetivo es incrementar mi capital a $4, y cuando lo logre se termina el juego. El juego también se termina si mi capital se reduce a $0.

1.-Encuentre la matriz de transición.

2.-Desarolle el diagrama de transición.

estado

Algunas veces nos encontramos interesados en cómo cambia una variable aleatoria con el tiempo. Por ejemplo, es posible que se desee

saber cómo evoluciona el precio de una parte de las acciones o la participación en el mercado de una empresa. El estudio de cómo una variable aleatoria cambia a través del tiempo incluyen los procesos

estocásticos.

¿Qué es un proceso estocástico?

Suponga que se observan algunas características de un sistema en puntos discretos en el tiempo (identificados con 0,1,2,….). Sea Xt el valor de la característica del sistema en el tiempo t. En la mayoría de las situaciones, Xt NO SE CONOCE CON CERTEZA ANTES DEL TIEMPO t y se podría considerar como una variable aleatoria.

Un proceso estocástico discreto en el tiempo es simplemente una descripción de la relación entre las variables aleatorias X0, X1, X2….

• Se dispone de 4 módulos de atención que se van activando secuencialmente a medida que la cantidad de usuarios que deben ser atendidos aumenta.

• Cada módulo tiene un máximo de usuarios a los que puede entregar servicio.

• Cuando un módulo está completamente utilizado, entra en servicio el siguiente módulo.

• Si un módulo deja de ser utilizado, el módulo se desactiva temporalmente, quedando en servicio los módulos anteriores.

Central Telefónica

1 2 3 4

• La definición de estados para el ejemplo será:

– Estado 1: El módulo 1 está siendo utilizado.




Central Telefónica

1 2 3 4

• Si consideramos los siguientes porcentajes, para pasar de curso, repetir o retirarse en cada año:

Repetir 1º año: 2%

Pasar a 2º año: 97%

Retirarse al final del 1º año: 1%











Egresar: 96%


• Definición de estados:– Estado 1: Estar en primer año.– Estado 2: Estar en segundo año.– Estado 3: Estar en tercer año.– Estado 4: Estar en cuarto año.– Estado 5: Egresar del establecimiento.– Estado 6: Retirarse del establecimiento.

• La representación gráfica de los estados definidos es:

1 2 3 4 5 6

El clima de Centerville puede cambiar con rapidez de un día a otros. Sin embrago, las posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy esta seco, es decir, no llueve. Esta probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy.

La evolución del clima día tras día en Centerville es un proceso estocástico. Si se comienza en alguna día inicial (etiquetado como el día 0), el clima se observa cada día t puede ser:

Estado 0= El día es seco

O bien Estado 1= El día t es lluvioso

Así, para = 0, 1, 2, …, la variable aleatoria Xt

Toma los valores ,

0 sí día t es seco

Xt

1 sí día t es lluvioso

El proceso estocástico {Xt}= {X0, X1, X2….} proporciona una representación matemática de la forma como evaluación el clima de Centerville a través del tiempo.

PROPIEDAD DE MARKOV

• Nos dice que el futuro depende únicamente del valor del estado del presente y es independiente del pasado.

• Como son probabilidades condicionales deben satisfacer:

• Y

• Donde M es el numero finito asociado a los diferentes estados por donde puede pasar el proceso

Una matriz de transición P se dice que es regular si para algún entero positivo k, la matriz k P no tiene elementos iguales a cero. Si P es una matriz de transición regular, entonces sin importar la matriz de estado inicial, las matrices de estado sucesivas se aproximan a alguna matriz de estado fija B en donde B.P = B. La matriz B se denomina matriz estacionaria del sistema.

Ejemplo: Si la matriz de transición regular es:

Es la matriz estacionaria que se requiere.

Por definición, la suma de las probabilidades p1+ p2 =1 y además B.P = B, o sea:

De allí, resolviendo el sistema que queda planteado podemos calcular la matriz

estacionaria buscada.

Ejemplo: Suponga que toda la industria de bebidas de cola produce solo 2. Dado que una persona la ultima vez compro cola 1, hay 67% de probabilidades de que su siguiente compra se cola 1. Dado que la ultima compra de una persona fue cola 2, hay un 33% de probabilidad de que su siguiente compra se cola 2.

Si una persona en la actualidad es comprador de cola 2, ¿cual es la probabilidad de que compre cola 1 dos

veces a partir de ahora?

Solución: vemos las compras de cada persona como una cadena de Markov con el estado, en cualquier tiempo dado, el tipo de cola que compro la persona en la ultima vez. Así, la compras de cada individuo puede representarse como una cadena de Markov

donde.

Estado 1 = la persona compro cola del tipo 1 la ultima vezEstado 2= la persona compro cola del tipo 2 la ultima vez

Si se define xn como el tipo de cola que una persona compra en su n-ésima compra futura (compra actual de cola = x0) ,

entonces x0 ,x1... se podría describir como la cadena de Markov con la siguiente matriz de transición:

Respondiendo a la pregunta se tiene una probabilidad del 67% de que el comprador de cola dos compre cola 1 dos veces a partir de ahora.

Suponga que se está estudiando una cadena de Markov con una matriz de probabilidad de transición conocida P. (puesto que las cadenas con las que se tratará son estacionarias, no nos molestaremos en marcar nuestras cadenas de Markov como estacionarias). Una pregunta de interés es:

Si una cadena de Markov está en el estado i en el tiempo m, ¿cuál es la probabilidad de que n periodos después la cadena esté en el estado j? Puesto que se trata con una cadena de Markov estacionaria, esta probabilidad es independiente de m, así que se podría escribir

donde se llama probabilidad del n-ésimo paso de una transición del estado i al estado j.

Resulta claro que = Pu: Para determinar , observe que si el sistema ahora está en el estado i, entonces para que el sistema termine en el estado j dos periodos a partir de ahora, se debe ir del estado i a algún estado k y luego del estado k al estado j (véase la figura 3). Este razonamiento nos permite escribir

0( | ) ( | ) ( )n m m n ijP X j X i P X j X i P n

( )ijP n

(1)ijP (2)ijP

Usando la definición de P, la matriz de probabilidad de transición, se reescribe la última ecuación como

…………(3)

El lado derecho de (3) es sólo el producto escalar del renglón i de la matriz P con la columna J de la matriz P. Por consiguiente, es el ij-ésimo elemento de la matriz . Al

ampliar este razonamiento, se puede demostrar que para

n > 1,

1

(2)k s

ijk

P PikPjk

1

(2) probabilidad de transici n de i a k X probabilidad de transicion de k a jk s

ijk

P ó

(2)ijP 2P

……..(4)Por supuesto, para n = O, , así que se debe escribir

Se ilustra

el uso de la

ecuación (4)

en el ejemplo 4.

( ) emesimo elemento de P nijP n ij 0 0(0) ( | )ijP P X j X i

l si j = i.0 si j i

(0)ijP

Suponga que toda la industria de bebidas produce solo 2 refrescos. Dado que una persona la ultima vez compro refresco 1, hay 90% de probabilidades de que su siguiente compra sea refresco 1. dado que la ultima compra de una persona fue refresco 2, hay un 80% de probabilidades de que su siguiente compra se refresco 2.

•1 Si una persona en la actualidad es comprador de cola 2, ¿cuál es la probabilidad de que compre cola 1 dos veces a partir de ahora?

EJEMPLO DE BEBIDA

• 2 Si una persona en la actualidad es comprador de cola 1, ¿cuál es la probabilidad de que compre cola 1 tres ocasiones a partir de ahora?

SOLUCION:

Vemos las compras de cada persona como una cadena de Markov con el estado, en cualquier tiempo dado, del tipo de cola que compró la persona en la última vez. Así, las compras de cada individuo pueden representarse como una cadena de Markov de dos estados, donde;

• Estado l = La persona compró cola del tipo 1 la última vez.

• Estado 2 = La persona compró cola del tipo 2 la última vez.

Si se define Xn como el tipo de cola que una persona compra en su n-ésima compra futura (compra actual de cola = Xo), entonces X0, X1,… se podría describir como la cadena de Markov con la siguiente matriz de transición:

21

80.20.

10.90.

2

1RR

R

RP

Ahora se pueden contestar las preguntas 1 y 2.

Se busca P(X2 = 1|X0 = 2) = p21(2) = elemento 2,1 de P 2:

•Por consiguiente, P21(2) = .34. Esto significa que la probabilidad de que un bebedor de cola 2 en el futuro compre dos veces cola l es .34. Mediante la teoría de probabilidad básica, se podría obtener esta respuesta de una manera distinta (véase la figura 4).

66.34.

17.83.

80.20.

10.90.

80.20.

10.90.2P

• Observe que P21 (2) = (probabilidad de que la siguiente compra sea cola 1 y la segunda compra sea cola 1) + (probabilidad de que la siguiente compra sea cola 2 y la segunda compra sea cola

1) = P21P11 + P22P21= (.20)(.90) + (.80)(.20) = .34.

2 Se busca P11(3) = elemento 11 de P 3 :

562.438.

219.781.

66.34.

17.83.

80.20.

10.90.)( 23 PPP

• Por lo tanto, P11(3) = .781

Ahora analizaremos el concepto importante de probabilidades de estado estable, que se puede usar para describir el comportamiento a largo plazo de una cadena de Markov.

El resultado es vital para comprender las probabilidades de estado estable y el comportamiento a largo plazo de las cadenas de Markov.

PROBABILIDADES DE ESTADOS ESTABLES

Sea P la matriz de transición de una cadena ergódica de estado estable. Entonces existe un vector π = [π1 π2 … πs] tal que:

• El vector π = [π1 π2 … πs] se llama distribución de estado estable, o distribución de equilibrio, para la cadena de Marcos. Para una cadena determinada con matriz de transición P, ¿cómo se puede hallar la distribución de probabilidades de estado estable? A Partir del teorema 1, se observa que y toda i

( 1) ( )ij ij jP n P n

π (m + n) = π(n) [P]m Lo cual define una relación de

recurrencia, la cual permite conocer la evolución del vector de

probabilidad de estado en el instante m, conociendo el vector

de probabilidad inicial, hacienda n = 0

A medida que aumenta el número de instantes m, las

matrices convergen a un valor estable, independiente del

vector de probabilidad inicial. Por lo tanto, cuando el sistema

llega a un estado j, la probabilidad en estado estable llegara

ser:

Entonces la ecuación quedaría de la siguiente manera.

Ya que con la ecuación anterior se tendrían un número infinito de soluciones debido a que el rango de la matriz P siempre resulta ser menor o igual a s - 1. Para obtener valores únicos de las probabilidades de estado, observe que para cualquier n y cualquier i

limm

j ijm

P

P

Para ejemplificar estas probabilidades utilizaremos el ejemplo anterior de los refrescos donde P:

1 2( ) ( ) ... ( ) 1i i isP n P n P n

1jj

Refresco 1 refresco 2

P = refresco 1 0.9 0.1

refresco 2 0.2 0.8

π1 π2 = π1 π20.9 0.1

0.2 0.8

Ejemplo:

Se considera una señal con amplitud entre −2A y 2A, el cual

solo puede tomar valores múltiplos de A. En cualquier instante

n, la señal puede, ya sea quedarse en el mismo valor,

aumentar A o disminuir A. Al asumir que los cambios tienen

igual probabilidad, determine:

1. La matriz de transición de estados.

2. La probabilidad de que en el segundo instante, la señal pase el

estado −A al estado A.

3. La probabilidad de estado de la señal en estado estable.

El diagrama de transición de estados que se ilustra en la

siguiente figura, determina el proceso de Markov donde:

Luego, la matriz de transición de estados es igual a:

• Para definir las probabilidades de transición para el segundo instante, se tiene:

Luego P−A,A = 1/9 = 0.111. Nótese que dicha probabilidad puede hallarse usando la matriz de transición de estado inicial P−A,A = P−A,0P0,A = 1/3*1/3 = 0.111. En estado estable se debe satisfacer el sistema de ecuaciones, dado por 2.26, y eliminando el término π5:

Suponga que cada cliente realiza una compra de refresco durante

cualquier semana. Suponiendo que hay 100 mil clientes que

consumen refresco. A la compañía le cuesta 1 dólar producir un

refresco y lo vende en 2 dólares. Por $500 mil al año, una empresa

publicitaria garantiza disminuir de 10 a 5% la fracción de clientes de

refresco 1que cambian a refresco 2 después de una compra. ¿Debe

la compañía que fabrica refresco 1 contratar a la empresa

publicitaria?

En la actualidad, una fraccion π1 = 2/3 de las compras de

refresco 1. Cada compra de refresco 1produce a la compañia

una gananci de 1 dolar. Puesto que hay un total 52(100 000),

compras de refresco al año, ganancia de la compañoa que

produce refresco 1 es:

•2/3(5 200 000) = $3466666

La compañía publicitaria esta ofreciendo cambiar la matriz P a Refresco 1 refresco 2

P = refresco 1 0.95 0.05

refresco 2 0.2 0.8

Para P, las ecuaciones de estado estable son

Π1 = .95π1 + .20π2Π2 = .05π1 + .80π2

Sustituyendo la ecuación por π1 + π2 = 1 y resolviendo, se obtiene π1 = .80 y π2 = .20. Ahora la ganancia anual de la compañia que produce refresco 1 será

.80 (5 200 000) – 500 000 = $3660000

•Por lo tanto, la compañía que produce refresco 1 debe contratar a la agencia de publicidad.

Cadenas absorbentes

• Muchas aplicaciones interesantes de las cadenas de markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios. Este tipo de cadena se llama cadena absorbente. Considere una cadena de markov absorbente; si se comienza en un estado transitorio, entonces finalmente se esta seguro de salir del estado transitorio y terminar en uno de los estados absorbentes

• Muchas aplicaciones interesantes de las cadenas de markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios. Este tipo de cadena se llama cadena absorbente. Considere una cadena de markov absorbente; si se comienza en un estado transitorio, entonces finalmente se esta seguro de salir del estado transitorio y terminar en uno de los estados absorbentes

Cadenas absorbentes

• En este formato, los renglones y las columnas de P corresponden (en orden) a los estados

• Aquí I es una matriz identidad de m x m que refleja el hecho de que nunca se puede dejar un estado absorbente: Q es una matriz de (s – m) x (s – m) que representa estados transitorios; R es una matriz de (s – m) x m que representa transiciones a estados absorbentes; 0 es una matriz de m x (s – m) que consiste por completo en ceros. Esto refleja el echo de que es imposible ir de un estado absorbente a un

transitorio.

Ejemplo planificación de fuerza de trabajo

• El bufete jurídico de Mason y Burger emplea tres tipos de abogados: principiantes, experimentados y asociados. Durante un año determinado, hay una probabilidad .15 de que un abogado principiante sea promovido a experimentado y una probabilidad .05 de que salga de la empresa. También, hay una probabilidad .20 de que el abogado experimentado sea promovido asocio y una probabilidad .10 de que salga de la empresa. La probabilidad de que un asociado salga de la empresa es de .05

• 1 ¿Cuál es el tiempo promedio que un abogado principiante recién contratado dure trabajando en la empresa ?

• 2 ¿Cuál es la probabilidad de que un abogado principiante se convierta en asociado ?

• 3 ¿Cuál es el tiempo promedio que un asociado pasa en la empresa ?

Matriz de probabilidades de transición.

principianteexperimentad

o asociado sale como no

asociadosale como

asociado

principiante 0.8 0.15 0 0.05 0

experimentado 0 0.7 0.2 0.1 0

asociado 0 0 0.95 0 0.05

sale como no asociado 0 0 0 1 0

sale como asociado 0 0 0 0 1

Entonces s=5, m=2

Solución

0.8 0.15 0Q= 0 0.7 0.2

0 0 0.95

0.05 0R= 0.1 c0

0 0.05

Entonces:

0.2 -0.15 0I -Q = 0 0.3 -0.2

0 0 0.05

Por lo tanto:

3x3

3x2

Solución

a1 a2t1 0.5 0.5

(I-Q)^-1 R= t2 0.33 0.66t3 0 1

Por lo tanto:

5 2.5 10(I-Q)^-1 = 0 3.33 13.33

0 0 20

Esta matriz tiene por nombre matriz fundamental de la cadena de markov.

Ejemplo : cuentas por cobrar

• Suponga que una empresa asume que una cuenta es incobrable si se tiene mas de tres meses de atraso. Entonces al comienza de cada mes, cada cuenta se puede clasificar en uno de los siguientes estados:

• Estado 1 Cuentas nuevas.

• Estado 2 El pago de la cuenta tiene un mes de atraso.

• Estado 3 El pago de la cuenta tiene dos meses de atraso.

• Estado 4 El pago de la cuenta tiene tres meses de atraso.

• Estado 5 La cuenta ha sido pagada.

• Estado 6 La deuda se borra como deuda incobrable.

Los datos se muestran en la siguiente cadena de markov

• ¿ cual es la probabilidad de que finalmente se cobre una cuenta nueva?

• ¿Cuál es la probabilidad de una cuenta de un mes de retraso en algún momento sea una deuda incobrable?

nueva 1 mes 2 meses 3 meses pagada incobrable

nueva 0 0.6 0 0 0.4 0

1 mes 0 0 0.5 0 0.5 0

2 meses 0 0 0 0.4 0.6 0

3 meses 0 0 0 0 0.7 0.3

pagada 0 0 0 0 1 0

deuda incobrable 0 0 0 0 0 1

Matriz de probabilidad de transición

Entonces s=6, m=2

solución

0.4 00.5 0

R= 0.6 00.7 0.3

0 0.6 0 00 0 0.5 0

Q= 0 0 0 0.40 0 0 0

Por lo tanto:

4x4

4x2

Solución 1 -0.6 0 00 1 -0.5 0

I - Q = 0 0 1 -0.40 0 0 1

t1 t2 t3 t4t1 1 0.6 0.3 0.12

(I - Q)^-1= t2 0 1 0.5 0.2t3 0 0 1 0.4t4 0 0 0 1

Se encuentra que ;

a1 a2t1 0.964 0.036

(I - Q)^-1 R = t2 0.94 0.06t3 0.88 0.12t4 0.7 0.3

Para las preguntas 1 y 3 es necesario calcular;

Interpretación

• 1.- Así finalmente de que se cobre una cuenta nueva es de = .964 el 96%.

• 2.- por consiguiente, la probabilidad de una cuenta con un mes de retraso se convierta en una deuda incobrable es de = .06

• Ahora analizaremos el concepto importante de probabilidades de estado estable, que se puede usar para describir el comportamiento a largo plazo de una cadena de Markov.

• El resultado es vital para comprender las probabilidades de estado estable y el comportamiento a largo plazo de las cadenas de Markov.

PROBABILIDADES DE ESTADOS ESTABLES

• Sea P la matriz de transición de una cadena ergódica de estado estable. Entonces existe un vector π = [π1 π2 … πs] tal que

• El vector π = [π1 π2 … πs] se llama distribución de estado estable, o distribución de equilibrio, para la cadena de Marcos. Para una cadena determinada con matriz de transición P, ¿cómo se puede hallar la distribución de probabilidades de estado estable? A Partir del teorema 1, se observa que y toda i

• π (m + n) = π(n) [P]m Lo cual define una

relación de recurrencia, la cual permite

conocer la evolución del vector de

probabilidad de estado en el instante m,

conociendo el vector de probabilidad inicial,

hacienda n = 0

• A medida que aumenta el número de instantes m,

las matrices convergen a un valor estable,

independiente del vector de probabilidad inicial.

Por lo tanto, cuando el sistema llega a un estado j,

la probabilidad en estado estable llegara ser:

• Entonces la ecuación quedaría de la siguiente manera.

Ya que con la ecuación anterior se tendrían un número

infinito de soluciones debido a que el rango de la matriz P

siempre resulta ser menor o igual a s - 1. Para obtener

valores únicos de las probabilidades de estado, observe

que para cualquier n y cualquier i

• Para ejemplificar estas probabilidades utilizaremos el ejemplo anterior de los refrescos donde P:


P = refresco 1 0.9 0.1

refresco 2 0.2 0.8

π1 π2 = π1 π20.9 0.1

0.2 0.8

• Ejemplo 2.7 Se considera una señal con

amplitud entre −2A y 2A, el cual solo

puede tomar valores múltiplos de A. En

cualquier instante n, la señal puede, ya

sea quedarse en el mismo valor, aumentar

A o disminuir A. Al asumir que los cambios

tienen igual probabilidad, determine:

• La matriz de transición de estados.

• La probabilidad de que en el segundo

instante, la señal pase el estado −A al

estado A.

• La probabilidad de estado de la señal en

estado estable.

El diagrama de transición de estados que se ilustra en

la siguiente figura, determina el proceso de Markov

donde:

• Luego, la matriz de transición de estados es igual a:

• Para definir las probabilidades de transición para el segundo instante, se tiene:

• Luego P−A,A = 1/9 = 0.111. Nótese que dicha probabilidad puede hallarse usando la matriz de transición de estado inicial P−A,A = P−A,0P0,A = 1/3*1/3 = 0.111. En estado estable se debe satisfacer el sistema de ecuaciones, dado por 2.26, y eliminando el término π5:

• Suponga que cada cliente realiza una compra de refresco

durante cualquier semana. Suponiendo que hay 100 mil

clientes que consumen refresco. A la compañía le cuesta 1

dólar producir un refresco y lo vende en 2 dólares. Por $500

mil al año, una empresa publicitaria garantiza disminuir de 10

a 5% la fracción de clientes de refresco 1que cambian a

refresco 2 después de una compra. ¿Debe la compañía que

fabrica refresco 1 contratar a la empresa publicitaria?

• En la actualidad, una fraccion π1 = 2/3 de las

compras de refresco 1. Cada compra de refresco

1produce a la compañia una gananci de 1 dolar.

Puesto que hay un total 52(100 000), compras de

refresco al año, ganancia de la compañoa que

produce refresco 1 es:

• 2/3(5 200 000) = $3466666

• La compañía publicitaria esta ofreciendo cambiar la matriz P a


P = refresco 1 0.95 0.05

refresco 2 0.2 0.8Para P, las ecuaciones de estado estable son

Π1 = .95π1 + .20π2Π2 = .05π1 + .80π2

• Sustituyendo la ecuación por π1 + π2 = 1 y

resolviendo, se obtiene π1 = .80 y π2 = .20. Ahora la

ganancia anual de la compañia que produce refresco

1 será

• .80 (5 200 000) – 500 000 = $3660000

• Por lo tanto, la compañía que produce refresco 1 debe contratar a la agencia de publicidad.

Cadenas de markov

Career

Transcript of Cadenas de markov