Post on 10-Jul-2020
Universidad Nacional Autonomade Honduras
1
National Autonomous University of HondurasTeoria de la Probabilidad
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
2
Tercera Unidad
• Cadenas de Markov
• Caminata Aleatoria
• Ruina de un jugador
• Redes Neuronales
M.Sc. Jose Angel Pineda
Universidad Nacional Autonomade Honduras
3
National Autonomous University of HondurasMarkov’s Chain
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
Cadenas de Markov
Considere un proceso que tenga un valor en cada período de tiempo. Deje Xn denotar su
valor en el período de tiempo n, y supongamos que queremos hacer un modelo de
probabilidad para la secuencia de valores sucesivos X0, X1, X2.
El modelo más simple probablemente sería suponer que los Xn son variables aleatorias
independientes, pero a menudo tal suposición es claramente injustificado.
Por ejemplo, comenzando en algún momento suponga que Xn representa el precio de
una acción de cierta seguridad, como Google, al final de n días de negociación
adicionales. Entonces ciertamente no parece razonable supongamos que el precio al final
del día n + 1 es independiente del precios en los días n, n - 1, n - 2 y así hasta el día 0.
Cadenas de Markov
• Sin embargo, podría ser razonable suponer que el precio en el el final del día de
negociación n + 1 depende de los precios de fin de día anteriores solo a través del
precio al final del día n.
• Es decir, podría ser razonable suponer que el condicional distribución de Xn + 1
dados todos los precios pasados del final del día Xn, Xn − 1,. . . , X0 depende de
estos precios pasados solo a través del precio en al final del día n.
• Tal suposición define una cadena de Markov, un tipo de estocástico proceso que se
estudiará en esta clase, y que ahora se define formalmente.
Cadenas de Markov
• Sea {Xn, n = 0, 1, 2, ...,} un proceso estocástico que toma un finito o
Número contable de valores posibles.
• A menos que se mencione lo contrario, este conjunto de posibles valores del
proceso ser denotado por el conjunto de enteros no negativos N = {0, 1, 2,
...}. Si Xn = i, entonces se dice que el proceso está en estado i en el tiempo n.
• Suponemos que siempre que el proceso esté en estado i, hay una probabilidad
Pij de que luego estará en estado j. Es decir, suponemos que
Cadenas de Markov
• Sea {Xn, n = 0, 1, 2, ...,} un proceso estocástico que toma un finito o Número
contable de valores posibles.
• A menos que se mencione lo contrario, este conjunto de posibles valores del
proceso ser denotado por el conjunto de enteros no negativos N = {0, 1, 2,...}.
Si Xn = i, entonces se dice que el proceso está en estado i en el tiempo n.
• Suponemos que siempre que el proceso esté en estado i, hay una probabilidad
Pij de que luego estará en estado j. Es decir, suponemos que
• para todos los estados i0, i1, ..., en − 1, i, j y todos n> 0
Tal proceso estocástico se conoce como una cadena de Markov.
Cadenas de Markov
Nota: El futuro depende solo del estado actual Xn (sin memoria, Markov propiedad)
⇒ Futuro condicionalmente independiente del pasado, dada la presente. Dado Xn, la
historia Xn − 1 es irrelevante para la evolución futura de la proceso.
Cadenas de Markov
• El valor Pij representa la probabilidad de que el proceso lo haga, cuando en estado i,
luego haga una transición al estado j. Como las probabilidades son no negativo y
dado que el proceso debe hacer una transición a alguna estado, tenemos (Las
probabilidades condicionales satisfacen los axiomas)
Donde P denotar la "matriz" de probabilidades de transición de un paso Pij, entonces
Cadenas de Markov
Representación Grafica
Teoria de la Probabilidad
11
National Autonomous University of HondurasEjemplo #1
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
Ejemplo: Pronosticando el clima
Supongamos que la probabilidad de lluvia de mañana depende solo de previas condiciones
climáticas si llueve o no hoy y no en condiciones climáticas pasadas. Supongamos también
que si llueve hoy, entonces lloverá mañana con probabilidad α; y si no llueve hoy, entonces
lloverá mañana con probabilidad β.
Ejemplo: Prediccion el ClimaSupongamos que la probabilidad de lluvia de mañana depende solo de previas condiciones
climáticas si llueve o no hoy y no en condiciones climáticas pasadas. Supongamos también
que si llueve hoy, entonces lloverá mañana con probabilidad α; y si no llueve hoy, entonces
lloverá mañana con probabilidad β.
Solución
Si decimos que el proceso está en estado 0 cuando llueve y estado 1 cuando no llueve, el
precedente es una cadena de Markov de dos estados cuyas probabilidades de transición
están dadas por
Supongamos que la probabilidad de lluvia de mañana depende solo de previas condiciones
climáticas si llueve o no hoy y no en condiciones climáticas pasadas. Supongamos también
que si llueve hoy, entonces lloverá mañana con probabilidad α; y si no llueve hoy, entonces
lloverá mañana con probabilidad β.
Solución
Pronosticando el clima
Diagrama de transición de estado.
Teoria de la Probabilidad
15
National Autonomous University of HondurasVideo #1
Ejemplo #2: Cadenas de Markov
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
16
Video #1
Ejemplo #2: Cadenas de Markov
M.Sc. Jose Angel Pineda
https://www.youtube.com/watch?v=HzEfHQbZB1o
17
Video #1 Despues de ver el video, conteste las siguientes
preguntas
M.Sc. Jose Angel Pineda
1. Calcule la probabilidad que estudie Algebra lineal
el dia Jueves
2. Calcule la probabilidad que estudie Calculo el dia
Jueves
3. Cual es la probabilidad que estudie Algebra Lineal
el dia Miercoles?
4. Cual es la probabilidad que estudie Calculo el dia
Viernes?
Teoria de la Probabilidad
18
National Autonomous University of Honduras
Ejemplo #3:
Transformando un proceso
A Cadenas de Markov
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
Ejemplo:
Transformando un proceso en una cadena de Markov
Supongamos que llueva o no hoy depende del clima anterior condiciones durante los últimos
dos días. Específicamente, suponga que si tiene llovió durante los últimos dos días, entonces
lloverá mañana con probabilidad 0,7; si llovió hoy pero no ayer, lloverá mañana con
probabilidad 0.5; si llovió ayer pero no hoy, entonces lloverá mañana con probabilidad 0.4; si
no ha llovido en los últimos dos días, entonces lloverá mañana con probabilidad 0.2.
Ejemplo:
Transformando un proceso en una cadena de Markov
Solución
Si dejamos que el estado en el tiempo n dependa solo de si está lloviendo o no en el tiempo
n, entonces el modelo anterior no es una cadena de Markov (¿por qué no?). Sin embargo,
podemos transformar este modelo en una cadena de Markov diciendo que el estado en
cualquier momento está determinado por las condiciones climáticas durante ese día y el día
anterior.
Supongamos que llueva o no hoy depende del clima anterior condiciones durante los últimos
dos días. Específicamente, suponga que si tiene llovió durante los últimos dos días, entonces
lloverá mañana con probabilidad 0,7; si llovió hoy pero no ayer, lloverá mañana con
probabilidad 0.5; si llovió ayer pero no hoy, entonces lloverá mañana con probabilidad 0.4; si
no ha llovido en los últimos dos días, entonces lloverá mañana con probabilidad 0.2.
Ejemplo:
Transformando un proceso en una cadena de Markov
Solución
Si dejamos que el estado en el tiempo n dependa solo de si está lloviendo o no en el tiempo
n, entonces el modelo anterior no es una cadena de Markov (¿por qué no?). Sin embargo,
podemos transformar este modelo en una cadena de Markov diciendo que el estado en
cualquier momento está determinado por las condiciones climáticas durante ese día y el día
anterior.
En otras palabras, podemos decir que el proceso está en
• estado 0: si llovió tanto hoy como ayer (lluvia mañana: P = 0.7),
• estado 1: si llovió hoy pero no ayer (lluvia mañana : P = 0.5),
• estado 2: si no fuera hoy pero llovió ayer (lluvia mañana: P = 0.4),
• estado 3: si no llovió hoy o ayer (lluvia mañana: P = 0.2).
Lo anterior representaría una cadena de Markov de cuatro estados que tiene una matriz de
probabilidad de transición
Ejemplo:
Transformando un proceso en una cadena de Markov
Solución
En otras palabras, podemos decir que el proceso está en
• estado 0: si llovió tanto hoy como ayer (lluvia mañana: P = 0.7),
• estado 1: si llovió hoy pero no ayer (lluvia mañana : P = 0.5),
• estado 2: si no fuera hoy pero llovió ayer (lluvia mañana: P = 0.4),
• estado 3: si no llovió hoy o ayer (lluvia mañana: P = 0.2).
Lo anterior representaría una cadena de Markov de cuatro estados que tiene una matriz de
probabilidad de transición
Diagrama de Transicion
Ejemplo:
Transformando un proceso en una cadena de Markov
Universidad Nacional Autonomade Honduras
24
National Autonomous University of HondurasCaminata Aleatoria
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
Caminata Aleatoria
Se dice que una cadena de Markov cuyo espacio de estado está dado por los enteros
i = 0, ± 1, ± 2, ..., es una caminata aleatoria si, para algún número 0 <p <1,
La cadena de Markov precedente se llama una caminata aleatoria, ya que podemos
pensar que es un modelo para una persona que camina en línea recta y que en cada
punto del tiempo da un paso hacia la derecha con probabilidad p o un paso hacia la
izquierda con probabilidad 1 - p.
Caminata Aleatoria
• Estados son 0, ±1, ±2, … (infinito numero de estados).
• Probabilidades de Transición son
• Pij = 0 para toda otra transición.
• Diagrama de Transición
Teoria de la Probabilidad
27
National Autonomous University of HondurasVideo #2
Caminata Aleatoria
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
28
Video #2
M.Sc. Jose Angel Pineda
https://www.youtube.com/watch?v=gQ5weztamq4
Caminata Aleatoria
29
Video #2
Despues de ver el video, conteste las siguientes
preguntas
M.Sc. Jose Angel Pineda
1. Que es una caminata aleatoria?
2. Tiene relacion con las cadenas de markov?
3. Escriba la probabilidad de transicion y la matriz de
transicion
Universidad Nacional Autonomade Honduras
30
National Autonomous University of HondurasRuina de Jugador
Caminata Aleatoria con Limites
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
Ruina de Jugador
Es una caminata aleatoria, pero para de moverse cuando Xn =0 o Xn=J.
• Es el modelo de un jugador de azar que se detiene cuando cuando lo pierde todo(ruina), Xn=0.
• O cuando alcanza el objetivo de ganancia, Xn=J.
Digrama de Transicion
M.Sc. Jose Angel Pineda
Ruina de JugadorEs una caminata aleatoria, pero para de moverse cuando Xn =0 o Xn=J.
• Es el modelo de un jugador de azar que se detiene cuando cuando lo pierde todo(ruina), Xn=0.
• O cuando alcanza el objetivo de ganancia, Xn=J.
Digrama de Transicion
M.Sc. Jose Angel Pineda
• Los estados son 0, 1, 2, …, J. (Numero finito de estados)
• Probabilidades de Transición son
• Pij=0 para todas las demás transiciones
• Estados 0 y J son llamados absorbentes. Una vez ahí, se queda para siempre.
Chapman-Kolmogorov
Ya hemos definido las probabilidades de transición de un paso Pij. Ahora definimos las probabilidades
de transición de n pasos 𝑃𝑖𝑗𝑛 como la probabilidad de que un proceso en estado i esté en estado j después
de n transiciones adicionales. Es decir,
Por supuesto que
M.Sc. Jose Angel Pineda
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas
probabilidades de transición de n pasos. Estas ecuaciones son
Donde representa la probabilidad de que comenzando en i el proceso vaya al estado j en n+m
transiciones a través de una ruta que lo lleva al estado k en la enésima transición.
Chapman-Kolmogorov
Por lo tanto, la suma de todos los estados intermedios k produce la probabilidad de que el
proceso esté en el estado j después de n + m transiciones. Formalmente tenemos
M.Sc. Jose Angel Pineda
Teoria de la Probabilidad
35
National Autonomous University of HondurasEjemplo #4
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
Ejemplo 4
Considere nuevamente el ejemplo del clima, que es una cadena de Markov de dos estados.
Si α = 0.7 y β = 0.4, calcule la probabilidad de que llueva dentro de cuatro días dado que está
lloviendo hoy.
Solución
M.Sc. Jose Angel Pineda
Ejemplo 4
Considere nuevamente el ejemplo del clima, que es una cadena de Markov de dos estados.
Si α = 0.7 y β = 0.4, calcule la probabilidad de que llueva dentro de cuatro días dado que está
lloviendo hoy.
Solución
M.Sc. Jose Angel Pineda
La matriz de probabilidad de transición de un paso está dada por
Entonces
Ejemplo 4
Considere nuevamente el ejemplo del clima, que es una cadena de Markov de dos estados.
Si α = 0.7 y β = 0.4, calcule la probabilidad de que llueva dentro de cuatro días dado que está
lloviendo hoy.
Solución
M.Sc. Jose Angel Pineda
La probabilidad deseada es 𝑃004 = 0.5749
39
Asignación
M.Sc. Jose Angel Pineda
Calcule la matriz de transición para el día después de
mañana.
Explique que significa cada uno de esos valores
40
Enviar las tareas al correo
josepineda@naver.com
Enviar en un solo document con:
• Nombre
• Numero de cuenta
• Clase
Teoria de la Probabilidad
41
National Autonomous University of HondurasQ/A
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn
Teoria de la Probabilidad
42
National Autonomous University of HondurasGracias por su atencion
M.Sc. Jose Angel PinedaProfesor
jpinedao@unah.edu.hn