ndice

Programacin Dinmica Probabilstica Teora y Ejemplo. Pg. 2-6

Programacin Dinmica Determinista Teora y Ejemplo.. Pg. 7-11

Programacin Dinmica Probabilstica

La programacin dinmica probabilstica difiere de la programacin dinmica determinstica en que el estado de la etapa siguiente no queda completamente determinado por el estado y la decisin de la poltica en el estado actual. En lugar de ello existe una distribucin de probabilidad para lo que ser el estado siguiente. Sin embargo, esta distribucin de probabilidad todava esta completamente determinada por el estado y la decisin de la poltica del estado actual. En la siguiente figura se describe diagramticamente la estructura bsica que resulta para la programacin dinmica probabilstica, en donde N denota el nmero de estados posibles en la etapa n+1.

Cuando se desarrolla de esta forma para incluir todos los estados y decisiones posibles en todas las etapas, a veces recibe el nombre de rbol de decisin. Si el rbol de decisin no es demasiado grande, proporciona una manera til de resumir las diversas posibilidades que pueden ocurrir.

Ejemplo

PROBLEMA DE LA DILIGENCIA.

Este problema trata sobre un cazafortunas de Missouri que decide ir al oeste a unirse a la fiebre del oro en California a mediados del siglo XIX.Tiene que hacer el viaje en diligencia a travs de territorios sin ley cuando existan serios peligros de ser atacado. An cuando su punto de partida y su destino eran fijos, tena muchas opciones en cuanto a qu estados deba elegir como puntos intermedios. En el diagrama siguiente se ilustran las posibles rutas en donde la direccin del viaje es siempre de izquierda a derecha.

E

643

4HB

JFAC

I

3

34436724

1

GD

3

5

234

Se requieren 4 etapas para viajar desde su punto de partida en el estado A a su destino en el estado J. Preocupado por la seguridad de su viaje se le ocurri una manera bastante ingeniosa para determinar la ruta ms segura. Se le ofrecan plizas de seguros de vida a los viajeros de manera que para determinar la ruta ms segura habra que elegir la que tuviera el menor costo total de la pliza.Los costos de las plizas vienen dados en el diagrama. El problema es determinar la ruta que minimiza el costo total de la pliza.Observemos primero que el procedimiento de elegir la ruta ms barata en cada etapa sucesiva no conduce a una decisin ptima global. Al seguir esta estrategia se obtiene la ruta A,B,F,I,J con un costo de 13, pero un pequeo sacrificio en una etapa permite mayores ahorros en la etapa siguiente, as por ejemplo, A,D, F es ms barato que A,B,F.La programacin dinmica empieza con una pequea porcin del problema original y encuentra la solucin ptima para este problema pequeo. En el problema de la diligencia se comienza con el problema sencillo en el que el agente casa ha llegado al final de su viaje y slo tiene una etapa ms por recorrer. En cada una de las iteraciones siguientes, el problema se agranda aumentando de uno en uno el nmero de etapas que le quedan por recorrer para completar el viaje.

Formulacin:Seanxn = variables que representan el destino inmediato de la etapa n.fn(s,xn) = costo total = costo inmediato (etapa n) + mnimo costo futuro (etapas n+1 en adelante) = csxn+ fn+1*(s,xn*) fn*(s) = mn fn(s,xn) = fn(s,xn*) Como el destino final (estado J) se alcanza al terminar la etapa 4, f5*(J) = 0.El objetivo es encontrar f1*(A) y la ruta correspondiente.La programacin dinmica la encuentra al hallar sucesivamente f4*(s), f3*(s), f2*(s) para cada uno de los estados posibles s y usar despus f2*(s) para encontrar f1*(A).Procedimiento de solucin:

n = 4sf4*(s)x4*

H3J

I4J

n = 3sHIf3*(s)x3*

E484H

F977I

G676H

n = 2sEFGf2*(s)x2*

B11111211E F

C79107E

D88118E F

n = 1sBCDf1*(s)x1*

A13111111C D

En este punto se puede identificar una solucin ptima a partir de las 4 tablas: A-C-E-H-J o bien A-D-E-H-J o bien A-D-F-I-J.

Programacin Dinmica Determinstica

En la programacin determinstica el estado en la siguiente etapa est Completamente determinado por el estado y la poltica de decisin de la etapa actual.

Manera de Clasificar los Problemas de Programacin Dinmica:

Forma de la funcin objetiva. Minimizar la suma de las contribuciones en cada una de las etapas individuales, o maximizar esa suma, o bien minimizar el producto de los trminos, etc.Naturaleza del conjunto de estados en las respectivas etapas. Los estados si pueden estar representados por:

1- Una variable discreta2- Una variable de estado Continua3- O un vector de estado (mas de una variable)Para resolver un problema de programacin dinmica debemos al menos: Identificacin de etapas, estados y variable de decisin:Cada etapa debe tener asociado una o mas decisiones (problema de 0ptimizacion), cuya dependencia de las decisiones anteriores esta dada exclusivamente por las variables de estado.

Cada estado debe contener toda la informacin relevante para la toma de decisin asociada al perodo. Las variables de decisin son aquellas sobre las cuales debemos definir su valor de modo de optimizar el beneficio acumulado y modificar el estado de la proxima etapa. Descripcin de ecuaciones de recurrencia: Nos deben indicar como se acumula la funcin de beneficios a optimizar (funcin objetivo) y como varan las funciones de estado de una etapa a otra. Resolucin Debemos optimizar cada subproblema por etapas en funcin de los resultados de la resolucin del subproblema siguiente. Notar que las para que las recurrencias estn bien definidas requerimos de condiciones de borde.EJEMPLO

Cierto estudiante desea destinar los siete das de la semana prxima a estudiar cuatro cursos. Necesita al menos un da para cada curso y el puntaje que puede lograr se da en la siguiente tabla:

Das de estudioCurso 1Curso 2Curso 3Curso 4

113151216

215151216

316161719

417191819

Cuntos das debe estudiar cada curso para lograr un puntaje?

Fuentes de informacin:http://datateca.unad.edu.co/contenidos/102016/CONTENIDOS/Exe_nuevo/leccin_29_programacin_dinmica_probabilistica.htmlhttp://datateca.unad.edu.co/contenidos/102016/CONTENIDOS/Exe_nuevo/leccin_27_programacin_dinmica_deterministica.htmlhttp://www.itescam.edu.mx/portal/asignatura.php?clave_asig=INB-0412&carrera=IIND0405001&id_d=145http://carlaulloa.blogspot.mx/2011/05/problemas-de-programacion-dinamica.html