Petr Veverka - Infinite Time Maximum Principle
-
Upload
petr-veverka -
Category
Documents
-
view
225 -
download
0
Transcript of Petr Veverka - Infinite Time Maximum Principle
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
1/15
I n n i t e h o r i z o n m a x i m u m p r i n c i p l e f o r t h e d i s -
c o u n t e d c o n t r o l p r o b l e m
P e t r V e v e r k a
2 n d y e a r o f P G S , e m a i l : v e v e r p e 2 @ f j f i . c v u t . c z
D e p a r t m e n t o f M a t h e m a t i c s , F a c u l t y o f N u c l e a r S c i e n c e s a n d P h y s i c a l
E n g i n e e r i n g , C T U
a d v i s o r : P r o f . R N D r . B o h d a n M a s l o w s k i , D r S c . ,
A b s t r a c t .
I n t h i s a r t i c l e , t h e p r o o f o f P o n t r y a g i n ' s m a x i m u m p r i n c i p l e f o r i n n i t e h o r i z o n
d i s c o u n t e d s t o c h a s t i c c o n t r o l p r o b l e m i s g i v e n . A s u c i e n t v e r s i o n o f t h e m a x i m u m p r i n c i p l e i s
c o n s i d e r e d , i . e . t h e m a x i m a l i t y a n d c o n c a v i t y o f t h e a s s o c i a t e d H a m i l t o n i a n f u n c t i o n i s a s s u m e d .
T h e c r u c i a l m e t h o d u s e d i s t h e a p p r o x i m a t i o n o f t h e ( i n n i t e h o r i z o n ) b a c k w a r d a d j o i n t p r o c e s s .
F i n a l l y , s o m e b a s i c e x a m p l e s f r o m n a n c e a r e g i v e n t o s h o w t h e u s a g e o f t h e m a x i m u m p r i n c i p l e .
A b s t r a k t .
V t o m t o l n k u j e u v e d e n d k a z P o n t r y a g i n o v a p r i n c i p u m a x i m a p r o d i s k o n t o v a n o u
l o h u z e n . V t a j e v y s l o v e n a v e s m y s l u p o s t a u j c p o d m n k y p r o o p t i m l n z e n , t j . p r o
H a m i l t o n o v u f u n k c i j e p e d p o k l d n a k o n k a v i t a a p l a t n o s t p o d m n k y m a x i m a l i t y . K l o v k r o k
v d k a z u j e a p r o x i m a c e e e n z p t n ( s d r u e n ) s t o c h a s t i c k d i f e r e n c i l n r o v n i c e . N a z v r j s o u
u v e d e n y p k l a d y u i t d o k z a n h o p r i n c i p u m a x i m a p r o t y p o v p k l a d y z o b l a s t i o p t i m l n h o
i n v e s t o v n a s t o c h a s t i c k c h n a n c .
1 I n t r o d u c t i o n
A t p r e s e n t , t h e e l d o f s t o c h a s t i c c o n t r o l i s w i d e l y u s e d i n m a n y s p h e r e s o f r e a l l i f e w h e r e ,
i n a n y f o r m , o p t i m a l p e r f o r m a n c e s a r e d e s i r e d . I m p o r t a n t e x a m p l e s o f i t s a p p l i c a b i l i t y
c o m e f r o m d o m a i n s s u c h a s n a n c i a l m a t h e m a t i c s ( m a n a g i n g n a n c i a l p o r t f o l i o s , h e d g i n g
t a s k s , d e n i n g i n v e s t m e n t s s t r a t e g i e s e t c . ) , h a r v e s t i n g o f r o w m a t e r i a l s ( n d i n g o p t i m a l
h a r v e s t i n g s c e n a r i o s w i t h r e s p e c t t o c u r r e n t m a r k e t p r i c e o f t h e c o m m o d i t y ) , e n g i n e e r i n g
( v i b r a t i o n a b s o r b i n g ; o p t i m a l r e g u l a t i o n o f t e m p e r a t u r e , p o w e r e t c . ) a n d m a n y o t h e r s .
T h i s s h o w s h o w i m p o r t a n t i t i s t o i n v e s t i g a t e t h e p o s s i b i l i t i e s o f m a t h e m a t i c a l d e s c r i p t i o n
o f t h e p r o b l e m i n q u e s t i o n , n d i n g o p t i m a l c o n t r o l t o t h e p r o b l e m ( i f i t i s p o s s i b l e ) o r
a p p r o x i m a t i n g t h e o p t i m a l s o l u t i o n i f t h e o p t i m u m i s n o t e a s y t o n d , a n d , o f c o u r s e , i n
t h a t c a s e , e v a l u a t i n g t h e e r r o r o f u s i n g t h i s a p p r o x i m a t e s o l u t i o n .
I n t h i s p a p e r , t h e d i s c o u n t e d s t o c h a s t i c c o n t r o l p r o b l e m i s c o n s i d e r e d . T h i s k i n d o f
p r o b l e m i s v e r y p o p u l a r a n d p l e n t i f u l l y u s e d i n t h e d o m a i n o f s t o c h a s t i c n a n c e s i n c e i t
l e a d s t o m a x i m i z i n g t h e a v e r a g e d i s c o u n t e d a g e n t ' s u t i l i t y . T h e a p p r o a c h t o t h e s o l u t i o n
h e r e i s t h e m a x i m u m p r i n c i p l e w h i c h , i n d e t e r m i n i s t i c s e t t i n g , w a s f o r m u l a t e d i n 1 9 5 0 s
b y t h e g r o u p o f L . S . P o n t r y a g i n . F o r d i u s i o n s , t h e m a x i m u m p r i n c i p l e h a s b e e n s t u d i e d
b y m a n y r e s e a r c h e r s . T h e e a r l i e s t v e r s i o n s o f a m a x i m u m p r i n c i p l e f o r s u c h p r o c e s s w e r e
g i v e n b y K u s h n e r [ 6 ] a n d B i s m u t [ 7 ] . F u r t h e r p r o g r e s s o n t h e s u b j e c t w a s s u b s e q u e n t l y
T h e r e s u l t o f t h i s p a p e r w a s m a d e w i t h i n m y P h D . s t u d y p r o g r a m m e a t F a c u l t y o f N u c l e a r S c i e n c e s
a n d P h y s i c a l E n g i n e e r i n g , C z e c h T e c h n i c a l U n i v e r s i t y i n P r a g u e .
1
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
2/15
2 2 P R E L I M I N A R I E S
m a d e b y B e n s o u s s a n [ 8 ] , P e n g [ 9 ] , a n d C a d e n i l l a s a n d H a u s s m a n n [ 1 0 ] . O r i g i n a l l y , t h e
m a i n t e c h n i c a l t o o l u s e d w h e n c o n s i d e r i n g m a x i m u m p r i n c i p l e w a s t h e c a l c u l u s o f v a r i a t i -
o n s w h i c h w a s n o t e a s y t o a p p l y t o r e a l e x a m p l e s a n d w a s d i c u l t t o s i m u l a t e . T h i s w a s
t h e r e a s o n w h y t h e a p p r o a c h v i a m a x i m u m p r i n c i p l e w a s r a t h e r t h e o r e t i c a l a n d d i s c o m -
t e d b y t h e d y n a m i c p r o g r a m m i n g a p p r o a c h . T h e t u r n i n g p o i n t w h i c h l e d t o i t s i n t e n s i v e
s t u d y w a s t h e p a p e r [ 4 ] b y P a r d o u x a n d P e n g w h o f o r m u l a t e d t h e g e n e r a l p r o b l e m o f
B S D E a n d p r o v e d t h e e x i s t e n c e a n d u n i q u e n e s s t h e o r e m s . B S D E ' s p r o v i d e a n e l e g a n t
a n d e a s y - t o - h a n d l e t o o l t o d e s c r i b e t h e a d j o i n t ( s h a d o w p r i c e ) p r o c e s s e s t o t h e c o n t r o l
p r o b l e m a n d t o f o r m u l a t e t h e m a x i m u m p r i n c i p l e u s i n g t h e H a m i l t o n i a n f u n c t i o n . F o r
d i u s i o n s w i t h j u m p s , a n e c e s s a r y m a x i m u m p r i n c i p l e o n t h e n i t e t i m e h o r i z o n w a s
f o r m u l a t e d b y T a n g a n d L i [ 1 1 ] w h e r e a s s u c i e n t o p t i m a l i t y c o n d i t i o n s o n n i t e t i m e
h o r i z o n w e r e s p e c i e d b y k s e n d a l , S u l e m a n d F r a m s t a d [ 1 ] .
T h e p a p e r i s o r g a n i z e d a s f o l l o w s : i n t h e s e c o n d s e c t i o n , s o m e k n o w n r e s u l t s o n F B -
S D E w i t h i n n i t e h o r i z o n a n d s t o c h a s t i c c o n t r o l w i t h n i t e h o r i z o n a r e p r o v i d e d . T h e
f o r m u l a t i o n o f t h e d i s c o u n t e d p r o b l e m i s i n t h e t h i r d s e c t i o n . F o u r t h s e c t i o n c o n t a i n s
t h e m a i n r e s u l t o f t h e p a p e r - t h e f o r m u l a t i o n a n d p r o o f o f t h e s u c i e n t i n n i t e t i m e
m a x i m u m p r i n c i p l e f o r t h e d i s c o u n t e d p r o b l e m . T h e l a s t s e c t i o n g i v e s s o m e e x a m p l e s
f r o m n a n c e .
2 P r e l i m i n a r i e s
2 . 1 B a s i c n o t a t i o n
W e a r e g i v e n a b a s i c p r o b a b i l i t y s p a c e
,F,P
,Rd
- v a l u e d s t a n d a r d W i e n e r p r o c e s s
W =
Wtt0
. L e t
FWt
t0
b e t h e c a n o n i c a l l t r a t i o n o f W
, i . e . FWt =
Ws; s t
,
a n d
Ft
t0
b e i t s U C c o m p l e t i o n . W e d e n o t e F =
t0Ft F. F u r t h e r , w e s i m p l i f y
t h e n o t a t i o n P - a . s . j u s t t o a . s .
2 . 2 S o m e k n o w n r e s u l t s o n F B S D E i n i n n i t e t i m e h o r i z o n
W h e n a p p l y i n g t h e m a x i m u m p r i n c i p l e t o s t o c h a s t i c c o n t r o l p r o b l e m s , t h e c l a s s o f F o r w a r d -
B a c k w a r d S t o c h a s t i c D i e r e n t i a l E q u a t i o n s ( F B S D E i n s h o r t ) n a t u r a l l y a r i s e s i n f o r m o f
a c o u p l e d s y s t e m o f t h e s t a t e ( f o r w a r d ) e q u a t i o n f o r t h e c o n t r o l l e d d i u s i o n a n d t h e d u a l
( b a c k w a r d ) e q u a t i o n f o r g e n e r a l i z e d L a g r a n g e m u l t i p l i c a t o r s a s i t w i l l b e s e e n l a t e r i n
t h e p a p e r . F o r t h a t r e a s o n w e p r e s e n t h e r e s o m e i m p o r t a n t r e s u l t s o n F B S D E ( w i t h o u t
t h e c o n t r o l p r o c e s s ) i n i n n i t e t i m e h o r i z o n w h i c h c a n b e f o u n d i n [ 5 ] .
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
3/15
2 . 2 S o m e k n o w n r e s u l t s o n F B S D E i n i n n i t e t i m e h o r i z o n 3
L e t u s c o n s i d e r t h e f o l l o w i n g f u l l y c o u p l e d s y s t e m o f e q u a t i o n s
dXt = b(t, Xt, ut, Yt, Zt, )dt + (t, Xt, ut, Yt, Zt, )dWt, t 0 a.s. ( 2 . 1 )
X0 = x Rn,
Yt =
+t
h(s, Xs, us, Ys, Zs)ds
+t
ZsdWs, t 0, a.s.
( 2 . 2 )
w h e r e U Rk, U c l o s e d , b, h : R+ R
n U Rn Rnd Rn , : R+ Rn
URn Rnd Rnda r e c o n t i n u o u s i n v a r i a b l e s
(x,y ,z)I n t h e l a t t e r w e o m i t t h e
n o t a t i o n o f t h e d e p e n d e n c e o n
. F u r t h e r w e m a k e t h e f o l l o w i n g a s s u m p t i o n s
( H 1 ) b(, x , u , y , z), h(, x , u , y , z)
a n d(, x , u , y , z)
a r e(Ft)- p r o g r e s s i v e l y m e a s u r a b l e
r a n d o m p r o c e s s e s f o r a l l (x,u,y ,z) Rn U Rn Rnd .
( H 2 ) F o r a n y t,x,x1, x2, u , y , y1, y2 a n d z , t h e r e e x i s t 1, 2 R s u c h t h a t a . s .
x1 x2, b(t, x1, u , y , z) b(t, x2, u , y , z) 1||x1 x2||2,
( 2 . 3 )
y1 y2, h(t,x,u,y1, z) h(t,x,u,y2, z) 2||y1 y2||2,
( 2 . 4 )
( H 3 ) F o r a n y t,x,x1, x2, u , y , y1, y2, z1, z2 t h e r e e x i s t k, ki, ci 0, i = 1, 2 s u c h t h a t a . s . ||b(t,x,u,y1, z1) b(t,x,u,y2, z2)|| k1||y1 y2|| + k2||z1 z2||, ( 2 . 5 )
||h(t, x1, u , y , z1) h(t, x2, u , y , z2)|| c1||x1 x2|| + c2||z1 z2||, ( 2 . 6 )
||b(t,x,u, 0, 0)|| ||b(t, 0, u, 0, 0)|| + k(1 + ||x||),( 2 . 7 )
||h(t, 0,u,y , 0)|| ||h(t, 0, u, 0, 0)|| + (||y||),( 2 . 8 )
w h e r e : R+ R+ i s a c o n t i n u o u s i n c r e a s i n g f u n c t i o n .
( H 4 ) F o r a n y t, xi, u , yi, zi, i = 1, 2 t h e r e e x i s t k3, k4, k5 0 s u c h t h a t a . s .
||
(t, x
1, u , y
1, z
1)
(t, x
2, u , y
2, z
2)||
2
k3||
x1
x2||
2
+k2||
y1
y2||
2
+k5||
z1
z2||
2.
( 2 . 9 )
( H 5 ) T h e r e e x i s t c o n s t a n t s R, 1, 2 > 0 s u c h t h a t
22 + 4c21 + 2c
22 + 1 < < 21 k3 k11 k22 (k1
11 + k4) (k2
12 + k5),
( 2 . 1 0 )
E+0 e
t||b(t, 0, ut, 0, 0)||
2
+ ||(t, 0, ut, 0, 0)||2
+ ||h(t, 0, ut, 0, 0)||2
dt < +.( 2 . 1 1 )
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
4/15
4 2 P R E L I M I N A R I E S
D e n i t i o n 1 : A t r i p l e o f
Ft - a d a p t e d p r o c e s s e s (Xt, Yt, Zt)t0 i s c a l l e d a n a d a p t e d s o l u - t i o n t o F B S D E ( 2 . 1 ) i f t h e f o l l o w i n g h o l d s :
Xt = x +
t0
b(s, Xs, us, Ys, Zs)ds +
t0
(s, Xs, us, Ys, Zs)dWs, t 0, a.s. ( 2 . 1 2 )
Yt =
+t
h(s, Xs, us, Ys, Zs)ds
+t
ZsdWs, t 0, a.s. ( 2 . 1 3 )
E
+0
et
||Xt||2 + ||Yt||
2 + ||Zt||2
dt < +.( 2 . 1 4 )
W e d e n o t e t h e s p a c e L2(R+;R
n)t h e s p a c e o f a l l R
n- v a l u e d
Ft - a d a p t e d p r o c e s s e s
(t)t0 s u c h t h a t
||||2 = E
+0
et||t||2dt < +.
( 2 . 1 5 )
T h e s p a c e L2(R+;R
nd)i s d e n e d s i m i l a r l y . T h e m a i n r e s u l t i n [ 5 ] , T h e o r e m 3 . 1 ,
s t a t e s t h a t
T h e o r e m 2 . 1 . A s s u m e ( H 1 ) - ( H 5 ) h o l d . T h e n t h e r e e x i s t s a u n i q u e s o l u t i o n
(Xt, Yt, Zt)t0t o t h e F B S D E ( 2 . 1 ) i n
L2(R+;Rn) L2(R+;R
n) L2(R+;Rnd)
.
F u r t h e r , w e p r e s e n t i n s h o r t t h e c o n s t r u c t i o n o f t h e s o l u t i o n o f t h e b a c k w a r d e q u a t i o n
i n ( 2 . 1 ) . T h e a p p r o x i m a t i o n t e c h n i q u e w a s p r o p o s e d b y P a r d o u x i n [ 3 ] w h e r e h e p r o v e d
t h a t t h e B S D E w i t h r a n d o m ( p o s s i b l y i n n i t e ) t e r m i n a l t i m e
Yt = YT +
Tt
h(s, Ys, Zs)ds
Tt
ZsdWs, T > 0 a.s. ( 2 . 1 6 )
h a s a u n i q u e s o l u t i o n
(Yt, Zt)t0 L2(R+;R
n) L2(R+;Rnd)
u n d e r t h e a s s u m p t i o n s
( H 1 ) - ( H 5 ) .
T h e s o l u t i o n t o ( 2 . 1 6 ) i s o b t a i n e d a s l i m i t o f t h e a p p r o x i m a t i o n s e q u e n c e
(Ynt , Znt )t0
w h e r e
Ynt = E
|Fn
+
nt
1[0,](s)h(s, Ys, Zs)ds
nt
1[0,](s)ZsdWs, 0 t n
Ynt = E
|Ft
, for t n.( 2 . 1 7 )
T h e s o l u t i o n p r o c e s s (Znt )t0 i s o b t a i n e d b y t h e c l a s s i c a l m a r t i n g a l e r e p r e s e n t a t i o n
a r g u m e n t . T h e c o n v e r g e n c e i s w i t h r e s p e c t t o t h e t o p o l o g y i n d u c e d b y t h e n o r m
Esup0te
t
||Yt||
2
+0 e
t
||Yt||
2
dt +0 e
t
||Zt||
2
dt
,( 2 . 1 8 )
f o r s o m e
g i v e n b y p r o p e r t i e s o f t h e g e n e r a t o r h
.
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
5/15
2 . 3 S o m e k n o w n r e s u l t s o n s t o c h a s t i c c o n t r o l i n n i t e t i m e h o r i z o n 5
2 . 3 S o m e k n o w n r e s u l t s o n s t o c h a s t i c c o n t r o l i n n i t e t i m e h o r i -
z o n
L e t T > 0 b e a n i t e t i m e h o r i z o n a n d Xt b e a c o n t r o l l e d d i u s i o n p r o c e s s i n Rn
, i . e . Xti s a s t r o n g s o l u t i o n t o t h e S D E
dXs = b(s, Xs, us)ds + (s, Xs, us)dWs, s (t, T] a.s. ( 2 . 1 9 )
Xt = x,
w h e r e (us) U(t, x) i s U- v a l u e d c o n t r o l p r o c e s s , U R
k,
U(t, x)i s a s e t o f a d m i s s i b l e
c o n t r o l s , b
a n d
a r e t w o m e a s u r a b l e f u n c t i o n s e n s u r i n g s t r o n g e x i s t e n c e o f t h e s o l u t i o n
t o
(2.19)f o r a l l
(us) U(t, x) .F u r t h e r m o r e , l e t
f Ca n d
g C1
b e t w o f u n c t i o n s s o t h a t t h e f o l l o w i n g f u n c t i o n a l
J(t,x,u) = E T
t
f(s, Xt,xs , us)ds + g(Xt,xT )
( 2 . 2 0 )
i s m e a n i n g f u l ( i . e . i t c o n v e r g e s ) a n d w e d e n e t h e c o s t ( o r v a l u e ) f u n c t i o n v(t, x)
b y
v(t, x) = supuU(t,x)
J(t,x,u).( 2 . 2 1 )
T h e g o a l i s t o n d s u c h a s t r a t e g y u U(t, x)
s o t h a t
v(t, x) = J(t,x,u).
ui s c a l l e d o p t i m a l c o n t r o l .
L e t u s d e n e g e n e r a l i z e d H a m i l t o n i a n o f t h e p r o b l e m b y
H(t,x,u,y ,z) =
b(t,x,u), y
+ T r
(t,x,u)z
+ f(t,x,u).
W e s u p p o s e t h a t H
i s d i e r e n t i a b l e i n x
( d e n o t e d a s xH ) a n d w e c o n s i d e r t h e
f o l l o w i n g B S D E
dYt = xH(t, Xt, ut, Yt, Zt)dt ZtdWt, t [0, T) a.s.
YT = xg(XT) a.s. ( 2 . 2 2 )
T h e n w e c a n f o r m u l a t e t h e m a x i m u m p r i n c i p l e o n n i t e t i m e h o r i z o n p r o v i d i n g s u c i e n t
c o n d i t i o n s f o r t h e o p t i m a l s t r a t e g y u
. F o r t h e p r o o f a n d i n t e r e s t i n g r e f e r e n c e s s e e [ 1 2 ] .
T h e o r e m 2 . 2 ( S t o c h a s t i c P o n t r y a g i n ' s m a x i m u m p r i n c i p l e ) . L e t u U(t, x) a n d X b et h e a s s o c i a t e d c o n t r o l l e d d i u s i o n p r o c e s s . F u r t h e r , l e t u s s u p p o s e t h a t t h e r e e x i s t s a
s o l u t i o n (Y , Z)
t o a s s o c i a t e d B S D E ( 2 . 2 2 ) s u c h t h a t
H(t, Xt, u, Yt, Zt) = maxuU
H(t, Xt, u, Yt, Zt), t [0, T] a.s.
(x, u) H(t,x,u, Yt, Zt) i s a c o n c a v e f u n c t i o n f o r a l l t .
T h e n u = u
, i . e . u
i s o p t i m a l c o n t r o l s t r a t e g y t o t h e s t o c h a s t i c c o n t r o l p r o b l e m ( 2 . 1 9 )
- ( 2 . 2 1 ) .
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
6/15
6 3 D I S C O U N T E D C O N T R O L P R O B L E M
3 D i s c o u n t e d c o n t r o l p r o b l e m
I n t h i s s e c t i o n , w e c o n s i d e r t h e s t o c h a s t i c c o n t r o l p r o b l e m o v e r w h o l e
R+. T h e f u n c t i o n a l
t o b e m a x i m i s e d i s t h e d i s c o u n t e d o n e a s d e n e d b e l o w .
T h e c o n t r o l l e d s t a t e p r o c e s s (Xt)t0 i s a s t r o n g s o l u t i o n t o t h e f o l l o w i n g c o n t r o l l e d
S D E o n R+
dXt = b(Xt, ut)dt + (Xt, ut)dWt, t 0 a.s. ( 3 . 1 )
X0 = x,
w h e r e t h e r a n d o m f u n c t i o n s b,
s a t i s f y a s s u m p t i o n s ( H 1 ) - ( H 5 ) . T h e f u n c t i o n a l c o n -
s i d e r e d h e r e i s o f t h e f o r m
J(x, u) = E +
0
etf(Xt, ut)dt
,( 3 . 2 )
w h e r e f C(Rn U;R) i s t h e p e n a l i z a t i o n ( o r a p p r e c i a t i o n ) f u n c t i o n o v e r R+ s u c h
t h a t J(x, u)
c o n v e r g e s a n d > 0
i s t h e d i s c o u n t f a c t o r .
F u r t h e r , w e d e n e t h e c o s t f u n c t i o n v(x)
b y
v(x) = sup
uU
(x)
J(x, u).( 3 . 3 )
T h e g o a l i s t o n d s u c h a s t r a t e g y u U(x)
s o t h a t t h e s u p r e m u m i n ( 3 . 3 ) i s a t t a i n e d
i nu
, i . e . v(x) = J(x, u)
.
3 . 1 H a m i l t o n i a n o f t h e s y s t e m
W e d e n e a g e n e r a l i z e d H a m i l t o n i a n
Ha s s o c i a t e d t o c o n t r o l p r o b l e m ( 3 . 1 ) - ( 3 . 3 ) b y
H : Rn U Rn Rnd R a n d
H(x,u,y ,z) =
b(x, u), y
+ T r((x, u)
z) + f(x, u)
x, y
,( 3 . 4 )
w h e r e
,
d e n o t e s i n n e r p r o d u c t i n Rn
. T h e H a m i l t o n i a n i s a n a n a l o g y t o t h e
L a g r a n g e f u n c t i o n i n t h e t h e o r y o f c o n s t r a i n e d o p t i m i z a t i o n s i n c e t h e v a r i a b l e s y
a n d
zc a n b e v i e w e d a s " g e n e r a l i z e d L a g r a n g e m u l t i p l i c a t o r s a n d t h e f u n c t i o n s
ba n d
a s
t h e c o n s t r a i n t s f o r t h e s p a c e p r o c e s s Xt . W e s t r e s s t h a t t h e e x t r e m a l p o i n t o f H w . r . t .
ud o e s n o t d e p e n d o n t h e l a s t t e r m
x, y
a n d t h e c o n c a v i t y / c o n v e x i t y w . r . t . (x, u)
n e i t h e r .
W e s u p p o s e t h a t
Hi s d i e r e n t i a b l e i n
x( w i t h t h e g r a d i e n t d e n o t e d a s
xH ) a n d w e c o n s i d e r t h e f o l l o w i n g B S D E
Yt =
+
t
xH(Xs, us, Ys, Zs)ds
+
t
ZsdWs, t 0 a.s..
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
7/15
7
4 I n n i t e h o r i z o n s u c i e n t m a x i m u m p r i n c i p l e
I n t h i s s e c t i o n , t h e m a i n r e s u l t i s g i v e n .
T h e o r e m 4 . 1 ( S u c i e n t s t o c h a s t i c m a x i m u m p r i n c i p l e ) . L e tu U(x)
a n dX
b e t h e
a s s o c i a t e d c o n t r o l l e d d i u s i o n p r o c e s s . F u r t h e r , l e t u s s u p p o s e t h a t t h e r e e x i s t s a s o l u t i o n
(Y , Z)t o t h e a s s o c i a t e d B S D E ( 3 . 5 ) s u c h t h a t
H(Xt, u, Yt, Zt) = maxuU
H(Xt, u, Yt, Zt), t R+, a.s.
(x, u) H(x,u, Yt, Zt) i s a c o n c a v e f u n c t i o n f o r a l l t.
T h e n u = u
, i . e . u
i s t h e o p t i m a l c o n t r o l s t r a t e g y t o t h e s t o c h a s t i c c o n t r o l p r o b l e m
( 3 . 1 ) - ( 3 . 3 ) .
P r o o f : L e t u s t a k e a n a r b i t r a r y u U(x)
a n d e x a m i n e t h e d i e r e n c e J(x, u) J(x, u)
.
T h e g o a l i s t o s h o w t h a t t h i s q u a n t i t y i s n o n n e g a t i v e .
U s i n g t h e d e n i t i o n o f J(x, u)
a n dH
w e h a v e
J(x, u) J(x, u) = E
+0
et
f(Xt, ut) f(Xt, ut)
dt =
E+
0
etH(Xt, ut, Yt, Zt) H(Xt, ut, Yt, Zt)dt+E
+0
et
b(Xt, ut) b(Xt, ut), Yt
dt+
E
+0
etT r
(Xt, ut) (Xt, ut)
Zt
dt +E
+0
et
Xt Xt
Ytdt. ( 4 . 1 )
T h e L e b e s g u e i n t e g r a l o v e r R+ c a n b e e x p r e s s e d ( f r o m F u b i n i ' s t h e o r e m a n d e x i s t e n c e
o f t h e o r i g i n a l i n t e g r a l ) a s t h e f o l l o w i n g l i m i t
E+
0
Itdt = limT+
ET
0
Itdt, ( 4 . 2 )
w h e r e It i s t h e i n t e g r a n d o f ( 4 . 1 ) .
F u r t h e r , w e d e n e a n e w p a i r o f s o l u t i o n p r o c e s s e s
(YTt , ZTt ) o f t h e n e w B S D E o n [0, T]
dYTt = xH(Xt, ut, YTt , Z
Tt )dt Z
Tt dWt, t [0, T) a.s.
YTT = xg(XT) 0, a.s. ( 4 . 3 )
f o r a f u n c t i o n g 0 . W e n o t e t h a t t h e p a i r (YTt , ZTt )t[0,T] c a n b e d e n e d o n R+ b y
l a y i n g YTt = 0 f o r t > T a n d Z
Tt = 0 f o r t > T. T h i s w a y w e o b t a i n a n a p p r o x i m a t i o n
p r o c e s s
(Y
T
t ,
Z
T
t )tR+o f t h e s o l u t i o n t o t h e a s s o c i a t e d B S D E ( 3 . 5 ) e x a c t l y a c c o r d i n g t o
t h e a p p r o a c h b y P a r d o u x ( 2 . 1 7 ) .
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
8/15
8 4 I N F I N I T E H O R I Z O N S U F F I C I E N T M A X I M U M P R I N C I P L E
N o w , u s i n g a g a i n t h e c t i v e f u n c t i o n g 0
i n t h e d e n i t i o n o f t h e f u n c t i o n a l J(x, u)
( a s a n a n a l o g y t o t h e n i t e t i m e h o r i z o n c a s e ) , o n e c a n i m a g i n e t h e n e w f u n c t i o n a l ( o r
b e t t e r , t h e d i e r e n c e o f f u n c t i o n a l s ) i n ( 4 . 2 )
J(x, u) J(x, u) := limT+
E
T0
Itdt + g(XT) g(XT)
( 4 . 4 )
a n d f u r t h e r , u s i n g t h e s u p e r g r a d i e n t i n e q u a l i t y f o r C1
c o n c a v e f u n c t i o n s w e h a v e
0 = g(XT) g(XT)
XT XT
xg(XT) =
XT XT
YTT =
XT XT
eTYTT
s i n c e
YTT = 0 a.s. A p p l y i n g t h e I t f o r m u l a t o t h e l a s t e x p r e s s i o n a n d t a k i n g E() w ea r r i v e t o
0 =E
g(XT) g(XT)
= E
XT XT
eTYTT
= E
T0
Xt Xt
d
etYTt
+
E
T0
et
YTt
d
Xt Xt
+E
T0
etT r
(Xt, ut) (Xt, ut)
ZTt
dt =
=ET
0
etXt
Xt
xH(X
t,
ut, YT
t, ZT
t )dt
E+
0
etXt
XtYT
tdt
+
E
T0
etT r
(Xt, ut) (Xt, ut)
ZTt
dt +E
T0
et
b(Xt, ut) b(Xt, ut), YTt
dt.
( 4 . 5 )
T h e n , p u t t i n g ( 4 . 5 ) i n t o ( 4 . 4 ) w e g e t
J(x, u) J(x, u) = limT+
E
T0
Itdt, ( 4 . 6 )
w h e r e
It = et
H(Xt,ut, Yt, Zt) H(Xt, ut, Yt, Zt)
Xt Xt
xH(Xt, ut, Y
Tt , Z
Tt )+
b(Xt,ut) b(Xt, ut), Y
Tt Yt
+ T r
(Xt, ut)
(Xt, ut)
ZTt Zt
+
XtXt
Yt Y
Tt
.
( 4 . 7 )
N o w , s h i f t i n g t h e f u n c t i o n xH t o t h e p o i n t (Xt, ut, Yt, Zt) w e n a l l y d e d u c e t h a t
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
9/15
9
It = et
H(Xt,ut, Yt, Zt) H(Xt, ut, Yt, Zt)
Xt XtxH(Xt, ut, Yt, Zt)+
XtXt
xH(Xt, ut, Yt, Zt) xH(Xt, ut, YTt , Z
Tt )
+b(Xt,ut) b(Xt, ut), Y
Tt Yt
+ T r
(Xt, ut)
(Xt, ut)
ZTt Zt
+
XtXt
Yt YTt
.
( 4 . 8 )
F r o m t h e c o n c a v i t y o f H
i n(x, u), w e k n o w t h a t
H(Xt, ut, Yt, Zt) H(Xt, ut, Yt, Zt)
Xt Xt
xH(Xt, ut, Yt, Zt) 0. ( 4 . 9 )
T o c o m p l e t e t h e p r o o f , w e h a v e t o s h o w t h a t a l l t h e r e m a i n i n g t e r m s i n ( 4 . 8 ) t e n d
t o z e r o w h e n t a k i n g E()
, i n t e g r a t i o n o v e r
[0, T]a n d s e n d i n g
T +. W e e x a m i n e t h e
f o u r r e m a i n i n g t e r m s s e p a r a t e l y .
S e c o n d t e r m i n 4 . 8
T o s h o w t h a t
limT+
E+
0
1[0,T](t)etXt Xt
xH(Xt, ut, Yt, Zt) xH(Xt, ut, YTt , ZTt )dt = 0( 4 . 1 0 )
w e d e n o t e
xH(Xt, ut, y , z) = h(y, z) a n d w e a p p l y t w o t i m e s t h e S c h w a r z i n e q u a l i t y t o o b t a i n
E+0
1[0,T](t)et
Xt Xt
h(Yt, Zt) h(Y
Tt , Z
Tt )
dt
E
+0
et||Xt Xt| | | |h(Yt, Zt) h(YTt , Z
Tt )||dt
E+0 e
t
||
Xt Xt||
21/2E+0 e
t
||h(Yt,
Zt) h(
Y
T
t ,
Z
T
t )||
21/2.
( 4 . 1 1 )
T h e r s t i n t e g r a l d o e s n o t d e p e n d o n T
a n d i s n i t e d u e t o ( 2 . 1 2 ) . T h e i n t e g r a n d i n
t h e s e c o n d t e r m c a n b e r e w r i t t e n a s f o l l o w s
||h(Yt, Zt) h(YTt , Z
Tt )||
2 2
||h(YTt , ZTt ) h(Y
Tt , Zt)||
2 + ||h(YTt , Zt) h(Yt, Zt)||2
2c22||ZTt Zt||
2 + 2||h(YTt , Zt) h(Yt, Zt)||2.
( 4 . 1 2 )
T h e r e f o r e , t h e i n t e g r a l 2c2
2E +
0et||ZT
t Z
t||2dt
v a n i s h e s a s T +
d u e t o t h e
a p p r o x i m a t i o n p r o p e r t y o f ZT
, s e e ( 2 . 1 7 ) a n d ( 2 . 1 8 ) . T h e r e m a i n i n g t e r m h a s t o b e
t r e a t e d i n a d i e r e n t w a y . F r o m ( 2 . 1 8 ) w e k n o w t h a t
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
10/15
1 0 4 I N F I N I T E H O R I Z O N S U F F I C I E N T M A X I M U M P R I N C I P L E
limT+
Esupt0
et||YTt Yt||2 = 0. ( 4 . 1 3 )
T h e n t h e r e e x i s t s a s e q u e n c e Tn, Tn + a s n + s o t h a t
supt0
et||YTnt Yt||2 0, as n +, a.s.
( 4 . 1 4 )
a n d t h e r e f o r e ||YTnt Yt||
2 0 as n +f o r e v e r y
t 0 x e d .
T o c o n c l u d e t h i s s t e p w e r e a l i z e t h a t
||h(YTnt , Zt) h(Yt, Zt)||2 4||h(YTnt , Zt) h(YTnt , 0)||2+
||h(Yt, Zt) h(Yt, 0)||2 + ||h(Yt, 0)||
2 + ||h(YTnt , 0)||2
8c22||Zt||2 + 16||h(0, 0)||2 + 4
2
||YTnt ||
+ 2
||Yt||
,( 4 . 1 5 )
w h i c h , a f t e r t a k i n g E() a n d m u l t i p l y i n g b y t h e f a c t o r et , i s a n i n t e g r a b l e m a j o r a n t w i t h r e s p e c t t o L e b e s g u e i n t e g r a t i o n o v e r
R+ . T h u s , t h e w h o l e t e r m i n ( 4 . 1 1 ) v a n i s h e s
a sn +
d u e t o F u b i n i , d o m i n a t e d c o n v e r g e n c e , c o n t i n u i t y o f h(y, z)
i ny
a n d t h e
a p p r o x i m a t i o n p r o p e r t y ( 2 . 1 7 ) a n d ( 2 . 1 8 ) .
T h i r d t e r m i n 4 . 8 T o s h o w t h a t
limT+
E
+0
1[0,T](t)et
b(Xt, ut) b(Xt, ut), Y
Tt Yt
dt = 0 ( 4 . 1 6 )
w e a p p l y , a g a i n , t w o t i m e s t h e S c h w a r z i n e q u a l i t y s o t h a t w e o b t a i n
E
+0
1[0,T](t)etb(Xt, ut) b(Xt, ut), Y
Tt Yt dt
E+0
et||b(Xt, ut) b(Xt, ut)| | | |YTt Yt||dt E
+0
et||b(Xt, ut) b(Xt, ut)||21/2
E
+0
et||YTt Yt||21/2
.( 4 . 1 7 )
T h e n t h e s e c o n d t e r m o n t h e r . h . s . v a n i s h e s a s T +
d u e t o t h e a p p r o x i m a t i o n
p r o p e r t y o f YT
. U s i n g A s s u m p t i o n s ( H 1 ) - ( H 5 ) , t h e r s t t e r m o n t h e r . h . s . i s b o u n d e d
f o r i t h o l d s
||b(Xt, ut) b(Xt, ut)||2 2||b(Xt, ut)||2 + ||b(Xt, ut)||2
2
||b(0, ut)||2 + ||b(0, ut)||
2
+ 2k
1 + ||Xt||2 + ||Xt||
2
. ( 4 . 1 8 )
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
11/15
1 1
T h e r e f o r e , w e c a n d e d u c e f r o m A s s u m p t i o n s ( H 1 ) - ( H 5 ) t h a t ( 4 . 1 6 ) h o l d s .
F o u r t h t e r m i n 4 . 8
T o s h o w t h a t
limT+
E
+0
1[0,T](t)etT r
(Xt, ut)
(Xt, ut)
ZTt Zt
dt = 0( 4 . 1 9 )
a g a i n , a p p l y i n g t w o t i m e s t h e S c h w a r z i n e q u a l i t y w e h a v e
E
+0
1[0,T](t)etT r
(Xt, ut)
(Xt, ut)ZTt Zt
dt
E
+
0
et||(Xt, ut) (Xt, ut)| | | |Z
Tt Ztdt
E
+0
et||(Xt, ut) (Xt, ut)||
21/2
E
+0
et||ZTt Zt||21/2
.
( 4 . 2 0 )
T a k i n g i n t o a c c o u n t t h a t
||(Xt, ut) (Xt, ut)|| ||(Xt, ut) (Xt, ut)|| + ||(Xt, ut) (Xt, ut)||
k3||
Xt Xt|| + ||(Xt, ut) (0, ut)|| + ||(Xt, ut) (0, ut)|| + ||(0, ut) (0, ut)|| 2k3
||Xt|| + ||Xt||
+ ||(0, ut)|| + ||(0, ut)||, ( 4 . 2 1 )
i t c a n b e e a s i l y s e e n t h a t t h e f o u r t h t e r m t e n d s t o
0a s
T +b y s i m i l a r a r g u m e n t s
a s a b o v e .
F i f t h t e r m i n 4 . 8
T h e t e r m
limT+
E+
0
1[0,T](t)etXt Xt
Yt YTt dt ( 4 . 2 2 )
t e n d s t o 0 b y s i m i l a r a r g u m e n t s a s a b o v e . T h e r e f o r e , w e d e d u c e t h a t
J(x, u) J(x, u) 0, u U(x)
a n du
i s i n d e e d t h e o p t i m a l c o n t r o l .
5 E x a m p l e s
5 . 1 S t o c h a s t i c c o n t r o l w i t h r a n d o m t i m e
T h i s e x a m p l e i s t a k e n f r o m t h e b o o k b y H . P h a m [ 1 2 ] a n d i t i l u s t r a t e s h o w , u n d e r s o m e
a s s u m p t i o n s , r a n d o m h o r i z o n c o n t r o l p r o b l e m c a n b e r e w r i t t e n a s a n i n n i t e h o r i z o n
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
12/15
1 2 5 E X A M P L E S
d i s c o u n t e d c o n t r o l p r o b l e m . L e t u s c o n s i d e r s t o c h a s t i c c o n t r o l p r o b l e m w i t h r a n d o m
t e r m i n a l t i m e
( w h i c h c a n r e p r e s e n t r a n d o m t i m e o f c h a n g e s i n t h e i n v e s t o r ' s o p p o r t u n i t y
s e t , t i m e o f a n e x o g e n o u s s h o c k t o t h e c o n t r o l l e d p r o c e s s (Xut )t0 e t c . ) W e l a y
v(x) = supuU(x)
E
0
etf(Xut )dt
,( 5 . 1 )
w h e r e > 0
i s t h e d i s c o u n t f a c t o r a n d f
i s i n v e s t o r ' s u t i l i t y f u n c t i o n .
F u r t h e r m o r e , w e a s s u m e t h a t
i s i n d e p e n d e n t o f t h e F w h i c h i s a U C c o m p l e t i o n
o f
t0F
Xt a n d w e s u p p o s e t h a t F(t) = P[ t] = P[ t|F] = 1 e
tf o r s o m e
> 0.
T h e n w e c a n w r i t e ( k e e p i n g i n m i n d i n d e p e n d e n c e o f
o nF )
E
0
etf(Xut )dt
= E +
0
1t 0i s a d i s c o u n t f a c t o r .
T h e m i n i m i z a t i o n t a s k i s c o n v e r t e d t o m a x i m i z a t i o n b y t a k i n g J(x, u)
a s t h e f u n c t i -
o n a l . T h e H a m i l t o n i a n o f t h i s c o n t r o l p r o b l e m i s
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
13/15
5 . 2 P r o d u c t i o n p l a n n i n g p r o b l e m 1 3
H(x,u,y ,z) = (u )y + z c(u u1)2 h(x x1)
2 xy( 5 . 5 )
w h i c h i s a c o n c a v e f u n c t i o n i n (x, u)
. T h e d r i v e r o f t h e b a c k w a r d a d j o i n t e q u a t i o n i s
o b t a i n e d a s t h e d e r i v a t i v e o f H
w . r . t x
, i . e .
h(x,u,y ,z) =
xH(x,u,y ,z) = 2h(x x1) y ( 5 . 6 )
a n d t h e a s s o c i a t e d B S D E i s
Yt =
+t
2h(Xs x1) Ys
ds
+t
ZsdWs, t 0 a.s. ( 5 . 7 )
T o n d t h e e x t r e m a l ( m a x i m a l ) p o i n t o f H w e l a y
uH(x,u,y ,z) = y 2c(u u1) = 0 ( 5 . 8 )
w h i c h l e a d s t o
ut =Yt
2c+ u1. ( 5 . 9 )
F u r t h e r , w e w i l l t r y t o n d t h e s o l u t i o n t o B S D E ( 5 . 7 ) i n t h e f e e d b a c k f o r m w h i c h
w i l l l e a d t o M a r k o v c o n t r o l . L e t u s a s s u m e t h a t
Yt = t Xt + t, t 0 a.s. ( 5 . 1 0 )
f o r s o m e d e t e r m i n i s t i c f u n c t i o n s ,
i n
C1. A p p l y i n g t h e I t f o r m u l a t o t h e p r o c e s s
Yt w e g e t
dYt = tXtdt + tdXt +
tdt =
tXtdt + t
ut
dt + tdWt +
tdt. ( 5 . 1 1 )
N o w , c o m p a r i n g t h e d i e r e n t i a l s i n ( 5 . 7 ) a n d ( 5 . 1 1 ) w e o b t a i n t h e s e t o f e q u a t i o n s
tXt + t
ut
+ t = 2h(Xt x1) + Yt = 2h(Xt x1) + tXt + t ( 5 . 1 2 )
t = Zt. ( 5 . 1 3 )
I t i s s e e n t h a t o n c e h a v i n g t h e f u n c t i o n s ,
, w e c a n c o m p u t e t h e p r o c e s s e s Yt, Zt
a n d n a l l y t h e o p t i m a l c o n t r o l ut . T o p r o c e e d , w e e x p r e s s t h e c o n t r o l ut f r o m e q u a t i o n
( 5 . 1 2 ) a n d c o m p a r e i t t o t h e e x p r e s s i o n i n ( 5 . 9 ) w h i c h l e a d s t o
tXt + t2c
+ u1 =1
tXtt + 2h t + t 2hx1
t + . ( 5 . 1 4 )
F i n a l l y , c o m p a r i n g t h e t e r m s w h i c h c o r r e s p o n d t o t h e p o w e r s o f Xt , i . e . X
1t a n d X
0t w e
o b t a i n t h e O D E s y s t e m f o r t h e f u n c t i o n s ,
w h i c h c a n b e s o l v e d w i t h o u t a n y p r o b l e m s .
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
14/15
1 4 R E F E R E N C E
1
2c t =
1
t
t + 2h
t
( 5 . 1 5 )
1
2ct + u1 =
1
t
t 2hx1
t
+ .
( 5 . 1 6 )
W e s e e t h a t t h e r s t e q u a t i o n i s o f t h e R i c c a t i t y p e a s e x p e c t e d .
T h e a u t h o r w i s h e s t o t h a n k p r o f . M a s l o w s k i f o r h i s h e l p , g u i d a n c e a n d e n c o u r a g e m e n t
t o t h e w o r k .
R e f e r e n c e
[ 1 ] k s e n d a l B . , S u l e m A . a n d F r a m s t a d N . C . A s u c i e n t s t o c h a s t i c m a x i m u m p r i n -
c i p l e f o r o p t i m a l c o n t r o l o f j u m p d i u s i o n s a n d a p p l i c a t i o n s t o n a n c e . J . O p t i m i -
z a t i o n T h e o r y a n d A p p l i c a t i o n s , 1 2 1 , 7 7 - 9 8 , 2 0 0 4 . E r r a t a : J . O p t i m i z a t i o n T h e o r y
a n d A p p l i c a t i o n s 1 2 4 , 5 1 1 - 5 1 2 , 2 0 0 5 .
[ 2 ] k s e n d a l B . S t o c h a s t i c D i e r e n t i a l E q u a t i o n s . A n I n t r o d u c t i o n w i t h A p p l i c a t i o n s ,
4 t h e d i t i o n . B e r l i n , S p r i n g e r - V e r l a g 1 9 9 5 . , I S B N 3 - 5 4 0 - 6 0 2 4 3 - 7 ( U n i v e r s i t e x t )
[ 3 ] P a r d o u x E . B S D E s w e a k c o n v e r g e n c e a n d h o m o g e n i z a t i o n s o f s e m i l i n e a r P D E s .
N o n l i n e a r A n a l y s i s D i e r e n t i a l E q u a t i o n s a n d C o n t r o l . C l a r k , F . H . , S t e r n , R . J .
( E d s . ) , K l u w e r A c a d e m i c , D o r d r e c h t , 5 0 3 - 5 4 9 , 1 9 9 9 .
[ 4 ] P a r d o u x E . , P e n g S . G . A d a p t e d s o l u t i o n o f a b a c k w a r d s t o c h a s t i c d i e r e n t i a l
e q u a t i o n . S y s t e m s & C o n t r o l L e t t e r s . 1 4 , 5 5 - 6 1 , 1 9 9 0 .
[ 5 ] Y i n J . O n s o l u t i o n s o f a c l a s s o f i n n i t e h o r i z o n F B S D E ' s . S t a t i s t i c s a n d P r o b a b i l i t y
L e t t e r s . 7 8 , 2 4 1 2 - 2 4 1 9 , 2 0 0 8 .
[ 6 ] K u s h n e r H . J . N e c e s s a r y c o n d i t i o n s f o r c o n t i n u o u s p a r a m e t e r s t o c h a s t i c o p t i m i z a t i o n
p r o b l e m s . S I A M J . C o n t r o l . 1 0 , 5 5 0 - 5 6 5 , 1 9 7 2 .
[ 7 ] B i s m u t J . - M . C o n j u g a t e c o n v e x f u n c t i o n s i n o p t i m a l s t o c h a s t i c c o n t r o l . J . M a t h .
A n a l . A p p l . 4 4 , 3 8 4 ? 0 4 , 1 9 7 3 .
[ 8 ] B e n s o u s s a n A . M a x i m u m p r i n c i p l e a n d d y n a m i c p r o g r a m m i n g a p p r o a c h e s o f t h e
o p t i m a l c o n t r o l o f p a r t i a l l y o b s e r v e d d i u s i o n s . S t o c h a s t i c s . 9 , 1 6 9 - 2 2 2 , 1 9 8 3 .
[ 9 ] P e n g S . G . A g e n e r a l s t o c h a s t i c m a x i m u m p r i n c i p l e f o r o p t i m a l c o n t r o l p r o b l e m s .
S I A M J . C o n t r o l O p t i m . 2 8 , 9 6 6 - 9 7 9 , 1 9 9 0 .
[ 1 0 ] C a d e n i l l a s A . a n d H a u s s m a n n U . G . T h e s t o c h a s t i c m a x i m u m p r i n c i p l e f o r a s i n g u l a r
c o n t r o l p r o b l e m . S t o c h a s t i c s S t o c h a s t i c s R e p . 4 9 , 2 1 1 - 2 3 7 , 1 9 9 4 .
[ 1 1 ] T a n g S . J . a n d L i X . J . N e c e s s a r y c o n d i t i o n s f o r o p t i m a l c o n t r o l o f s t o c h a s t i c s y s t e m s
w i t h r a n d o m j u m p s . S I A M J . C o n t r o l O p t i m . 3 2 , 1 4 4 7 - 1 4 7 5 , 1 9 9 4 .
-
8/6/2019 Petr Veverka - Infinite Time Maximum Principle
15/15
R E F E R E N C E 1 5
[ 1 2 ] P h a m , H . C o n t i n u o u s - t i m e s t o c h a s t i c c o n t r o l a n d o p t i m i z a t i o n w i t h n a n c i a l a p p l i -
c a t i o n s . S t o c h a s t i c M o d e l l i n g a n d A p p l i e d P r o b a b i l i t y 6 1 , S p r i n g e r - V e r l a g , B e r l i n ,
2 0 0 9 .
[ 1 3 ] B o r k a r V . S . C o n t r o l d i u s i o n p r o c e s s e s . P r o b a b i l i t y S u r v e y s . 2 , 2 1 3 - 2 4 4 , 2 0 0 5 .