Lagrange Newton method
of 19
-
Upload
beastboy1089 -
Category
Documents
-
view
231 -
download
0
Transcript of Lagrange Newton method
-
8/13/2019 Lagrange Newton method
1/19
O N T H E L A G R A N G E - N E W T O N - S Q P M E T H O D F O R T H E
O P T I M A L C O N T R O L O F S E M I L I N E A R P A R A B O L I C E Q U A T I O N S
F R E D I T R
O L T Z S C H
y
A b s t r a c t . A c l a s s o f L a g r a n g e - N e w t o n - S Q P m e t h o d s i s i n v e s t i g a t e d f o r o p t i m a l c o n t r o l p r o b -
l e m s g o v e r n e d b y s e m i l i n e a r p a r a b o l i c i n i t i a l - b o u n d a r y v a l u e p r o b l e m s . D i s t r i b u t e d a n d b o u n d a r y
c o n t r o l s a r e g i v e n , r e s t r i c t e d b y p o i n t w i s e u p p e r a n d l o w e r b o u n d s . T h e c o n v e r g e n c e o f t h e m e t h o d
i s d i s c u s s e d i n a p p r o p r i a t e B a n a c h s p a c e s . B a s e d o n a w e a k s e c o n d o r d e r s u c i e n t o p t i m a l i t y c o n -
d i t i o n f o r t h e r e f e r e n c e s o l u t i o n , l o c a l q u a d r a t i c c o n v e r g e n c e i s p r o v e d . T h e p r o o f i s b a s e d o n t h e
t h e o r y o f N e w t o n m e t h o d s f o r g e n e r a l i z e d e q u a t i o n s i n B a n a c h s p a c e s .
K e y w o r d s . o p t i m a l c o n t r o l , p a r a b o l i c e q u a t i o n , s e m i l i n e a r e q u a t i o n , s e q u e n t i a l q u a d r a t i c
p r o g r a m m i n g , L a g r a n g e - N e w t o n m e t h o d , c o n v e r g e n c e a n a l y s i s
A M S s u b j e c t c l a s s i c a t i o n s . 4 9 J 2 0 , 4 9 M 1 5 , 6 5 K 1 0 , 4 9 K 2 0
1 . I n t r o d u c t i o n . T h i s p a p e r i s c o n c e r n e d w i t h t h e n u m e r i c a l a n a l y s i s o f a S e -
q u e n t i a l Q u a d r a t i c P r o g r a m m i n g M e t h o d f o r o p t i m a l c o n t r o l p r o b l e m s g o v e r n e d b y
s e m i l i n e a r p a r a b o l i c e q u a t i o n s . W e e x t e n d c o n v e r g e n c e r e s u l t s o b t a i n e d i n t h e a u -
t h o r ' s p a p e r s 3 1 ] a n d 3 2 ] f o r s i m p l i e d c a s e s . H e r e , w e a l l o w f o r d i s t r i b u t e d a n d
b o u n d a r y c o n t r o l . M o r e o v e r , t e r m i n a l , d i s t r i b u t e d , a n d b o u n d a r y o b s e r v a t i o n a r e
i n c l u d e d i n t h e o b j e c t i v e f u n c t i o n a l . I n c o n t r a s t t o t h e f o r m e r p a p e r s , w h e r e a s e m i -
g r o u p a p p r o a c h w a s c h o s e n t o d e a l w i t h t h e p a r a b o l i c e q u a t i o n s , t h e t h e o r y i s n o w
p r e s e n t e d i n t h e f r a m e w o r k o f w e a k s o l u t i o n s r e l y i n g o n p a p e r s b y C a s a s 7 ] , R a y -
m o n d a n d Z i d a n i 2 8 ] , a n d S c h m i d t 3 0 ] . W e r e f e r a l s o t o H e i n k e n s c h l o s s a n d T r o l t z s c h
1 5 ] , w h e r e t h e c o n v e r g e n c e o f a n S Q P m e t h o d i s p r o v e d f o r t h e o p t i m a l c o n t r o l o f
a p h a s e e l d m o d e l . I n c l u d i n g r s t o r d e r s u c i e n t o p t i m a l i t y c o n d i t i o n s i n t h e c o n -
s i d e r a t i o n s , w e a r e a b l e t o e s s e n t i a l l y w e a k e n t h e s e c o n d o r d e r s u c i e n t o p t i m a l i t y
c o n d i t i o n s n e e d e d t o p r o v e t h e c o n v e r g e n c e o f t h e m e t h o d . T h e s e s u c i e n t c o n d i t i o n s
t i g h t e n t h e g a p t o t h e a s s o c i a t e d n e c e s s a r y o n e s . H o w e v e r , t h e a p p r o a c h r e q u i r e s a
q u i t e e x t e n s i v e a n a l y s i s .
S Q P m e t h o d s f o r t h e o p t i m a l c o n t r o l o f O D E s h a v e a l r e a d y b e e n t h e s u b j e c t o f m a n y
p a p e r s . W e r e f e r , f o r i n s t a n c e , t o t h e d i s c u s s i o n o f q u a d r a t i c c o n v e r g e n c e a n d t h e
a s s o c i a t e d n u m e r i c a l e x a m p l e s b y A l t 1 ] , 2 ] , A l t a n d M a l a n o w s k i 5 ] , 6 ] , t o t h e m e s h
i n d e p e n d e n c e p r i n c i p l e i n A l t 3 ] , a n d t o t h e n u m e r i c a l a p p l i c a t i o n b y M a c h i e l s e n 2 7 ] .
M o r e o v e r , w e r e f e r t o t h e m o r e e x t e n s i v e r e f e r e n c e s t h e r e i n . F o r a p a p e r s t a n d i n g i n
s o m e s e n s e b e t w e e n t h e c o n t r o l o f O D E s a n d P D E s w e r e f e r t o A l t , S o n t a g a n d
T r o l t z s c h 4 ] , w h o i n v e s t i g a t e d t h e c o n t r o l o f w e a k l y s i n g u l a r H a m m e r s t e i n i n t e g r a l
e q u a t i o n s .
F o l l o w i n g r e c e n t d e v e l o p m e n t s f o r o r d i n a r y d i e r e n t i a l e q u a t i o n s , w e a d o p t h e r e t h e
r e l a t i o n b e t w e e n t h e S Q P m e t h o d a n d a g e n e r a l i z e d N e w t o n m e t h o d . T h i s a p p r o a c h
m a k e s t h e w h o l e t h e o r y m o r e t r a n s p a r e n t . W e a r e a b l e t o a p p l y k n o w n r e s u l t s o n
t h e c o n v e r g e n c e o f g e n e r a l i z e d N e w t o n m e t h o d s i n B a n a c h s p a c e s a s s u m i n g t h e s o
c a l l e d s t r o n g r e g u l a r i t y a t t h e o p t i m a l r e f e r e n c e p o i n t . I n t h i s w a y , t h e c o n v e r g e n c e
a n a l y s i s i s s h o r t e r , a n d w e a r e a b l e t o c o n c e n t r a t e o n s p e c i c q u e s t i o n s a r i s i n g f r o m
t h e p r e s e n c e o f p a r t i a l d i e r e n t i a l e q u a t i o n s .
T h i s r e s e a r c h w a s p a r t i a l l y s u p p o r t e d b y D e u t s c h e F o r s c h u n g s g e m e i n s c h a f t , u n d e r P r o j e c t n u m -
b e r T r 3 0 2 / 1 - 2 .
y
F a k u l t a t f u r M a t h e m a t i k , T e c h n i s c h e U n i v e r s i t a t C h e m n i t z , D - 0 9 1 0 7 C h e m n i t z , G e r m a n y
1
-
8/13/2019 Lagrange Newton method
2/19
O n c e t h e c o n v e r g e n c e o f t h e N e w t o n m e t h o d i s s h o w n , w e s t i l l n e e d a n e x t e n s i v e
a n a l y s i s t o m a k e t h e t h e o r y c o m p l e t e . W e h a v e t o e n s u r e t h e s t r o n g r e g u l a r i t y b y
s u c i e n t c o n d i t i o n s a n d t o s h o w t h a t t h e N e w t o n s t e p s c a n b e p e r f o r m e d b y s o l v i n g
l i n e a r - q u a d r a t i c c o n t r o l p r o b l e m s ( S Q P - m e t h o d ) . T h i s i n t e r p l a y b e t w e e n t h e N e w t o n
m e t h o d a n d t h e S Q P m e t h o d i s a s p e c i c f e a t u r e , w h i c h c a n n o t b e d e r i v e d f r o m
g e n e r a l r e s u l t s i n B a n a c h s p a c e s , s i n c e w e h a v e t o d i s c u s s p o i n t w i s e r e l a t i o n s .
W e s h o u l d u n d e r l i n e t h a t t h i s p a p e r d o e s n o t a i m t o d i s c u s s t h e n u m e r i c a l a p p l i c a t i o n
o f t h e m e t h o d . A n y c o m p u t a t i o n h a s t o b e c o n n e c t e d w i t h a d i s c r e t i z a t i o n o f t h e
p r o b l e m . T h i s g i v e s r i s e t o c o n s i d e r a p p r o x i m a t i o n e r r o r s , s t a b i l i t y e s t i m a t e s , t h e
i n t e r p l a y b e t w e e n m e s h a d a p t i o n a n d p r e c i s i o n ( p a r t i c u l a r l y d e l i c a t e f o r P D E s ) a n d
t h e n u m e r i c a l i m p l e m e n t a t i o n . B e s i d e s t h e f a c t t h a t s o m e o f t h e s e q u e s t i o n s a r e s t i l l
u n s o l v e d , t h e p r e s e n t a t i o n o f t h e a s s o c i a t e d t h e o r y w o u l d g o f a r b e y o n d t h e s c o p e o f
o n e p a p e r . W e u n d e r s t a n d t h e a n a l y s i s o f o u r p a p e r a s a g e n e r a l l i n e a p p l i c a b l e t o a n y
p r o o f o f c o n v e r g e n c e f o r t h e s e n u m e r i c a l m e t h o d s . S o m e t e s t e x a m p l e s c l o s e t o t h i s
p a p e r w e r e p r e s e n t e d b y G o l d b e r g a n d T r o l t z s c h 1 1 ] , 1 2 ] . T h e f a s t c o n v e r g e n c e o f
t h e S Q P m e t h o d i s d e m o n s t r a t e d t h e r e b y e x a m p l e s i n s p a t i a l d o m a i n s o f d i m e n s i o n
o n e a n d t w o r e l y i n g o n a n e d i s c r e t i z a t i o n o f t h e p r o b l e m s . L a g r a n g e - N e w t o n t y p e
m e t h o d s w e r e a l s o d i s c u s s e d f o r p a r t i a l d i e r e n t i a l e q u a t i o n s b y H e i n k e n s c h l o s s a n d
S a c h s 1 4 ] , I t o a n d K u n i s c h 1 6 ] , 1 7 ] , K e l l e y a n d S a c h s 1 9 ] , 2 0 ] , 2 1 ] , K u p f e r a n d
S a c h s 2 3 ] , H e i n k e n s c h l o s s 1 3 ] , a n d K u n i s c h a n d V o l k w e i n 2 2 ] w h o r e p o r t i n m u c h
m o r e d e t a i l o n t h e n u m e r i c a l d e t a i l s n e e d e d f o r a n e e c t i v e i m p l e m e n t a t i o n .
T h e p a p e r i s o r g a n i z e d a s f o l l o w s . S e c t i o n 2 i s c o n c e r n e d w i t h e x i s t e n c e a n d u n i q u e -
n e s s o f w e a k s o l u t i o n s f o r t h e e q u a t i o n o f s t a t e . A f t e r s t a t i n g t h e p r o b l e m a n d a s -
s o c i a t e d n e c e s s a r y a n d s u c i e n t o p t i m a l i t y c o n d i t i o n s i n s e c t i o n 3 , t h e g e n e r a l i z e d
N e w t o n m e t h o d i s e s t a b l i s h e d i n s e c t i o n 4 . T h e s t r o n g s t a b i l i t y o f t h e g e n e r a l i z e d
e q u a t i o n i s d i s c u s s e d i n S e c t i o n 5 , w h i l e s e c t i o n 6 i s c o n c e r n e d w i t h p e r f o r m i n g t h e
N e w t o n s t e p s b y S Q P s t e p s .
2 . T h e e q u a t i o n o f s t a t e . T h e d y n a m i c s o f o u r c o n t r o l s y s t e m i s d e s c r i b e d b y
t h e s e m i l i n e a r p a r a b o l i c i n i t i a l - b o u n d a r y v a l u e p r o b l e m
y
t
( x t ) + d i v ( A ( x ) g r a d
x
y ( x t ) ) + d ( x ; t ; y ( x t ) v ( x t ) ) = 0 i n Q
@
y ( x t ) + b ( x ; t ; y ( x t ) u ( x t ) ) = 0 o n
y ( x 0 ) ? y
0
( x ) = 0 o n
( 2 . 1 )
T h i s s y s t e m i s c o n s i d e r e d i n Q = ( 0 T ) w h e r e R
N
( N 2 ) i s a b o u n d e d
d o m a i n a n d T > 0 a x e d t i m e . B y @
t h e c o - n o r m a l d e r i v a t i v e @ y = @
A
= ?
>
A r y
i s d e n o t e d , w h e r e i s t h e o u t w a r d n o r m a l o n ? . T h e f u n c t i o n s u v d e n o t e b o u n d a r y
a n d d i s t r i b u t e d c o n t r o l , = ? ( 0 T ) , ? = @ , a n d y
0
i s a x e d i n i t i a l s t a t e f u n c t i o n .
F o l l o w i n g 7 ] a n d 2 8 ] w e i m p o s e t h e f o l l o w i n g a s s u m p t i o n s o n t h e d a t a :
( A 1 ) ? i s o f c l a s s C
2
f o r s o m e 2 ( 0 1 ] . T h e c o e c i e n t s a
i j
o f t h e m a t r i x
A = ( a
i j
)
i j = 1 ; : : : ; N
b e l o n g t o C
1
( ) , a n d t h e r e i s m
0
> 0 s u c h t h a t
?
>
A ( x ) m
0
2
8 2 R
N
8 x 2 ( 2 . 2 )
A ( x ) i s ( w . l . o . g . ) s y m m e t r i c .
( A 2 ) T h e " d i s t r i b u t e d " n o n l i n e a r i t y d = d ( x ; t ; y ; v ) i s d e n e d o n Q R
2
a n d
s a t i s e s t h e f o l l o w i n g C a r a t h e o d o r y t y p e c o n d i t i o n :
( i ) F o r a l l ( y v ) 2 R
2
d ( ; y ; v ) i s L e b e s g u e m e a s u r a b l e o n Q
( i i ) F o r a l m o s t a l l ( x t ) 2 Q d ( x ; t ; ) i s o f c l a s s C
2 1
( R
2
)
2
-
8/13/2019 Lagrange Newton method
3/19
T h e " b o u n d a r y " n o n l i n e a r i t y b = b ( x ; t ; y ; u ) i s d e n e d o n R
2
a n d i s
s u p p o s e d t o f u l l l ( i ) , ( i i ) w i t h s u b s t i t u t e d f o r Q
I n o u r s e t t i n g , t h e c o n t r o l s u v w i l l b e u n i f o r m l y b o u n d e d b y a c e r t a i n c o n s t a n t K
( A 3 ) T h e f u n c t i o n s d b f u l l l t h e a s s u m p t i o n s o f b o u n d e d n e s s
( i )
d ( x ; t ; 0 v ) d
K
( x t ) 8 ( x t ) 2 Q v K( 2 . 3 )
w h e r e d
K
2 L
q
( Q ) a n d q >
N
2
+ 1 . T h e r e i s a n u m b e r c
0
2 R , a n d a
n o n - d e c r e a s i n g f u n c t i o n R
+
! R
+
s u c h t h a t
c
0
d
y
( x ; t ; y ; v ) ( y )( 2 . 4 )
f o r a . e . ( x t ) 2 Q a l l y 2 R a l l v K
( i i )
b ( x ; t ; 0 u ) b
K
( x t ) 8 ( x t ) 2 u K( 2 . 5 )
a n d
c
0
b
y
( x ; t ; y ; u ) ( y )( 2 . 6 )
f o r a . e . ( x t ) 2 , a l l y 2 R , a l l u K , w h e r e b
K
2 L
r
( ) , r > N + 1
T h e a s s u m p t i o n s i m p l y t h o s e s u p p o s e d i n 7 ] , 2 8 ] , s i n c e o u r c o n t r o l s a r e u n i f o r m l y
b o u n d e d . T h e C
2 1
- a s s u m p t i o n o n d b i s n o t n e c e s s a r y f o r t h e d i s c u s s i o n o f t h e
e q u a t i o n o f s t a t e . W e s h a l l n e e d i t f o r t h e L a g r a n g e - N e w t o n m e t h o d . A l t h o u g h t h e
d i s c u s s i o n o f e x i s t e n c e a n d u n i q u e n e s s f o r t h e n o n l i n e a r s y s t e m ( 2 . 1 ) i s n o t n e c e s s a r y
f o r o u r a n a l y s i s w e q u o t e t h e f o l l o w i n g r e s u l t f r o m 7 ] , 2 8 ] :
T h e o r e m 2 . 1 . S u p p o s e t h a t ( A 1 ) - ( A 3 ) a r e s a t i s e d , y
0
2 C ( ) v 2 L
1
( Q ) u 2
L
1
( ) . T h e n t h e s y s t e m ( 2 . 1 ) a d m i t s a u n i q u e w e a k s o l u t i o n y 2 L
2
( 0 T H
1
( ) ) \
C ( )
A w e a k s o l u t i o n o f ( 2 . 1 ) i s a f u n c t i o n y o f L
2
( 0 T H
1
( ) ) \ C ( Q ) s u c h t h a t
?
R
Q
( y p
t
+ ( r
x
y )
>
A ( x ) r
x
p ) d x d t +
R
Q
d ( x ; t ; y ; v ) p d x d t +
+
R
b ( x ; t ; y ; u ) p d S d t ?
R
y
0
( x ) p ( x 0 ) d x = 0
( 2 . 7 )
h o l d s f o r a l l p 2 W
1 1
2
( Q ) s a t i s f y i n g p ( x T ) = 0 . I n ( 2 . 7 w e h a v e a s s u m e d t h a t
y 2 C ( Q ) ) t o m a k e t h e n o n l i n e a r i t i e s d b w e l l d e n e d . T h e o r e m 2 . 1 w a s s h o w n
b y a d e t a i l e d d i s c u s s i o n o f r e g u l a r i t y f o r a n a s s o c i a t e d l i n e a r e q u a t i o n . T h i s l i n e a r
v e r s i o n o f T h e o r e m 2 . 1 i s m o r e i m p o r t a n t f o r o u r a n a l y s i s . I n w h a t f o l l o w s , w e
s h a l l u s e t h e s y m b o l A = d i v A g r a d y . M o r e o v e r , w e n e e d t h e s p a c e W ( 0 T ) =
f y 2 L
2
( 0 T H
1
( ) ) y
t
2 L
2
( 0 T H
1
( ) ) g . R e g a r d t h e l i n e a r i n i t i a l - b o u n d a r y v a l u e
p r o b l e m
y
t
+ A y + a y = v o n Q
@
y + b y = u o n
y ( 0 ) = y
0
o n
( 2 . 8 )
T h e o r e m 2 . 2 . S u p p o s e t h a t a 2 L
1
( Q ) b 2 L
1
( ) q > N = 2 + 1 r > N + 1
a ( x t ) c
0
b ( x t ) c
0
a . e . o n Q a n d , r e s p e c t i v e l y , a n d y
0
2 C ( ) . T h e n t h e r e i s
a c o n s t a n t c = c ( c
0
; q ; r ; m
0
T ) n o t d e p e n d i n g o n a ; b ; v ; u ; y
0
s u c h t h a t
k y k
L
2
( 0 T H
1
( ) )
+ k y k
C ( Q )
c ( k v k
L
q
( Q )
+ k u k
L
r
( )
+ k y
0
k
C ( )
)( 2 . 9 )
3
-
8/13/2019 Lagrange Newton method
4/19
h o l d s f o r t h e w e a k s o l u t i o n o f t h e l i n e a r s y s t e m ( 2 . 8 ) .
F o r t h e p r o o f w e r e f e r t o 7 ] o r 2 8 ] . ( 2 . 9 ) y i e l d s a s i m i l a r e s t i m a t e f o r b y . R e g a r d i n g
t h e l i n e a r s y s t e m ( 2 . 8 ) w i t h r i g h t h a n d s i d e s v ? a y ; u ? b y ; y
0
, r e s p e c t i v e l y , t h e
L
2
- t h e o r y o f l i n e a r p a r a b o l i c e q u a t i o n s a p p l i e s t o d e r i v e
k y k
W ( 0 T )
c ( k v k
L
q
( Q )
+ k u k
L
r
( )
+ k y
0
k
C ( )
)( 2 . 1 0 )
w h e r e c d e p e n d s a l s o o n k a k
L
1
( Q )
k b k
L
1
( )
. W e s h a l l w o r k i n t h e s t a t e s p a c e Y =
f y 2 W ( 0 T ) y
t
+ A y 2 L
q
( Q ) @
y 2 L
p
( ) y ( 0 ) 2 C ( ) g e n d o w e d w i t h t h e n o r m
k y k
Y
= k y k
W ( 0 T )
+ k y
t
+ A y k
L
q
( Q )
+ k @
y k
L
p
( )
+ k y ( 0 ) k
C ( )
Y i s k n o w n t o b e
c o n t i n u o u s l y e m b e d d e d i n t o C ( Q ) . F r o m ( 2 . 9 ) , ( 2 . 1 0 ) w e g e t
k y k
Y
~c ( k v k
L
q
( Q )
+ k u k
L
r
( )
+ k y
0
k
C ( )
)( 2 . 1 1 )
w h e r e ~c d e p e n d s o n c
0
; q ; r ; m
0
T k a k
L
1
( Q )
k b k
L
1
( )
. W e s h a l l f u r t h e r o n n e e d t h e
H i l b e r t s p a c e H = W ( 0 T ) L
2
( ) L
2
( ) e q u i p p e d w i t h t h e n o r m k ( y ; v ; u ) k
H
=
( k v k
2
W ( 0 T )
+ k v k
2
L
q
( Q )
+ k u k
2
L
r
( )
)
1 = 2
3 . O p t i m a l c o n t r o l p r o b l e m a n d S Q P m e t h o d . L e t ' R ! R f
Q R
2
! R , a n d g R
2
! R b e g i v e n f u n c t i o n s s p e c i e d b e l o w . C o n s i d e r t h e
p r o b l e m ( P ) t o m i n i m i z e
J ( y ; v ; u ) =
Z
' ( x y ( x T ) ) d x +
Z
Q
f ( x ; t ; y ; v ) d x d t +
Z
g ( x ; t ; y ; u ) d S d t( 3 . 1 )
s u b j e c t t o t h e s t a t e - e q u a t i o n ( 2 . 1 ) a n d t o t h e p o i n t w i s e c o n s t r a i n t s o n t h e c o n t r o l
v
a
v ( x t ) v
b
a . e . o n Q( 3 . 2 )
u
a
u ( x t ) u
b
a . e . o n ( 3 . 3 )
w h e r e v
a
v
b
u
a
u
b
a r e g i v e n f u n c t i o n s o f L
1
( Q ) a n d L
1
( ) , r e s p e c t i v e l y , s u c h t h a t
v
a
v
b
, a . e . o n Q a n d u
a
u
b
a . e . o n . T h e c o n t r o l s v a n d u b e l o n g t o t h e s e t s o f
a d m i s s i b l e c o n t r o l s
V
a d
= f v 2 L
1
( Q ) v s a t i s e s ( 3 2 ) g U
a d
= f u 2 L
1
( ) u s a t i s e s ( 3 3 ) g
( P ) i s a n o n - c o n v e x p r o g r a m m i n g p r o b l e m , h e n c e d i e r e n t l o c a l m i n i m a w i l l p o s s i b l y
o c c u r . N u m e r i c a l m e t h o d s w i l l d e l i v e r a l o c a l m i n i m u m c l o s e t o t h e i r s t a r t i n g p o i n t .
T h e r e f o r e , w e d o n o t r e s t r i c t o u r i n v e s t i g a t i o n s t o g l o b a l s o l u t i o n s o f ( P ) . W e w i l l
a s s u m e l a t e r t h a t a x e d r e f e r e n c e s o l u t i o n i s g i v e n s a t i s f y i n g c e r t a i n r s t a n d s e c o n d
o r d e r o p t i m a l i t y c o n d i t i o n s ( e n s u r i n g l o c a l o p t i m a l i t y o f t h e s o l u t i o n ) . F o r t h e s a m e
r e a s o n , w e s h a l l n o t d i s c u s s t h e p r o b l e m o f e x i s t e n c e o f g l o b a l ( o p t i m a l ) s o l u t i o n s f o r
( P )
I n t h e n e x t a s s u m p t i o n s , D
2
w i l l d e n o t e H e s s i a n m a t r i c e s o f f u n c t i o n s . T h e f u n c -
t i o n s ' ; f ; a n d g a r e a s s u m e d t o s a t i s f y t h e f o l l o w i n g a s s u m p t i o n s o n s m o o t h n e s s a n d
g r o w t h :
( A 4 ) F o r a l l x 2 ' ( x ) b e l o n g s t o C
2 1
( R ) w i t h r e s p e c t t o y 2 R , w h i l e ' ( y )
'
y
( y ) '
y y
( y ) a r e b o u n d e d a n d m e a s u r a b l e o n . T h e r e i s a c o n s t a n t
c
K
> 0 s u c h t h a t
'
y y
( x y
1
) ? '
y y
( x y
2
) c
K
y
1
? y
2
( 3 . 4 )
4
-
8/13/2019 Lagrange Newton method
5/19
h o l d s f o r a l l y
i
2 R s u c h t h a t y
j
K i = 1 2
F o r a l l ( x t ) 2 Q f ( x ; t ; ) i s o f c l a s s C
2 1
( R
2
) w i t h r e s p e c t t o ( y v ) 2 R
2
w h i l e f f
y
f
v
f
y y
f
y v
, a n d f
v v
, a l l d e p e n d i n g o n ( ; y ; v ) a r e b o u n d e d a n d
m e a s u r a b l e w . r . t o ( x t ) 2 Q . T h e r e i s a c o n s t a n t f
K
> 0 s u c h t h a t
k D
2
f ( x ; t ; y
1
v
1
) ? D
2
f ( x ; t ; y
2
v
2
) k f
K
( y
1
? y
2
+ v
1
? v
2
)( 3 . 5 )
h o l d s f o r a l l y
i
v
i
s a t i s f y i n g y
i
K v
i
K i = 1 2 a n d a l m o s t a l l
( x t ) 2 Q . H e r e , k k d e n o t e s a n y u s e f u l n o r m f o r 2 2 - m a t r i c e s .
T h e f u n c t i o n g s a t i s e s a n a l o g o u s a s s u m p t i o n s o n R
2
. I n p a r t i c u l a r ,
k D
2
g ( x ; t ; y
1
u
1
) ? D
2
g ( x ; t ; y
2
u
2
) k g
K
( y
1
? y
2
+ u
1
? u
2
)( 3 . 6 )
h o l d s f o r a l l y
i
u
i
s a t i s f y i n g y
i
K u
i
K i = 1 2 a n d a l m o s t a l l
( x t ) 2
L e t u s r e c a l l t h e k n o w n s t a n d a r d r s t o r d e r n e c e s s a r y o p t i m a l i t y s y s t e m f o r a l o c a l
m i n i m i z e r ( y ; v ; u ) o f ( P ) . T h e t r i p l e t ( y ; v ; u ) h a s t o s a t i s f y t o g e t h e r w i t h a n a d j o i n t
s t a t e p 2 W ( 0 T ) t h e s t a t e s y s t e m ( 2 . 1 ) , t h e c o n s t r a i n t s v 2 V
a d
u 2 U
a d
, t h e a d j o i n t
e q u a t i o n
? p
t
+ A p + d
y
( x ; t ; y ; v ) p = f
y
( x ; t ; y ; v ) i n Q
@
p + b
y
( x ; t ; y ; u ) p = g
y
( x ; t ; y ; v ) o n
p ( x T ) = '
y
( x y ( x T ) ) i n
( 3 . 7 )
a n d t h e v a r i a t i o n a l i n e q u a l i t i e s
Z
Q
( f
v
( x ; t ; y ; v ) ? d
v
( x ; t ; y ; v ) p ) ( z ? v ) d x d t 0 8 z 2 V
a d
( 3 . 8 )
Z
( g
u
( x ; t ; y ; u ) ? b
u
( x ; t ; y ; u ) p ) ( z ? u ) d S d t 0 8 z 2 U
a d
( 3 . 9 )
W e i n t r o d u c e f o r c o n v e n i e n c e t h e L a g r a n g e f u n c t i o n L
L ( y ; v ; u p ) = J ( y ; v ; u ) ?
R
Q
f ( y
t
+ A y + d ( x ; t ; y ; v ) g p d x d t
?
R
f @
y + b ( x ; t ; y ; v ) g p d S d t
( 3 . 1 0 )
d e n e d o n Y L
1
( Q ) L
1
( ) W ( 0 T ) L i s o f c l a s s C
2 1
w . r . t o ( y ; v ; u ) i n
Y L
1
( Q ) L
1
( ) . M o r e o v e r , w e d e n e t h e H a m i l t o n f u n c t i o n s
H
Q
= H
Q
( x ; t ; y ; p ; v ) = f ( x ; t ; y ; v ) ? p d ( x ; t ; y ; v )( 3 . 1 1 )
H
= H
( x ; t ; y ; p ; u ) = g ( x ; t ; y ; u ) ? p b ( x ; t ; y ; u )( 3 . 1 2 )
c o n t a i n i n g t h e " n o n d i e r e n t i a l " p a r t s o f L . T h e n t h e r e l a t i o n s ( 3 . 7 ) - ( 3 . 9 ) i m p l y
L
y
( y ; v ; u p ) h = 0 8 h 2 W ( 0 T ) s a t i s f y i n g h ( 0 ) = 0( 3 . 1 3 )
L
v
( y ; v ; u p ) ( z ? v ) =
Z
Q
H
Q
v
( x ; t ; y ; p ; v ) ( z ? v ) d x d t 0 8 z 2 V
a d
( 3 . 1 4 )
L
u
( y ; v ; u p ) ( z ? u ) =
Z
H
u
( x ; t ; y ; p ; u ) ( z ? u ) d S d t 0 8 z 2 U
a d
( 3 . 1 5 )
5
-
8/13/2019 Lagrange Newton method
6/19
L e t u s s u p p o s e o n c e a n d f o r a l l t h a t a x e d r e f e r e n c e t r i p l e t ( y ; v ; u ) 2 Y L
1
( Q )
L
1
( ) i s g i v e n s a t i s f y i n g t o g e t h e r w i t h p 2 W ( 0 T ) t h e o p t i m a l i t y s y s t e m . T h i s
s y s t e m i s n o t s u c i e n t f o r l o c a l o p t i m a l i t y . T h e r e f o r e , w e s h a l l a s s u m e s o m e k i n d o f
s e c o n d o r d e r s u c i e n t c o n d i t i o n s . W e h a v e t o c o n s i d e r t h e m a l o n g w i t h a r s t o r d e r
s u c i e n t c o n d i t i o n . F o l l o w i n g D o n t c h e v , H a g e r , P o o r e a n d Y a n g 1 0 ] , t h e s e t s
Q ( ) = f ( x t ) 2 Q H
Q
v
( x ; t ; y ( x t ) v ( x t ) p ( x t ) ) g( 3 . 1 6 )
( ) = f ( x t ) 2 H
u
( x ; t ; y ( x t ) u ( x t ) p ( x t ) ) g( 3 . 1 7 )
a r e d e n e d f o r a r b i t r a r i l y s m a l l b u t x e d > 0 Q ( ) a n d ( ) c o n t a i n t h e p o i n t s ,
w h e r e t h e c o n t r o l c o n s t r a i n t s a r e s t r o n g l y a c t i v e e n o u g h . H e r e w e a r e a b l e t o a v o i d
s e c o n d o r d e r s u c i e n t c o n d i t i o n s , s i n c e r s t o r d e r s u c i e n c y a p p l i e s . D
2
H
Q
a n d
D
2
H
d e n o t e t h e H e s s i a n m a t r i c e s o f H
Q
H
w . r . t o ( y v ) a n d ( y u ) r e s p e c t i v e l y ,
t a k e n a t t h e r e f e r e n c e p o i n t . F o r i n s t a n c e ,
D
2
H
Q
( x t ) =
H
Q
y y
( x ; t ; y ( x t ) v ( x t ) p ( x t ) ) H
Q
y v
( x ; t ; y ( x t ) v ( x t ) p ( x t ) )
H
Q
v y
( x ; t ; y ( x t ) v ( x t ) p ( x t ) ) H
Q
v v
( x ; t ; y ( x t ) v ( x t ) p ( x t ) )
D
2
H
i s d e n e d a n a l o g o u s l y . M o r e o v e r , w e i n t r o d u c e a q u a d r a t i c f o r m B d e p e n d i n g
o n h
i
= ( y
i
v
i
u
i
) 2 Y L
1
( Q ) L
1
( ) i = 1 2 b y
B h
1
h
2
=
R
'
y y
( x y ( x T ) ) y
1
( x T ) y
2
( x T ) d x +
R
Q
( y
1
v
1
) D
2
H
Q
( y
2
v
2
)
>
d x d t
+
R
( y
1
u
1
) D
2
H
( y
2
u
2
)
>
d S d t :
( 3 . 1 8 )
T h e s e c o n d o r d e r s u c i e n t o p t i m a l i t y c o n d i t i o n i s d e n e d a s f o l l o w s :
( S S C ) T h e r e a r e > 0 > 0 s u c h t h a t
B h h k h k
2
H
( 3 . 1 9 )
h o l d s f o r a l l h = ( y ; v ; u ) 2 W ( 0 T ) L
2
( Q ) L
2
( ) , w h e r e v 2 V
a d
v ( x t ) =
0 o n Q ( ) u 2 U
a d
u = 0 o n ( ) , a n d y i s t h e a s s o c i a t e d w e a k s o l u t i o n o f
t h e l i n e a r i z e d e q u a t i o n
y
t
+ A y + d
y
( y v ) y + d
v
( y v ) v = 0
@
y + b
y
( y u ) y + b
u
( y u ) u = 0
y ( 0 ) = 0
( 3 . 2 0 )
N e x t w e i n t r o d u c e t h e S Q P m e t h o d t o s o l v e t h e p r o b l e m ( P ) i t e r a t i v e l y . L e t u s r s t
a s s u m e t h a t t h e c o n t r o l s a r e u n r e s t r i c t e d , t h a t i s V
a d
= L
1
( Q ) U
a d
= L
1
( ) . T h e n
t h e o p t i m a l i t y s y s t e m ( 2 . 1 ) , ( 3 . 7 ) , ( 3 . 8 ) , ( 3 . 9 ) i s a n o n l i n e a r s y s t e m o f e q u a t i o n s f o r
t h e u n k n o w n f u n c t i o n s v ; p ; y ; u , w h i c h c a n b e t r e a t e d b y t h e N e w t o n m e t h o d . I n
e a c h s t e p o f t h e m e t h o d , a l i n e a r s y s t e m o f e q u a t i o n s i s t o b e s o l v e d . T h i s l i n e a r
s y s t e m i s t h e o p t i m a l i t y s y s t e m o f a l i n e a r - q u a d r a t i c o p t i m a l c o n t r o l p r o b l e m w i t h -
o u t c o n s t r a i n t s o n t h e c o n t r o l s , w h i c h c a n b e s o l v e d i n s t e a d o f t h e l i n e a r s y s t e m o f
e q u a t i o n s .
I n t h e c a s e o f c o n s t r a i n t s o n t h e c o n t r o l s , t h e o p t i m a l i t y s y s t e m i s n o l o n g e r a s y s t e m
o f e q u a t i o n s . H o w e v e r , t h e r e i s n o d i c u l t y t o g e n e r a l i z e t h e l i n e a r - q u a d r a t i c c o n t r o l
p r o b l e m s b y a d d i n g t h e c o n t r o l - c o n s t r a i n t s . T h i s i d e a l e a d s t o t h e f o l l o w i n g i t e r a -
t i v e m e t h o d : S u p p o s e t h a t ( y
i
p
i
v
i
u
i
) i = 1 ; : : ; n , h a v e a l r e a d y b e e n d e t e r m i n e d .
T h e n ( y
n + 1
v
n + 1
u
n + 1
) i s c o m p u t e d b y s o l v i n g t h e f o l l o w i n g l i n e a r - q u a d r a t i c o p t i m a l
c o n t r o l p r o b l e m ( Q P
n
)
6
-
8/13/2019 Lagrange Newton method
7/19
( Q P
n
) M i n i m i z e
J
n
( y ; v ; u ) =
R
'
n
y
y ( T ) d x +
R
Q
( f
n
y
y + f
n
v
v ) d x d t +
R
( g
n
y
y + g
n
u
u ) d S d t
+
1
2
R
'
n
y y
( y ( T ) ? y
n
( T ) )
2
d x +
1
2
R
Q
( y ? y
n
v ? v
n
) D
2
H
Q n
y ? y
n
v ? v
n
d x d t
+
1
2
R
( y ? y
n
u ? u
n
) D
2
H
n
y ? y
n
u ? u
n
d S d t
( 3 . 2 1 )
s u b j e c t t o
y
t
+ A y + d
n
+ d
n
y
( y ? y
n
) + d
n
v
( v ? v
n
) = 0
@
y + b
n
+ b
n
y
( y ? y
n
) + b
n
u
( u ? u
n
) = 0
y ( 0 ) = y
0
( 3 . 2 2 )
a n d t o
v 2 V
a d
u 2 U
a d
( 3 . 2 3 )
I n t h i s s e t t i n g , t h e n o t a t i o n '
n
y
= '
y
( x y
n
( x T ) ) '
n
y y
= '
n
y y
( x y
n
( x T ) ) f
n
y
=
f
n
y
( x ; t ; y
n
( x t ) v
n
( x t ) ) D
2
H
Q n
= D
2
H
( y ; v ; u )
( x ; t ; y
n
( x t ) v
n
( x t ) p
n
( x t ) ) e t c . ,
w a s u s e d . T h e a s s o c i a t e d a d j o i n t s t a t e p
n + 1
i s d e t e r m i n e d f r o m
? p
t
+ A p + d
n
y
( p ? p
n
) = H
Q n
y
+ H
Q n
y y
( y
n + 1
? y
n
) + H
Q n
y v
( v
n + 1
? v
n
)
p ( T ) = '
n
y
+ '
n
y y
( y
n + 1
? y
n
) ( T )
@
p + b
n
y
( p ? p
n
) = H
n
y
+ H
n
y y
( y
n + 1
? y
n
) + H
n
y u
( u
n + 1
? u
n
)
( 3 . 2 4 )
I n t h i s w a y , a s e q u e n c e o f q u a d r a t i c o p t i m i z a t i o n p r o b l e m s i s t o b e s o l v e d , g i v i n g t h e
m e t h o d t h e n a m e S e q u e n t i a l Q u a d r a t i c P r o g r a m m i n g ( S Q P - ) m e t h o d . T h e m a i n a i m
o f t h i s p a p e r i s t o s h o w t h a t t h i s p r o c e s s e x h i b i t s a l o c a l q u a d r a t i c c o n v e r g e n c e . W e
s h a l l t r a n s f o r m t h e o p t i m a l i t y s y s t e m i n t o a g e n e r a l i z e d e q u a t i o n . T h e n w e a r e a b l e
t o i n t e r p r e t e t h e S Q P m e t h o d a s a N e w t o n m e t h o d f o r a g e n e r a l i z e d e q u a t i o n . T h i s
a p p r o a c h g i v e s d i r e c t a c c e s s t o k n o w n r e s u l t s o n t h e c o n v e r g e n c e o f N e w t o n m e t h o d s .
I n t h e a n a l y s i s , a s p e c i c d i c u l t y a r i s e s f r o m t h e f a c t t h a t ( Q P
n
) m i g h t b e n o n -
c o n v e x . I t t h e r e f o r e m a y h a v e m u l t i p l e l o c a l m i n i m a . W e s h a l l h a v e t o r e s t r i c t t h e
c o n t r o l s e t t o a s u c i e n t l y s m a l l n e i g h b o u r h o o d a r o u n d t h e r e f e r e n c e s o l u t i o n .
4 . G e n e r a l i z e d e q u a t i o n a n d N e w t o n m e t h o d . T o t r a n s f o r m t h e o p t i m a l i t y
s y s t e m i n t o a g e n e r a l i z e d e q u a t i o n , w e r e - f o r m u l a t e t h e v a r i a t i o n a l i n e q u a l i t i e s ( 3 . 8 ) -
( 3 . 9 ) a s g e n e r a l i z e d e q u a t i o n s , t o o . T h e r e f o r e , w e d e n e t h e n o r m a l c o n e s
N
Q
( v ) =
(
f z 2 L
1
( Q )
R
Q
z ( ~v ? v ) d x d t 0 8 ~v 2 V
a d
g i f v 2 V
a d
; i f v 3 V
a d
( 4 . 1 )
N
( u ) =
(
f z 2 L
1
( )
R
z ( ~u ? u ) d S d t 0 8 ~u 2 U
a d
g i f u 2 U
a d
; i f u 3 U
a d
( 4 . 2 )
T h e n ( 3 . 8 ) , ( 3 . 9 ) r e a d ? H
Q
v
( y ; p ; v ) 2 N
Q
( v ) ? H
u
( y ; p ; u ) 2 N
( u ) , o r
0 2 H
Q
v
( y ; p ; v ) + N
Q
( v )( 4 . 3 )
0 2 H
u
( y ; p ; u ) + N
( u )( 4 . 4 )
7
-
8/13/2019 Lagrange Newton method
8/19
( H
Q
v
a n d H
u
a r e N e m y t s k i i o p e r a t o r s d e n e d a n a l o g o u s l y t o H
Q
y
H
y
) . T h e s e t -
v a l u e d m a p p i n g s T
1
v ! N
Q
( v ) f r o m L
1
( Q ) t o 2
L
1
( Q )
a n d T
2
u ! N
( u ) f r o m
L
1
( ) t o 2
L
1
( )
h a v e c l o s e d g r a p h .
W e i n t r o d u c e n o w t h e s p a c e E = ( L
1
( Q ) L
1
( ) C ( ) )
2
L
1
( Q ) L
1
( )
w i t h e l e m e n t s = ( e
Q
e
0
Q
v
u
) , e n d o w e d w i t h t h e n o r m k k
E
=
k e
Q
k
L
1
( Q )
+ k e
k
L
1
( )
+ k
Q
k
L
1
( Q )
+ k
k
L
1
( )
+ k
k
C ( )
+ k
v
k
L
1
( Q )
+ k
u
k
L
1
( )
a n d t h e s p a c e W = Y Y L
1
( Q ) L
1
( ) e q u i p p e d w i t h t h e n o r m k ( y ; p ; v ; u ) k
W
=
k y k
Y
+ k p k
Y
+ k v k
L
1
( )
+ k u k
L
1
( )
. M o r e o v e r , d e n e t h e s e t - v a l u e d m a p p i n g
T W ! 2
E
b y
T ( w ) = ( f 0 g f 0 g f 0 g f 0 g f 0 g f 0 g N
Q
( v ) N
( u ) )
a n d F W ! E b y F ( w ) = ( F
1
( w ) ; : : : ; F
8
( w ) ) , w h e r e
F
1
( w ) = y
t
+ A y + d ( y v )
F
2
( w ) = @
y + b ( y u )
F
3
( w ) = y ( 0 ) ? y
0
F
4
( w ) = ? p
t
+ A p ? H
Q
y
( y ; p ; v )
F
5
( w ) = @
p ? H
y
( y ; p ; u )
F
6
( w ) = p ( T ) ? '
y
( y ( T ) )
F
7
( w ) = H
Q
v
( y ; p ; v )
F
8
( w ) = H
u
( y ; p ; u )
I n t h e d e n i t i o n o f E , t h e t h i r d c o m p o n e n t i s v a n i s h i n g , s i n c e i t w i l l c o r r e s p o n d t o t h e
i n i t i a l c o n d i t i o n y ( 0 ) ? y
0
= 0 , w h i c h i s k e p t x e d i n t h e g e n e r a l i z e d N e w t o n m e t h o d .
T h e o p t i m a l i t y s y s t e m i s e a s i l y s e e n t o b e e q u i v a l e n t t o t h e g e n e r a l i z e d e q u a t i o n
0 2 F ( w ) + T ( w )( 4 . 5 )
w h e r e F i s o f c l a s s C
1 1
, a n d t h e s e t - v a l u e d m a p p i n g T h a s c l o s e d g r a p h . O b v i o u s l y ,
t h e r e f e r e n c e s o l u t i o n w = ( y ; p ; v ; u ) s a t i s e s ( 4 . 5 ) . T h e g e n e r a l i z e d N e w t o n m e t h o d
f o r s o l v i n g ( 4 . 5 ) i s s i m i l a r t o t h e N e w t o n m e t h o d f o r e q u a t i o n s i n B a n a c h s p a c e s .
S u p p o s e t h a t w e h a v e a l r e a d y c o m p u t e d w
1
; : : : ; w
n
. T h e n w
n + 1
i s t o b e d e t e r m i n e d
b y t h e g e n e r a l i z e d e q u a t i o n
0 2 F ( w
n
) + F ( w
n
) ( w ? w
n
) + T ( w )( 4 . 6 )
T h e c o n v e r g e n c e a n a l y s i s o f t h i s m e t h o d i s c l o s e l y r e l a t e d t o t h e n o t i o n o f s t r o n g
r e g u l a r i t y o f ( 4 . 5 ) g o i n g b a c k t o R o b i n s o n 2 9 ] . T h e g e n e r a l i z e d e q u a t i o n ( 4 . 5 ) i s s a i d
t o b e s t r o n g l y r e g u l a r a t w , i f t h e r e a r e c o n s t a n t s r
1
> 0 r
2
> 0 a n d c
L
> 0 s u c h t h a t
f o r a l l p e r t u r b a t i o n s e 2 B
r
1
( 0
E
) t h e l i n e a r i z e d e q u a t i o n
e 2 F ( w ) + F ( w ) ( w ? w ) + T ( w )( 4 . 7 )
h a s i n B
r
2
( w ) a u n i q u e s o l u t i o n w = w ( e ) , a n d t h e L i p s c h i t z p r o p e r t y
k w ( e
1
) ? w ( e
2
) k
W
c
L
k e
1
? e
2
k
E
( 4 . 8 )
h o l d s f o r a l l e
1
e
2
2 B
r
1
( 0
E
) . I n t h e c a s e o f a n e q u a t i o n F ( w ) = 0 , w e h a v e
F ( w ) = 0 T ( w ) = f 0 g , a n d s t r o n g r e g u l a r i t y m e a n s t h e e x i s t e n c e a n d b o u n d e d n e s s
8
-
8/13/2019 Lagrange Newton method
9/19
o f ( F ( w ) )
1
. T h e f o l l o w i n g r e s u l t g i v e s a r s t a n s w e r t o t h e c o n v e r g e n c e a n a l y s i s o f
t h e g e n e r a l i z e d N e w t o n m e t h o d .
T h e o r e m 4 . 1 . S u p p o s e t h a t ( 4 . 5 ) i s s t r o n g l y r e g u l a r a t w . T h e n t h e r e a r e r
N
>
0 a n d c
N
> 0 s u c h t h a t f o r e a c h s t a r t i n g e l e m e n t w
1
2 B
r
N
( w ) t h e g e n e r a l i z e d
N e w t o n m e t h o d g e n e r a t e s a u n i q u e s e q u e n c e f w
n
g
1
n = 1
. T h i s s e q u e n c e r e m a i n s i n
B
k w
1
w
k
W
( w ) , a n d i t h o l d s
k w
n + 1
? w k
W
c
N
k w
n
? w k
2
W
8 n 2 N( 4 . 9 )
T h i s r e s u l t w a s a p p a r e n t l y s h o w n r s t b y J o s e p h y 1 8 ] . G e n e r a l i z a t i o n s c a n b e f o u n d
i n D o n t c h e v 8 ] a n d A l t 1 ] , 2 ] . W e r e f e r i n p a r t i c u l a r t o t h e r e c e n t p u b l i c a t i o n b y A l t
3 ] , w h e r e a m e s h - i n d e p e n d e n c e p r i n c i p l e w a s s h o w n f o r n u m e r i c a l a p p r o x i m a t i o n o f
( 4 . 5 ) . W e s h a l l v e r i f y t h a t t h e s e c o n d o r d e r c o n d i t i o n ( S S C ) i m p l i e s s t r o n g r e g u l a r i t y
o f t h e g e n e r a l i z e d e q u a t i o n a t w = ( y ; p ; v ; u ) i n c e r t a i n s u b s e t s
b
V
a d
V
a d
b
U
a d
U
a d
T h e n T h e o r e m 4 . 1 y i e l d s t h e q u a d r a t i c c o n v e r g e n c e o f t h e g e n e r a l i z e d N e w t o n m e t h o d
i n t h e s e s u b s e t s .
5 . S t r o n g r e g u l a r i t y . T o i n v e s t i g a t e t h e s t r o n g r e g u l a r i t y o f t h e g e n e r a l i z e d
e q u a t i o n ( 4 . 5 ) a t w w e h a v e t o c o n s i d e r t h e p e r t u r b e d g e n e r a l i z e d e q u a t i o n ( 4 . 7 ) .
O n c e a g a i n , w e a r e a b l e t o i n t e r p r e t e t h i s e q u a t i o n a s t h e o p t i m a l i t y s y s t e m o f a
l i n e a r - q u a d r a t i c c o n t r o l p r o b l e m . T h i s p r o b l e m i s n o t n e c e s s a r i l y c o n v e x , t h e r e f o r e
w e s t u d y t h e b e h a v i o u r o f t h e f o l l o w i n g a u x i l i a r y l i n e a r - q u a d r a t i c p r o b l e m a s s o c i a t e d
w i t h t h e p e r t u r b a t i o n e
(
d
Q P
e
) M i n i m i z e
J
e
( y ; v ; u ) =
R
( '
y
+
) y ( T ) d x +
R
Q
(
f
y
+
Q
) y d x d t +
R
Q
(
f
v
+
v
) v d x d t
+
R
( g
y
+
) v d S d t +
R
( g
u
+
u
) u d S d t +
1
2
R
'
y y
( y ( T ) ? y ( T ) )
2
d x
+
1
2
R
Q
(
y ? y
v ? v
)
>
D
2
H
Q
(
y ? y
v ? v
) d x d t +
1
2
R
(
y ? y
u ? u
)
>
D
2
H
(
y ? y
u ? u
) d S d t
( 5 . 1 )
s u b j e c t t o
y
t
+ A y + d ( y v ) +
d
y
( y ? y ) +
d
v
( v ? v ) = e
Q
i n Q
@
y + b ( y u ) +
b
y
( y ? y ) +
b
u
( u ? u ) = e
o n
y ( 0 ) = y
0
i n
( 5 . 2 )
a n d t o t h e c o n s t r a i n t s o n t h e c o n t r o l
v 2
b
V
a d
= f v 2 V
a d
v ( x t ) = v ( x t ) o n Q ( ) g
u 2
b
U
a d
= f u 2 U
a d
u ( x t ) = u ( x t ) o n ( ) g
( 5 . 3 )
I n t h i s s e t t i n g , t h e p e r t u r b a t i o n v e c t o r e = ( e
Q
e
0
Q
v
u
) b e l o n g s t o E
T h e h a t i n (
d
Q P
e
) i n d i c a t e s t h a t v a n d u a r e t a k e n e q u a l t o v a n d u o n t h e s t r o n g l y
a c t i v e s e t s Q ( ) ( ) , r e s p e c t i v e l y .
R e m a r k : T h e g e n e r a l i z e d e q u a t i o n ( 4 . 7 ) i s e q u i v a l e n t t o t h e o p t i m a l i t y s y s t e m o f t h e
p r o b l e m ( Q P
e
) o b t a i n e d f r o m (
d
Q P
e
) o n s u b s t i t u t i n g V
a d
f o r
b
V
a d
a n d U
a d
f o r
b
U
a d
r e s p e c t i v e l y .
I n t h e s p a c e o f p e r t u r b a t i o n s E w e n e e d a n o t h e r n o r m
k e k
2
= k e
Q
k
L
2
( Q )
+ k e
k
L
2
( )
+ k
Q
k
L
2
( Q )
+ k
k
L
2
( )
+
+ k
k
L
2
( )
+ k
v
k
L
2
( Q )
+ k
u
k
L
2
( )
9
-
8/13/2019 Lagrange Newton method
10/19
M o r e o v e r , i n W w e s h a l l a l s o u s e t h e n o r m
k ( y ; p ; v ; u ) k
2
= k y k
W ( 0 T )
+ k p k
W ( 0 T )
+ k v k
L
2
( Q )
+ k u k
L
2
( )
T h e f o l l o w i n g r e s u l t s a r e k n o w n f r o m t h e a u t h o r ' s p a p e r 3 3 ] :
L e m m a 5 . 1 . S u p p o s e t h a t t h e s e c o n d o r d e r s u c i e n t o p t i m a l i t y c o n d i t i o n ( S S C ) i s
s a t i s e d a t ( y v u ) w i t h a s s o c i a t e d a d j o i n t s t a t e p . T h e n f o r e a c h e 2 E , t h e p r o b l e m
(
d
Q P
e
) h a s a u n i q u e s o l u t i o n ( y
e
v
e
u
e
) w i t h a s s o c i a t e d a d j o i n t s t a t e p
e
. L e t ( y
i
v
i
u
i
)
a n d p
i
i = 1 2 , b e t h e s o l u t i o n s t o e
i
2 E i = 1 2 . T h e r e i s a c o n s t a n t l
2
> 0 , n o t
d e p e n d i n g o n e
i
, s u c h t h a t
k ( y
1
p
1
v
1
u
1
) ? ( y
2
p
2
v
2
u
2
) k
2
l
2
k e
1
? e
2
k
2
( 5 . 4 )
h o l d s f o r a l l e
i
2 E i = 1 2
B y c o n t i n u i t y , ( 5 . 4 ) e x t e n d s t o p e r t u r b a t i o n s e
i
o f L
2
. I t w a s s h o w n i n 3 3 ] t h a t
t h e s e c o n d o r d e r c o n d i t i o n ( S S C ) i m p l i e s t h e f o l l o w i n g s t r o n g L e g e n d r e - C l e b s c h
c o n d i t i o n :
( L C ) H
Q
v v
( x ; t ; y ( x t ) v ( x t ) p ( x t ) ) a : e : o n Q
H
u u
( x ; t ; y ( x t ) u ( x t ) p ( x t ) ) a : e : o n
T h e o r e m 5 . 2 . L e t t h e a s s u m p t i o n s o f L e m m a 5 . 1 b e s a t i s e d . T h e n t h e r e i s a
c o n s t a n t l
1
> 0 , n o t d e p e n d i n g o n e
i
, s u c h t h a t
k ( y
1
p
1
v
1
u
1
) ? ( y
2
p
2
v
2
u
2
) k
W
l
1
k e
1
? e
2
k
E
( 5 . 5 )
h o l d s f o r ( y
i
v
i
u
i
p
i
) a n d e
i
i = 1 2 , i n t r o d u c e d i n L e m m a 6 . 1 .
T h i s T h e o r e m f o l l o w s f r o m 3 3 ] , T h m . 5 . 2 ( n o t i c e t h a t v
i
= v a n d u
i
= u o n Q ( ) a n d
( ) , r e s p e c t i v e l y . T h i s c a n b e e x p r e s s e d b y t a k i n g u
a
= u
b
= u a n d v
a
= v
b
= v
o n t h e s e s e t s . T h e n 3 3 ] , T h m 5 . 2 i s e a s y t o a p p l y ) .
U n f o r t u n a t e l y , ( 5 . 5 ) h o l d s o n l y f o r
b
V
a d
a n d
b
U
a d
. W e a r e n o t a b l e t o p r o v e ( 5 . 5 ) i n
V
a d
U
a d
. I n t h i s c a s e , J
e
m i g h t b e n o n c o n v e x a n d ( Q P
e
) m a y h a v e m u l t i p l e s o l u t i o n s ,
i f s o l v a b l e a t a l l . H o w e v e r , f o r m u l a t i n g T h e o r e m 5 . 2 i n t h e c o n t e x t o f o u r g e n e r a l i z e d
e q u a t i o n , w e a l r e a d y h a v e o b t a i n e d t h e f o l l o w i n g r e s u l t o n s t r o n g r e g u l a r i t y :
T h e o r e m 5 . 3 . S u p p o s e t h a t w = ( y p v u ) s a t i s e s t h e r s t o r d e r o p t i m a l i t y s y s t e m
( 2 . 1 ) , ( 3 . 2 ) - ( 3 . 3 ) , ( 3 . 7 ) - ( 3 . 9 ) t o g e t h e r w i t h t h e s e c o n d o r d e r s u c i e n t c o n d i t i o n
( S S C ) . T h e n t h e g e n e r a l i z e d e q u a t i o n ( 4 . 5 ) i s s t r o n g l y r e g u l a r a t w , p r o v i d e d t h a t t h e
c o n t r o l s e t s
b
V
a d
b
U
a d
a r e s u b s t i t u t e d f o r V
a d
U
a d
i n t h e d e n i t i o n o f T ( w )
R e m a r k : T h e l a s t a s s u m p t i o n m e a n s t h a t t h e n o r m a l c o n e s N
Q
( v ) N
( u ) a r e d e n e d
o n u s i n g
b
V
a d
a n d
b
U
a d
, r e s p e c t i v e l y .
T o c o m p l e t e t h e d i s c u s s i o n o f t h e N e w t o n m e t h o d , t h e f o l l o w i n g q u e s t i o n s h a v e t o b e
a n s w e r e d y e t : H o w w e c a n s o l v e t h e g e n e r a l i z e d e q u a t i o n ( 4 . 6 ) i n
b
V
a d
b
U
a d
, a n d h o w
w e g e t r i d o f t h e a r t i c i a l r e s t r i c t i o n v = v o n Q ( ) u = u o n ( )
W e s h a l l s h o w t h a t t h e S Q P m e t h o d , r e s t r i c t e d t o a s u c i e n t l y s m a l l n e i g h b o u r h o o d
a r o u n d v a n d u , w i l l s o l v e b o t h t h e p r o b l e m s : I f t h e r e g i o n i s s m a l l e n o u g h , t h e n
t h e S Q P m e t h o d d e l i v e r s a u n i q u e s o l u t i o n w
n
= ( y
n
p
n
v
n
u
n
) , w h e r e v
n
= v u
n
=
u i s a u t o m a t i c a l l y s a t i s e d o n Q ( ) ( ) . M o r e o v e r , t h i s w
n
i s a s o l u t i o n o f t h e
g e n e r a l i z e d e q u a t i o n ( 4 . 5 ) , t h a t i s , a s o l u t i o n o f t h e o p t i m a l i t y s y s t e m f o r ( P ) .
1 0
-
8/13/2019 Lagrange Newton method
11/19
6 . T h e l i n e a r - q u a d r a t i c s u b p r o b l e m s ( Q P
n
) T h e p r e s e n t a t i o n o f t h e S Q P
m e t h o d i s s t i l l q u i t e f o r m a l . W e d o n o t k n o w w h e t h e r t h e q u a d r a t i c s u b p r o b l e m
( Q P
n
) d e n e d b y ( 3 . 2 1 ) - ( 3 . 2 3 ) i s s o l v a b l e a t a l l . M o r e o v e r , i f s o l u t i o n s e x i s t , w e a r e
n o t a b l e t o s h o w t h e i r u n i q u e n e s s . T h e r e m i g h t e x i s t m u l t i p l e s t a t i o n a r y s o l u t i o n s ,
i . e . s o l u t i o n s s a t i s f y i n g t h e o p t i m a l i t y s y s t e m f o r ( Q P
n
) . N o t i c e t h a t t h e o b j e c t i v e J
n
o f ( Q P
n
) i s o n l y c o n v e x o n a s u b s p a c e . O w i n g t o t h i s , w e h a v e t o r e s t r i c t ( Q P
n
) t o a
s u c i e n t l y s m a l l n e i g h b o u r h o o d a r o u n d t h e r e f e r e n c e s o l u t i o n ( v u ) . T h i s r e g i o n i s
d e n e d b y
V
%
a d
= f v 2 V
a d
k v ? v k
L
1
( Q )
% g
U
%
a d
= f u 2 U
a d
k u ? u k
L
1
( )
% g
w h e r e % > 0 i s a s u c i e n t l y s m a l l r a d i u s . T o a v o i d t h e u n k n o w n r e f e r e n c e s o l u t i o n
( v u ) i n t h e d e n i t i o n o f t h e n e i g h b o u r h o o d , w e s h a l l l a t e r r e p l a c e t h i s n e i g h b o r h o o d
b y a b a l l a r o u n d t h e i n i t i a l i t e r a t e ( v
1
u
1
)
L e t u s d e n o t e b y ( Q P
%
n
) t h e p r o b l e m ( Q P
n
) r e s t r i c t e d t o V
%
a d
U
%
a d
a n d b y (
d
Q P
n
) t h e
s a m e p r o b l e m r e s t r i c t e d t o
b
V
a d
b
U
a d
, r e s p e c t i v e l y . T o a n a l y z e (
d
Q P
n
) i n a r s t s t e p ,
w e n e e d s o m e a u x i l i a r y r e s u l t s .
L e m m a 6 . 1 . F o r a l l K > 0 t h e r e i s a c o n s t a n t c
L
= c
L
( K ) s u c h t h a t
E c
L
( K ) k w
n
? w k
W
( 6 . 1 )
h o l d s f o r a l l w
n
2 W w i t h k w
n
? w k
W
K , w h e r e t h e e x p r e s s i o n E i s d e n e d b y
E = m a x f k f
n
v
?
f
v
k
L
1
( Q )
k f
n
y
?
f
y
k
L
1
( Q )
k g
u
v
? g
u
k
L
1
( )
k g
n
y
? g
y
k
L
1
( )
k d
n
y
?
d
y
k
L
1
( Q )
k d
n
v
?
d
v
k
L
1
( Q )
k b
n
y
?
b
y
k
L
1
( )
k b
n
u
?
b
u
k
L
1
( )
k '
n
y
? '
y
k
C (
)
k '
n
y y
? '
y y
k
C (
)
k D
2
H
Q n
? D
2
H
Q
k
L
1
( Q )
k D
2
H
n
? D
2
H
k
L
1
( Q )
g
P r o o f . T h e e s t i m a t e f o l l o w s f r o m t h e a s s u m p t i o n s ( A 2 ) { ( A 4 ) i m p o s e d o n t h e f u n c t i o n s
f ; g ; ' ; b ; d i n s e c t i o n 2 a n d 3 . F o r i n s t a n c e , t h e m e a n v a l u e t h e o r e m y i e l d s
k f
n
v
?
f
v
k
L
1
( Q )
= s u p
( x t ) 2 Q
e s s f
v y
( y
#
v
#
) ( y
n
? y ) + f
v v
( v
#
v
#
) ( v
n
? v )
c ( K ) s u p
( x t ) 2 Q
e s s ( y
n
? y + v
n
? v )
b y ( 3 . 5 ) , w h e r e y
#
= y + # ( y
n
? y ) v
#
= v + # ( v
n
? v ) a n d # = # ( x t ) b e l o n g s t o
( 0 1 ) . ( C o n s i d e r f o r e x a m p l e t h e e s t i m a t i o n
f
v y
( y
#
v
#
) f
y v
( 0 0 ) + f
v y
( y
#
v
#
) ? f
v y
( 0 0 ) c
1
+ c ( K ) ( y
#
+ v
#
)
c
1
+ c ( K ) K
w h i c h f o l l o w s f r o m ( 3 . 5 ) ) . T h e o t h e r t e r m s i n E a r e h a n d l e d a n a l o g o u s l y .
W e s h a l l d e n o t e t h e q u a d r a t i c p a r t o f t h e f u n c t i o n a l J
n
b y
B
n
( y
1
v
1
u
1
) ( y
2
v
2
u
2
) =
R
'
n
y y
y
1
( T ) y
2
( T ) d x +
R
Q
( y
1
v
1
) D
2
H
Q n
( y
2
v
2
)
>
d x d t
+
R
( y
1
u
1
) D
2
H
n
( y
2
u
2
)
>
d S d t
( 6 . 2 )
a n d w r i t e f o r s h o r t B
n
( y ; v ; u ) ( y ; v ; u ) = B
n
y ; v ; u
2
L e m m a 6 . 2 . S u p p o s e t h a t t h e s e c o n d o r d e r s u c i e n t o p t i m a l i t y c o n d i t o n ( S S C ) i s
s a t i s e d . T h e n t h e r e i s %
1
> 0 w i t h t h e f o l l o w i n g p r o p e r t y : I f k w
n
? w k
W
%
1
, t h e n
B
n
y ; v ; u
2
2
k ( y ; v ; u ) k
2
H
( 6 . 3 )
1 1
-
8/13/2019 Lagrange Newton method
12/19
h o l d s f o r a l l ( y ; v ; u ) 2 H s a t i s f y i n g v = 0 o n Q ( ) u = 0 o n I
u
( ) t o g e t h e r w i t h
y
t
+ A y + d
n
y
y + d
n
v
v = 0
@
y + b
n
y
y + b
n
u
u = 0
y ( 0 ) = 0
( 6 . 4 )
P r o o f . L e t z d e n o t e t h e w e a k s o l u t i o n o f t h e p a r a b o l i c e q u a t i o n o b t a i n e d f r o m ( 6 . 4 )
o n s u b s t i t u t i n g
d
y
d
v
b
y
b
u
f o r d
n
y
d
n
v
b
n
y
b
n
u
, r e s p e c t i v e l y . T h e n
( y ? z )
t
+ A ( y ? z ) ) +
d
y
( y ? z ) = (
d
y
? d
n
y
) y + (
d
v
? d
n
v
) v
@
( y ? z ) +
b
y
( y ? z ) = (
b
y
? b
n
y
) y + (
b
u
? b
n
u
) u
( y ? z ) ( 0 ) = 0
W e h a v e
d
y
c
0
b
y
c
0
. T h e d i e r e n c e s o n t h e r i g h t h a n d s i d e s c a n b e e s t i m a t e d
b y L e m m a 6 . 1 , w h e r e K = k w k
W
+ %
1
, h e n c e p a r a b o l i c L
2
- r e g u l a r i t y y i e l d s
k y ? z k
W ( 0 T )
c ( k
d
y
? d
n
y
k
L
1
( Q )
k y k
L
2
( Q )
+ k
d
y
? d
n
v
k
L
1
( Q )
k v k
L
2
( Q )
+ k
b
y
? b
n
y
k
L
1
( )
k y k
L
2
( )
+ k
b
u
? b
n
u
k k u k
L
2
( )
)
c %
1
( k y k
W ( 0 T )
+ k v k
L
2
( Q )
+ k u k
L
2
( )
) c %
1
k ( y ; v ; u ) k
H
( 6 . 5 )
S u b s t i t u t i n g y = z + ( y ? z ) i n B
n
B
n
y ; v ; u
2
= B
n
z + ( y ? z ) ; v ; u
2
= B z ; v ; u
2
+ ( B
n
? B ) z ; v ; u
2
+ 2 B
n
( z ; v ; u ) ( y ? z 0 0 )
+ B
n
y ? z 0 0
2
i s o b t a i n e d . ( S S C ) a p p l i e s t o t h e r s t e x p r e s s i o n B , w h i l e t h e s e c o n d i s e s t i m a t e d
b y L e m m a 6 . 1 . I n t h e r e m a i n i n g t w o p a r t s , w e u s e t h e u n i f o r m b o u n d e d n e s s o f a l l
c o e c i e n t s . T h e r e f o r e , b y ( 6 . 5 )
B
n
y ; v ; u
2
k ( z ; v ; u ) k
2
H
? c %
1
k ( z ; v ; u ) k
2
H
? c k ( z ; v ; u ) k
H
k y ? z k
W ( 0 T )
? c k y ? z k
2
W ( 0 T )
3
4
k ( z ; v ; u ) k
2
H
? c %
1
k ( z ; v ; u ) k
H
k ( y ; v ; u ) k
H
? c %
2
1
k ( y ; v ; u ) k
2
H
i f %
1
i s s u c i e n t l y s m a l l . N e x t w e r e - s u b s t i t u t e z = y + ( z ? y ) a n d a p p l y ( 6 . 5 ) a g a i n .
I n t h i s w a y , t h e d e s i r e d e s t i m a t e ( 6 . 3 ) i s e a s i l y v e r i e d f o r s u c i e n t l y s m a l l %
1
> 0
C o r o l l a r y 6 . 3 . I f k w
n
? w k
W
%
1
a n d ( S S C ) i s s a t i s e d a t w , t h e n (
d
Q P
n
) h a s a
u n i q u e o p t i m a l p a i r o f c o n t r o l s ( ^v ^u ) w i t h a s s o c i a t e d s t a t e ^y
P r o o f . T h e f u n c t i o n a l J
n
t o b e m i n i m i z e d i n (
d
Q P
n
) h a s t h e f o r m ( s e e ( 3 . 2 1 ) )
J
n
( y ; v ; u ) = a
n
( y ; v ; u ) +
1
2
B
n
y ? y
n
v ? v
n
u ? u
n
2
w h e r e a
n
i s a l i n e a r i n t e g r a l f u n c t i o n a l . J
n
i s u n i f o r m l y c o n v e x o n t h e f e a s i b l e r e g i o n
o f (
d
Q P
n
) . B y L e m m a 6 . 2 , t h e s e t s
b
V
a d
b
U
a d
a r e w e a k l y c o m p a c t i n L
2
( Q ) a n d L
2
( ) ,
r e s p e c t i v e l y . T h e r e f o r e , t h e C o r o l l a r y f o l l o w s f r o m s t a n d a r d a r g u m e n t s .
L e t u s r e t u r n t o t h e d i s c u s s i o n o f t h e r e l a t i o n b e t w e e n N e w t o n m e t h o d a n d S Q P
m e t h o d . I n w h a t f o l l o w s , w e s h a l l d e n o t e b y ^w
n
= ( ^y
n
^p
n
^v
n
^u
n
) t h e s e q u e n c e o f
i t e r a t e s g e n e r a t e d b y t h e S Q P m e t h o d p e r f o r m e d i n
b
V
a d
b
U
a d
( p r o v i d e d t h a t t h i s
1 2
-
8/13/2019 Lagrange Newton method
13/19
s e q u e n c e i s w e l l d e n e d ) . T h e i t e r a t e s o f t h e g e n e r a l i z e d N e w t o n m e t h o d a r e d e n o t e d
b y w
n
. C o n s i d e r n o w b o t h m e t h o d s i n i t i a t i n g f r o m t h e s a m e e l e m e n t w
n
= ^w
n
I f k w
n
? w k
W
%
1
, t h e n C o r o l l a r y 6 . 3 s h o w s t h e e x i s t e n c e o f a u n i q u e s o l u t i o n
( ^y
n + 1
^v
n + 1
^u
n + 1
) o f (
d
Q P
n
) h a v i n g t h e a s s o c i a t e d a d j o i n t s t a t e ^p
n + 1
. T h e e l e m e n t
^w
n + 1
s o l v e s t h e o p t i m a l i t y s y s t e m c o r r e s p o n d i n g t o (
d
Q P
n
) . B y c o n v e x i t y ( L e m m a
6 . 2 ) , a n y o t h e r s o l u t i o n o f t h i s s y s t e m s o l v e s (
d
Q P
n
) , h e n c e i t i s e q u a l t o i s ^w
n + 1
O n t h e o t h e r h a n d , t h e o p t i m a l i t y s y s t e m i s e q u i v a l e n t t o t h e g e n e r a l i z e d e q u a t i o n
( 4 . 6 ) a t w
n
( b a s e d o n t h e s e t s
b
V
a d
b
U
a d
) . F o r k w
n
? w k
W
r
N
, o n e s t e p o f t h e
g e n e r a l i z e d N e w t o n m e t h o d d e l i v e r s t h e u n i q u e s o l u t i o n w
n + 1
o f ( 4 . 6 ) . A s w
n + 1
s o l v e s
t h e o p t i m a l i t y s y s t e m f o r (
d
Q P
n
) , i t h a s t o c o i n c i d e w i t h ^w
n + 1
. S u p p o s e f u r t h e r t h a t
k w
n
? w k
W
m i n f r
N
%
1
g . T h e n T h e o r e m 4 . 1 i m p l i e s t h a t w
n + 1
= ^w
n + 1
r e m a i n s
i n B
m i n f r
N
%
1
g
( w ) , s o t h a t k ^w
n + 1
? w k
W
m i n f r
N
%
1
g . C o n s e q u e n t l y , w e a r e a b l e
t o p e r f o r m t h e n e x t s t e p i n b o t h t h e m e t h o d s . M o r e o v e r , i n
b
V
a d
b
U
a d
e a c h s t e p o f t h e
N e w t o n m e t h o d i s e q u i v a l e n t t o s o l v i n g (
d
Q P
n
) , w h i c h a l w a y s h a s a u n i q u e s o l u t i o n .
I n o t h e r w o r d s , N e w t o n m e t h o d a n d S Q P m e t h o d a r e i d e n t i c a l i n
b
V
a d
b
U
a d
T h e o r e m 6 . 4 . L e t w = ( y p v u ) s a t i s f y t h e r s t o r d e r o p t i m a l i t y s y s t e m ( 2 . 1 ) , ( 3 . 2 )
- ( 3 . 3 ) , ( 3 . 7 ) - ( 3 . 9 ) t o g e t h e r w i t h t h e s e c o n d o r d e r s u c i e n t o p t i m a l i t y c o n d i t i o n s
( S S C ) . S u p p o s e t h a t w
1
= ( y
1
p
1
v
1
u
1
) 2 W i s g i v e n s u c h t h a t k w
1
? w k
W
m i n f %
1
r
N
g v
1
2
b
V
a d
, a n d u
1
2
b
U
a d
. T h e n i n
b
V
a d
b
U
a d
t h e g e n e r a l i z e d N e w t o n
m e t h o d i s e q u i v a l e n t t o t h e S Q P m e t h o d : T h e s o l u t i o n o f t h e g e n e r a l i z e d e q u a t i o n
( 4 . 6 ) i s g i v e n b y t h e u n i q u e s o l u t i o n o f (
d
Q P
n
) a l o n g w i t h t h e a s s o c i a t e d a d j o i n t s t a t e .
T h e r e s u l t f o l l o w s f r o m T h e o r e m 5 . 3 ( s t r o n g r e g u l a r i t y ) a n d t h e c o n s i d e r a t i o n s a b o v e .
R e m a r k : I t i s e a s y t o v e r i f y t h a t ^w
n
, t h e s o l u t i o n o f (
d
Q P
n
) , o b e y s t h e o p t i m a l i t y
s y s t e m f o r ( P ) i n t h e o r i g i n a l s e t s V
a d
U
a d
( c f . a l s o C o r o l l a r y 6 . 9 ) .
N e x t , w e d i s c u s s t h e o p t i m a l i t y s y s t e m f o r (
d
Q P
n
) a n d ( Q P
%
n
) . L e t u s d e n o t e t h e
a s s o c i a t e d H a m i l t o n f u n c t i o n s b y
~
H t o d i s t i n g u i s h t h e m f r o m H , w h i c h b e l o n g s t o
( P )
~
H
Q
( x ; t ; y ; p ; v ) = f
n
y
( y ? y
n
) + f
n
v
( v ? v
n
) ? p ( d
n
+ d
n
y
( y ? y
n
) + d
n
v
( v ? v
n
) )
+
1
2
( y ? y
n
v ? v
n
) D
2
H
Q n
( y ? y
n
v ? v
n
)
>
~
H
( x ; t ; y ; p ; u ) = g
n
y
( y ? y
n
) + g
n
u
( u ? u
n
) ? p ( b
n
+ b
n
y
( y ? y
n
) + b
n
u
( u ? u
n
) )
+
1
2
( y ? y
n
u ? u
n
) D
2
H
n
( y ? y
n
u ? u
n
)
>
w h e r e y ; v ; p ; u a r e r e a l n u m b e r s a n d ( x t ) a p p e a r s i n t h e q u a n t i t i e s d e p e n d i n g o n
n . N o t i c e t h a t t h e s e H a m i l t o n i a n s c o i n c i d e f o r (
d
Q P
n
) ( Q P
%
n
) a n d ( Q P
n
) , s i n c e t h e s e
p r o b l e m s d i e r o n l y i n t h e u n d e r l y i n g s e t s o f a d m i s s i b l e c o n t r o l s . W e c o n s i d e r t h e
p r o b l e m s d e n e d a t w
n
= ( y
n
p
n
v
n
u
n
) . I n w h a t f o l l o w s , w e d e n o t e s o l u t i o n s o f t h e
o p t i m a l i t y s y s t e m c o r r e s p o n d i n g t o ( Q P
%
n
) b y ( y
+
v
+
u
+
) . T h e o p t i m a l i t y s y s t e m
f o r ( Q P
%
n
) c o n s i s t s o f
Z
Q
~
H
Q
v
( y
+
p
+
v
+
) ( v ? v
+
) d x d t 0 8 v 2 V
%
a d
( 6 . 6 )
Z
~
H
u
( y
+
p
+
u
+
) ( u ? u
+
) d S d t 0 8 u 2 U
%
a d
( 6 . 7 )
1 3
-
8/13/2019 Lagrange Newton method
14/19
w h e r e t h e a s s o c i a t e d a d j o i n t s t a t e p
+
i s d e n e d b y
? p
+
t
+ A p
+
=
~
H
Q
y
= f
n
y
+ H
Q n
y y
( y
+
? y
n
) + H
Q n
y v
( v
+
? v
n
) ? d
n
y
p
+
p ( T ) = '
n
y
+ '
n
y y
( y
+
( T ) ? y ( T ) )
@
p =
~
H
y
= g
n
y
+ H
n
y y
( y
+
? y
n
) + H
n
y v
( u
+
? u
n
) ? b
n
y
p
+
( 6 . 8 )
T h e s t a t e - e q u a t i o n ( 3 . 2 2 ) f o r y
+
a n d t h e c o n s t r a i n t s v
+
2 V
%
a d
u
+
2 U
%
a d
a r e i n -
c l u d e d i n t h e o p t i m a l i t y s y s t e m , t o o . T h e o p t i m a l i t y s y s t e m o f (
d
Q P
n
) h a s t h e
s a m e p r i n c i p a l f o r m a s ( 6 . 6 ) - ( 6 . 8 ) a n d i s o b t a i n e d o n r e p l a c i n g ( y
+
p
+
v
+
u
+
) b y
( ^y
n + 1
^p
n + 1
^v
n + 1
^u
n + 1
) . M o r e o v e r ,
b
V
a d
b
U
a d
i s t o b e s u b s t i t u t e d f o r V
%
a d
U
%
a d
t h e r e .
I n t h e f u r t h e r a n a l y s i s , w e s h a l l p e r f o r m t h e f o l l o w i n g s t e p s : F i r s t w e p r o v e b y a
s e q u e n c e o f r e s u l t s t h a t t h e s o l u t i o n ( ^v
n
^u
n
) o f (
d
Q P
n
) s a t i s e s t h e o p t i m a l i t y s y s t e m
o f ( Q P
%
n
) f o r s u c i e n t l y s m a l l % . M o r e o v e r , w e p r o v e t h a t ( Q P
%
n
) h a s a t l e a s t o n e
o p t i m a l p a i r , i f w
n
i s s u c i e n t l y c l o s e t o w . F i n a l l y , r e l y i n g o n ( S S C ) , w e v e r i f y
u n i q u e n e s s f o r t h e o p t i m a l i t y s y s t e m o f ( Q P
%
n
) . T h e r e f o r e , ( ^v
n
^u
n
) c a n b e o b t a i n e d
a s t h e u n i q u e g l o b a l s o l u t i o n o f ( Q P
%
n
) . N o t i c e t h a t ( Q P
%
n
) m i g h t b e n o n - c o n v e x ,
h e n c e t h e o p t i m a l i t y o f ( ^v
n
^u
n
) d o e s n o t f o l l o w d i r e c t l y f r o m f u l l l i n g t h e o p t i m a l i t y
s y s t e m .
L e m m a 6 . 5 . T h e r e i s %
2
-
8/13/2019 Lagrange Newton method
15/19
k y
+
? y k f o l l o w s f r o m T h e o r e m 2 . 2 . T h e d i e r e n c e p
+
? p i s h a n d l e d i n t h e s a m e w a y .
C o r o l l a r y 6 . 6 . I f m a x f k w
n
? w k
W
% g %
2
, t h e n t h e r e l a t i o n s
v
+
( x t ) = v ( x t ) a . e . o n Q ( )
u
+
( x t ) = u ( x t ) a . e . o n ( )
h o l d f o r a l l c o n t r o l s ( v
+
u
+
) o f ( Q P
%
n
) s a t i s f y i n g t o g e t h e r w i t h t h e a s s o c i a t e d s t a t e y
+
a n d t h e a d j o i n t s t a t e p
+
t h e o p t i m a l i t y s y s t e m ( 6 . 6 ) - ( 6 . 8 ) , ( 3 . 2 2 ) .
P r o o f O n Q ( ) w e h a v e v ( x t ) = v
b
, w h e r e
H
Q
v
( x t ) ? , a n d v ( x t ) = v
a
w h e r e
H
Q
v
( x t ) . T h e r e f o r e , v
+
2 V
%
a d
m e a n s v ( x t ) 2 v
b
? % v
b
o r v ( x t ) 2
v
a
v
a
+ % ] , r e s p e c t i v e l y . L e m m a 6 . 5 y i e l d s
~
H
Q
v
? = 2 o r
~
H
Q
v
= 2 o n Q ( ) , h e n c e
t h e v a r i a t i o n a l i n e q u a l i t y ( 6 . 6 ) g i v e s v
+
= v
b
o r v
+
= v
a
, r e s p e c t i v e l y . I n t h i s w a y ,
w e h a v e s h o w n v
+
= v o n Q ( ) u
+
i s h a n d l e d a n a l o g o u s l y .
C o r o l l a r y 6 . 7 . L e t t h e a s s u m p t i o n s o f T h e o r e m 6 . 4 b e s a t i s e d a n d s u p p o s e t h a t
k w
1
? w k
W
% = m i n f r
N
%
1
%
2
g . T h e n k ^w
n
? w k
W
% h o l d s f o r a l l n 2 N I n
p a r t i c u l a r , ^v
n
2 V
%
a d
^u
n
2 U
%
a d
T h i s i s o b t a i n e d b y T h e o r e m 4 . 1 a n d t h e c o n v e r g e n c e e s t i m a t e ( 4 . 9 ) .
C o r o l l a r y 6 . 8 . U n d e r t h e a s s u m p t i o n s o f C o r o l l a r y 6 . 7 , t h e s i g n - c o n d i t i o n s ( 6 . 9 )
- ( 6 . 1 2 ) h o l d t r u e f o r ( y
+
p
+
v
+
u
+
) : = ( ^y
n
^p
n
^v
n
^u
n
)
( C o r o l l a r y 6 . 7 y i e l d s ^v
n
2 V
%
2
a d
^u
n
2 U
%
2
a d
, h e n c e t h e r e s u l t f o l l o w s f r o m L e m m a 6 . 5 . )
C o r o l l a r y 6 . 9 . U n d e r t h e a s s u m p t i o n s o f C o r o l l a r y 6 . 7 , t h e s o l u t i o n ( ^v
n
^u
n
) o f
(
d
Q P
n
) s a t i s e s t h e o p t i m a l i t y s y s t e m o f ( Q P
n
) , t o o .
P r o o f . T h e o p t i m a l i t y s y s t e m s f o r (
d
Q P
n
) a n d ( Q P
n
) d i e r o n l y i n t h e v a r i a t i o n a l
i n e q u a l i t i e s . F r o m t h e o p t i m a l i t y s y s t e m o f (
d
Q P
n
) w e k n o w t h a t
Z
Q
~
H
Q
v
( ^y
n
^p
n
^v
n
) ( v ? ^v
n
) d x d t 0 8 v 2
b
V
a d
( 6 . 1 3 )
O n Q ( ) ^v
n
= v = v
a
i f
H
Q
v
a n d ^v
n
= v = v
b
i f
H
Q
v
? . L e m m a 6 . 5
a n d C o r o l l a r y 6 . 8 y i e l d
~
H
Q
v
( ^y
n
^p
n
^v
n
) = 2 o r
~
H
Q
v
( ^y
n
^p
n
^v
n
) ? = 2 , r e s p e c t i v e l y .
T h e r e f o r e ,
~
H
Q
v
( ^y
n
^v
n
^p
n
) ( v ? ^v
n
) 0 h o l d s o n Q ( ) f o r a l l r e a l n u m b e r s v 2 v
a
v
b
O n t h e c o m p l e m e n t Q n Q ( ) , t h e c o n t r o l s o f
b
V
a d
a r e n o t r e s t r i c t e d t o b e e q u a l t o v
h e n c e i n ( 6 . 1 3 ) v w a s a r b i t r a r y i n u
a
u
b
] . T h i s y i e l d s
Z
Q
~
H
Q
v
( v ? ^v
n
) d x d t =
Z
Q n Q ( )
~
H
Q
v
( v ? ^v
n
) d x d t +
Z
Q ( )
~
H
Q
v
( v ? ^v
n
) d x d t 8 v 2 V
a d
w h e r e t h e n o n n e g a t i v i t y o f t h e r s t t e r m f o l l o w s f r o m ( 6 . 1 3 ) . T h e v a r i a t i o n a l i n e q u a l -
i t y f o r ^u
n
i s d i s c u s s e d i n t h e s a m e w a y .
C o r o l l a r y 6 . 1 0 . L e t t h e a s s u m p t i o n s o f C o r o l l a r y 6 . 7 b e f u l l l e d . T h e n ( ^v
n
^u
n
)
t h e s o l u t i o n o f (
d
Q P
n
) , s a t i s e s t h e o p t i m a l i t y s y s t e m f o r ( Q P
%
n
)
P r o o f . B y C o r o l l a r y 6 . 9 , ( ^v
n
^u
n
) s a t i s e s t h e v a r i a t i o n a l i n e q u a l i t y ( 6 . 1 3 ) f o r a l l
v 2 V
a d
u 2 U
a d
, i n p a r t i c u l a r f o r a l l v 2 V
%
a d
u 2 U
%
a d
. M o r e o v e r , ^v
n
2 V
%
a d
^u
n
2 U
%
a d
i s g r a n t e d b y C o r o l l a r y 6 . 9 .
L e m m a 6 . 1 1 . A s s u m e t h a t w = ( y p v u ) s a t i s e s t h e s e c o n d o r d e r c o n d i t i o n ( S S C ) .
I f %
3
> 0 i s t a k e n s u c i e n t l y s m a l l , a n d k w
n
? w k
W
%
3
, t h e n f o r a l l % > 0 t h e
p r o b l e m ( Q P
%
n
) h a s a t l e a s t o n e p a i r o f ( g l o b a l l y ) o p t i m a l c o n t r o l s ( v u )
1 5
-
8/13/2019 Lagrange Newton method
16/19
P r o o f I f k w
n
? w k
W
%
3
a n d %
3
> 0 i s s u c i e n t l y s m a l l , t h e n
H
Q
v v
( x ; t ; y
n
( x t ) p
n
( x t ) v
n
( x t ) )
2
a . e . o n Q( 6 . 1 4 )
H
u u
( x ; t ; y
n
( x t ) p
n
( x t ) u
n
( x t ) )
2
a . e . o n ( 6 . 1 5 )
f o l l o w s f r o m ( L C ) , k y
n
? y k
C (
Q )
+ k p
n
? p k
C (
Q )
+ k v
n
? v k
L
1
( Q )
+ k u
n
? u k
L
1
( )
%
3
a n d
t h e L i p s c h i t z p r o p e r t i e s o f H
Q
v v
H
v v
. N o t i c e t h a t w
n
b e l o n g s t o a s e t o f d i a m e t e r K =
k w k
W
+ %
3
, h e n c e t h e L i p s c h i t z e s t i m a t e s ( 3 . 5 ) a n d ( 3 . 6 ) a p p l y . T h e r e f o r e , ( Q P
%
n
) h a s
t h e f o l l o w i n g p r o p e r t i e s : I t i s a l i n e a r - q u a d r a t i c p r o b l e m w i t h l i n e a r e q u a t i o n o f s t a t e .
I n t h e o b j e c t i v e , t h e c o n t r o l s a p p e a r l i n e a r l y a n d c o n v e x - q u a d r a t i c a l l y ( w i t h c o n v e x i t y
f o l l o w i n g f r o m ( 6 . 1 4 ) - ( 6 . 1 5 ) ) . T h e c o n t r o l - s t a t e m a p p i n g ( v u ) ! y i s c o m p a c t f r o m
L
2
( Q ) L
2
( ) t o Y . M o r e o v e r , V
%
a d
U
%
a d
a r e n o n - e m p t y w e a k l y c o m p a c t s e t s o f
L
2
. N o w t h e e x i s t e n c e o f a t l e a s t o n e o p t i m a l p a i r o f c o n t r o l s f o l l o w s b y s t a n d a r d
a r g u m e n t s . H e r e , i t i s e s s e n t i a l t h a t t h e q u a d r a t i c c o n t r o l - p a r t o f J
n
i s w e a k l y l . s . c .
w i t h r e s p e c t t o t h e c o n t r o l s a n d t h a t p r o d u c t s o f t h e t y p e y v o r y u l e a d t o s e q u e n c e s
o f t h e t y p e " s t r o n g l y c o n v e r g e n t t i m e s w e a k l y c o n v e r g e n t s e q u e n c e " , s o t h a t y
n
! y
a n d v
n
* v i m p l i e s y
n
v
n
* y v
R e m a r k : A l t e r n a t i v e l y , t h i s r e s u l t c a n b e d e d u c e d a l s o f r o m t h e f a c t t h a t ( ^y
n
^v
n
^u
n
)
s a t i s e s t o g e t h e r w i t h ^p
n
t h e r s t a n d s e c o n d o r d e r n e c e s s a r y c o n d i t i o n s f o r ( Q P
%
n
)
a n d t h a t t h e o p t i m a l i t y s y s t e m o f ( Q P
%
n
) i s u n i q u e l y s o l v a b l e ( c f . T h m . 6 . 1 2 ) .
T h e o r e m 6 . 1 2 . L e t w = ( y p v u ) f u l l t h e r s t o r d e r n e c e s s a r y c o n d i t i o n s ( 2 . 1 ) ,
( 3 . 2 ) - ( 3 . 3 ) , ( 3 . 7 ) - ( 3 . 9 ) t o g e t h e r w i t h t h e s e c o n d o r d e r s u c i e n t o p t i m a l i t y c o n d i -
t i o n ( S S C ) . I f w
n
= ( y
n
p
n
v
n
u
n
) 2 W i s g i v e n s u c h t h a t m a x f k w
n
? w k
W
% g
m i n f r
N
%
1
%
2
%
3
g , t h e n t h e s o l u t i o n ( ^v
n
^u
n
) o f (
d
Q P
n
) i s ( g l o b a l l y ) o p t i m a l f o r
( Q P
%
n
) . T o g e t h e r w i t h ^y
n
^p
n
i t d e l i v e r s t h e u n i q u e s o l u t i o n o f t h e o p t i m a l i t y s y s t e m
o f ( Q P
%
n
)
P r o o f . D e n o t e b y ( v
+
u
+
) t h e s o l u t i o n o f ( Q P
%
n
) , w h i c h e x i s t s a c c o r d i n g t o L e m m a
6 . 1 1 . T h e r e f o r e , ( y
+
p
+
v
+
u
+
) = w
+
h a s t o s a t i s f y t h e a s s o c i a t e d o p t i m a l i t y s y s -
t e m . O n t h e o t h e r h a n d , a l s o ^w
n
= ( ^y
n
^p
n
^v
n
^u
n
) f u l l s t h i s o p t i m a l i t y s y s t e m b y
C o r o l l a r y 6 . 1 0 . W e s h o w t h a t t h e s o l u t i o n o f t h e o p t i m a l i t y s y s t e m i s u n i q u e , t h e n
t h e T h e o r e m i s p r o v e n .
L e t u s a s s u m e t h a t a n o t h e r ^w = ( ^y ^p ^v ^u ) o b e y s t h e o p t i m a l i t y s y s t e m , t o o . I n s e r t i n g
( ^v ^u ) i n t h e v a r i a t i o n a l i n e q u a l i t i e s f o r ( v
+
u
+
) , w h i l e ( v
+
u
+
) i s i n s e r t e d i n t h e
c o r r e s p o n d i n g o n e s f o r ( ^v ^u ) , w e a r r i v e a t
R
Q
f
~
H
Q
v
( y
+
p
+
v
+
) ( ^v ? v
+
) +
~
H
Q
v
( ^y ^p ^v ) ( v
+
? ^v ) g d x d t +
+
R
f
~
H
u
( y
+
p
+
u
+
) ( ^u ? u
+
) +
~
H
u
( ^y ^p ^u ) ( u
+
? ^u ) g d S d t 0
( 6 . 1 6 )
T h e e x p r e s s i o n s u n d e r t h e i n t e g r a l o v e r Q i n ( 6 . 1 6 ) h a v e t h e f o r m
f
n
v
( ^v ? v
+
) + H
Q n
y v
( y
+
? y
n
) ( ^v ? v
+
) + H
Q n
v v
( v
+
? v
n
) ( ^v ? v
+
) ? p
+
d
n
v
( ^v ? v
+
)
+ f
n
v
( ^v ? v
+
) + H
Q n
y v
( y y
n
) ( ^v ? v
+
) + H
Q n
v v
( v
+
? v
n
) ( ^v ? v
+
) ? p
+
d
n
v
( ^v ? v
+
)
t h e o t h e r t e r m s l o o k s i m i l a r l y . S i m p l i f y i n g ( 6 . 1 6 ) w e g e t a f t e r s e t t i n g y = ^y ? y
+
v = ^v ? v
+
u = ^u ? u
+
p = ^p ? p
+
0 ?
R
Q
f H
Q n
y v
y v + H
Q n
v v
v
2
+ p d
n
v
v g d x d t
?
R
f H
n
y u
y u + H
n
u u
u
2
+ p b
n
u
u g d S d t :
( 6 . 1 7 )
1 6
-
8/13/2019 Lagrange Newton method
17/19
T h e d i e r e n c e p = ^p ? p
+
o b e y s
? p
t
+ A p = H
Q n
y y
y + H
Q n
y v
v ? d
n
y
p
@
p = H
n
y y
y + H
n
y u
u ? b
n
y
p
p ( T ) = '
n
y y
y ( T )
( 6 . 1 8 )
M u l t i p l y i n g t h e P D E i n ( 6 . 1 8 ) b y y a n d i n t e g r a t i n g o v e r Q w e n d a f t e r a n i n t e g r a t i o n
b y p a r t s
?
R
p ( T ) y ( T ) d x +
T
R
0
( y
t
p )
H
1
( ) H
1
( )
d t +
R
Q
d x d t
=
R
Q
( H
Q n
y y
y
2
+ H
Q n
y v
y v ? d
n
y
p y ) d x d t +
R
( H
n
y y
y
2
+ H
n
y u
y u ? b
n
y
p y ) d S d t :
( 6 . 1 9 )
T h i s d e s c r i p t i o n o f t h e p r o c e d u r e w a s f o r m a l , a s t h e d e n i t i o n o f t h e w e a k s o l u t i o n
o f ( 6 . 1 8 ) r e q u i r e s t h e t e s t f u n c t i o n y t o b e z e r o a t t = T . T o m a k e ( 6 . 1 9 ) p r e c i s e w e
h a v e t o u s e t h e i n f o r m a t i o n t h a t p 2 W ( 0 T ) y 2 W ( 0 T ) a l o n g w i t h t h e i n t e g r a t i o n
b y p a r t s f o r m u l a
T
Z
0
( p
t
y )
H
1
( ) H
1
( )
d t =
Z
( p ( T ) y ( T ) ? p ( 0 ) y ( 0 ) ) d t ?
T
Z
0
( y
t
p )
H
1
( ) H
1
( )
d t
N e x t , w e i n v o k e t h e s t a t e e q u a t i o n f o r y = ^y ? y
+
a n d t h e c o n d i t i o n f o r p ( T ) t o o b t a i n
f r o m ( 6 . 1 9 )
?
R
'
n
y y
y ( T )
2
d x ?
R
Q
( H
Q n
y y
y
2
+ H
Q n
y v
y v ) d x d t
?
R
( H
n
y y
y
2
+ H
n
y u
y u ) d S d t =
R
Q
d
n
v
v p d x d t +
R
d
n
u
u p d S d t :
( 6 . 2 0 )
A d
