7/28/2019 32 Congress

1/18

O n t h e C o m p u t e r I m p l e m e n t a t i o n o f F e a s i b l e D i r e c t i o n

I n t e r i o r P o i n t A l g o r i t h m s F o r N o n l i n e a r O p t i m i z a t i o n

J o s e H e r s k o v i t s a n d G i n e s S a n t o s

C O P P E , F e d e r a l U n i v e r s i t y o f R i o d e J a n e i r o

C a i x a P o s t a l 6 8 5 0 3 , 2 1 9 4 5 - 9 7 0 R i o d e J a n e i r o , B R A Z I L

j o s e @ c o m . u f r j . b r

A b s t r a c t

W e d i s c u s s t h e c o m p u t e r i m p l e m e n t a t i o n o f a c l a s s o f i n t e r i o r p o i n t a l g o r i t h m s f o r

t h e m i n i m i z a t i o n o f a n o n l i n e a r f u n c t i o n w i t h e q u a l i t y a n d i n e q u a l i t y c o n s t r a i n t s . T h e s e

a l g o r i t h m s u s e x e d p o i n t i t e r a t i o n s t o s o l v e K a r u s h - K u h n - T u c k e r r s t o r d e r o p t i m a l i t y

c o n d i t i o n s . A t e a c h i t e r a t i o n a d e s c e n t d i r e c t i o n i s d e n e d b y s o l v i n g a l i n e a r s y s t e m .

I n a s e c o n d s t a g e , t h e l i n e a r s y s t e m i s p e r t u r b e d i n s u c h a w a y t o d e e c t t h e d e s c e n t

d i r e c t i o n a n d o b t a i n a f e a s i b l e d e s c e n t d i r e c t i o n . A l i n e s e a r c h i s t h e n p e r f o r m e d t o g e t a

n e w i n t e r i o r p o i n t w i t h a l o w e r o b j e c t i v e . N e w t o n , q u a s i - N e w t o n o r r s t o r d e r v e r s i o n s

o f t h e a l g o r i t h m c a n b e o b t a i n e d . T h i s p a p e r i s m a i n l y c o n c e r n e d w i t h t h e s o l u t i o n o f t h e

i n t e r n a l l i n e a r s y s t e m s , t h e a l g o r i t h m s t h a t w e e m p l o y f o r t h e c o n s t r a i n e d l i n e s e a r c h a n d

a l s o w i t h t h e q u a s i - N e w t o n m a t r i x u p d a t i n g . W e a l s o p r e s e n t s o m e n u m e r i c a l r e s u l t s

o b t a i n e d w i t h a q u a s i N e w t o n A l g o r i t h m o f t h e f a m i l y . A s e t o f t e s t p r o b l e m s w e r e s o l v e d

v e r y e c i e n t l y w i t h t h e s a m e s e t o f v a l u e s o f t h e i n t e r n a l p a r a m e t e r s .

1 I n t r o d u c t i o n

T h i s p a p e r i s c o n c e r n e d w i t h t h e p r o b l e m o f m i n i m i z i n g a f u n c t i o n s u b m i t t e d t o a s e t o f e q u a l i t y

a n d i n e q u a l i t y c o n s t r a i n t s , w h e n n o n l i n e a r s m o o t h f u n c t i o n s a r e i n v o l v e d . E n g i n e e r i n g d e s i g n

i s a n a t u r a l a p p l i c a t i o n f o r t h i s p r o b l e m , s i n c e d e s i g n e r s w a n t t o n d t h e b e s t d e s i g n t h a t

s a t i s e s a l l t h e r e q u i r e m e n t s o f f e a s i b i l i t y . C a l l i n g x

1

; x

2

; : : : ; x

n

t h e d e s i g n v a r i a b l e s , f x t h e

o b j e c t i v e f u n c t i o n , g

i

x ; i = 1 ; 2 ; : : ; m t h e i n e q u a l i t y c o n s t r a i n t s a n d h

i

x ; i = 1 ; 2 ; : : ; p t h e

i n e q u a l i t y c o n s t r a i n t s , t h e o p t i m i z a t i o n p r o b l e m c a n b e d e n o t e d

m i n i m i z e f x

s u b j e c t t o g x 0

a n d h x = 0 ;

9

=

;

1 . 1

w h e r e g 2 R

m

a n d h 2 R

p

a r e f u n c t i o n s i n R

n

.

R e s e a r c h p a r t i a l l y d e v e l o p e d a t I N R I A , I n s t i t u t N a t i o n a l d e R e c h e r c h e e n I n f o r m a t i q u e e t e n A u t o m a t i q u e ,

R o c q u e n c o u r t , F r a n c e .

1

7/28/2019 32 Congress

2/18

T h i s p r o b l e m i s s a i d t o b e a M a t h e m a t i c a l P r o g r a m a n d , t h e d i s c i p l i n e t h a t s t u d i e s t h e

n u m e r i c a l t e c h n i q u e s t o s o l v e i t , M a t h e m a t i c a l P r o g r a m m i n g , 1 5 . E v e n i f m a t h e m a t i c a l p r o -

g r a m s a r i s e n a t u r a l l y i n o p t i m i z a t i o n p r o b l e m s r e l a t e d t o a w i d e s e t o f d i s c i p l i n e s t h a t e m p l o y

m a t h e m a t i c a l m o d e l s , s e v e r a l p h y s i c a l p h e n o m e n a c a n a l s o b e m o d e l e d b y m e a n s o f m a t h e -

m a t i c a l p r o g r a m s . T h i s i s t h e c a s e w h e n " t h e e q u i l i b r i u m " i s a t t a i n e d a t t h e m i n i m u m o f a n

e n e r g y f u n c t i o n .

F e a s i b l e d i r e c t i o n a l g o r i t h m s a r e a n i m p o r t a n t c l a s s o f m e t h o d s f o r s o l v i n g c o n s t r a i n e d

o p t i m i z a t i o n p r o b l e m s . A t e a c h i t e r a t i o n , t h e s e a r c h d i r e c t i o n i s a f e a s i b l e d i r e c t i o n o f t h e

i n e q u a l i t y c o n s t r a i n t s a n d , a t t h e s a m e t i m e , a d e s c e n t d i r e c t i o n o f t h e o b j e c t i v e o r a n o t h e r

a p p r o p r i a t e f u n c t i o n . A c o n s t r a i n e d l i n e s e a r c h i s t h e n p e r f o r m e d t o o b t a i n a s a t i s f a c t o r y

r e d u c t i o n o f t h e f u n c t i o n , w i t h o u t l o o s i n g t h e f e a s i b i l i t y .

T h e f a c t o f g i v i n g i n t e r i o r p o i n t s m a k e s f e a s i b l e d i r e c t i o n a l g o r i t h m s v e r y e c i e n t i n e n g i -

n e e r i n g d e s i g n , w h e r e f u n c t i o n s e v a l u a t i o n i s i n g e n e r a l v e r y e x p e n s i v e . S i n c e a n y i n t e r m e d i a t e

d e s i g n c a n b e e m p l o y e d , t h e i t e r a t i o n s c a n b e s t o p p e d w h e n t h e c o s t r e d u c t i o n p e r i t e r a t i o n

b e c o m e s s m a l l e n o u g h .

T h e r e a r e a l s o s e v e r a l e x a m p l e s t h a t d e a l w i t h a n o b j e c t i v e f u n c t i o n , o r c o n s t r a i n t s , t h a t a r e

n o t d e n e d a t i n f e a s i b l e p o i n t s . T h i s i s t h e c a s e o f s i z e o r s h a p e c o n s t r a i n t s i n s o m e e x a m p l e s

o f s t r u c t u r a l o p t i m i z a t i o n . W h e n a p p l y i n g f e a s i b l e d i r e c t i o n a l g o r i t h m s t o r e a l t i m e p r o b l e m s ,

a s f e a s i b i l i t y i s m a i n t a i n e d a n d c o s t r e d u c e d , t h e c o n t r o l s c a n b e a c t i v a t e d a t e a c h i t e r a t i o n .

I n t h i s p a p e r w e d i s c u s s t h e n u m e r i c a l i m p l e m e n t a t i o n o f a c l a s s o f f e a s i b l e d i r e c t i o n a l g o -

r i t h m s t h a t u s e s x e d p o i n t i t e r a t i o n s t o s o l v e t h e n o n l i n e a r e q u a t i o n s , i n t h e p r i m a l a n d t h e

d u a l v a r i a b l e s , g i v e n b y t h e e q u a l i t i e s i n c l u d e d i n K a r u s h - K u h n - T u c k e r o p t i m a l i t y c o n d i t i o n s .

W i t h t h e o b j e c t o f e n s u r i n g c o n v e r g e n c e t o K a r u s h - K u h n - T u c k e r p o i n t s , t h e s y s t e m i s s o l v e d

i n s u c h a w a y a s t o h a v e t h e i n e q u a l i t i e s i n K a r u s h - K u h n - T u c k e r c o n d i t i o n s s a t i s e d a t e a c h

i t e r a t i o n . B a s e d o n t h e p r e s e n t g e n e r a l t e c h n i q u e , r s t o r d e r , q u a s i N e w t o n o r N e w t o n a l g o r i -

t h m s c a n b e o b t a i n e d . I n p a r t i c u l a r , t h e a l g o r i t h m s d e s c r i b e d i n 1 0 , 1 2 a n d t h e q u a s i N e w t o n

o n e p r e s e n t e d i n 1 1 .

T h e p r e s e n t a l g o r i t h m i s s i m p l e t o c o d e , s t r o n g a n d e c i e n t . I t d o e s n o t i n v o l v e p e n a l t y

f u n c t i o n s , a c t i v e s e t s t r a t e g i e s o r q u a d r a t i c p r o g r a m m i n g s u b p r o b l e m s . I t m e r e l y r e q u i r e s t h e

s o l u t i o n o f t w o i n t e r n a l l i n e a r s y s t e m s w i t h t h e s a m e m a t r i x a t e a c h i t e r a t i o n , f o l l o w e d b y a n

i n e x a c t l i n e s e a r c h . I n p r a c t i c a l a p p l i c a t i o n s i t c a n b e t a k e n a d v a n t a g e o f t h e s t r u c t u r e o f t h e

p r o b l e m a n d o f p a r t i c u l a r i t i e s o f t h e f u n c t i o n s i n i t t o i m p r o v e t h e c a l c u l u s e c i e n c y . T h i s

i s t h e c a s e o f t h e N e w t o n a l g o r i t h m f o r l i n e a r a n d q u a d r a t i c p r o g r a m m i n g p r e s e n t e d i n 2 9 ,

t h e N e w t o n a l g o r i t h m f o r l i m i t a n a l y s i s o f s o l i d s , 3 2 a n d t h e N e w t o n a l g o r i t h m f o r s t r e s s

a n a l y s i s o f l i n e a r e l a s t i c s o l i d s i n c o n t a c t , 1 , 3 1 .

S e v e r a l p r o b l e m s i n E n g i n e e r i n g O p t i m i z a t i o n w e r e s o l v e d u s i n g t h e p r e s e n t m e t h o d . W e

c a n m e n t i o n a p p l i c a t i o n s i n s t r u c t u r a l o p t i m i z a t i o n , 1 3 , 2 8 , u i d m e c h a n i c s , 2 , 4 , 5 a n d

m u l t i d i s c i p l i n a r y o p t i m i z a t i o n w i t h a e r o d y n a m i c s a n d e l e c t r o m a g n e t i s m , 2 , 3 .

I n t h e n e x t s e c t i o n w e d i s c u s s t h e b a s i s o f t h e m e t h o d a n d t h e n a n a l g o r i t h m f o r i n e q u a l i t y

c o n s t r a i n t s i s p r e s e n t e d . T h e f o l l o w i n g s e c t i o n s a r e d e v o t e d t o t h e i m p l e m e n t a t i o n o f r s t o r d e r ,

q u a s i - N e w t o n a n d N e w t o n v e r s i o n s o f t h e a l g o r i t h m , t o t h e s o l u t i o n o f t h e i n t e r n a l s y s t e m s

o f e q u a t i o n s a n d t o t h e l i n e s e a r c h c r i t e r i a a n d a l g o r i t h m s . F i n a l l y a n d a l g o r i t h m f o r e q u a l i t y

a n d i n e q u a l i t y c o n s t r a i n t s i s i n t r o d u c e d a n d t h e n u m e r i c a l r e s u l t s o n a s e t o f t e s t p r o b l e m s a r e

s h o w n .

2

7/28/2019 32 Congress

3/18

2 T h e F e a s i b l e D i r e c t i o n I n t e r i o r P o i n t M e t h o d

T o d e s c r i b e t h e b a s i c i d e a s o f t h e s e t e c h n i q u e , w e c o n s i d e r t h e i n e q u a l i t y c o n s t r a i n e d o p t i m i -

z a t i o n p r o b l e m

m i n i m i z e f x

s u b j e c t t o g x 0 ;

2 . 1

W e d e n o t e r g x 2 R

n m

t h e m a t r i x o f d e r i v a t i v e s o f g a n d c a l l 2 R

m

t h e v e c t o r o f d u a l

v a r i a b l e s , L x ; = f x +

t

g x t h e L a g r a n g i a n a n d H x ; = r

2

f x +

P

m

i = 1

i

r

2

g

i

x i t s

H e s s i a n . G x d e n o t e s a d i a g o n a l m a t r i x s u c h t h a t G

i i

x = g

i

x .

T h e c o r r e s p o n d i n g K a r u s h K u h n T u c k e r r s t o r d e r o p t i m a l i t y c o n d i t i o n s c a n b e e x p r e s s e d

a s

r f x + r g x = 0 2 . 2

G x = 0 2 . 3

0 2 . 4

g x 0 : 2 . 5

A N e w t o n ' s i t e r a t i o n t o s o l v e t h e n o n l i n e a r s y s t e m o f e q u a t i o n s 3 - 4 i n x ; i s s t a t e d a s

"

B r g x

k

k

r g

t

x

k

G x

k

"

x

k + 1

0

, x

k

k + 1

0

,

k

= ,

"

r f x

k

+ r g x

k

k

G x

k

k

2 . 6

w h e r e x

k

;

k

i s t h e s t a r t i n g p o i n t o f t h e i t e r a t i o n a n d x

k + 1

0

;

k + 1

0

i s t h e n e w e s t i m a t e , B =

H x

k

;

k

a n d

k

a d i a g o n a l m a t r i x w i t h

k

i i

k

i

.

I n o u r a p p r o a c h , w e c a n a l s o t a k e B e q u a l t o a q u a s i - N e w t o n e s t i m a t e o f H x ; o r t o t h e

i d e n t i t y m a t r i x . D e p e n d i n g o n t h e w a y i n w h i c h t h e s y m m e t r i c m a t r i x B 2 R

n n

i s d e n e d ,

2 . 6 r e p r e s e n t s a s e c o n d o r d e r , a q u a s i - N e w t o n o r a r s t o r d e r i t e r a t i o n . H o w e v e r , t o h a v e

g l o b a l c o n v e r g e n c e , B m u s t b e p o s i t i v e d e n i t e , s e e 1 4 .

I t e r a t i o n s 2 . 6 a r e m o d i e d i n a w a y t o g e t , f o r a g i v e n i n t e r i o r p a i r x

k

;

k

, a n e w i n t e r i o r

e s t i m a t e w i t h a b e t t e r o b j e c t i v e . W i t h t h i s p u r p o s e , a d i r e c t i o n d

k

0

= x

k + 1

0

, x

k

i n t h e p r i m a l

s p a c e , i s d e n e d . T h e n , f r o m 2 . 6 , w e h a v e t h e l i n e a r s y s t e m i n d

k

0

;

k + 1

0

B

k

d

k

0

+ r g x

k

k + 1

0

= , r f x

k

2 . 7

k

r g

t

x

k

d

k

0

+ G x

k

k + 1

0

= 0 ; 2 . 8

I t c a n b e p r o v e d t h a t d

k

0

i s a d e s c e n t d i r e c t i o n o f f . H o w e v e r , d

k

0

i s n o t u s e f u l a s a s e a r c h

d i r e c t i o n s i n c e i t i s n o t n e c e s s a r i l y f e a s i b l e . T h i s i s d u e t o t h e f a c t t h a t a s a n y c o n s t r a i n t g o e s

t o z e r o , 2 . 8 f o r c e s d

k

0

t o t e n d t o a d i r e c t i o n t a n g e n t t o t h e f e a s i b l e s e t , s e e 1 4 .

T o o b t a i n a f e a s i b l e d i r e c t i o n , b y a d d i n g a n e g a t i v e v e c t o r i n t h e r i g h t s i d e o f 2 . 8 , w e

d e n e t h e n e w l i n e a r s y s t e m i n d

k

a n d

k + 1

B

k

d

k

+ r g x

k

k + 1

= , r f x

k

2 . 9

k

r g

t

x

k

d

k

+ G x

k

k + 1

= ,

k

k

; 2 . 1 0

3

7/28/2019 32 Congress

4/18

F i g u r e 1 : S e a r c h d i r e c t i o n

o b t a i n e d b y a d d i n g a n e g a t i v e v e c t o r t o t h e r i g h t s i d e o f 2 . 8 , w h e r e

k

0 , d

k

i s t h e n e w

d i r e c t i o n a n d

k + 1

i s t h e n e w e s t i m a t e o f . W e h a v e n o w t h a t d

k

i s a f e a s i b l e d i r e c t i o n , s i n c e

r g

t

i

x

k

d

k

= ,

k

0 f o r t h e a c t i v e c o n s t r a i n t s .

T h e i n c l u s i o n o f a n e g a t i v e n u m b e r i n t h e r i g h t h a n d s i d e o f 2 . 8 p r o d u c e s a d e e c t i o n o f

d

k

0

, p r o p o r t i o n a l t o

k

, i n t h e s e n s e o f t h e i n t e r i o r o f t h e f e a s i b l e r e g i o n . T o e n s u r e t h a t d i s a

d e s c e n t d i r e c t i o n a l s o , w e e s t a b l i s h a n u p p e r b o u n d o n

k

i n o r d e r t o e n s u r e t h a t

d

k

t

r f x

k

d

k

0

t

r f x

k

; 2 0 ; 1 ; 2 . 1 1

w h i c h i m p l i e s d

k

t

r f x

k

0 . T h u s , d

k

i s a f e a s i b l e d e s c e n t d i r e c t i o n .

I n g e n e r a l , t h e r a t e o f d e s c e n t o f f a l o n g d

k

w i l l b e s m a l l e r t h a n a l o n g d

k

0

. T h i s i s a p r i c e

t h a t w e p a y f o r o b t a i n i n g a f e a s i b l e d e s c e n t d i r e c t i o n .

T o o b t a i n t h e u p p e r b o u n d o n

k

, w e s o l v e t h e l i n e a r s y s t e m i n d

k

1

;

k + 1

1

B d

k

1

+ r g x

k

k + 1

1

= 0 2 . 1 2

k

r g

t

x

k

d

k

1

+ G x

k

k + 1

1

= ,

k

: 2 . 1 3

S i n c e

d

k

= d

k

0

+

k

d

1

;

w e h a v e t h a t , i f

k

, 1 d

k

0

t

r f x

k

d

k

1

t

r f x

k

; 2 . 1 4

t h e n 2 . 1 1 h o l d s .

T o d e t e r m i n e a n e w p r i m a l p o i n t , a n i n e x a c t l i n e s e a r c h a l o n g d

k

i s d o n e , l o o k i n g f o r a n e w

i n t e r i o r p o i n t x

k

+ t

k

d

k

w i t h a s a t i s f a c t o r y d e c r e a s e o f t h e f u n c t i o n . D i e r e n t r u l e s c a n b e

e m p l o y e d t o d e n e n e w p o s i t i v e d u a l v a r i a b l e s

k + 1

.

I n F i g u r e 1 , t h e s e a r c h d i r e c t i o n o f a n o p t i m i z a t i o n p r o b l e m w i t h t w o d e s i g n v a r i a b l e s a n d

o n e c o n s t r a i n t i s i l l u s t r a t e d . A t x

k

o n t h e b o u n d a r y , t h e d e s c e n t d i r e c t i o n d

0

i s t a n g e n t t o t h e

c o n s t r a i n t . E v e n i f i n t h i s e x a m p l e , w e c a n p r o v e t h a t d

1

i s o r t h o g o n a l t o d

0

, i n g e n e r a l w e c a n

o n l y s a y t h a t d

1

i s i n t h e s u b s p a c e o r t h o g o n a l t o t h e a c t i v e c o n s t r a i n t s a t x

k

. S i n c e d

1

p o i n t s

t o t h e i n t e r i o r o f t h e f e a s i b l e d o m a i n , i t i m p r o v e s f e a s i b i l i t y .

4

7/28/2019 32 Congress

5/18

3 A B a s i c A l g o r i t h m

B a s e d o n t h e i d e a s p r e s e n t e d a b o v e , w e s t a t e t h e f o l l o w i n g a l g o r i t h m f o r i n e q u a l i t y c o n s t r a i n e d

o p t i m i z a t i o n :

F E A S I B L E D I R E C T I O N I N T E R I O R P O I N T A L G O R I T H M

I n e q u a l i t y C o n s t r a i n t s

P a r a m e t e r s . 2 0 ; 1 a n d p o s i t i v e ' 0 ; ; a n d

I

:

D a t a . I n i t i a l i z e x s u c h t h a t g x 0 , 0 a n d B 2 R

n n

s y m m e t r i c a n d p o s i t i v e d e n i t e .

S t e p 1 . C o m p u t a t i o n o f t h e s e a r c h d i r e c t i o n d .

i S o l v e t h e l i n e a r s y s t e m f o r d

0

;

0

B d

0

+ r g x

0

= , r f x ; 3 . 1

r g

t

x d

0

+ G x

0

= 0 : 3 . 2

I f d

0

= 0 ; s t o p .

i i S o l v e t h e l i n e a r s y s t e m f o r d

1

;

1

B d

1

+ r g x

1

= 0 ; 3 . 3

r g

t

x d

1

+ G x

1

= , : 3 . 4

i i i I f d

t

1

r f x 0 ; s e t

= i n f ' k d

0

k

2

; , 1 d

t

0

r f x = d

t

1

r f x : 3 . 5

O t h e r w i s e , s e t

= ' k d

0

k

2

: 3 . 6

i v C o m p u t e t h e s e a r c h d i r e c t i o n

d = d

0

+ d

1

: 3 . 7

S t e p 2 . L i n e s e a r c h .

F i n d a s t e p l e n g t h t s a t i s f y i n g a g i v e n c o n s t r a i n e d l i n e s e a r c h c r i t e r i o n o n t h e o b j e c t i v e

f u n c t i o n f a n d s u c h t h a t g x + t d 0 .

S t e p 3 . U p d a t e s .

i D e n e a n e w x :

x = x + t d

i i D e n e a n e w :

S e t , f o r i = 1 ; m ;

i

: = s u p

0 i

; k d

0

k

2

: 3 . 8

I f g

i

x , a n d

i

I

, s e t

i

=

I

.

i i i U p d a t e B s y m m e t r i c a n d p o s i t i v e d e n i t e .

i v G o b a c k t o S t e p 1 .

W e a s s u m e t h a t t h e u p d a t i n g r u l e s f o r B a r e s t a t e d i n a w a y t h a t :

A s s u m p t i o n T h e r e a r e p o s i t i v e

1

a n d

2

s u c h t h a t

1

k d k

2

d

t

B d

2

k d k

2

f o r a n y d 2 R

n

:

5

7/28/2019 32 Congress

6/18

T h e n e w c o m p o n e n t s o f a r e a s e c o n d o r d e r p e r t u r b a t i o n o f t h e c o m p o n e n t s o f

0

, g i v e n

b y N e w t o n ' s i t e r a t i o n 2 . 7 . I f a n d

I

a r e t a k e n s m a l l e n o u g h , t h e n a f t e r a n i t e n u m b e r

o f i t e r a t i o n s ,

i

b e c o m e s e q u a l t o

0 i

f o r t h e a c t i v e c o n s t r a i n t s . I n S t e p 1 i s b o u n d e d a s i n

2 . 1 4 a n d , i n a d d i t i o n , w e d o n ' t a l l o w i t t o g r o w f a s t e r t h a n d

2

0

.

T h e t h e o r e t i c a l a n a l y s i s i n 1 4 i n c l u d e s r s t a p r o o f t h a t t h e s o l u t i o n s o f t h e l i n e a r s y s t e m s

3 . 1 - 3 . 2 a n d 3 . 3 - 3 . 4 a r e u n i q u e , p r o v i d e d t h a t t h e v e c t o r s r h

i

x , f o r i = 1 ; 2 ; : : : ; p ,

a n d r g

i

x f o r i 2 I x a r e l i n e a r l y i n d e p e n d e n t . T h e n , i t i s s h o w n t h a t a n y s e q u e n c e f x

k

g

g e n e r a t e d b y t h e a l g o r i t h m c o n v e r g e s t o a K a r u s h - K u h n - T u c k e r p o i n t o f t h e p r o b l e m , f o r a n y

w a y o f u p d a t i n g B , i f t h e p r e v i o u s a s s u m p t i o n i s t r u e . W e a l s o h a v e t h a t x

k

;

k

c o n v e r g e s t o

a K a r u s h - K u h n - T u c k e r p a i r x

;

. U p d a t i n g r u l e s f o r B w i l l b e d i s c u s s e d i n t h e n e x t s e c t i o n .

4 D i e r e n t W a y s o f C o m p u t i n g B

I n t h e p r e s e n t m e t h o d B c a n b e e q u a l t o t h e s e c o n d d e r i v a t i v e o f t h e L a g r a n g i a n , t o a q u a s i -

N e w t o n e s t i m a t e o r t o t h e i d e n t i t y m a t r i x . I n t h i s s e c t i o n , t h e s e a l t e r n a t i v e s w i l l b e d i s c u s s e d .

F I R S T O R D E R A L G O R I T H M S .

T a k i n g

B I ;

w e h a v e a n e x t e n s i o n o f g r a d i e n t m e t h o d . I n p a r t i c u l a r , w h e n a l l t h e c o n s t r a i n t s a r e a c t i v e , t h e

s e a r c h d i r e c t i o n b e c o m e s t h e s a m e a s t h e p r o j e c t e d g r a d i e n t , 1 5 . T h e r e a r e n o t t h e o r e t i c a l

r e s u l t s a b o u t t h e s p e e d o f c o n v e r g e n c e , b u t p r o b a b l y t h e r a t e i s n o g r e a t e r t h a n l i n e a r . S i n c e t h e

c o m p u t e r e o r t a n d m e m o r y s t o r a g e a r e s m a l l e r , t h i s a l g o r i t h m c a n b e e c i e n t i n e n g i n e e r i n g

a p p l i c a t i o n s t h a t d o n o t n e e d a v e r y p r e c i s e s o l u t i o n .

Q U A S I - N E W T O N A L G O R I T H M S .

I n q u a s i - N e w t o n m e t h o d s f o r c o n s t r a i n e d o p t i m i z a t i o n , B i s a n a p p r o x i m a t i o n o f t h e H e s s i a n

o f t h e L a g r a n g i a n H x ; . T h e n , i t s h o u l d b e p o s s i b l e t o o b t a i n B w i t h t h e s a m e u p d a t i n g

r u l e s a s i n u n c o n s t r a i n e d o p t i m i z a t i o n , b u t t a k i n g r

x

L x ; i n s t e a d o f r f x . H o w e v e r , s i n c e

H x ; i s n o t n e c e s s a r i l y p o s i t i v e d e n i t e a t a K - K - T p o i n t , i t i s n o t a l w a y s p o s s i b l e t o g e t B

p o s i t i v e d e n i t e , a s r e q u i r e d b y t h e p r e s e n t t e c h n i q u e . T o o v e r c o m e t h i s d i c u l t y , w e e m p l o y

B F G S u p d a t i n g r u l e a s m o d i e d b y P o w e l l , 2 7 :

T a k e

= x

k + 1

, x

k

a n d

= r

x

L x

k + 1

;

k

0

, r

x

L x

k

;

k

0

:

I f

t

0 : 2

t

B

k

;

t h e n c o m p u t e d

=

0 : 8

t

B

k

t

B

k

,

t

a n d t a k e

= + 1 , B

k

:

6

7/28/2019 32 Congress

7/18

S e t

B

k + 1

: = B

k

+

t

t

,

B

k

t

B

k

t

B

k

I n 1 4 i t w a s p r o v e d t h a t t h e c o n v e r g e n c e i s t w o - s t e p s u p e r l i n e a r , p r o v i d e d t h a t a u n i t s t e p

l e n g t h i s o b t a i n e d a f t e r a n i t e n u m b e r o f i t e r a t i o n s .

N E W T O N A L G O R I T H M S .

T o h a v e a N e w t o n a l g o r i t h m w e t a k e B = H x

k

;

k

a s i n t h e i t e r a t i o n 2 . 6 . H o w e v e r , a s

m e n t i o n e d a b o v e , B m u s t b e p o s i t i v e d e n i t e . S i n c e t h i s i s i n g e n e r a l n o t t r u e , N e w t o n v e r s i o n s

o f t h e p r e s e n t m e t h o d c a n b e o b t a i n e d f o r p a r t i c u l a r a p p l i c a t i o n s o n l y . T h i s i s t h e c a s e o f t h e

a l g o r i t h m f o r l i n e a r s t r e s s a n a l y s i s w i t h c o n t a c t d e s c r i b e d i n 1 .

5 T h e I n t e r n a l L i n e a r S y s t e m s

T h e m a t r i c e s c o r r e s p o n d i n g t o t h e l i n e a r s y s t e m s 3 . 5 , 3 . 6 a n d 3 . 7 , ? ? s o l v e d i n S t e p 2

a r e n o t s y m m e t r i c n e i t h e r d e n i t e . H o w e v e r , i n 2 5 i t w a s p r o v e d t h a t t h e s o l u t i o n i s u n i q u e ,

p r o v i d e d t h e f o l l o w i n g r e g u l a r i t y a s s u m p t i o n i s t r u e a t x :

A s s u m p t i o n R e g u l a r i t y C o n d i t i o n F o r a l l x 2

a

t h e v e c t o r s r g

i

x , f o r i s u c h t h a t

g

i

x = 0 , a r e l i n e a r l y i n d e p e n d e n t .

T h i s c o n d i t i o n m u s t b e c h e c k e d i n p r a c t i c a l a p p l i c a t i o n s . T h e r e a r e s e v e r a l e x a m p l e s w h e n

t h e p r e v i o u s a s s u m p t i o n i s n o t t r u e . I n t h e c a s e w h e n t h e r e a r e s e t s c o n s t r a i n t s t h a t t a k e

t h e s a m e v a l u e s d u e t o s y m m e t r i e s o f t h e p r o b l e m , o n l y o n e c o n s t r a i n t o f e a c h s e t m u s t b e

c o n s i d e r e d .

I t f o l l o w s f r o m 3 . 5 t h a t :

d

0

= , B

, 1

r f x + r g x

0

5 . 1

a n d , b y s u b s t i t u t i o n i n 3 . 6 :

r g

t

x B

, 1

r g x ,

, 1

G x

0

= , r g

t

x B

, 1

r f x : 5 . 2

T h e n , i n s t e a d o f 3 . 5 , 3 . 6 , w e c a n g e t

0

b y s o l v i n g 5 . 2 , a n d d

0

b y s u b s t i t u t i o n i n 5 . 1 .

I n a s i m i l a r w a y ,

1

c a n b e o b t a i n e d b y s o l v i n g

r g

t

x B

, 1

r g x ,

, 1

G x

1

= , ; 5 . 3

a n d d

1

f o l l o w s f r o m :

d

1

= , B

, 1

r g x

1

: 5 . 4

B o t h s y s t e m s , 5 . 2 a n d 5 . 3 , w i t h m e q u a t i o n s h a s t h e s a m e m a t r i x . T h i s o n e i s s y m m e t r i c

a n d p o s i t i v e d e n i t e w h e n h e r e g u l a r i t y c o n d i t i o n i s t r u e , 1 1 a n d 1 2 . H o w e v e r t h e c o n d i t i o n

n u m b e r b e c o m e s w o r s t a s s o m e o f t h e c o m p o n e n t s o f g r o w s . T o c o m p u t e t h e m a t r i c e s w e

n e e d B

, 1

o r t h e p r o d u c t s B

, 1

r g x a n d B

, 1

r f x . I n q u a s i - N e w t o n a l g o r i t h m s , t h i s c a n

b e e a s e o b t a i n e d b y w o r k i n g w i t h a n a p p r o x i m a t i o n o f H

, 1

x .

O n t h e o t h e r s i d e , i t f o l l o w s f r o m 3 . 6 t h a t

7

7/28/2019 32 Congress

8/18

0

= , G

, 1

x r g

t

x d

0

5 . 5

a n d , b y s u b s t i t u t i o n i n 3 . 5 , w e g e t a s y s t e m i n d

0

:

B , r g x G

, 1

r g

t

x d

0

= , r f x 5 . 6

O n c e d

0

w a s c o m p u t e d

0

f o l l o w s f r o m 5 . 5 . i n a s i m i l a r w a y , w e h a v e

1

= , G

, 1

x r g

t

x d

1

, G

, 1

5 . 7

a n d

B , r g x G

, 1

r g

t

x d

1

= r g x G

, 1

5 . 8

T h e l i n e a r s y s t e m s 5 . 6 a n d 5 . 8 h a v e h e s i z e o f t h e n u m b e r o f v a r i a b l e s n , t h e y a r e

s y m m e t r i c a n d p o s i t i v e d e n i t e . T h i s i s t r u e , s i n c e B i s p o s i t i v e d e n i t e a n d r g x G

, 1

r g

t

x

i s n e g a t i v e s e m i d e n i t e . W h e n s o m e c o n s t r a i n t g o e s t o z e r o t h e s y s t e m b e c o m e s s t r o n g l y b a d

c o n d i t i o n e d .

6 L i n e S e a r c h P r o c e d u r e s f o r I n t e r i o r P o i n t A l g o r i t h m s

I n t e r i o r P o i n t a l g o r i t h m s n e e d a c o n s t r a i n e d l i n e s e a r c h . I n t h e p r e s e n t m e t h o d , o n c e a s e a r c h

d i r e c t i o n i s o b t a i n e d , t h e r s t i d e a c o n s i s t s o n n d i n g t t h a t m i n i m i z e s f x

k

+ t d

k

s u b j e c t t o

g x

k

+ t d

k

0 . I n s t e a d o f m a k i n g a n e x a c t m i n i m i z a t i o n o n t , i t i s m u c h m o r e e c i e n t t o

e m p l o y i n e x a c t l i n e s e a r c h t e c h n i q u e s . F o r t h a t , w e h a v e t o s t a t e a c r i t e r i o n t o k n o w w h e t h e r

t h e s t e p l e n g t h i s g o o d o r n o t a n d t o d e n e a n i t e r a t i v e a l g o r i t h m t o o b t a i n a g o o d s t e p l e n g t h .

I n 1 5 w e i n t r o d u c e d i n e x a c t l i n e s e a r c h c r i t e r i a b a s e d o n A r m i j o ' s a n d o n W o l f e ' s c r i t e r i a f o r

u n c o n s t r a i n e d o p t i m i z a t i o n .

A R M I J O ' S C O N S T R A I N E D L I N E S E A R C H

D e n e t h e s t e p l e n g t h t a s t h e r s t n u m b e r o f t h e s e q u e n c e f 1 ; ;

2

;

3

; : : : g s a t i s f y i n g

f x + t d f x + t

1

r f

t

x d 6 . 1

a n d

g x + t d 0 ; 6 . 2

w h e r e

1

2 0 ; 1 a n d 2 0 ; 1 a l s o .

W O L F E ' S C O N S T R A I N E D L I N E S E A R C H C R I T E R I O N

A c c e p t a s t e p l e n g t h t i f 6 . 1 a n d 6 . 2 a r e t r u e a n d a t l e a s t o n e o f t h e f o l l o w i n g s m + 1

c o n d i t i o n s h o l d :

r f

t

x + t d d

2

r f

t

x d 6 . 3

a n d

g

i

x + t d g

i

x ; i = 1 ; 2 ; : : : ; m 6 . 4

w h e r e n o w

1

2 0 ; 1 = 2 ,

2

2

1

; 1 a n d 2 0 ; 1 .

8

7/28/2019 32 Congress

9/18

C o n d i t i o n s 6 . 1 a n d 6 . 2 d e n e u p p e r b o u n d s o n t h e s t e p l e n g t h i n b o t h c r i t e r i a a n d , i n

W o l f e ' s c r i t e r i o n , a l o w e r b o u n d i s g i v e n b y o n e o f t h e c o n d i t i o n s 6 . 3 a n d 6 . 4 .

A s t e p l e n g t h s a t i s f y i n g W o l f e ' s c r i t e r i o n f o r i n t e r i o r p o i n t a l g o r i t h m s c a n b e o b t a i n e d

i t e r a t i v e l y i n a s i m i l a r w a y a s i n 1 6 . G i v e n a n i n i t i a l t , i f i t i s t o o s h o r t , e x t r a p o l a t i o n s a r e

d o n e u n t i l a g o o d o r a t o o l o n g s t e p i s o b t a i n e d . I f a t o o l o n g s t e p w a s a l r e a d y o b t a i n e d ,

i n t e r p o l a t i o n s b a s e d o n t h e l o n g e s t s h o r t s t e p a n d t h e s h o r t e s t l o n g s t e p a r e d o n e , u n t i l t h e

c r i t e r i o n i s s a t i s e d . S i n c e t h e f u n c t i o n a n d t h e d i r e c t i o n a l d e r i v a t i v e a r e e v a l u a t e d f o r e a c h

n e w t , c u b i c i n t e r p o l a t i o n s o f f c a n b e d o n e . A s t h e c r i t e r i o n o f a c c e p t a n c e i s q u i t e w i d e , t h e

p r o c e s s g e n e r a l l y r e q u i r e s v e r y f e w i t e r a t i o n s .

A L I N E S E A R C H A L G O R I T H M W I T H W O L F E ' S C R I T E R I O N

P a r a m e t e r s .

1

2 0 ; 0 : 5 ,

2

2

1

; 1 a n d 2 0 ; 1 :

D a t a . D e n e a n i n i t i a l e s t i m a t e o f t h e s t e p l e n g t h , t 0 . S e t t

R

= t

L

= 0

S t e p 1 . T e s t f o r t h e u p p e r b o u n d o n t .

I f ,

f x + t d f x + t

1

r f

t

x d

a n d

g x + t d 0 ;

G o t o S t e p 2 . E l s e g o t o S t e p 4 .

S t e p 2 . T e s t f o r t h e l o w e r b o u n d o n t .

I f

r f

t

x + t d d

2

r f

t

x d ;

o r a n y

g

i

x + t d g

i

x f o r i = 1 ; 2 ; : : : ; m ;

t h e n t v e r i e s W o l f e ' s C r i t e r i a , S T O P .

E l s e , g o t o S t e p 3 .

S t e p 3 . G e t a l o n g e r t .

S e t t

L

= t :

i I f t

R

= 0 , n d a n e w t b y e x t r a p o l a t i o n b a s e d o n 0 ; t .

i i I f t

R

0 , n d a n e w t b y i n t e r p o l a t i o n i n t ; t

R

.

S t e p 4 . G e t a s h o r t e r t .

S e t t

R

= t .

F i n d a n e w t b y i n t e r p o l a t i o n i n t

L

; t

R e t u r n t o S t e p 1 .

7 E q u a l i t y a n d I n e q u a l i t y C o n s t r a i n e d O p t i m i z a t i o n

I n w h a t f o l l o w s , w e d e s c r i b e a n a p p r o a c h t o e x t e n d t h e p r e s e n t t e c h n i q u e i n o r d e r t o s o l v e

t h e e q u a l i t y a n d i n e q u a l i t y c o n s t r a i n e d p r o b l e m 1 . 1 . T h e r e s u l t i n g a l g o r i t h m r e q u i r e s a n

i n i t i a l p o i n t a t t h e i n t e r i o r o f t h e i n e q u a l i t y c o n s t r a i n t s , n o t n e c e s s a r i l y v e r i f y i n g t h e e q u a l i t y

c o n s t r a i n t s . I t g e n e r a t e s a s e q u e n c e f x

k

g a l s o a t t h e i n t e r i o r o f t h e i n e q u a l i t i e s t h a t c o n v e r g e s

t o a K a r u s h - K u h n - T u c k e r p o i n t . I n g e n e r a l , t h e e q u a l i t i e s a r e o n l y v e r i e d a t t h e l i m i t .

K a r u s h - K u h n - T u c k e r r s t o r d e r o p t i m a l i t y c o n d i t i o n s o f p r o b l e m 1 . 1 c a n b e e x p r e s s e d a s

f o l l o w s :

9

7/28/2019 32 Congress

10/18

r f x + r g x + r h x = 0 ; 7 . 1

G x = 0 ; 7 . 2

h x = 0 ; 7 . 3

g x 0 7 . 4

a n d

0 : 7 . 5

w h e r e 2 R

p

i s t h e d u a l v a r i a b l e s v e c t o r c o r r e s p o n d i n g t o t h e e q u a l i t y c o n s t r a i n t s . N o w , t h e

L a g r a n g i a n i s L x ; ; = f x +

t

g x +

t

h x , a n d i t s s e c o n d d e r i v a t i v e b e c o m e s

H x ; ; = r

2

f x +

m

X

i = 1

i

r

2

g

i

x +

p

X

i = 1

i

r

2

h

i

x .

A N e w t o n i t e r a t i o n f o r t h e s o l u t i o n o f 7 . 1 t o 7 . 3 i s d e n e d b y t h e f o l l o w i n g s y s t e m :

2

6

6

6

6

6

6

4

B r g x

k

r h x

k

r g

t

x

k

G x

k

0

r h

t

x

k

0 0

3

7

7

7

7

7

7

5

2

6

6

6

6

6

6

4

x

k + 1

0

, x

k

k + 1

0

,

k

k + 1

0

,

k

3

7

7

7

7

7

7

5

= ,

2

6

6

6

6

6

6

4

r f x

k

+ r g x

k

k

+ r h x

k

k

G x

k

k

h x

k

3

7

7

7

7

7

7

5

7 . 6

w i t h B = H x

k

;

k

;

k

; x

k

;

k

;

k

i s t h e c u r r e n t p o i n t a n d x

k + 1

0

;

k + 1

0

;

k + 1

0

a n e w e s t i m a t e .

I f w e d e n e d

k

0

= x

k + 1

0

, x

k

; t h e n 7 . 6 b e c o m e s

B d

k

0

+ r g x

k

k + 1

0

+ r h x

k

k + 1

0

= , r f x

k

; 7 . 7

k

r g

t

x

k

d

k

0

+ G x

k

k + 1

0

= 0 7 . 8

a n d

r h

t

x

k

d

k

0

= , h x

k

7 . 9

w h i c h i s i n d e p e n d e n t o f t h e c u r r e n t v a l u e o f . A s b e f o r e , w e c a n d e d u c e t h a t d

k

0

i s n o t u s e f u l

a s a s e a r c h d i r e c t i o n , s i n c e i t i s n o t a l w a y s a f e a s i b l e d i r e c t i o n .

W h e n o n l y i n e q u a l i t y c o n s t r a i n t s a r e c o n s i d e r e d , a s a l l t h e i t e r a t e s a r e f e a s i b l e , w e k n o w

t h a t a m i n i m u m i s a p p r o a c h e d a s t h e o b j e c t i v e d e c r e a s e s . I n t h e p r e s e n t p r o b l e m , a n i n c r e a s e o f

t h e f u n c t i o n c a n b e n e c e s s a r y t o s a t i s f y t h e e q u a l i t y c o n s t r a i n t s . T h e n w e n e e d a n a p p r o p r i a t e

c o s t f u n c t i o n f o r t h e l i n e s e a r c h . W i t h t h i s o b j e c t i v e w e c o n s i d e r t h e f u n c t i o n

c

x = f x +

p

X

i = 1

c

i

k h

i

x k ; 7 . 1 0

w h e r e c

i

a r e p o s i t i v e c o n s t a n t s . I t c a n b e s h o w n t h a t , i f c

i

a r e l a r g e e n o u g h , t h e n

c

x i s a n

E x a c t P e n a l t y F u n c t i o n o f t h e e q u a l i t y c o n s t r a i n t s , 1 9 . I n o t h e r w o r d s , t h e r e e x i s t s a n i t e c

1 0

7/28/2019 32 Congress

11/18

s u c h t h a t t h e m i n i m u m o f

c

s u b j e c t o n l y t o t h e i n e q u a l i t y c o n s t r a i n t s o c c u r s a t t h e s o l u t i o n o f

t h e p r o b l e m 1 . 1 . T h e n , t h e u s e o f

c

a s a p e n a l t y f u n c t i o n i s n u m e r i c a l l y v e r y a d v a n t a g e o u s ,

s i n c e i t d o e s n o t r e q u i r e p a r a m e t e r s g o i n g t o i n n i t e . O n t h e o t h e r h a n d ,

c

h a s n o d e r i v a t i v e s

a t p o i n t s w h e r e t h e r e a r e a c t i v e e q u a l i t y c o n s t r a i n t s .

I n 1 4 i t i s s h o w n t h a t , w h e n x

k

v e r i e s t h e i n e q u a l i t y c o n s t r a i n t s a n d c i s s u c h t h a t

s g h

i

x

k

c

i

+

0 i

k 0 ; i = 1 ; 2 ; : : ; p ; 7 . 1 1

w h e r e s g : = : = j : j : T h e n , d

k

0

i s a d e s c e n t d i r e c t i o n o f

c

x .

F o l l o w i n g , w e s t a t e a n a l g o r i t h m t h a t u s e s

c

i n t h e l i n e s e a r c h , b u t a v o i d s t h e p o i n t s w h e r e

t h i s f u n c t i o n i s n o n s m o o t h . I t g e n e r a t e s a s e q u e n c e w i t h d e c r e a s i n g v a l u e s o f

c

a t t h e i n t e r i o r

o f t h e i n e q u a l i t y c o n s t r a i n t s a n d s u c h t h a t t h e e q u a l i t i e s a r e n e g a t i v e . W i t h t h i s p u r p o s e , t h e

s y s t e m 7 . 7 - 7 . 9 i s m o d i e d i n a w a y t o o b t a i n a f e a s i b l e d i r e c t i o n o f t h e i n e q u a l i t i e s t h a t

p o i n t s t o t h e n e g a t i v e s i d e o f t h e e q u a l i t i e s a n d , a t t h e s a m e t i m e , i s a d e s c e n t d i r e c t i o n o f

c

.

F E A S I B L E D I R E C T I O N I N T E R I O R P O I N T A L G O R I T H M

E q u a l i t y a n d I n e q u a l i t y C o n s t r a i n t s

P a r a m e t e r s . 2 0 ; 1 a n d p o s i t i v e ' ; ; a n d

I

:

D a t a . I n i t i a l i z e x s u c h t h a t g x 0 , h x 0 , 0 , c 2 R

p

a n d B 2 R

n n

s y m m e t r i c a n d

p o s i t i v e d e n i t e .

S t e p 1 . C o m p u t a t i o n o f t h e s e a r c h d i r e c t i o n d .

i S o l v e t h e l i n e a r s y s t e m f o r d

0

;

0

;

0

B d

0

+ r g x

0

+ r h x

0

= , r f x ;

r g

t

x d

0

+ G x

0

= 0 ;

r h

t

x d

0

= , h x 7 . 1 2

I f d

0

= 0 ; s t o p .

i i C o m p u t e d

1

;

1

;

1

b y s o l v i n g t h e l i n e a r s y s t e m

B d

1

+ r g x

1

+ r h x

1

= 0

r g

t

x d

1

+ G x

1

= , ; 7 . 1 3

r h

t

x d

1

= , e ; 7 . 1 4

w h e r e e 1 ; 1 ; : : : ; 1

t

.

i i i I f c

i

, 1 : 2

0 i

, t h e n s e t c

i

= , 2

0 i

; i = 1 ; : : : ; p :

i v I f d

t

1

r

c

x 0 ; s e t

= m i n ' k d

0

k

2

; , 1 d

t

0

r

c

x = d

t

1

r

c

x :

O t h e r w i s e , s e t

= ' k d

0

k

2

:

1 1

7/28/2019 32 Congress

12/18

v C o m p u t e t h e s e a r c h d i r e c t i o n

d = d

0

+ d

1

;

S t e p 2 . L i n e s e a r c h .

F i n d a s t e p l e n g t h t s a t i s f y i n g a g i v e n c o n s t r a i n e d l i n e s e a r c h c r i t e r i o n o n t h e a u x i l i a r y

f u n c t i o n

c

a n d s u c h t h a t g x + t d 0 a n d h x + t d 0 .

S t e p 3 . U p d a t e s .

i D e n e a n e w x :

x = x + t d

i i D e n e a n e w :

S e t , f o r i = 1 ; m ;

i

: = s u p

0 i

; k d

0

k

2

: 7 . 1 5

I f g

i

x , a n d

i

I

, s e t

i

=

I

.

i i i U p d a t e B s y m m e t r i c a n d p o s i t i v e d e n i t e .

i v G o b a c k t o S t e p 1 .

I n t h e c a s e w h e n l i n e a r e q u a l i t y c o n s t r a i n t s a r e i n c l u d e d a n d t h e i n i t i a l p o i n t v e r i e s t h e m ,

i t f o l l o w s f r o m 7 . 1 2 t h a t d

0

i s f e a s i b l e f o r t h o s e c o n s t r a i n s . T h e n , i f d

0

i s n o t d e e c t e d w i t h

r e s p e c t t o t h e e q u a l i t y c o n s t r a i n t s , t h e y a r e a l w a y s a c t i v e .

8 N u m e r i c a l T e s t s

W e p r e s e n t i n t h i s s e c t i o n s o m e n u m e r i c a l r e s u l t s o b t a i n e d w i t h a q u a s i N e w t o n A l g o r i t h m .

T h e l i n e s e a r c h c o n s i d e r s W o l f e ' s c r i t e r i o n a n d m a k e s c u b i c i n t e r p o l a t i o n s a n d e x t r a p o l a t i o n s .

T h a t m e a n s t h a t t h e o b j e c t i v e f u n c t i o n , t h e c o n s t r a i n t s a n d t h e i r d e r i v a t i v e s a r e c o m p u t e d f o r

e a c h i t e r a t i o n i n t h e l i n e s e a r c h .

W e r e p o r t h e r e o u r e x p e r i e n c e w i t h 1 1 5 e x a m p l e s , d e s c r i b e d i n 1 7 . T h e r e s u l t s a r e s u m -

m a r i z e d i n T a b l e s 1 , 2 a n d 3 , w h e r e

n = n u m b e r o f v a r i a b l e s ,

m = n u m b e r o f i n e q u a l i t y c o n s t r a i n t s ,

p = n u m b e r o f e q u a l i t y c o n s t r a i n t s ,

i t e r = n u m b e r o f i t e r a t i o n s ,

e v f = n u m b e r o f f u n c t i o n s a n d g r a d i e n t s e v a l u a t i o n s ,

c f v = c o m p u t e d o b j e c t i v e f u n c t i o n v a l u e ,

o f v = o p t i m u m f u n c t i o n v a l u e , 1 7 . a n d

s u p j h

i

j = m a x i m u m c o m p u t e d e r r o r o f t h e e q u a l i t y c o n s t r a i n t s .

T h e i n e q u a l i t y c o n s t r a i n t s a r e f e a s i b l e . A l l t h e p r o b l e m s w e r e s o l v e d w i t h t h e s a m e s e t o f

v a l u e s f o r t h e i n v o l v e d p a r a m e t e r s , t a k e n a s f o l l o w s : = 0 : 7 ,

1

= 0 : 1 ,

2

= 0 : 7 , = 0 : 5 , = 1

a n d c = 0 .

1 2

7/28/2019 32 Congress

13/18

E x . n m p i t e r e v f c f v o f v s u p j h

i

j

1 2 1 0 3 6 6 8 0 . 0 0 0 0 0 . 0 0 0 0

2 2 1 0 2 9 4 7 0 . 0 5 0 4 0 . 0 5 0 4

3 2 1 0 1 5 1 6 0 . 0 0 0 0 0 . 0 0 0 0

4 2 2 0 4 5 2 . 6 6 6 7 2 . 6 6 6 7

5 2 4 0 3 5 - 1 . 9 1 3 2 - 1 . 9 1 3 2

6 2 0 1 6 8 0 . 0 0 0 0 0 . 0 0 0 0 0 . 3 3 D - 1 3

7 2 0 1 1 0 1 1 - 1 . 7 3 2 1 - 1 . 7 3 2 1 0 . 3 3 D - 0 8

8 2 0 2 6 9 - 1 . 0 0 0 0 - 1 . 0 0 0 0 0 . 9 7 D - 0 8

9 2 0 1 5 6 - 0 . 5 0 0 0 - 0 . 5 0 0 0 0 . 1 7 D - 1 4

1 0 2 1 0 1 0 1 8 - 1 . 0 0 0 0 - 1 . 0 0 0 0

1 1 2 1 0 6 1 0 - 8 . 4 9 8 5 - 8 . 4 9 8 5

1 2 2 1 0 5 1 0 - 3 0 . 0 0 0 0 - 3 0 . 0 0 0 0

1 3 2 3 0 3 0 4 6 1 . 0 0 0 0 1 . 0 0 0 0

1 4 2 1 1 4 8 1 . 3 9 3 5 1 . 3 9 3 5 0 . 9 2 D - 0 8

1 5 2 3 0 5 7 3 0 6 . 5 0 0 0 3 0 6 . 5 0 0 0

1 6 2 5 0 1 0 1 2 0 . 2 5 0 0 0 . 2 5 0 0

1 7 2 5 0 2 3 3 1 1 . 0 0 0 0 1 . 0 0 0 0

1 8 2 6 0 1 3 1 6 5 . 0 0 0 0 5 . 0 0 0 0

1 9 2 6 0 1 9 3 9 - 6 9 6 1 . 8 1 3 9 - 6 9 6 1 . 8 1 3 9

2 0 2 5 0 2 1 2 2 3 8 . 1 9 8 7 3 8 . 1 9 8 7

2 1 2 5 0 1 5 1 7 - 9 9 . 9 6 0 0 - 9 9 . 9 6 0 0

2 2 2 2 0 8 1 5 1 . 0 0 0 0 1 . 0 0 0 0

2 3 2 9 0 7 1 4 2 . 0 0 0 0 2 . 0 0 0 0

2 4 2 5 0 1 1 2 0 - 1 . 0 0 0 0 - 1 . 0 0 0 0

2 5 3 6 0 9 2 1 0 4 0 . 0 0 0 0 0 . 0 0 0 0

2 6 3 0 1 1 1 1 5 0 . 0 0 0 0 0 . 0 0 0 0 0 . 7 1 D - 0 4

2 7 3 0 1 1 3 1 9 0 . 0 4 0 1 0 . 0 4 0 0 0 . 1 3 D - 0 5

2 8 3 0 1 3 5 0 . 0 0 0 0 0 . 0 0 0 0 0 . 0 0 D + 0 0

2 9 3 1 0 7 1 4 - 2 2 . 6 2 7 4 - 2 2 . 6 2 7 4

3 0 3 7 0 1 1 1 2 1 . 0 0 0 0 1 . 0 0 0 0

3 1 3 7 0 6 8 6 . 0 0 0 0 6 . 0 0 0 0

3 2 3 4 1 4 7 1 . 0 0 0 0 1 . 0 0 0 0 0 . 2 2 D - 1 5

3 3 3 6 0 1 2 2 0 - 4 . 5 8 5 8 - 4 . 5 8 5 8

3 4 3 8 0 1 8 3 4 - 0 . 8 3 4 0 - 0 . 8 3 4 0

3 5 3 4 0 5 7 0 . 1 1 1 1 0 . 1 1 1 1

3 6 3 7 0 1 2 1 5 - 3 3 0 0 . 0 0 0 0 - 3 3 0 0 . 0 0 0 0

3 7 3 8 0 1 0 1 4 - 3 4 5 6 . 0 0 0 0 - 3 4 5 6 . 0 0 0 0

3 8 4 8 0 1 6 2 9 0 . 0 0 0 0 0 . 0 0 0 0

3 9 4 0 2 1 2 1 3 - 1 . 0 0 0 0 - 1 . 0 0 0 0 0 . 1 6 D - 0 8

4 0 4 0 3 5 6 - 0 . 2 5 0 0 - 0 . 2 5 0 0 0 . 2 1 D - 1 0

T a b l e 1 : N u m e r i c a l R e s u l t s

1 3

7/28/2019 32 Congress

14/18

E x . n m p i t e r e v f c f v o f v s u p j h

i

j

4 1 4 8 1 3 2 3 7 1 . 9 2 5 9 1 . 9 2 5 9 0 . 1 3 D - 1 6

4 2 4 0 2 7 1 0 1 3 . 8 5 7 9 1 3 . 8 5 7 9 0 . 7 0 D - 1 0

4 3 4 3 0 8 1 6 - 4 4 . 0 0 0 0 - 4 4 . 0 0 0 0

4 4 4 1 0 0 2 1 3 1 - 1 5 . 0 0 0 0 - 1 5 . 0 0 0 0

4 5 5 1 0 0 3 4 3 5 1 . 0 0 0 0 1 . 0 0 0 0

4 6 5 0 2 2 2 4 6 0 . 0 0 0 0 0 . 0 0 0 0 0 . 6 1 D - 0 7

4 7 5 0 3 1 4 2 5 0 . 0 0 0 0 0 . 0 0 0 0 0 . 1 7 D - 0 8

4 8 5 0 2 3 7 0 . 0 0 0 0 0 . 0 0 0 0 0 . 4 4 D - 1 5

4 9 5 0 2 1 0 1 7 0 . 0 0 0 0 0 . 0 0 0 0 0 . 0 0 D + 0 0

5 0 5 0 3 1 0 1 8 0 . 0 0 0 0 0 . 0 0 0 0 0 . 0 0 D + 0 0

5 1 5 0 3 2 5 0 . 0 0 0 0 0 . 0 0 0 0 0 . 0 0 D + 0 0

5 2 5 0 3 5 8 5 . 3 2 6 6 5 . 3 2 6 6 0 . 3 4 D - 1 5

5 3 5 1 0 3 8 1 1 4 . 0 9 3 0 4 . 0 9 3 0 0 . 3 3 D - 1 5

5 4 6 1 2 1 5 6 6 4 - 0 . 8 6 7 4 - 0 . 9 0 8 1 0 . 0 0 D + 0 0

5 5 6 8 5 6 9 6 . 3 3 3 3 6 . 3 3 3 3 0 . 3 6 D - 1 1

5 6 7 0 4 8 1 3 - 3 . 4 5 6 0 - 3 . 4 5 6 0 0 . 9 7 D - 0 7

5 7 2 3 0 3 1 3 6 0 . 0 2 8 5 0 . 0 2 8 5

5 8 2 5 0 1 1 1 6 1 0 0 . 9 9 0 1 |

5 9 2 7 0 1 2 1 4 - 7 . 8 0 4 2 - 7 . 8 0 4 2

6 0 3 6 1 5 8 0 . 0 3 2 6 0 . 0 3 2 6 0 . 3 3 D - 0 7

6 1 3 0 2 8 1 1 - 1 4 3 . 6 4 6 1 - 1 4 3 . 6 4 6 1 0 . 2 9 D - 1 1

6 2 3 6 1 5 9 - 2 6 2 7 2 . 5 1 - 2 6 2 7 2 . 5 1 0 . 1 1 D - 1 5

6 3 3 3 2 4 7 9 6 1 . 7 1 5 2 9 6 1 . 7 1 5 2 0 . 3 9 D - 0 6

6 4 3 4 0 3 1 4 3 6 2 9 9 . 8 4 2 4 6 2 9 9 . 8 4 2 4

6 5 3 7 0 8 1 3 0 . 9 5 3 5 0 . 9 5 3 5

6 6 3 8 0 5 9 0 . 5 1 8 2 0 . 5 1 8 2

6 7 3 2 0 0 1 1 8 2 6 3 - 1 1 6 2 . 0 0 - 1 1 6 2 . 0 3 6 5

7 0 4 9 0 3 5 4 3 0 . 0 0 7 5 0 . 0 0 7 5

7 1 4 9 1 1 1 2 2 1 7 . 0 1 8 0 1 7 . 0 1 4 0 0 . 1 2 D - 0 5

7 2 4 1 0 0 1 4 4 2 0 3 7 2 7 . 6 7 9 4 7 2 7 . 6 7 9 4

7 3 4 6 1 1 4 1 9 2 9 . 8 9 4 4 2 9 . 8 9 4 4 0 . 6 8 D - 1 4

7 4 4 1 0 3 2 8 4 5 5 1 2 6 . 4 9 8 1 5 1 2 6 . 4 9 8 1 0 . 3 4 D - 0 4

7 5 4 1 0 3 3 0 4 0 5 1 7 4 . 4 1 2 9 5 1 7 4 . 4 1 2 9 0 . 3 7 D - 0 8

7 6 4 7 0 7 9 - 4 . 6 8 1 8 - 4 . 6 8 1 8

7 7 5 0 2 1 3 2 1 0 . 2 4 1 5 0 . 2 4 1 5 0 . 1 5 D - 0 8

7 8 5 0 3 9 1 2 - 2 . 9 1 9 7 - 2 . 9 1 9 7 0 . 1 0 D - 0 8

7 9 5 0 3 8 1 0 0 . 0 7 8 8 0 . 0 7 8 8 0 . 3 8 D - 0 8

8 0 5 1 0 3 9 1 4 0 . 0 5 3 9 0 . 0 5 3 9 0 . 2 1 D - 0 9

T a b l e 2 : N u m e r i c a l R e s u l t s

1 4

7/28/2019 32 Congress

15/18

E x . n m p i t e r e v f c f v o f v s u p j h

i

j

8 1 5 1 0 3 1 5 2 5 0 . 0 5 3 9 0 . 0 5 3 9 0 . 1 7 D - 1 3

8 3 5 1 6 0 1 3 1 5 - 3 0 6 6 5 . 5 4 - 3 0 6 6 5 . 5 4

8 4 5 1 6 0 3 2 3 6 - 5 2 8 0 3 3 5 - 5 2 8 0 3 3 5

8 5 5 4 8 0 1 7 2 2 1 6 - 1 . 9 0 5 1 - 1 . 9 0 5 1

8 6 5 1 5 0 1 3 2 0 - 3 2 . 3 4 8 7 - 3 2 . 3 4 8 7

8 7 6 1 2 4 6 0 9 5 8 9 2 7 . 6 0 7 8 8 9 2 7 . 5 9 7 7 0 . 1 0 D - 0 5

8 8 2 5 0 6 1 5 1 . 3 6 2 7 1 . 3 6 2 7

8 9 3 7 0 7 2 7 1 . 3 6 2 7 1 . 3 6 2 7

9 0 4 9 0 1 0 2 4 1 . 3 6 2 7 1 . 3 6 2 7

9 1 5 1 1 0 1 2 3 9 1 . 3 6 2 7 1 . 3 6 2 7

9 2 6 1 3 0 1 0 3 3 1 . 3 6 2 7 1 . 3 6 2 7

9 3 6 8 0 1 3 2 4 1 3 5 . 0 7 6 0 1 3 5 . 0 7 6 0

9 5 6 1 6 0 4 7 0 . 0 0 0 2 0 . 0 1 5 6

9 6 6 1 6 0 5 1 1 0 . 0 0 0 2 0 . 0 1 5 6

9 7 6 1 6 0 3 6 0 . 0 0 1 0 3 . 1 3 5 8

9 8 6 1 6 0 3 6 0 . 0 0 1 0 3 . 1 3 5 8

9 9 7 1 4 2 1 4 2 2 - 8 3 1 0 8 0 0 0 0 - 8 3 1 0 7 9 8 9 1 0 . 4 1 D - 0 5

1 0 0 7 4 0 1 3 2 5 6 8 0 . 6 3 0 1 6 8 0 . 6 3 0 1

1 0 1 7 2 0 0 3 9 9 3 1 8 0 9 . 7 6 8 9 1 8 0 9 . 7 6 4 8

1 0 2 7 2 0 0 3 9 8 3 9 1 1 . 8 8 0 6 9 1 1 . 8 8 0 6

1 0 3 7 2 0 0 3 7 8 0 5 4 3 . 6 6 8 0 5 4 3 . 6 6 8 0

1 0 4 8 2 2 0 2 3 6 1 3 . 9 5 1 2 3 . 9 5 1 2

1 0 5 8 1 7 0 5 7 6 6 1 1 3 8 . 4 1 2 6 1 1 3 8 . 4 1 6 2

1 0 6 8 2 2 0 1 1 9 1 8 1 7 0 4 9 . 3 3 0 9 7 0 4 9 . 3 3 0 9

1 0 7 9 8 6 1 2 1 4 5 0 5 5 . 0 1 1 8 5 0 5 5 . 0 1 1 8 0 . 1 2 D - 1 0

1 0 8 9 1 4 0 2 1 3 0 - 0 . 6 7 4 9 - 0 . 8 6 6 0

1 0 9 9 2 0 6 4 7 5 6 5 3 6 2 . 0 6 9 3 5 3 6 2 . 0 6 9 3 0 . 4 3 D - 0 1

1 1 0 1 0 2 0 0 5 6 - 4 5 . 7 7 8 5 - 4 5 . 7 7 8 5

1 1 1 1 0 2 0 3 1 0 7 3 7 0 - 4 7 . 7 6 0 5 - 4 7 . 7 6 1 1 0 . 1 8 D - 0 5

1 1 2 1 0 1 0 3 1 8 2 6 - 4 7 . 7 6 1 1 - 4 7 . 7 0 7 6 0 . 4 6 D - 1 4

1 1 3 1 0 8 0 1 7 3 2 2 4 . 3 0 6 3 2 4 . 3 0 6 2

1 1 4 1 0 2 8 3 1 1 8 2 5 1 - 1 7 4 3 . 7 1 - 1 7 6 8 . 8 0 7 0 0 . 3 4 D - 0 3

1 1 6 1 3 1 5 0 3 5 7 6 9 8 . 2 9 9 6 9 7 . 5 8 8 4

1 1 7 1 5 2 0 0 3 1 3 3 3 2 . 3 4 8 7 3 2 . 3 4 8 7

1 1 8 1 5 5 9 0 4 5 5 1 6 6 4 . 8 2 0 4 6 6 4 . 8 2 0 4

1 1 9 1 6 3 2 8 5 4 6 6 2 4 4 . 8 9 9 7 2 4 4 . 8 9 9 7 0 . 1 5 D - 1 3

T a b l e 3 : N u m e r i c a l R e s u l t s

1 5

7/28/2019 32 Congress

16/18

9 C o n c l u s i o n s

T h e p r e s e n t a l g o r i t h m i s s i m p l e t o c o d e s i n c e i t d o e s n o t r e q u i r e t h e s o l u t i o n o f q u a d r a t i c

p r o g r a m m i n g s u b p r o b l e m s b u t m e r e l y o f t w o l i n e a r s y s t e m s w i t h t h e s a m e m a t r i x . W e c a n

t a k e a d v a n t a g e o f t h e s t r u c t u r e o f t h i s m a t r i x t o s o l v e e c i e n t l y v e r y l a r g e p r o b l e m s . D e p e n d i n g

o n t h e i n f o r m a t i o n a v a i l a b l e a b o u t t h e p r o b l e m t o b e s o l v e d , a r s t o r d e r , a q u a s i - N e w t o n o r

a N e w t o n v e r s i o n o f t h e a l g o r i t h m c a n b e e m p l o y e d . T h e n u m e r i c a l e x a m p l e s w e r e s o l v e d v e r y

e c i e n t l y a n d , i t i s i m p o r t a n t t o r e m a r k t h a t , a l l o f t h e m w e r e s o l v e d w i t h o u t a n y c h a n g e i n

t h e c o d e a n d w i t h t h e s a m e p a r a m e t e r s o f t h e a l g o r i t h m .

R e f e r e n c e s

1 A u a t t , S . S . , B o r g e s , L . A . a n d H e r s k o v i t s , J . , A n I n t e r i o r P o i n t O p t i m i z a t i o n A l -

g o r i t h m f o r C o n t a c t P r o b l e m s i n L i n e a r E l a s t i c i t y , N u m e r i c a l M e t h o d s i n E n g i n e e r i n g ' 9 6 ,

E d i t e d b y D e s i d e r i , J . A . , L e T a l l e c , P . , O ~ n a t e , E . , P e r i a u x , J . a n d S t e i n , E . , J o h n W i l e y

& S o n s , 1 9 9 6 .

2 B a r o n , F . J . a n d P i r o n n e a u , O . , M u l t i d i s c i p l i n a r y O p t i m a l D e s i g n o f a W i n g P r o -

l e , P r o c e e d i n g s o f S T R U C T U R A L O P T I M I Z A T I O N 9 3 , R i o d e J a n e i r o , E d i t e d b y J .

H e r s k o v i t s , 8 1 9 9 3 .

3 B a r o n , F . J . C o n s t r a i n e d S h a p e O p t i m i z a t i o n o f C o u p l e d P r o b l e m s w i t h E l e c t r o m a g n e t i c

W a v e s a n d F l u i d M e c h a n i c s , i n S p a n i s h , U n i v e r s i t y o f M a l a g a , S p a i n , P h D T h e s i s , 1 9 9 4 .

4 B a r o n , F . J . , D u f f a , G . , C a r r e r e , F . a n d L e T a l l e c , P . , O p t i m i s a t i o n d e f o r m e

e n a e r o d y n a m i q u e , i n F r e n c h , C H O C S , R e v u e s c i e n t i q u e e t t e c h n i q u e d e l a D i r e c t i o n

d e s A p p l i c a t i o n s M i l i t a i r e s d u C E A , F r a n c e , 1 9 9 4 .

5 B i j a n , M . a n d P i r o n n e a u , O . , N e w T o o l s f o r O p t i m u m S h a p e D e s i g n , C F D R e v i e w ,

S p e c i a l I s s u e , 1 9 9 5 .

6 D e w , M . C . A F i r s t O r d e r F e a s i b l e D i r e c t i o n s A l g o r i t h m f o r C o n s t r a i n e d O p t i m i z a t i o n ,

T e c h n i c a l R e p o r t N o . 1 5 3 , N u m e r i c a l O p t i m i z a t i o n C e n t r e , T h e H a t e l d P o l y t e c h n i c , P .

O . B o x 1 0 9 , C o l l e g e L a n e , H a t e l d , H e r t f o r d s h i r e A L 1 0 9 A B , U . K . , 1 9 8 5 .

7 D e w , M . C . A F e a s i b l e D i r e c t i o n s M e t h o d f o r C o n s t r a i n e d O p t i m i z a t i o n b a s e d o n t h e

V a r i a b l e M e t r i c P r i n c i p l e , T e c h n i c a l R e p o r t N o . 1 5 5 , N u m e r i c a l O p t i m i z a t i o n C e n t r e , T h e

H a t e l d P o l y t e c h n i c , P . O . B o x 1 0 9 , C o l l e g e L a n e , H a t e l d , H e r t f o r d s h i r e A L 1 0 9 A B , U .

K . , 1 9 8 5 .

8 D e n n i s , J . E . a n d S c h n a b e l , R . , N u m e r i c a l M e t h o d s f o r C o n s t r a i n e d O p t i m i z a t i o n

a n d N o n l i n e a r E q u a t i o n s , P r e n t i c e H a l l , 1 9 8 3 .

9 D i k i n , I . I . , A b o u t t h e C o n v e r g e n c e o f a n I t e r a t i v e P r o c e d u r e i n R u s s i a n , S o v i e t

M a t h e m a t i c s D o k l a d y , V o l . 8 , p p . 6 7 4 - 6 7 5 , 1 9 6 7 .

1 0 H e r s k o v i t s , J . , A T w o - S t a g e F e a s i b l e D i r e c t i o n s A l g o r i t h m f o r N o n - L i n e a r C o n s t r a i n e d

O p t i m i z a t i o n , R e s e a r c h R e p o r t N o . 1 0 3 , I N R I A , B P 1 0 5 , 7 8 1 5 3 L e C h e s n a y C E D E X ,

F r a n c e , 1 9 8 2 .

1 6

7/28/2019 32 Congress

17/18

1 1 H e r s k o v i t s , J . , A T w o - S t a g e F e a s i b l e D i r e c t i o n s A l g o r i t h m I n c l u d i n g V a r i a b l e M e t r i c T e -

c h n i q u e s f o r N o n l i n e a r O p t i m i z a t i o n , R e s e a r c h R e p o r t n 0 1 1 8 , I N R I A , B P 1 0 5 , 7 8 1 5 3 L e

C h e s n a y C E D E X , F r a n c e , 1 9 8 2 .

1 2 H e r s k o v i t s , J . , A T w o - S t a g e F e a s i b l e D i r e c t i o n s A l g o r i t h m f o r N o n l i n e a r C o n s t r a i n e d

O p t i m i z a t i o n , M a t h e m a t i c a l P r o g r a m m i n g , V o l . 3 6 , p p . 1 9 - 3 8 , 1 9 8 6 .

1 3 H e r s k o v i t s , J . a n d C o e l h o , C . A . B . A n I n t e r i o r P o i n t A l g o r i t h m f o r S t r u c t u r a l O p t i -

m i z a t i o n P r o b l e m s , i n C o m p u t e r A i d e d O p t i m u m D e s i g n o f S t r u c t u r e s : R e c e n t A d v a n c e s ,

e d i t e d b y C . A . B r e v i a a n d S . H e r n a n d e z , C o m p u t a t i o n a l M e c h a n i c s P u b l i c a t i o n s , S p r i n g e r -

V e r l a g , J u n e 1 9 8 9 .

1 4 H e r s k o v i t s , J . , A n I n t e r i o r P o i n t T e c h n i q u e f o r N o n l i n e a r O p t i m i z a t i o n , R e s e a r c h R e p o r t

N o . 1 8 0 8 , I N R I A , B P 1 0 5 , 7 8 1 5 3 L e C h e s n a y C E D E X , F r a n c e , 1 9 9 2 .

1 5 H e r s k o v i t s , J . , A V i e w o n N o n l i n e a r O p t i m i z a t i o n , A d v a n c e s i n S t r u c t u r a l O p t i m i z a -

t i o n , E d i t e d b y J . H e r s k o v i t s , K l u w e r A c a d e m i c P u b l i s h e r s , D o r d r e c h t , p p 7 1 - 1 1 7 , 1 9 9 5 .

1 6 H i r i a r t - U r r u t y , J . B . a n d L e m a r

e c h a l , C . C o n v e x a n a l y s i s a n d M i n i m i z a t i o n A l -

g o r i t h m s , S p r i n g e r - V e r l a g , B e r l i n , H e i l d e l b e r g , 1 9 9 3 .

1 7 H o c k , W . a n d S c h i t t k o w s k i , K . , T e s t E x a m p l e s f o r N o n l i n e a r P r o g r a m m i n g C o d e s ,

L e c t u r e N o t e s i n E c o n o m i c s a n d M a t h e m a t i c a l S y s t e m s 1 8 7 , S p r i n g e r - V e r l a g , B e r l i n ,

1 9 8 1 .

1 8 K o j i m a , M . , M i z u n o , S . a n d Y o s h i s e , A . , A P r i m a l - D u a l I n t e r i o r P o i n t M e t h o d f o r

L i n e a r P r o g r a m m i n g , P r o g r e s s i n M a t h e m a t i c a l P r o g r a m m i n g : I n t e r i o r - P o i n t a n d R e l a t e d

M e t h o d s , E d i t e d b y N . M e g g i d o , S p r i n g e r - V e r l a g , N e w Y o r k , p p 2 9 - 4 7 , 1 9 8 9 .

1 9 L u e n b e r g e r D . G . , L i n e a r a n d N o n l i n e a r P r o g r a m m i n g , 2 n d . E d i t i o n , A d d i s o n - W e s l e y ,

1 9 8 4 .

2 0 M a r a t o s N . , E x a c t P e n a l t y F u n c t i o n A l g o r i t h m s f o r F i n i t e D i m e n s i o n a l O p t i m i z a t i o n

P r o b l e m s , P h . D . t h e s i s , I m p e r i a l C o l l e g e o f S c i e n c e a n d T e c h n o l o g y , L o n d o n , 1 9 7 8 .

2 1 M a y n e , D . Q . a n d P o l a k , E . , F e a s i b l e D i r e c t i o n s A l g o r i t h m s f o r O p t i m i z a t i o n P r o -

b l e m s w i t h E q u a l i t y a n d I n e q u a l i t y C o n s t r a i n t s , M a t h e m a t i c a l P r o g r a m m i n g 1 1 , p p .

6 7 - 8 0 , 1 9 7 6 .

2 2 M e g g i d o , N . , P a t h w a y s t o t h e O p t i m a l S e t i n L i n e a r P r o g r a m m i n g , P r o g r e s s i n M a -

t h e m a t i c a l P r o g r a m m i n g : I n t e r i o r - P o i n t a n d R e l a t e d M e t h o d s , E d i t e d b y N . M e g g i d o ,

S p r i n g e r - V e r l a g , N e w Y o r k , 1 3 1 - 1 5 8 , 1 9 8 9 .

2 3 M o n t e i r o , R . D . C . , A d l e r , I . a n d R e s e n d e , M . G . C . , A P o l y n o m i a l - T i m e P r i m a l -

D u a l A n e S c a l i n g A l g o r i t h m f o r L i n e a r a n d C o n v e x Q u a d r a t i c P r o g r a m m i n g a n d i t s

P o w e r S e r i e s E x t e n s i o n , M a t h e m a t i c s o f O p e r a t i o n s R e s e a r c h 1 5 1 9 9 0 , 1 9 1 - 2 1 4 .

2 4 P a n i e r , E . R . , T i t s A . L . , A S u p e r l i n e a r l y C o n v e r g e n t A l g o r i t h m f o r C o n s t r a i n e d o p t i -

m i z a t i o n p r o b l e m s , S I A M J . C o n t r o l O p t i m . , 2 5 1 9 8 7 , p p . 9 3 4 - 9 5 0 .

1 7

7/28/2019 32 Congress

18/18

2 5 P a n i e r , E . R . , T i t s A . L . a n d H e r s k o v i t s J . A Q P - F r e e , G l o b a l l y C o n v e r g e n t , L o -

c a l l y S u p e r l i n e a r l y C o n v e r g e n t A l g o r i t h m f o r I n e q u a l i t y C o n s t r a i n e d O p t i m i z a t i o n , S I A M

J o u r n a l o f C o n t r o l a n d O p t i m i z a t i o n , V o l 2 6 , p p 7 8 8 - 8 1 0 , 1 9 8 8 .

2 6 P o w e l l , M . J . D . T h e C o n v e r g e n c e o f V a r i a b l e M e t r i c M e t h o d s f o r N o n l i n e a r l y C o n s t r a i -

n e d O p t i m i z a t i o n C a l c u l a t i o n s , i n N o n l i n e a r P r o g r a m m i n g 3 , e d i t e d b y O . L . M a n g a s a r i a n ,

R . R . M e y e r a n d S . M . R o b i n s o n , A c a d e m i c P r e s s , L o n d o n , 1 9 7 8 .

2 7 P o w e l l M . J . D . , V a r i a b l e M e t r i c M e t h o d s f o r C o n s t r a i n e d O p t i m i z a t i o n , i n M a t h e -

m a t i c a l P r o g r a m m i n g - T h e S t a t e o f t h e A r t , E d i t e d b y A . B a c h e m , M . G r o t s c h e t a n d B .

K o r t e , S p r i n g e r - V e r l a g , B e r l i n , 1 9 8 3 .

2 8 S a n t o s , G . , F e a s i b l e D i r e c t i o n s I n t e r i o r P o i n t A l g o r i t h m s f o r E n g i n e e r i n g O p t i m i z a t i o n

, i n P o r t u g u e s e , D S c . D i s s e r t a t i o n , C O P P E - F e d e r a l U n i v e r s i t y o f R i o d e J a n e i r o , M e -

c h a n i c a l E n g i n e e r i n g P r o g r a m , C a i x a P o s t a l 6 8 5 0 3 , 2 1 9 4 5 - 9 7 0 , R i o d e J a n e i r o , B r a z i l ,

1 9 9 6 .

2 9 T i t s , L . A . a n d Z h o u J . L . A S i m p l e , Q u a d r a t i c a l l y C o n v e r g e n t I n t e r i o r P o i n t A l g o r i -

t h m f o r L i n e a r P r o g r a m m i n g a n d C o n v e x Q u a d r a t i c P r o g r a m m i n g , L a r g e S c a l e O p t i m i -

z a t i o n : S t a t e o f t h e A r t , E d i t e d b y W . W . H a g e r , D . W . H e a r n a n d P . M . P a r d a l o s , K l u w e r

A c a d e m i c P u b l i s h e r s B . V , 1 9 9 3 .

3 0 V a n d e r b e i , R . J . a n d L a g a r i o s , J . C . , I . I . D i k i n ' s C o n v e r g e n c e R e s u l t f o r t h e A n e

S c a l i n g A l g o r i t h m , T e c h n i c a l R e p p o r t , A T & T B e l l L a b o r a t o r i e s , M u r r a y H i l l , N J , 1 9 8 8 .

3 1 V a u t i e r , I . , S a l a u n , M . a n d H e r s k o v i t s , J . , A p p l i c a t i o n o f a n I n t e r i o r P o i n t A l g o -

r i t h m t o t h e M o d e l i n g o f U n i l a t e r a l C o n t a c t B e t w e e n S p o t - W e l d e d S h e l l s , P r o c e e d i n g s o f

S T R U C T U R A L O P T I M I Z A T I O N 9 3 , R i o d e J a n e i r o , E d i t e d b y J . H e r s k o v i t s , 8 1 9 9 3 .

3 2 Z o u a i n , N . A . , H e r s k o v i t s J . , B o r g e s , L . A . a n d F e i j o o , R . A n I t e r a t i v e A l g o r i t h m

f o r L i m i t A n a l y s i s w i t h N o n l i n e a r Y i e l d F u n c t i o n s , I n t e r n a t i o n a l J o u r n a l o n S o l i d s a n d

S t r u c t u r e s , V o l 3 0 , N o 1 0 , p p 1 3 9 7 - 1 4 1 7 , G t . B r i t a i n , 1 9 9 3 .

1 8