Design and Analysis of Computer Experiments the Method of Sacks Et Al - Etman - 1994

8/12/2019 Design and Analysis of Computer Experiments the Method of Sacks Et Al - Etman - 1994

1/31

D e s i g n a n d a n a l y s i s o f c o m p u t e r e x p e r i m e n t s :

T h e m e t h o d o f S a c k s e t a l .

L . F . P . E t m a n

1

D e p a r t m e n t o f M e c h a n i c a l E n g i n e e r i n g

E i n d h o v e n U n i v e r s i t y o f T e c h n o l o g y

P . O . B o x 5 1 3 5 6 0 0 M B E i n d h o v e n

T h e N e t h e r l a n d s

A u g u s t 9 , 1 9 9 4

1

T h i s r e p o r t s h o u l d b e r e f e r r e d t o a s : E t m a n , L . F . P . , ` D e s i g n a n d a n a l y s i s o f c o m p u t e r e x p e r i m e n t s :

T h e m e t h o d o f S a c k s e t a l . ' , E n g i n e e r i n g M e c h a n i c s r e p o r t W F W 9 4 . 0 9 8 , E i n d h o v e n U n i v e r s i t y o f

T e c h n o l o g y , 1 9 9 4 .


2/31

A b s t r a c t

I n s t r u c t u r a l o p t i m i z a t i o n , u s u a l l y a n a p p r o x i m a t i o n c o n c e p t i s i n t r o d u c e d a s i n t e r f a c e

b e t w e e n F E M s t r u c t u r a l a n a l y s i s c o d e a n d o p t i m i z a t i o n a l g o r i t h m . I n s o m e c a s e s o f o p t i -

m u m d e s i g n , a g l o b a l a p p r o x i m a t i o n c o n c e p t c a n b e e e c t i v e l y a p p l i e d . T h e n , a p p r o x i m a t i o n

m o d e l f u n c t i o n s a r e b u i l t o f a l l o b j e c t i v e a n d c o n s t r a i n t f u n c t i o n s , w h o s e v a l u e s , f o r a c e r t a i n

d e s i g n p o i n t , f o l l o w f r o m t h e s t r u c t u r a l a n a l y s i s c a l c u l a t i o n s . I n t h i s w a y , t h e o r i g i n a l o p -

t i m i z a t i o n p r o b l e m i s c o m p l e t e l y r e p l a c e d b y a n e x p l i c i t l y k n o w n a p p r o x i m a t e o p t i m i z a t i o n

p r o b l e m .

R e s p o n s e - s u r f a c e t e c h n i q u e s a r e c o m m o n l y a p p l i e d t o b u i l d g l o b a l a p p r o x i m a t i o n m o d e l s ,

e s p e c i a l l y w h e n d e a l i n g w i t h r e s p o n s e s o f p h y s i c a l e x p e r i m e n t s . F o r o n e r e s p o n s e f u n c t i o n ,

t h i s m e a n s t h a t a u s e r d e n e d m o d e l f u n c t i o n i s t t e d t o t h e r e s p o n s e d a t a c a l c u l a t e d a t

t h e d e s i g n s i t e s o f s o m e e x p e r i m e n t a l d e s i g n . E r r o r s b e t w e e n m o d e l f u n c t i o n a n d e x p e r i -

m e n t a l r e s p o n s e v a l u e s a r e a s s u m e d t o b e r a n d o m l y d i s t r i b u t e d . H o w e v e r , i n t h e s t r u c t u r a l

o p t i m i z a t i o n c a s e , a n e x p e r i m e n t i s a c o m p u t e r a n a l y s i s w i t h a d e t e r m i n i s t i c r e s p o n s e a s a

r e s u l t . T h i s r u l e s o u t t h e s t a t i s t i c a l a s s u m p t i o n s r e s p o n s e - s u r f a c e m o d e l b u i l d i n g i s b a s e d

u p o n . F u r t h e r m o r e , i t i s o f t e n d i c u l t t o n d m o d e l f u n c t i o n s t h a t a p p r o x i m a t e t h e t r u e

r e s p o n s e b e h a v i o u r w i t h i n t h e d e s i r e d a c c u r a c y .

S a c k s a n d c o w o r k e r s p r o p o s e d a n e w m o d e l b u i l d i n g s t r a t e g y , t h a t i s e s p e c i a l l y s u i t e d

f o r d e t e r m i n i s t i c c o m p u t e r r e s p o n s e s . T h e i r b a s i c a s s u m p t i o n i s t h a t c o m p u t e r r e s p o n s e s

c a n b e m o d e l l e d a s a r e a l i z a t i o n o f a s t o c h a s t i c p r o c e s s . T h i s n a l l y l e a d s t o a r e s p o n s e

p r e d i c t i o n t h a t e x a c t l y d e s c r i b e s a l l c a l c u l a t e d c o m p u t e r r e s p o n s e s . A d d i t i o n a l l y , t h e m e a n

s q u a r e d e r r o r o f a p r e d i c t i o n c a n b e c a l c u l a t e d , w h i c h s e r v e s a s a m e a s u r e o f a c c u r a c y o f t h e

p r e d i c t i o n .

A r e v i e w i s g i v e n o f t h e m e t h o d o f S a c k s e t a l . . I t h a s b e e n i m p l e m e n t e d i n M A T L A B .

S o m e a n a l y t i c a l r e s p o n s e f u n c t i o n s a n d s m a l l d e s i g n o p t i m i z a t i o n p r o b l e m s h a v e b e e n u s e d

t o t e s t t h e m o d e l b u i l d i n g c a p a c i t i e s a n d t h e e e c t i v e n e s s o f t h e m e t h o d w h e n a p p l i e d a s

g l o b a l a p p r o x i m a t i o n c o n c e p t i n s t r u c t u r a l o p t i m i z a t i o n .

I t i s c o n c l u d e d t h a t t h e s t r a t e g y a s p r o p o s e d b y S a c k s a n d c o w o r k e r s i s n o t s u i t e d f o r

i m p l e m e n t a t i o n i n a d e s i g n o p t i m i z a t i o n t o o l , m a i n l y b e c a u s e o f t w o r e a s o n s . F i r s t l y , m a x i -

m u m l i k e l i h o o d p a r a m e t e r e s t i m a t i o n i s c o m p u t a t i o n a l l y e x p e n s i v e a n d n o t s t r a i g h t f o r w a r d ,

w h i l e t h e q u a l i t y o f t h e p a r a m e t e r e s t i m a t i o n s i s q u e s t i o n a b l e . T h i s c o m p u t a t i o n a l e o r t

i s d i s a d v a n t a g e o u s i f m a n y c o n s t r a i n t f u n c t i o n s h a v e t o a p p r o x i m a t e d , w h i c h o f t e n o c c u r s

i n s t r u c t u r a l o p t i m i z a t i o n . S e c o n d l y , t h e m e a n s q u a r e d e r r o r c a n n o t b e u n c o n d i t i o n a l l y

t r u s t e d . T o h a v e a n i n d e p e n d e n t a c c u r a c y m e a s u r e s e v e r a l a d d i t i o n a l c o m p u t e r e x p e r i m e n t s

t e s t p o i n t s h a v e t o b e p e r f o r m e d .

M a i n a d v a n t a g e o f t h e a p p r o x i m a t i o n s o f S a c k s e t a l . , c o m p a r e d w i t h r e s p o n s e - s u r f a c e

m o d e l s , i s t h e e x i b i l i t y t o a u t o m a t i c a l l y a d a p t t o t h e c a l c u l a t e d r e s p o n s e d a t a . T h e s a m e s o r t

o f e x i b i l i t y a l s o o c c u r s f o r t h e m o v i n g l e a s t - s q u a r e s v a r i a n t o f t h e l e a s t - s q u a r e s p a r a m e t e r

e s t i m a t i o n . I t i s r e c o m m e n d e d t o i n v e s t i g a t e w h e t h e r t h i s m e t h o d c a n a d d e x i b i l i t y t o ,

a n d s o l v e t h e m o d e l f u n c t i o n s e l e c t i o n p r o b l e m s o f , t h e r e s p o n s e - s u r f a c e s t r a t e g y w i t h o u t a n

u n m a n a g e a b l e a m o u n t o f c o m p u t a t i o n s .


3/31

C o n t e n t s

1 I n t r o d u c t i o n 2

2 T h e o r e m 4

2 . 1 M o d e l l i n g , e s t i m a t i o n a n d p r e d i c t i o n . . . . . . . . . . . . . . . . . . . . . . . 4

2 . 2 C o r r e l a t i o n f u n c t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2 . 3 E x p e r i m e n t a l d e s i g n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 . 4 A c c u r a c y a n d d e s i g n v a r i a b l e e e c t s . . . . . . . . . . . . . . . . . . . . . . . 7

2 . 5 S a c k s e t a l . v e r s u s r e s p o n s e - s u r f a c e i n s t r u c t u r a l o p t i m i z a t i o n . . . . . . . . . 9

2 . 6 M o v i n g l e a s t - s q u a r e s a p p r o x i m a t i o n s . . . . . . . . . . . . . . . . . . . . . . . 1 0

3 E x a m p l e s 1 4

3 . 1 R e s p o n s e p r e d i c t i o n a n d a c c u r a c y . . . . . . . . . . . . . . . . . . . . . . . . . 1 4

3 . 2 M a x i m u m l i k e l i h o o d b e h a v i o u r . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6

3 . 3 T w o b a r t r u s s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7

3 . 4 M o d e l l i n g t h e a c o u s t i c a l d a m p i n g o f t h e h u m o f a b e l l . . . . . . . . . . . . . 1 8

3 . 5 T e n b a r t r u s s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0

4 C o n c l u s i o n a n d d i s c u s s i o n 2 6

1


4/31

C h a p t e r 1

I n t r o d u c t i o n

I n s t r u c t u r a l o p t i m u m d e s i g n , o p t i m i z a t i o n t o o l s u s u a l l y d o n o t d i r e c t l y s o l v e t h e o p t i m i z a t i o n

p r o b l e m , b u t u s e a s u i t a b l e a p p r o x i m a t i o n c o n c e p t t o i n t e r f a c e s t r u c t u r a l a n a l y s i s s o f t w a r e

a n d m a t h e m a t i c a l p r o g r a m m i n g a l g o r i t h m . T h e g e n e r a l o p t i m i z a t i o n p r o b l e m c a n b e f o r m u -

l a t e d a s t o n d t h e s e t o f n d e s i g n v a r i a b l e s x t h a t m i n i m i z e s o b j e c t i v e f u n c t i o n :

F

o b j

x 1 . 1

s u b j e c t t o c o n s t r a i n t s :

g

j

x c

j

j = 1 ; : : : ; m 1 . 2

i n t h e d e s i g n s p a c e :

x

l

i

x

i

x

u

i

i = 1 ; : : : ; n 1 . 3

O b j e c t i v e f u n c t i o n a n d c o n s t r a i n t s a r e o f t e n n o t e x p l i c i t l y k n o w n : m o s t o b j e c t i v e f u n c t i o n

a n d c o n s t r a i n t v a l u e s o f a c e r t a i n d e s i g n x f o l l o w f r o m t i m e - c o n s u m i n g s t r u c t u r a l a n a l y s i s

c a l c u l a t i o n s . T h e i n t r o d u c t i o n o f a n a p p r o x i m a t i o n c o n c e p t a v o i d s p r o g r a m m i n g p r o b l e m s

a n d i s c o m p u t a t i o n a l l y m o r e c o n v e n i e n t H a f t k a a n d G u r d a l , 1 9 9 2 . T h e b a s i c p r i n c i p l e i s

t o g e n e r a t e e x p l i c i t l y k n o w n a p p r o x i m a t i o n s o f o b j e c t i v e f u n c t i o n a n d c o n s t r a i n t s , w h i c h

b u i l d a n a p p r o x i m a t e o p t i m i z a t i o n p r o b l e m t h a t c a n b e e a s i l y s o l v e d b y a m a t h e m a t i c a l

p r o g r a m m i n g a l g o r i t h m .

O f t e n , l o c a l a p p r o x i m a t i o n s a r e u s e d . A l o c a l a p p r o x i m a t i o n o f o b j e c t i v e f u n c t i o n o r

c o n s t r a i n t i s b a s e d o n f u n c t i o n v a l u e a n d d e r i v a t i v e s w i t h r e s p e c t t o t h e d e s i g n v a r i a b l e s i n a

s i n g l e p o i n t o f t h e d e s i g n s p a c e . S i n c e s u c h a n a p p r o x i m a t i o n i s o n l y v a l i d i n t h e v i c i n i t y o f

t h i s p o i n t , t h e s e a r c h s u b r e g i o n o f t h e a p p r o x i m a t e o p t i m i z a t i o n p r o b l e m h a s t o b e l i m i t e d

b y a d d i t i o n a l c o n s t r a i n t s , s o c a l l e d m o v e l i m i t s . T h e o p t i m u m o f t h e a p p r o x i m a t e p r o b l e m

s e r v e s a s s t a r t i n g p o i n t o f a n e w c y c l e o f a p p r o x i m a t i o n a n d o p t i m i z a t i o n . T h i s s e q u e n t i a l

a p p r o x i m a t e o p t i m i z a t i o n p r o c e s s i s c o n t i n u e d u n t i l a n a c c e p t a b l e o p t i m u m i s r e a c h e d . L o c a l

a p p r o x i m a t i o n c o n c e p t s a r e p o p u l a r i n s t r u c t u r a l o p t i m i z a t i o n , b e c a u s e t h e y a r e e a s y t o u s e

a n d t h e y c a n h a n d l e d e s i g n p r o b l e m s w i t h a l a r g e n u m b e r o f d e s i g n v a r i a b l e s .

F o r s o m e o p t i m u m d e s i g n a p p l i c a t i o n s , i t i s u s e f u l t o b u i l d g l o b a l a p p r o x i m a t i o n m o d e l s

o f o b j e c t i v e f u n c t i o n a n d c o n s t r a i n t s , t h a t c r e a t e a n e x p l i c i t l y k n o w n a p p r o x i m a t e o p t i m i z a -

t i o n p r o b l e m i n t h e c o m p l e t e d e s i g n s p a c e o r a l a r g e p a r t o f i t . S o , t h e r e g i o n i n w h i c h

t h e a p p r o x i m a t i o n s a r e v a l i d i s s i g n i c a n t l y l a r g e r t h a n w h e n u s i n g a l o c a l a p p r o x i m a t i o n

c o n c e p t . T h e p r i c e y o u p a y i s t h a t t h e n u m b e r o f d e s i g n v a r i a b l e s i s l i m i t e d : t h e r e q u i r e d

a m o u n t o f n u m e r i c a l e x p e r i m e n t s t o b u i l d t h e a p p r o x i m a t i o n m o d e l s g r o w s e x p o n e n t i a l l y f o r

2


5/31

i n c r e a s i n g n u m b e r o f d e s i g n v a r i a b l e s . A d d i t i o n a l l y , t h e n u m b e r o f e x p e r i m e n t s a l s o l i m i t

t h e m o d e l a c c u r a c y t h a t c a n b e o b t a i n e d . D e s p i t e t h e s e r a t h e r s e v e r e l i m i t a t i o n s , g l o b a l

a p p r o x i m a t i o n s c a n b e u s e d t o g e t a r o u g h i d e a o f t h e i n u e n c e o f s o m e i m p o r t a n t d e s i g n

v a r i a b l e s o n t h e r e s p o n s e , a n d t o s e a r c h f o r p r o m i s i n g s t a r t i n g p o i n t s o f a s e q u e n t i a l a p p r o x -

i m a t e o p t i m i z a t i o n p r o c e s s . B e s i d e s t h e s e p r e l i m i n a r y i n v e s t i g a t i o n s , g l o b a l m o d e l b u i l d i n g

m a y a l s o b e u s e f u l a f t e r a n o p t i m u m d e s i g n h a s b e e n f o u n d . I n a r e g i o n a r o u n d t h i s o p t i m u m

d e s i g n , a p p r o x i m a t i o n m o d e l s o f o b j e c t i v e f u n c t i o n a n d i m p o r t a n t c o n s t r a i n t s c a n b e c o n -

s t r u c t e d . T h e s e m o d e l s c a n g i v e i n s i g h t i n , f o r e x a m p l e , t h e s e n s i t i v i t i e s o f d e s i g n v a r i a b l e s

o n o b j e c t i v e f u n c t i o n a n d c o n s t r a i n t s . T h e y m a y a l s o p r o v e t o b e u s e f u l i f t h e d e s i g n h a s t o

b e c o m b i n e d w i t h o t h e r d e s i g n s , a n d s m a l l d e s i g n v a r i a b l e o r c o n s t r a i n t b o u n d a r y c h a n g e s

a r e s t i l l p o s s i b l e . A n u p d a t e d o p t i m u m d e s i g n c a n b e e a s i l y f o u n d , w i t h o u t t h e n e c e s s i t y t o

r e p e a t t h e o p t i m i z a t i o n .

T o g e n e r a t e g l o b a l a p p r o x i m a t i o n s , o f t e n r e s p o n s e - s u r f a c e t e c h n i q u e s a r e u s e d S c h o o f s ,

1 9 8 7 , t h a t w e r e o r i g i n a l l y d e v e l o p e d f o r t h e m o d e l t t i n g o f p h y s i c a l e x p e r i m e n t s . R e s p o n s e -

s u r f a c e m o d e l b u i l d i n g s t a r t s w i t h p o s t u l a t i n g t h e a p p r o x i m a t e m o d e l f u n c t i o n s . T h e n , a n

e x p e r i m e n t a l d e s i g n i s c o n s t r u c t e d t h a t c o n t a i n s t h e d e s i g n p o i n t s f o r w h i c h c o m p u t e r e x p e r i -

m e n t s a r e c a r r i e d o u t . F i n a l l y , r e g r e s s i o n a n a l y s i s i s u s e d t o e s t i m a t e t h e u n k n o w n p a r a m e t e r s

o f t h e a p p r o x i m a t i o n m o d e l s b y t t i n g t h e n u m e r i c a l r e s p o n s e d a t a . S c h o o f s e t a l . 1 9 9 2 , f o r

e x a m p l e , a p p l i e d t h e r e s p o n s e - s u r f a c e s t r a t e g y t o o p t i m i z e a c h i l d ' s c a r s e a t . S c h o o f s 1 9 8 7

a n d R o o z e n - K r o o n 1 9 9 2 d e s i g n e d a m a j o r t h i r d b e l l u s i n g r e g r e s s i o n m o d e l s .

H o w e v e r , c o m p u t e r e x p e r i m e n t s a r e c o m p l e t e l y d i e r e n t f r o m p h y s i c a l e x p e r i m e n t s . R e -

p e a t i n g a c o m p u t e r e x p e r i m e n t g i v e s e x a c t l y t h e s a m e r e s p o n s e , t h i s i n c o n t r a r y t o t h e p h y s -

i c a l e q u i v a l e n t . T h i s d e t e r m i n i s t i c b e h a v i o u r o f c o m p u t e r r e s p o n s e s i s t h e m a i n r e a s o n f o r

S a c k s e t a l . 1 9 8 9 b t o r e j e c t t h e r e s p o n s e - s u r f a c e m e t h o d . A n a p p r o x i m a t i o n m o d e l s h o u l d

b e a b l e t o e x a c t l y p r e d i c t t h e c a l c u l a t e d r e s p o n s e s , a n d t h e r e f o r e , t h e y a r g u e , o n e c a n n o t

p o s t u l a t e m o d e l f u n c t i o n s b e f o r e h a n d . T h e m o d e l s h o u l d b e e x i b l e e n o u g h t o a d a p t t o t h e

f u n c t i o n a l b e h a v i o u r o f t h e r e s p o n s e . T o a c c o m p l i s h t h i s , S a c k s a n d c o w o r k e r s d e v e l o p e d a

n e w s t a t i s t i c a l m e t h o d w i t h i n t e r p o l a t i v e f e a t u r e s .

T h i s r e p o r t d e a l s w i t h t h e p r o p o s e d s t a t i s t i c a l m e t h o d f o r t h e d e s i g n a n d a n a l y s i s o f

c o m p u t e r e x p e r i m e n t s . I t w i l l b e r e f e r r e d t o a s t h e m e t h o d o f S a c k s e t a l . . T h e b a s i c

p r i n c i p l e s a r e d i s c u s s e d , a n d s o m e s i m p l e a n a l y t i c a l f u n c t i o n s a r e u s e d t o t e s t t h e m e t h o d .

T h e e e c t i v e n e s s i n s t r u c t u r a l o p t i m i z a t i o n i s s t u d i e d , a n d c o m p a r e d w i t h t h e r e s p o n s e -

s u r f a c e s t r a t e g y . T h i s n a l l y l e a d s t o t h e c o n c l u s i o n t h a t t h e p r e s e n t c o n g u r a t i o n o f t h e

m e t h o d o f S a c k s e t a l . i s n o t s u i t a b l e f o r i m p l e m e n t a t i o n i n a d e s i g n o p t i m i z a t i o n t o o l .

3


6/31

C h a p t e r 2

T h e o r e m

2 . 1 M o d e l l i n g , e s t i m a t i o n a n d p r e d i c t i o n

S t a r t i n g p o i n t o f t h e m e t h o d o f S a c k s e t a l . i s t h e m o d e l l i n g o f t h e d e t e r m i n i s t i c c o m p u t e r

r e s p o n s e y x a s a r e a l i z a t i o n o f a s t o c h a s t i c p r o c e s s Y :

Y x = f

T

x + Z x 2 . 1

w i t h :

f x = f

1

x ; : : : ; f

k

x

T

=

1

; : : : ;

k

T

T h e m o d e l i s a s u m o f a l i n e a r r e g r e s s i o n m o d e l f

T

x a n d a r a n d o m p r o c e s s Z x . T h i s

r a n d o m p r o c e s s Z i s a s s u m e d t o h a v e z e r o m e a n , a n d a c o v a r i a n c e b e t w e e n Z x a n d Z w a t

d e s i g n s i t e s x a n d w , t h a t i s t h e p r o d u c t o f a p r o c e s s v a r i a n c e

2

a n d a c o r r e l a t i o n f u n c t i o n

R w ; x :

C o v w ; x =

2

R w ; x 2 . 2

T h e s t o c h a s t i c p r o c e s s Y i s a s s u m e d t o b e G a u s s i a n .

F o r a c e r t a i n e x p e r i m e n t a l d e s i g n S = f s

1

; : : : ; s

N

g c o m p u t e r e x p e r i m e n t s h a v e b e e n

p e r f o r m e d , a n d r e s p o n s e d a t a y

s

= y s

1

; : : : ; y s

N

i s a v a i l a b l e . F r o m t h e s e c o m p u t e r

r e s p o n s e s t h e u n k n o w n p a r a m e t e r s a n d

2

c a n b e e s t i m a t e d :

^

=

F

T

R

, 1

F

, 1

F

T

R

, 1

y

s

2 . 3

^

2

=

1

N

y

s

, F

^

T

R

, 1

y

s

, F

^

2 . 4

w i t h t h e r e g r e s s i o n d e s i g n m a t r i x F a n d t h e c o r r e l a t i o n m a t r i x R d e n e d b y :

F = f s

1

; : : : ; f s

N

T

R = R s

i

; s

j

i ; j

1 i ; j N

H o w e v e r , b e f o r e c a l c u l a t i n g

^

a n d ^

2

, r s t t h e u n k n o w n p a r a m e t e r s o f t h e c o r r e l a t i o n f u n c -

t i o n h a v e t o b e e s t i m a t e d . U s i n g m a x i m u m l i k e l i h o o d , t h e y r e s u l t f r o m t h e m i n i m i z a t i o n o f

W e l c h e t a l . 1 9 9 2 :

1 = 2 N l n ^

2

+ l n d e t R 2 . 5

4


7/31

w h i c h i s a f u n c t i o n o f o n l y t h e c o r r e l a t i o n p a r a m e t e r s a n d t h e r e s p o n s e d a t a .

F o r t h e s e p a r a m e t e r e s t i m a t i o n s , t h e b e s t l i n e a r u n b i a s e d p r e d i c t i o n o f t h e r e s p o n s e i s :

^ y = f

T

x

^

+ r

T

x ^

2 . 6

w i t h t h e c o l u m n ^ d e n e d b y :

^ = R

, 1

y

s

, F

^

2 . 7

a n d w i t h r b e i n g a c o l u m n o f c o r r e l a t i o n s b e t w e e n t h e Z ' s a t t h e d e s i g n s i t e s o f S a n d t h e

u n t r i e d i n p u t x :

r = R s

1

; x ; : : : ; R s

N

; x

T

2 . 8

T h e s e c o n d p a r t r

T

x ^

o f f o r m u l a 2 . 6 i s i n f a c t a n i n t e r p o l a t i o n o f t h e r e s i d u a l s o f t h e

r e g r e s s i o n m o d e l f

T

x

^

. T h e r e f o r e , a l l r e s p o n s e d a t a w i l l b e e x a c t l y p r e d i c t e d . I n t h i s

r e p o r t a t t e n t i o n i s r e s t r i c t e d t o a c o n s t a n t r e g r e s s i o n m o d e l , b e c a u s e m o s t a u t h o r s d i d n o t

n d m u c h a d v a n t a g e i n u s i n g m o r e c o m p l e x r e g r e s s i o n m o d e l s e . g . s e e W e l c h e t a l . 1 9 9 2

a n d B e r n a r d o e t a l . 1 9 9 2 .

S a c k s e t a l . 1 9 8 9 b a l s o g a v e a r e p r e s e n t a t i o n o f t h e m e a n s q u a r e d e r r o r :

M S E ^

y x =

2

8

:

1 ,

h

f

T

x r

T

x

i

"

0 F

T

F R

, 1

"

f

T

x

r

T

x

9

=

;

2 . 9

I t i s r e m a r k e d t h a t t h e M S E i s z e r o f o r x e q u a l t o a d e s i g n s i t e i n S .

2 . 2 C o r r e l a t i o n f u n c t i o n s

I n a l l l i t e r a t u r e c o n c e r n i n g t h e m e t h o d o f S a c k s e t a l . , a l w a y s a c o r r e l a t i o n f u n c t i o n o f t h e

t y p e R w ; x = R w , x i s s e l e c t e d , a n d w i t h i n t h i s f a m i l y a t t e n t i o n i s r e s t r i c t e d t o t h e

p r o d u c t c o r r e l a t i o n t y p e :

R w ; x =

n

Y

j = 1

R

j

d

j

2 . 1 0

w i t h :

d

j

= w

j

, x

j

B e r n a r d o e t a l . 1 9 9 2 a n d W e l c h e t a l . 1 9 9 2 u s e d :

R

j

d

j

= e

,

j

j d

j

j

p

j

2 . 1 1

I n S a c k s e t a l . 1 9 8 9 a p

j

= 2 8 j w a s i n s e r t e d t o g e t r e a l i z a t i o n s t h a t a r e i n n i t e l y d i e r e n -

t i a b l e . T h e y a r g u e d t h a t t h i s k i n d o f c o r r e l a t i o n i s e s p e c i a l l y s u i t a b l e f o r c o m p u t e r e x p e r i -

m e n t s d e p e n d i n g s m o o t h l y o n t h e i n p u t v a r i a b l e s . P a r a m e t e r p

j

s h o u l d h a v e s m a l l e r v a l u e s

t h a n 2 , f o r a p p l i c a t i o n s w i t h m o r e e r r a t i c r e s p o n s e s . I n s t e a d o f c o r r e l a t i o n f u n c t i o n 2 . 1 1 i n

t h i s r e p o r t :

R

j

d

j

= e

, j

d

j

j

j

p

j

2 . 1 2

i s u s e d t o g e t a b e t t e r c o n d i t i o n e d m i n i m i z a t i o n p r o b l e m 2 . 5 .

5


8/31

C u r r i n e t a l . 1 9 9 1 a n d S a c k s e t a l . 1 9 8 9 b m e n t i o n e d o t h e r c o r r e l a t i o n f u n c t i o n s , l i k e a

l i n e a r f u n c t i o n :

R

j

d

j

=

1 ,

j d

j

j

j

i f j d

j

j

j

0 i f j d

j

j

j

2 . 1 3

a n d a c u b i c c o r r e l a t i o n f u n c t i o n :

R

j

d

j

=

8

:

1 , 6

d

j

j

2

+ 6

j d

j

j

j

3

i f j d

j

j

j

2

2

1 ,

j d

j

j

j

3

i f

j

2

j d

j

j

j

0 i f j d

j

j

j

2 . 1 4

T h e s e f u n c t i o n s a r e n o n - n e g a t i v e . C u r r i n e t a l . 1 9 9 1 a l s o g a v e a l i n e a r a n d c u b i c c o r r e l a t i o n

f u n c t i o n t h a t c a n b e c o m e n e g a t i v e .

G e n e r a l l y , h a r d l y a n y a t t e n t i o n i s p a i d t o c r i t e r i a t o s e l e c t a p r o p e r c o r r e l a t i o n f u n c t i o n .

C u r r i n e t a l . 1 9 9 1 s t a t e d t h a t s i m p l i c i t y i s a n i m p o r t a n t g u i d i n g p r i n c i p l e . I n a n y c a s e , t h e

n u m b e r o f p a r a m e t e r s o f t h e c o r r e l a t i o n f u n c t i o n t o b e e s t i m a t e d s h o u l d b e r e d u c e d a s m u c h

a s p o s s i b l e , b e c a u s e o f t h e c o m p u t a t i o n a l e x p e n s e o f t h e m a x i m i z a t i o n o f t h e l o g - l i k e l i h o o d .

F o r e v e r y e v a l u a t i o n o f e q u a t i o n 2 . 5 ,

2

a n d d e t R h a v e t o b e c a l c u l a t e d , w h i c h b e c o m e s

c o m p u t a t i o n a l l y e x p e n s i v e f o r g r o w i n g n u m b e r o f d e s i g n s i t e s . A d d i t i o n a l l y , f o r i n c r e a s i n g

n u m b e r o f c o r r e l a t i o n p a r a m e t e r s t o b e e s t i m a t e d , t h e r e q u i r e d n u m b e r o f e v a l u a t i o n s t o

m i n i m i z e 2 . 5 w i l l a l s o i n c r e a s e . U s u a l l y , f o r h i g h e r f u n c t i o n a l d i m e n s i o n , t h e n u m b e r o f

d e s i g n p o i n t s w i l l g r o w e x p o n e n t i a l l y , w h i c h i s c o m b i n e d w i t h a n i n c r e a s e o f t h e n u m b e r o f

c o r r e l a t i o n p a r a m e t e r s i f e v e r y d e s i g n v a r i a b l e d i r e c t i o n i s g i v e n i t ' s o w n p a r a m e t e r v a l u e s .

S o , w i t h o u t c a u t i o n a h i g h i n c r e a s e o f c o m p u t a t i o n a l c o s t s w i l l o c c u r f o r g r o w i n g n u m b e r

o f d e s i g n v a r i a b l e s . T h i s i s t h e m a i n r e a s o n w h y W e l c h e t a l . 1 9 9 2 t r i e d t o s c r e e n a l l

c o r r e l a t i o n p a r a m e t e r s t h a t n e e d a v a l u e o f t h e i r o w n , a n d t o n d o u t w h i c h p a r a m e t e r s c a n

b e e q u a l l y v a l u e d . T h e y a l s o t r i e d t o c o m b i n e t h e p a r a m e t e r s c r e e n i n g w i t h a d e s i g n v a r i a b l e

r e d u c t i o n . I f

j

o f c o r r e l a t i o n f u n c t i o n 2 . 1 1 b e c o m e s z e r o d u r i n g t h e p a r a m e t e r e s t i m a t i o n ,

t h e j - t h d e s i g n v a r i a b l e c a n b e r e m o v e d . I d o n o t a g r e e w i t h t h i s k i n d o f d e s i g n v a r i a b l e

d e l e t i o n , b e c a u s e a n a l y t i c a l f u n c t i o n s c a n b e f o u n d f o r w h i c h

j

c a n b e c o m e a l m o s t z e r o , i n

w h i c h c a s e t h e j - t h d e s i g n v a r i a b l e d o e s i n u e n c e t h e r e s p o n s e . T h i s i s f u r t h e r i l l u s t r a t e d i n

e x a m p l e 3 . 2 .

2 . 3 E x p e r i m e n t a l d e s i g n

M a i n l y o p t i m a l d e s i g n s t r a t e g i e s a r e u s e d b y S a c k s e t a l . 1 9 8 9 a , S a c k s e t a l . 1 9 8 9 b a n d

C u r r i n e t a l . 1 9 9 1 t o b u i l d a n e x p e r i m e n t a l d e s i g n . S a c k s e t a l . 1 9 8 9 a c o m p u t e d t h e

e x p e r i m e n t a l d e s i g n S f r o m t h e m i n i m i z a t i o n o f t h e m e a n s q u a r e d e r r o r i n t h e d e s i g n s p a c e

:

Z

M S E ^ y x d x 2 . 1 5

A n o t h e r c r i t e r i o n i s t o m i n i m i z e t h e m a x i m u m m e a n s q u a r e d e r r o r :

m a x

x 2

M S E ^ y x 2 . 1 6

T h i s c r i t e r i o n i s e x p e c t e d t o b e h a v e r a t h e r d i s c o n t i n u o u s , a n d t o h a v e m a n y l o c a l m i n i m a ,

b e c a u s e o f t h e m a x - v a l u e o p e r a t o r . A t h i r d o p t i m a l d e s i g n s t r a t e g y w a s a p p l i e d b y C u r r i n

6


9/31

e t a l . 1 9 9 1 . T h e y u s e d a n e n t r o p y c r i t e r i o n t h a t n a l l y b o i l s d o w n t o t h e m a x i m i z a t i o n o f

t h e d e t e r m i n a n t o f t h e m a t r i x R :

d e t R 2 . 1 7

A l l o p t i m a l d e s i g n s t r a t e g i e s s u e r f r o m t w o s e r i o u s d r a w b a c k s . F i r s t l y , t h e y a r e c o m p u -

t a t i o n a l l y e x p e n s i v e , l i k e t h e m i n i m i z a t i o n o f e q u a t i o n 2 . 5 t o e s t i m a t e t h e p a r a m e t e r s . B u t

n o w t h e c o m p u t a t i o n a l b u r d e n i s e v e n l a r g e r , b e c a u s e o f t h e h i g h d i m e n s i o n a l o p t i m i z a t i o n

p r o b l e m . T h e r e f o r e , o f t e n a s e t o f c a n d i d a t e p o i n t s i s s e l e c t e d f r o m w h i c h d e s i g n S h a s t o

b e s e l e c t e d . T h e o p t i m a l d e s i g n s t r a t e g y i s c o m p a r a b l e w i t h o p t i m a l d e s i g n o f e x p e r i m e n t s

a p p l i e d i n r e s p o n s e - s u r f a c e a n a l y s i s , w h e r e d e t F

T

F i s m a x i m i z e d i n s t e a d o f d e t R .

A s e c o n d d r a w b a c k i s t h a t t h e u n k n o w n p a r a m e t e r s o f t h e c o r r e l a t i o n f u n c t i o n h a v e t o b e

s e t o n s o m e x e d v a l u e s t o b e a b l e t o c a l c u l a t e t h e o p t i m a l d e s i g n c r i t e r i o n . T h e r e f o r e , o n e

h a s t o s e a r c h f o r a r o b u s t s e t o f p a r a m e t e r s b e f o r e s t a r t i n g t h e o p t i m u m d e s i g n c a l c u l a t i o n s .

T h e w a y t o n d t h e s e r o b u s t v a l u e s a n d t h e e e c t o n t h e n a l p r e d i c t i o n i s n o t c l e a r .

T o a v o i d t h e s e p r o b l e m s , o n e c a n u s e c l a s s i c a l d e s i g n s i n s t e a d , l i k e a f u l l o r f r a c t i o n a l

f a c t o r i a l d e s i g n . B e r n a r d o e t a l . 1 9 9 2 a n d W e l c h e t a l . 1 9 9 2 f o u n d L a t i n h y p e r c u b e

s a m p l i n g e s p e c i a l l y s u i t a b l e f o r c o m p u t e r e x p e r i m e n t s . L a t i n h y p e r c u b e s c a n b e g e n e r a t e d

b y g i v i n g e a c h d e s i g n v a r i a b l e e q u a l l y s p a c e d v a l u e s , b u t i n d i e r e n t r a n d o m o r d e r . A s a

r e s u l t , a r e l a t i v e u n i f o r m c o v e r i n g o f t h e e x p e r i m e n t a l r e g i o n w i l l b e f o u n d . A s p e c i a l f e a t u r e

o f a L a t i n h y p e r c u b e d e s i g n i s t h a t e v e r y d e s i g n v a r i a b l e l e v e l i s u s e d o n l y o n c e . S o , i f a

d e s i g n v a r i a b l e h a r d l y i n u e n c e s t h e r e s p o n s e a n d i s d e l e t e d f r o m t h e s e t o f d e s i g n v a r i a b l e s ,

t h e e x p e r i m e n t a l d e s i g n i s s t i l l a L a t i n h y p e r c u b e d e s i g n w i t h n o d e s i g n s i t e s c o i n c i d i n g . T h i s

i n c o n t r a r y t o f o r e x a m p l e a f u l l f a c t o r i a l d e s i g n , t h a t w i l l l e a d t o m a n y r e d u n d a n t a n a l y s i s

c a l c u l a t i o n s .

D u r i n g t h e m o d e l b u i l d i n g i t m a y a p p e a r t h a t t h e c u r r e n t e x p e r i m e n t a l d e s i g n i s n o t

s u c i e n t l y l a r g e t o p r o p e r l y p r e d i c t t h e r e s p o n s e . T h e n , a l a r g e r e x p e r i m e n t a l d e s i g n i s

d e s i r e d , w h i c h c a n b e e s t a b l i s h e d b y a d d i n g d e s i g n p o i n t s t o t h e p r e s e n t e x p e r i m e n t a l d e s i g n .

W h e n d e a l i n g w i t h c l a s s i c a l d e s i g n s , a d d i n g d e s i g n p o i n t s i s n o t s t r a i g h t f o r w a r d a n d o f t e n

r a t h e r a d h o c . I n c o n t r a r y , o p t i m a l d e s i g n t e c h n i q u e s s e e m t o b e e s p e c i a l l y s u i t e d t o a d d

d e s i g n s i t e s t o a n e x i s t i n g e x p e r i m e n t a l d e s i g n .

A d d i t i o n o f d e s i g n p o i n t s t o a n e x i s t i n g e x p e r i m e n t a l d e s i g n i s n o t m e n t i o n e d i n t h e

l i t e r a t u r e c o n c e r n i n g t h e m e t h o d o f S a c k s e t a l . W e l c h e t a l . 1 9 9 2 f o r e x a m p l e a p p l i e d a

L a t i n h y p e r c u b e d e s i g n o f 3 0 a n d 4 0 d e s i g n p o i n t s , a n d r e p o r t e d t h a t t h e s e d e s i g n s p r o v e d t o

b e n o t s u c i e n t t o m o d e l t h e r e s p o n s e . F o r t h e i r p r o b l e m t h e y f o u n d 5 0 r u n s t o b e s u c c e s s f u l .

B u t t h e y w a i s t e d t h e p r e c e d i n g m o d e l b u i l d i n g s t e p s o f 3 0 a n d 4 0 d e s i g n p o i n t s , a n d d i d n o t

u s e t h e r e s p o n s e v a l u e s o f t h e c o r r e s p o n d i n g d e s i g n p o i n t s a n y m o r e . S o , i n s t e a d o f 5 0 , 1 2 0

c a l c u l a t i o n s w e r e m a d e b e f o r e a s a t i s f a c t o r y m o d e l w a s f o u n d , w h i l e t h e m o d e l i s b a s e d o n l y

o n t h e l a s t 5 0 c a l c u l a t i o n s . I t h i n k t h a t i t i s i m p o r t a n t f o r a s u c c e s s f u l a n d e c i e n t m o d e l

b u i l d i n g t o h a v e t h e o p p o r t u n i t y t o a d d d e s i g n p o i n t s t o a n e x i s t i n g e x p e r i m e n t a l d e s i g n .

2 . 4 A c c u r a c y a n d d e s i g n v a r i a b l e e e c t s

T o h a v e a m e a s u r e o f t h e a c c u r a c y o f t h e p r e d i c t i o n B L U P , s o m e a u t h o r s c a l c u l a t e t h e

m e a n s q u a r e d e r r o r M S E o f t h e r e s p o n s e b y m e a n s o f e q u a t i o n 2 . 9 . F o r a c i r c u i t - s i m u l a t i o n

e x a m p l e , S a c k s e t a l . 1 9 8 9 b c o m p u t e d t h e s t a n d a r d r e s i d u a l s a t 1 0 0 r a n d o m p o i n t s r

i

;

y r

i

, ^ y r

i

p

M S E ^ y r

i

2 . 1 8

7


10/31

t o s e e w h e t h e r t h e M S E o f t h e B L U P i s a m e a n i n g f u l i n d i c a t o r o f u n c e r t a i n t y i n t h e p r e -

d i c t i o n . T h e y s h o w e d t h a t t h e s e s t a n d a r d i z e d r e s i d u a l s w e r e a p p r o x i m a t e l y s t a n d a r d n o r m a l

a n d t h e r e f o r e c o n c l u d e d t h a t t h e M S E d i d p r o v i d e a v a l i d e s t i m a t e o f t h e e r r o r f o r t h e i r

e x a m p l e . H o w e v e r , C u r r i n e t a l . 1 9 9 1 c o n c l u d e d t h a t t h e i r B a y e s i a n p r e d i c t o r p e r f o r m e d

w e l l , b u t t h a t t h e m o s t d i s t u r b i n g n o t e w a s t h e f a i l u r e o f t h e 9 5 p r o b a b i l i t y i n t e r v a l s f o r

t h e B a y e s i a n p r e d i c t o r s t o c o v e r t h e t r u e v a l u e s c o n s i s t e n t l y w e l l , e x c e p t f o r t h e i n t e r v a l s

p r o d u c e d b y t h e l i n e a r a n d n o n n e g a t i v e l i n e a r c o r r e l a t i o n s . T h i s m e a n s t h a t t h e c a l c u l a t e d

M S E v a l u e s w e r e f o r m o s t c o r r e l a t i o n f u n c t i o n s t o o s m a l l .

M S E p r e d i c t i o n s c a n b e c h e c k e d b y c o m p a r i n g t h e o v e r a l l r o o t m e a n s q u a r e d e r r o r

R M S E w i t h t h e e m p i r i c a l r o o t m e a n s q u a r e d e r r o r E R M S E c a l c u l a t e d f o r a c e r t a i n

a m o u n t N

p

o f r a n d o m d e s i g n s i t e s r

i

. T h e R M S E a n d E M R S E a r e r e s p e c t i v e l y d e n e d

b y :

R M S E =

v

u

u

t

1

N

p

N

p

X

i = 1

M S E ^ y r

i

2 . 1 9

a n d :

E R M S E =

v

u

u

t

1

N

p

N

p

X

i = 1

^ y r

i

, y r

i

2

2 . 2 0

F o r N

p

b e i n g s u c i e n t l y l a r g e t h e R M S E v a l u e s h o u l d b e n e a r t h e E M R S E v a l u e . I t w i l l b e

c l e a r t h a t t h e E R M S E c a l c u l a t i o n s c a n o n l y b e d o n e f o r a n a l y t i c a l t e s t e x a m p l e s , b e c a u s e

o f t h e c o m p u t a t i o n a l e x p e n s e o f e v e r y e x p e r i m e n t . T o a v o i d a d d i t i o n a l d e s i g n c a l c u l a t i o n s

W e l c h a n d S a c k s 1 9 9 1 u s e d :

E R M S E

, 1

=

v

u

u

t

1

N

N

X

i = 1

^ y

, 1

s

i

, y s

i

2

2 . 2 1

w i t h s

i

t h e i - t h e x p e r i m e n t o f t h e e x p e r i m e n t a l d e s i g n S , a n d ^ y

, 1

s

i

t h e p r e d i c t o r o f y s

i

b a s e d o n a l l t h e d a t a e x c e p t t h e o b s e r v a t i o n y s

i

. I n t h i s w a y n o e x t r a d e s i g n c a l c u l a t i o n s

a r e n e c e s s a r y . T h e c o r r e l a t i o n p a r a m e t e r s h a v e t o b e e s t i m a t e d b a s e d o n a l l N o b s e r v a t i o n s ,

a n d h a v e t o b e s e t a t t h e s a m e v a l u e f o r ^ y

, 1

x

i

f o r a l l i , o t h e r w i s e N t i m e s a n e w p a r a m e t e r

e s t i m a t i o n h a s t o b e p e r f o r m e d . S t i l l , N t i m e s a n i n v e r s e o f m a t r i x R h a s t o b e c o m p u t e d . I t

i s i m p o r t a n t t h a t t h e p r e d i c t i o n i s b a s e d o n s u c i e n t d a t a p o i n t s , s u c h t h a t d e l e t i o n o f o n e

d e s i g n s i t e h a s n o t l a r g e e e c t s o n t h e p r e d i c t i o n .

F i n a l l y , i n s i g h t i n t h e e e c t o f d e s i g n v a r i a b l e s o n t h e r e s p o n s e i s v a l u a b l e . S o m e t i m e s ,

d e s i g n v a r i a b l e s c a n b e d e t e c t e d t h a t h a r d l y e e c t t h e r e s p o n s e a n d c a n b e r e m o v e d . M o r e

r e s p o n s e d a t a w i l l b e c o m e a v a i l a b l e f o r t h e o t h e r d e s i g n v a r i a b l e s . T h e r e f o r e , S a c k s e t a l .

1 9 8 9 b d e c o m p o s e d t h e r e s p o n s e i n t o a n a v e r a g e , m a i n e e c t s f o r e v e r y d e s i g n v a r i a b l e , t w o -

v a r i a b l e i n t e r a c t i o n s a n d h i g h e r o r d e r i n t e r a c t i o n s . T h e a v e r a g e o f t h e p r e d i c t e d r e s p o n s e i s

d e n e d b y :

0

=

1

Q

n

h = 1

x

u

h

, x

l

h

Z

^ y x

n

Y

h = 1

d x

h

2 . 2 2

t h e m a i n t e r m e e c t s b y :

p

x

p

=

1

Q

h 6 = p

x

u

h

, x

l

h

Z

^ y x

Y

h 6 = p

d x

h

,

0

2 . 2 3

8


11/31

a n d t h e i n t e r a c t i o n e e c t s :

p q

x

p

; x

q

=

1

Q

h 6 = p ; q

x

u

h

, x

l

h

Z

^ y x

Y

h 6 = p ; q

d x

h

,

p

x

p

,

q

x

q

,

0

2 . 2 4

I n t h e c a s e t h a t t h e d e s i g n v a r i a b l e s a r e n o r m a l i z e d b e t w e e n z e r o a n d o n e , t h e p r o d u c t

t e r m s b e f o r e t h e i n t e g r a l s v a n i s h a n d e q u a t i o n s 2 . 2 2 , 2 . 2 3 a n d 2 . 2 4 b e c o m e e q u a l t o t h e

e x p r e s s i o n s m e n t i o n e d i n , f o r e x a m p l e , S a c k s e t a l . 1 9 8 9 b . I f t h e p r e d i c t i o n i s a r e a s o n a b l e

r e s e m b l a n c e o f t h e t r u e r e s p o n s e e q u a t i o n s 2 . 2 2 , 2 . 2 3 a n d 2 . 2 4 c a n g i v e a n i n d i c a t i o n

o f t h e d i e r e n t p a r a m e t e r e e c t s . T h e p r o d u c t c o r r e l a t i o n t y p e 2 . 1 0 i s v e r y h e l p f u l f o r

a n e c i e n t c a l c u l a t i o n o f t h e m a i n t e r m a n d i n t e r a c t i o n t e r m e e c t s : o n l y o n e d i m e n s i o n a l

i n t e g r a t i o n s h a v e t o b e p e r f o r m e d .

2 . 5 S a c k s e t a l . v e r s u s r e s p o n s e - s u r f a c e i n s t r u c t u r a l o p t i -

m i z a t i o n

B u i l d i n g a g l o b a l a p p r o x i m a t i o n m o d e l o f a n o b j e c t i v e f u n c t i o n o r c o n s t r a i n t c a n b e d i v i d e d

i n t o s i x d i s t i n c t s t e p s f o r b o t h t h e r e s p o n s e - s u r f a c e s t r a t e g y a n d t h e m e t h o d o f S a c k s e t a l . :

1 . S e l e c t m o d e l f u n c t i o n .

2 . B u i l d a n e w e x p e r i m e n t a l d e s i g n o r e x t e n d t h e e x i s t i n g d e s i g n .

3 . P e r f o r m n u m e r i c a l e x p e r i m e n t s .

4 . D e t e r m i n e t h e u n k n o w n m o d e l p a r a m e t e r s .

5 . E s t i m a t e t h e a c c u r a c y o f t h e a p p r o x i m a t i o n .

6 . R e s t a r t a t s t e p 1 o r 2 i f t h e a p p r o x i m a t i o n i s n o t s a t i s f a c t o r y .

S t e p 1 i s r a t h e r c r u c i a l f o r r e s p o n s e - s u r f a c e m o d e l l i n g . T h e a c c u r a c y t h a t c a n b e a c h i e v e d

m a i n l y d e p e n d s o n t h e q u a l i t y o f t h e p r o p o s e d a p p r o x i m a t i o n f u n c t i o n . W h e n e v e r t h e m o d e l

f u n c t i o n i s n o t s a t i s f a c t o r y , n e w m o d e l t e r m s h a v e t o b e a d d e d t h i n k f o r e x a m p l e o f f o r w a r d

a n d b a c k w a r d r e g r e s s i o n t e c h n i q u e s o r a c o m p l e t e l y d i e r e n t m o d e l f u n c t i o n h a s t o b e c h o -

s e n . T h i s m o d e l s e l e c t i o n i s t h e m o s t d i c u l t a n d r e s t r i c t i n g p a r t o f r e s p o n s e - s u r f a c e m o d e l

b u i l d i n g .

T h e m e t h o d p r o p o s e d b y S a c k s e t a l . d o e s n o t s u e r f r o m t h e s e m o d e l f u n c t i o n s e l e c t i o n

p r o b l e m s . A l l e x p e r i m e n t a l r e s p o n s e d a t a i s e x a c t l y t t e d . I n f a c t , t h e m o d e l f u n c t i o n

r e l i e s o n t h e r e s p o n s e v a l u e s a n d t h e r e f o r e i s f a r m o r e e x i b l e . I n s t e p 1 ' o n l y ' a p r o p e r

c o r r e l a t i o n f u n c t i o n h a s t o b e s e l e c t e d . T h i s a d d i t i o n a l e x i b i l i t y i s b e n e c i a l i n s t r u c t u r a l

o p t i m i z a t i o n , b e c a u s e t h e f u n c t i o n a l b e h a v i o u r o f o b j e c t i v e f u n c t i o n a n d c o n s t r a i n t s i s u s u a l l y

n o t k n o w n . B a s e d o n p h y s i c a l i n s i g h t s o m e g e n e r a l d e s i g n v a r i a b l e e e c t s m a y b e d e t e r m i n e d

a n d i n c o r p o r a t e d i n t o t h e m o d e l a p p r o x i m a t i o n s b y m e a n s o f i n t e r m e d i a t e d e s i g n v a r i a b l e s

a n d i n t e r m e d i a t e r e s p o n s e s s e e B a r t h e l e m y a n d H a f t k a 1 9 9 3 . H o w e v e r , l a r g e p a r t s o f t h e

t r u e f u n c t i o n a l b e h a v i o u r r e m a i n u n k n o w n .

A u t o m a t i c m o d e l a d a p t a t i o n b e c o m e s a l m o s t n e c e s s a r y w h e n m a n y c o n s t r a i n t s h a v e t o

b e a p p r o x i m a t e d . T h i s o f t e n o c c u r s . I n t h a t c a s e r e s p o n s e - s u r f a c e m o d e l l i n g w i l l o n l y b e

m a n a g e a b l e i f t h e n u m b e r o f c o n s t r a i n t s t o b e a p p r o x i m a t e d i s s m a l l , o r s e v e r a l c o n s t r a i n t s

9


12/31

c a n a p p r o x i m a t e d b y t h e s a m e t y p e o f m o d e l f u n c t i o n . T h i s d o e s n o t m e a n t h a t t h e e s t i m a t e d

p a r a m e t e r v a l u e s n e e d t o b e t h e s a m e . T h o u g h , t h e n u m b e r o f m o d e l f u n c t i o n s t o b e s e l e c t e d

a n d a d a p t e d b y t h e u s e r s h o u l d b e a s s m a l l a s p o s s i b l e . I n c o n t r a r y , t h e m o d e l s o f S a c k s e t

a l . a u t o m a t i c a l l y a d a p t t o t h e c a l c u l a t e d r e s p o n s e d a t a a n d t h e r e f o r e a l l c o n s t r a i n t s c a n b e

d e a l t w i t h s e p a r a t e l y .

H o w e v e r , p a r a m e t e r e s t i m a t i o n s i n t h e c a s e o f S a c k s e t a l . a r e f a r m o r e e x p e n s i v e a n d

l e s s s t r a i g h t f o r w a r d t h a n f o r t h e r e s p o n s e - s u r f a c e v a r i a n t . S o f o r S a c k s e t a l . , t h e n u m b e r o f

c o n s t r a i n t s i s l i m i t e d b y t h e p a r a m e t e r e s t i m a t i o n . F o r l a r g e r n u m b e r o f d e s i g n v a r i a b l e s a n d

r e s p o n s e v a l u e s , t h e c o m p u t a t i o n a l b u r d e n g r o w s e x p o n e n t i a l l y . T h e o n l y w a y t o i n c r e a s e

t h e n u m b e r o f c o n s t r a i n t s i s t o h a v e a n o t h e r m o r e s i m p l e w a y o f p a r a m e t e r e s t i m a t i o n . O n e

o f m y c o n c l u s i o n s w i l l b e t h a t t h e s t a t i s t i c a l b a s i s i s q u e s t i o n a b l e , a n d t h e r e f o r e o n e c a n

a r g u e a g a i n s t t h e m a x i m i z a t i o n o f t h e l o g - l i k e l i h o o d f u n c t i o n t o e s t i m a t e t h e p a r a m e t e r s . A n

a l t e r n a t i v e m a y b e f o u n d i n t h e m o v i n g l e a s t - s q u a r e s m e t h o d o f s e c t i o n 2 . 6 .

T o c o m p l e t e t h e c o m p a r i s o n b e t w e e n r e s p o n s e - s u r f a c e a n d S a c k s e t a l . , t h e d i e r e n t w a y s

o f c a l c u l a t i n g t h e a c c u r a c y o f t h e a p p r o x i m a t i o n s h o u l d b e m e n t i o n e d . I n t h e r e s p o n s e - s u r f a c e

c a s e , t h e a c c u r a c y f o l l o w s f r o m t h e r e s i d u a l s b e t w e e n m o d e l p r e d i c t i o n a n d r e s p o n s e v a l u e s a t

t h e d e s i g n s i t e s o f t h e e x p e r i m e n t a l d e s i g n . P o s s i b l y , a d d i t i o n a l r a n d o m e x p e r i m e n t s m a y

b e p e r f o r m e d t o h a v e d a t a w h i c h t h e m o d e l s h a v e n o t b e e n t t e d o n . A c c u r a c y i n t h e c a s e o f

S a c k s e t a l . i s d e t e r m i n e d b y t h e m e a n s q u a r e d e r r o r M S E o f e q u a t i o n 2 . 9 . H o w e v e r , t h e

e x a m p l e s w i l l s h o w t h a t t h e p r o b a b i l i t y b o u n d s b a s e d o n t h i s M S E s h o u l d n o t b e i n t e r p r e t e d

i n a n a b s o l u t e s t a t i s t i c a l s e n s e . T h e y u s u a l l y c a n o n l y g i v e s o m e i n d i c a t i o n o f t h e o r d e r o f

a c c u r a c y , s o i t i s r e c o m m e n d e d t o c o m p u t e r e s p o n s e s a t s o m e e x t r a d e s i g n s i t e s t o h a v e a n

a d d i t o n a l i n d e p e n d e n t m e a s u r e o f a c c u r a c y .

F i n a l l y , i t i s r e m a r k e d t h a t s o m e s p e c i a l c a s e s d e s i r e t o h a v e a s p e c i c b e h a v i o u r o f t h e

a p p r o x i m a t i o n s o f t h e o b j e c t i v e f u n c t i o n a n d c o n s t r a i n t s , f o r e x a m p l e t o a p p l y a s p e c i c

o p t i m i z a t i o n a l g o r i t h m , o r t o a c h i e v e a c e r t a i n t y p e o f a p p r o x i m a t i o n s . T h e n , t h e r e s p o n s e -

s u r f a c e m e t h o d o l o g y i s o f c o u r s e p r e f e r a b l e , b e c a u s e y o u c a n s e l e c t w h a t e v e r m o d e l f u n c t i o n

y o u w a n t . T h i s i n c o n t r a r y t o t h e m e t h o d o f S a c k s e t a l . t h a t h e a v i l y r e l i e s o n t h e r e s p o n s e

d a t a a n d t h e r e f o r e g e n e r a t e s a p p r o x i m a t i o n s w h i c h h a v e a l e s s e x p l i c i t l y k n o w n b e h a v i o u r .

2 . 6 M o v i n g l e a s t - s q u a r e s a p p r o x i m a t i o n s

E x a m i n a t i o n o f e q u a t i o n 2 . 6 s h o w s t h a t t h e i n t e r p o l a t i o n o f t h e r e s i d u a l s i s a s u m o f c o r r e l a -

t i o n f u n c t i o n s s t o r e d i n t h e c o l u m n r x . T h e e l e m e n t s o f t h e p a r a m e t e r c o l u m n ^ d e t e r m i n e

t h e i n d i v i d u a l h e i g h t s o f t h e c o r r e l a t i o n f u n c t i o n s s e e g u r e 2 . 1 . E q u a t i o n 2 . 7 i m p l i e s t h a t

t h e p a r a m e t e r v a l u e s o f c o l u m n ^

a r e c a l c u l a t e d s u c h t h a t t h e r e s i d u a l s y

S

, F

^

a r e e x -

a c t l y p r e d i c t e d b y e q u a t i o n 2 . 6 . T h e c o r r e l a t i o n p a r a m e t e r s

j

i n f u n c t i o n s 2 . 1 2 , 2 . 1 3

a n d 2 . 1 4 d e t e r m i n e t h e w i d t h o f t h e c o r r e l a t i o n f u n c t i o n s . P a r a m e t e r s p

j

o f c o r r e l a t i o n

f u n c t i o n 2 . 1 2 i n u e n c e t h e c o n t i n u i t y o f t h e f u n c t i o n .

T h e c o r r e l a t i o n f u n c t i o n s u s e d b y S a c k s e t a l . a r e a k i n d o f w e i g h t f u n c t i o n s d e t e r m i n i n g

t h e i n u e n c e o f a r e s p o n s e v a l u e o f a c e r t a i n d e s i g n s i t e o n t h e r e s p o n s e v a l u e o f a d e s i g n

p o i n t a t s o m e d i s t a n c e . A s a m e s o r t o f u s a g e o f w e i g h t f u n c t i o n s c a n b e f o u n d i n t h e m o v i n g

l e a s t s q u a r e s M L S m e t h o d s s e e e . g . L a n c a s t e r a n d S a l k a u s k a s 1 9 8 1 , o r B e l y t s c h k o e t a l .

1 9 9 4 w h o a p p l i e d M L S i n a n e l e m e n t f r e e G a l e r k i n m e t h o d . T h e m o v i n g l e a s t s q u a r e s

a p p r o x i m a t i o n o f t h e r e s p o n s e y x i s d e n e d b y :

^ y x = p

T

x a x 2 . 2 5

1 0


13/31

-0.5 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

x

R e s

i d u a

l s

F i g u r e 2 . 1 : P r e d i c t i o n i s a s u m o f c o r r e l a t i o n f u n c t i o n s .

w i t h p x a c o l u m n o f b a s i s f u n c t i o n s . F o r e x a m p l e , a l i n e a r b a s i s i n t h r e e d i m e n s i o n s g i v e s :

p

T

x =

h

1 x

1

x

2

x

3

i

o r a q u a d r a t i c b a s i s i n t w o d i m e n s i o n s :

p

T

x =

h

1 x

1

x

2

x

2

1

x

1

x

2

x

2

2

i

F o r a c e r t a i n d e s i g n x , t h e c o e c i e n t s a x f o l l o w f r o m t h e m i n i m i z a t i o n o f t h e w e i g h t e d

n o r m :

J =

n o

X

j = 1

w x , x

j

h

p

T

x

j

a x , u

j

i

2

2 . 2 6

w h e r e n o i s t h e n u m b e r o f d e s i g n p o i n t s i n t h e n e i g h b o u r h o o d o f x f o r w h i c h t h e w e i g h t

f u n c t i o n w x , x

j

i s n o t z e r o , a n d x

j

j = 1 ; : : : ; n o a r e t h e c o r r e s p o n d i n g d e s i g n s i t e s o f t h e

e x p e r i m e n t a l d e s i g n S : x

j

2 S . S c a l a r u

j

i s e q u a l t o t h e r e s p o n s e v a l u e a t x

j

. T h e n :

a x = A

, 1

x B x u 2 . 2 7

w i t h m a t r i c e s A x a n d B x , a n d c o l u m n u d e n e d b y :

A x =

n o

X

j = 1

w x , x

j

p x

j

p

T

x

j

2 . 2 8

B x =

h

w x , x

1

p x

1

w x , x

2

p x

2

: : : w x , x

n o

p x

n o

i

2 . 2 9

u

T

=

h

u

1

u

2

: : : u

n o

i

2 . 3 0

W e i g h t f u n c t i o n w x , x

j

d e t e r m i n e s w h i c h d e s i g n s i t e s x

j

o f t h e e x p e r i m e n t a l d e s i g n

i n u e n c e t h e r e s p o n s e a t d e s i g n s i t e x a n d h o w m u c h i n u e n c e e v e r y s i t e a c t u a l l y h a s . I f

w e i g h t f u n c t i o n w x , x

j

i s c h o s e n c o n s t a n t o v e r t h e c o m p l e t e d e s i g n s p a c e , t h e s t a n d a r d

1 1


14/31

l e a s t s q u a r e s v a r i a n t i s o b t a i n e d . B e l y t s c h k o e t a l . 1 9 9 4 r e l a t e t h e r e g i o n o f i n u e n c e t o t h e

' d e n s i t y ' o f t h e e x p e r i m e n t a l d e s i g n n e a r x . T h e r e g i o n c a n b e s m a l l i f m a n y p o i n t s x

j

l i e n e a r

x . I f a r a t h e r u n i f o r m l y d i s t r i b u t e d e x p e r i m e n t a l d e s i g n i s a p p l i e d w h i c h w i l l o f t e n b e t h e c a s e

f o r a m u l t i - d i m e n s i o n a l p r o b l e m , w e i g h t f u n c t i o n s c a n b e s e l e c t e d t h a t h a v e a c o n s t a n t r e g i o n

o f i n u e n c e e v e r y w h e r e i n t h e d e s i g n s p a c e . T h i s c o r r e s p o n d s w i t h t h e c o r r e l a t i o n f u n c t i o n s

o f S a c k s e t a l . , f o r w h i c h t h e r e g i o n o f i n u e n c e i s d e t e r m i n e d b y c o r r e l a t i o n p a r a m e t e r s t h a t

h a v e t h e s a m e v a l u e f o r a n y d e s i g n s i t e x . L u e t a l . 1 9 9 4 r e c o m m e n d e d t o u s e o r t h o g o n a l

b a s i s f u n c t i o n s t o h a v e a n u m e r i c a l l y e c i e n t i m p l e m e n t a t i o n .

T o e x a m i n e t h e e q u i v a l e n c e o f m o v i n g l e a s t s q u a r e s a n d S a c k s e t a l . , a l l r e s p o n s e v a l u e s

n e e d t o b e e x a c t l y p r e d i c t e d . I n t h e g l o b a l d e s i g n s p a c e , t h e r e a r e N d e s i g n p o i n t s s

i

w i t h

c o r r e s p o n d i n g r e s p o n s e v a l u e s y

i

i = 1 ; : : : ; N . T h e r e f o r e , i n s t e a d o f t a k i n g u

j

= y s

j

, i t i s

s e a r c h e d f o r a l l c o l u m n s v e c t o r s u

i

2 v i = 1 ; : : : ; N f o r w h i c h :

^ y s

i

= y

i

w h i c h m e a n s t h a t f o r e v e r y d e s i g n p o i n t s

i

f o l l o w s :

^ y s

i

= p

T

s

i

A

, 1

i

s

i

B

i

s

i

u

i

= y

i

2 . 3 1

A s s e m b l i n g t h e N e q u a t i o n s , a l i n e a r s e t o f e q u a t i o n s r e s u l t s , r e l a t i n g t h e r e s p o n s e s y

s

t o t h e

c o l u m n v e c t o r v :

y

s

= Q v 2 . 3 2

f r o m w h i c h v c a n b e s o l v e d . T h e n , f o r a n y d e s i g n s i t e x , t h e r e s p o n s e ^ y x c a n b e p r e d i c t e d

b y u s i n g e q u a t i o n s 2 . 2 5 a n d 2 . 2 7 .

N o w , s u p p o s e p x

j

= 1 , s u c h t h a t t h e a p p r o x i m a t i o n i s o n l y d e t e r m i n e d b y t h e w e i g h t

f u n c t i o n s , l i k e t h e a p p r o x i m a t i o n o f S a c k s o n l y d e p e n d i n g o n t h e c o r r e l a t i o n f u n c t i o n s . T h e n

m a t r i x A x a n d B x c a n b e w r i t t e n a s :

A x =

n o

X

j = 1

w x , x

j

2 . 3 3

B x =

h

w x , x

1

w x , x

2

: : : w x , x

n o

i

2 . 3 4

T a k e w e i g h t f u n c t i o n w x , x

j

e q u a l t o c o r r e l a t i o n f u n c t i o n R x , x

j

, a n d c o n s i d e r a l l N

d e s i g n p o i n t s w h e n c a l c u l a t i n g m a t r i c e s A x a n d B x , i . e . i n s e r t n o = N . T h i s m e a n s t h a t

m a t r i x B x i s n o w e q u a l t o r o w v e c t o r r

T

x o f e q u a t i o n 2 . 8 . T h e n , f o r e q u a t i o n 2 . 3 1

f o l l o w s :

^ y s

i

=

1

P

N

j = 1

w s

i

, s

j

r

T

s

i

v = y

i

2 . 3 5

l e a d i n g t o a t o t a l s e t o f e q u a t i o n s g i v e n b y :

R v = ~

y

s

2 . 3 6

w i t h a m o d i e d r e s p o n s e v e c t o r :

~ y

s

=

2

6

6

6

6

4

y

1

P

N

j = 1

w s

1

, s

j

y

2

P

N

j = 1

w s

2

, s

j

.

.

.

y

N

P

N

j = 1

w s

N

, s

j

3

7

7

7

7

5

2 . 3 7

1 2


15/31

-3 -2 -1 0 1 2 3-6

-4

-2

0

2

4

6

x

y

F i g u r e 2 . 2 : M o v i n g l e a s t s q u a r e s a p p r o x i m a -

t i o n s o l i d a n d a p p r o x i m a t i o n a c c o r d i n g t o

S a c k s e t a l . d o t t e d u s i n g t h e e x p o n e n t i a l

c o r r e l a t i o n f u n c t i o n w i t h = 0 : 6 a n d p = 2 .

-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

3

x

y

F i g u r e 2 . 3 : M o v i n g l e a s t s q u a r e s a p p r o x i m a -

t i o n s o l i d a n d a p p r o x i m a t i o n a c c o r d i n g t o

S a c k s e t a l . d o t t e d u s i n g t h e e x p o n e n t i a l

c o r r e l a t i o n f u n c t i o n w i t h = 0 : 1 a n d p = 2 .

T h e p r e d i c t i o n c a n b e w r i t t e n a s :

^ y x =

1

P

N

j = 1

w x , s

j

r

T

x R

, 1

~ y

s

2 . 3 8

w h i c h h a s t o b e c o m p a r e d w i t h :

^ y x = r

T

x R

, 1

y

s

= y

i

2 . 3 9

o f S a c k s e t a l . , i n t h e c a s e t h a t n o r e g r e s s i o n m o d e l i s p r e s e n t .

B o t h a p p r o x i m a t i o n s 2 . 3 8 a n d 2 . 3 9 a r e s u m m a t i o n s o f N w e i g h t f u n c t i o n s . H o w e v e r ,

e q u a t i o n 2 . 3 8 h a s a n a d d i t i o n a l p r o d u c t t e r m t h a t d e p e n d s o n x a n d a m o d i e d r e s p o n s e v e c -

t o r ~

y

s

, a n d t h e r e f o r e b e h a v e s q u i t e d i e r e n t . T h i s i s i l l u s t r a t e d b y m e a n s o f a o n e d i m e n s i o n a l

a n a l y t i c a l r e s p o n s e f u n c t i o n y = t a n x a n d a n e x p e r i m e n t a l d e s i g n S = f , 1 : 2 ; , 0 : 8 ; : : : ; 1 : 2 g .

T h e w e i g h t f u n c t i o n i s c h o s e n e q u a l t o c o r r e l a t i o n f u n c t i o n 2 . 1 2 w i t h p = 2 . F i g u r e 2 . 2 a n d

2 . 3 v i s u a l i z e t h e b e h a v i o u r o f t h e m o v i n g l e a s t s q u a r e s a p p r o x i m a t i o n 2 . 3 8 a n d t h e a p -

p r o x i m a t i o n 2 . 3 9 o f S a c k s e t a l . , f o r d i e r e n t v a l u e s o f . A p p r o x i m a t i o n 2 . 3 9 i s c l e a r l y

a s u m m a t i o n o f c o r r e l a t i o n f u n c t i o n s , a p p a r e n t f r o m t h e b e h a v i o u r f o r t h e l a r g e v a l u e .

A p p r o x i m a t i o n 2 . 3 8 i s m u c h m o r e a n i n t e r p o l a t i o n , w i t h t h e w i d t h o f t h e w e i g h t f u n c t i o n

d e t e r m i n i n g t h e r e g i o n i n w h i c h t h e i n t e r p o l a t i o n t a k e s p l a c e . T h i s d i e r e n t b e h a v i o u r h a s

a l s o e e c t o n t h e e x t r a p o l a t i v e c h a r a c t e r o f t h e a p p r o x i m a t i o n s .

1 3


16/31

C h a p t e r 3

E x a m p l e s

3 . 1 R e s p o n s e p r e d i c t i o n a n d a c c u r a c y

W e l c h e t a l . 1 9 9 2 c o n s i d e r e d t h e a n a l y t i c a l t e s t f u n c t i o n :

y x

1

; x

2

= 3 0 + x

1

s i n x

1

4 + e

, x

2

0 x

1

; x

2

5 3 . 1

I n g u r e 3 . 1 t h e c o n t o u r s o f t h i s f u n c t i o n a r e p l o t t e d t o g e t h e r w i t h t h e l o c a t i o n o f 1 1 o b s e r -

v a t i o n s a c c o r d i n g t o a L a t i n h y p e r c u b e d e s i g n .

N u m e r i c a l o p t i m i z a t i o n o f t h e l o g - l i k e l i h o o d f u n c t i o n y i e l d s , f o r c o r r e l a t i o n f u n c t i o n s

2 . 1 2 , 2 . 1 3 a n d 2 . 1 4 , t h e c o r r e l a t i o n p a r a m e t e r e s t i m a t i o n s o f t a b l e 3 . 1 . I n t h e t h i r d

c o l u m n o f t h i s t a b l e , t h e p a r a m e t e r s a r e m e n t i o n e d t h a t a r e e s t i m a t e d , a n d w h i c h p a r a m e t e r s

h a v e t h e s a m e v a l u e s . U s i n g e x p o n e n t i a l c o r r e l a t i o n f u n c t i o n 2 . 1 2 i n c a s e I a n d I I , t w o

o p t i m a i n t h e m i n i m i z a t i o n f u n c t i o n 2 . 5 h a v e b e e n f o u n d . W e l c h e t a l . 1 9 9 2 r e p o r t e d

t h e l o c a l o p t i m u m e s t i m a t i o n o f c a s e I d e n o t e d b y I , t o g e t h e r w i t h a n e s t i m a t e d c o n s t a n t

^

= 1 2 9 a n d a p r o c e s s c o v a r i a n c e ^

2

= 3 4 1 . T h e p r e s e n t c a l c u l a t i o n s h a v e c o n r m e d t h e s e

v a l u e s , a n d a l s o t h e e m p i r i c a l r o o t m e a n s q u a r e d e r r o r E R M S E v a l u e o f 3 : 1 8 o n t h e 2 1 2 1

g r i d x = 0 : 2 5 i ; 0 : 2 5 j f o r 0 i ; j 2 0 . W e l c h e t a l . 1 9 9 2 a p p a r e n t l y d i d n o t n d t h e

o p t i m u m p a r a m e t e r v a l u e s w i t h t h e l o w e r v a l u e o f e q u a t i o n 2 . 5 .

B y m e a n s o f t a b l e 3 . 2 t h e i n u e n c e o f t h e t y p e o f c o r r e l a t i o n f u n c t i o n o n t h e a c c u r a c y o f

t h e a p p r o x i m a t i o n s c a n b e c o m p a r e d . T h e t h r e e c o l u m n s o f t h e r s t b l o c k r e p r e s e n t a c c u r a c y

p r e d i c t i o n s c a l c u l a t e d f r o m t h e m e a n s q u a r e d e r r o r M S E e q u a t i o n 2 . 9 o n a n e q u a l l y

s p a c e d g r i d o f 2 1 2 1 t e s t p o i n t s r

j

j = 1 ; : : : ; 4 2 1 o n t h e d e s i g n s p a c e . C o l u m n ' p r o b .

b o u n d . ' r e f e r s t o t h e p e r c e n t a g e o f f u n c t i o n v a l u e s o f t h e t e s t p o i n t s b e t w e e n t h e p r e d i c t e d

9 5 p r o b a b i l i t y b o u n d s . ' m a x R M S E ' a n d ' R M S E ' a r e r e s p e c t i v e l y t h e m a x i m u m r o o t

m e a n s q u a r e d e r r o r : m a x

j

q

M S E r

j

a n d t h e o v e r a l l r o o t m e a n s q u a r e d e r r o r d e n e d i n

e q u a t i o n 2 . 1 9 . T h e a c c u r a c y m e a s u r e s o f t h e s e c o n d b l o c k a r e b a s e d o n t h e c a l c u l a t e d

f u n c t i o n v a l u e s o f t h e 2 1 2 1 g r i d , a n d c a n b e u s e d t o c h e c k t h e a c c u r a c y p r e d i c t i o n s o f t h e

r s t b l o c k . ' E R M S E ' i s t h e e m p i r i c a l r o o t m e a n s q u a r e d e r r o r a c c o r d i n g t o e q u a t i o n 2 . 2 0 ,

a n d ' m a x e r r o r ' r e p r e s e n t s t h e m a x i m u m d e v i a t i o n b e t w e e n p r e d i c t e d a n d t r u e v a l u e s o n t h e

g r i d . F i n a l l y , i n t h e t h i r d b l o c k l a s t c o l u m n a n a l t e r n a t i v e e m p i r i c a l r o o t m e a n s q u a r e d

e r r o r i s g i v e n , d e n e d b y 2 . 2 1 t h a t d o e s n o t d e p e n d o n t h e f u n c t i o n v a l u e s o f t h e t e s t p o i n t s .

O n e c a n o b s e r v e t h a t t h e p e r c e n t a g e s o f d e s i g n s i t e s b e t w e e n t h e 9 5 p r o b a b i l i t y b o u n d s

a r e s m a l l e r t h a n 9 5 f o r a l l c o n s i d e r e d c a s e s , e x c e p t f o r c a s e V . T h i s m e a n s t h a t t h e M S E

v a l u e s a r e t o o s m a l l , w h i c h i s c o n r m e d b y t h e R M S E c o n s e q u e n t l y b e i n g s m a l l e r t h a n t h e

1 4


17/31

c a s e c o r r e l a t i o n p a r a m e t e r s p a r a m e t e r e s t i m a t i o n s

I 2 . 1 2

1

,

2

, p

1

, p

2

^

1

= 1 2 : 3 ,

^

2

= 1 2 : 5 , ^ p

1

= 1 : 5 1 , ^ p

2

= 1 : 8 1

I 2 . 1 2

1

,

2

, p

1

, p

2

^

1

= 2 : 8 1 ,

^

2

= 3 : 8 7 , ^ p

1

= 2 , ^ p

2

= 2

I I 2 . 1 2 =

1

=

2

, p = p

1

= p

2

^

= 1 1 : 6 , ^ p = 1 : 6 1

I I 2 . 1 2 =

1

=

2

, p = p

1

= p

2

^

= 3 : 1 4 , ^ p = 2

I I I 2 . 1 2 =

1

=

2

, p

1

= p

2

= 2

^

= 3 : 1 1

I V 2 . 1 3

1

,

2

^

1

= 1 2 : 4 ,

^

2

= 2 2 : 7

V 2 . 1 3 =

1

=

2

^

= 1 5 : 6

V I 2 . 1 4

1

,

2

^

1

= 8 : 4 1 ,

^

2

= 1 2 : 3

V I I 2 . 1 4 =

1

=

2

^

= 8 : 7 2

T a b l e 3 . 1 : E s t i m a t e d c o r r e l a t i o n p a r a m e t e r v a l u e s . T h e b r a c k e t e d c a s e s a r e p a r a m e t e r e s t i -

m a t i o n s c o r r e s p o n d i n g t o a l o c a l o p t i m u m o f t h e l o g - l i k e l i h o o d f u n c t i o n .

E R M S E . L i n e a r c o r r e l a t i o n f u n c t i o n 2 . 1 3 g i v e s t h e b e s t m e a n s q u a r e d e r r o r p r e d i c t i o n s ,

e x p o n e n t i a l f u n c t i o n 2 . 1 1 t h e w o r s t . H o w e v e r , t h e E R M S E i n d i c a t e s t h a t r e s p o n s e p r e -

d i c t i o n s b a s e d o n t h e l i n e a r c o r r e l a t i o n f u n c t i o n a r e w o r s t , w h i c h i s c a u s e d b y t h e p i e c e w i s e

l i n e a r b e h a v i o u r o f t h e a p p r o x i m a t i o n .

S e c o n d l y , f o r t h i s e x a m p l e , i t a p p e a r s t h a t n o p r o t i s f o u n d i n t a k i n g d i e r e n t c o r r e l a t i o n

p a r a m e t e r s f o r e v e r y d e s i g n v a r i a b l e d i r e c t i o n . I n c o n t r a r y , t h e R M S E v a l u e s a r e e v e n

s o m e w h a t l a r g e r . T h i s c o n r m s t h e s t r a t e g y o f W e l c h e t a l . 1 9 9 2 t o s h a r e c o m m o n v a l u e s

o f t h e c o r r e l a t i o n p a r a m e t e r s . I n m y o p i n i o n , c o r r e l a t i o n p a r a m e t e r s

j

a n d p

j

c a n s h a r e

t h e s a m e v a l u e i n a l l d e s i g n v a r i a b l e d i r e c t i o n s j i n d e p e n d e n t o f t h e r e s p o n s e v a l u e s y o f t h e

e x p e r i m e n t a l d e s i g n , i f t h e d e s i g n v a r i a b l e s a r e s c a l e d t o h a v e t h e s a m e r a n g e s , a n d i f t h e

d e n s i t y o f t h e p o i n t s o f t h e e x p e r i m e n t a l i s l a r g e l y t h e s a m e i n e v e r y d e s i g n v a r i a b l e d i r e c t i o n .

F i n a l l y , t h e E R M S E

, 1

d o e s n o t g i v e a g o o d e s t i m a t e o f t h e E R M S E . S o , t h e a l t e r n a t i v e

w a y o f e q u a t i o n 2 . 2 1 t o c a l c u l a t e t h e E R M S E c a n n o t b e u s e d t o a v o i d a d d i t i o n a l d e s i g n

c a l c u l a t i o n s . F o r t h i s e x a m p l e , E R M S E

, 1

s e e m s t o b e h a v e a s a n u p p e r b o u n d , b u t t h i s i s

n o t g e n e r a l l y t r u e .

F o r t h e s i n g l e p a r a m e t e r c a s e s I I I , V a n d V I I o f t a b l e 3 . 1 , t h e i n u e n c e o f t h e c o r r e l a t i o n

p a r a m e t e r v a l u e o n t h e M S E p r e d i c t i o n i s i n v e s t i g a t e d . T h e p a r a m e t e r e s t i m a t i o n s c o r r e -

s p o n d i n g t o t h e s e c a s e s f o l l o w f r o m t h e m i n i m i z a t i o n o f e q u a t i o n 2 . 5 . T h i s i s v i s u a l i z e d i n

g u r e 3 . 5 . S o , a c c o r d i n g t o t h e m e t h o d o f S a c k s e t a l . , t h e m i n i m a r e p r e s e n t t h e m o s t l i k e l y

p a r a m e t e r e s t i m a t i o n s .

R M S E a n d E R M S E v a l u e s h a v e b e e n c a l c u l a t e d f o r a n e q u a l l y s p a c e d r e g i o n o f b e -

t w e e n 0 . 1 a n d 3 0 . 1 , a n d a r e p l o t t e d i n g u r e s 3 . 2 , 3 . 3 a n d 3 . 4 . F o r c o r r e l a t i o n f u n c t i o n 2 . 1 3

a n d 2 . 1 4 E R M S E a n d R M S E h a v e t h e s a m e t y p e o f c u r v e . I n t h e n e i g h b o u r h o o d o f t h e

e s t i m a t e d p a r a m e t e r v a l u e s E R M S E a n d R M S E c u r v e a r e q u i t e n e a r e a c h o t h e r , s o t h e

p r e d i c t e d M S E a p p e a r s t o b e q u i t e w e l l . T h i s d o e s n o t o c c u r f o r c o r r e l a t i o n f u n c t i o n 2 . 1 2 ,

f o r w h i c h R M S E a n d E R M S E c u r v e a r e d i e r e n t . R M S E p r e d i c t s t h e E R M S E c o r r e c t l y

o n l y f o r a f e w v a l u e s . T h e m i n i m u m o f e q u a t i o n 2 . 5 y i e l d s a p a r a m e t e r e s t i m a t i o n w i t h

a R M S E t h a t i s t w o t i m e s s m a l l e r t h a n t h e E R M S E .

G e n e r a l l y , t h e r e i s n o g u a r a n t e e t h a t t h e e s t i m a t e d m a x i m u m l i k e l i h o o d p a r a m e t e r s l e a d

t o a c o r r e c t e s t i m a t e o f t h e m e a n s q u a r e d e r r o r . F o r t h i s e x a m p l e , a 4 4 f u l l f a c t o r i a l d e s i g n

1 5


18/31

c a s e p r o b . b o u n d m a x R M S E R M S E m a x e r r o r E R M S E E R M S E

, 1

I 8 6 . 6 4 . 0 5 2 . 4 0 1 3 . 4 3 . 7 4 5 . 1 7

I 7 5 . 7 4 . 0 7 1 . 6 7 1 5 . 1 3 . 1 8 7 . 6 5

I I 9 3 . 2 4 . 3 5 2 . 7 1 1 2 . 1 3 . 2 9 5 . 2 3

I I 8 4 . 4 4 . 7 5 1 . 9 6 1 4 . 7 3 . 0 8 7 . 0 2

I I I 8 4 . 4 4 . 7 5 1 . 9 6 1 4 . 7 3 . 0 8 7 . 0 2

I V 9 3 . 9 6 . 0 8 4 . 3 1 1 6 . 0 4 . 7 0 7 . 0 3

V 9 6 . 6 6 . 3 0 4 . 4 7 1 5 . 3 4 . 5 1 7 . 0 2

V I 9 0 . 9 4 . 5 6 2 . 1 6 1 2 . 9 2 . 7 0 6 . 4 2

V I I 9 3 . 2 5 . 0 1 2 . 4 0 1 3 . 4 2 . 7 2 6 . 4 4

T a b l e 3 . 2 : S u m m a r y o f t h e m o d e l p r e d i c t i o n e r r o r s b e l o n g i n g t o t h e p a r a m e t e r e s t i m a t i o n s

o f t h e p r e v i o u s t a b l e . T h e m a x i m u m r a n g e o f r e s p o n s e v a l u e s o f t h e 1 1 - p o i n t L a t i n d e s i g n i s

4 9 . 0 .

i n s t e a d o f t h e L a t i n d e s i g n g i v e s r i s e t o l a r g e d i s c r e p a n c i e s b e t w e e n E R M S E a n d R M S E

c u r v e s , a l s o f o r c o r r e l a t i o n f u n c t i o n s 2 . 1 3 a n d 2 . 1 4 . M a x i m u m l i k e l i h o o d p a r a m e t e r s

h a v e b e e n c a l c u l a t e d f o r a 9 , 1 6 , 2 5 , 3 6 a n d 4 9 p o i n t f u l l f a c t o r i a l d e s i g n u s i n g t h e c u b i c

c o r r e l a t i o n f u n c t i o n 2 . 1 4 . T h e E R M S E a n d R M S E t h a t r e s u l t f o r t h e s e p a r a m e t e r v a l u e s

a r e p l o t t e d i n g u r e 3 . 6 . I t i s c l e a r l y v i s i b l e t h a t , a p a r t f r o m t h e 5 5 d e s i g n , r a t h e r l a r g e

d i e r e n c e s o c c u r . M y c o n c l u s i o n i s t h a t t h e m e a n s q u a r e d e r r o r e q u a t i o n 2 . 9 c a n n o t b e

u s e d t o c a l c u l a t e a b s o l u t e a c c u r a c y m e a s u r e s e . g . 9 5 p r o b a b i l i t y b o u n d s o f t h e m o d e l

p r e d i c t i o n s . O n l y t h e o r d e r o f m a g n i t u d e m a y b e u s e d t o h a v e s o m e s o r t o f i n d i c a t i o n .

3 . 2 M a x i m u m l i k e l i h o o d b e h a v i o u r

C o n s i d e r t h e f o l l o w i n g v e o n e d i m e n s i o n a l t e s t f u n c t i o n s v i s u a l i z e d i n g u r e 3 . 7 :

y = t a n x 3 . 2

y = 0 : 5 x

3

+ x 3 . 3

y = s i n x 3 . 4

y = , 0 : 1 5 x

3

+ x 3 . 5

y = x 3 . 6

W i t h i n t h e i n p u t v a r i a b l e r a n g e x 2 f , 1 ; 1 g , t e s t f u n c t i o n s 3 . 2 a n d 3 . 3 , a s w e l l a s f u n c -

t i o n s 3 . 4 a n d 3 . 5 h a v e n e a r l y t h e s a m e f u n c t i o n a l b e h a v i o u r . U s i n g t h e e x p e r i m e n t a l

d e s i g n g i v e n b y S = f , 1 ; , 2 = 3 ; , 1 = 3 ; 0 ; 1 = 3 ; 2 = 3 ; 1 g v a l u e s o f t h e m a x i m u m l i k e l i h o o d m i n i -

m i z a t i o n f u n c t i o n 2 . 5 h a v e b e e n c a l c u l a t e d f o r a w i d e r a n g e o f v a l u e s . T h e m i n i m i z a t i o n

f u n c t i o n v a l u e s f o r c o r r e l a t i o n f u n c t i o n s 2 . 1 2 w i t h p = 2 , 2 . 1 3 a n d 2 . 1 4 a s a f u n c t i o n

o f a r e p l o t t e d i n r e s p e c t i v e l y g u r e s 3 . 8 , 3 . 9 a n d 3 . 1 0 .

F i g u r e 3 . 8 o f t h e e x p o n e n t i a l c o r r e l a t i o n f u n c t i o n 2 . 1 2 i s r a t h e r a s t o n i s h i n g . A l t h o u g h

t h e r e s p o n s e o f t e s t f u n c t i o n s 3 . 4 a n d 3 . 5 a r e a l m o s t e x a c t l y t h e s a m e , t h e b e h a v i o u r o f

t h e m i n i m i z a t i o n f u n c t i o n i s q u i t e d i e r e n t . A s o m e w h a t l a r g e r , b u t s t i l l s m a l l , d i e r e n c e

1 6


19/31

b e t w e e n 3 . 2 a n d 3 . 3 e v e n l e a d s t o a c o m p l e t e d i e r e n t b e h a v i o u r o f t h e m i n i m i z a t i o n

f u n c t i o n : f o r t e s t f u n c t i o n 3 . 2 a n o p t i m u m p a r a m e t e r e s t i m a t i o n c a n b e f o u n d a t = 1 ,

w h i l e t e s t f u n c t i o n 3 . 3 h a s a m a x i m u m l i k e l i h o o d p a r a m e t e r e s t i m a t i o n a t i n n i t y .

T h e c u b i c c o r r e l a t i o n f u n c t i o n 2 . 1 4 i s l e s s s e n s i t i v e f o r s m a l l c h a n g e s i n t h e r e s p o n s e

v a l u e s t h a n t h e e x p o n e n t i a l f u n c t i o n . T h o u g h , t h e p a r a m e t e r e s t i m a t i o n s o f f u n c t i o n s 3 . 2

a n d 3 . 3 a r e s t i l l s o m e w h a t d i e r e n t . T h e l i n e a r c o r r e l a t i o n f u n c t i o n s e e m s t o b e c o m p l e t e l y

i n d e p e n d e n t o f t h e r e s p o n s e v a l u e s , a n d t o b e o n l y d e t e r m i n e d b y t h e e x p e r i m e n t a l d e s i g n :

a l l p a r a m e t e r e s t i m a t i o n s a r e t h e s a m e f o r a l l t e s t f u n c t i o n s .

I n t h e c a s e o f t h e l i n e a r r e s p o n s e b e h a v i o u r o f f u n c t i o n 3 . 6 , o n e c a n e x p e c t p a r a m e t e r

t o g o t o i n n i t y w h e n u s i n g c o r r e l a t i o n f u n c t i o n s 2 . 1 2 a n d 2 . 1 4 . O t h e r w i s e , n o l i n e a r

a p p r o x i m a t i o n c a n b e o b t a i n e d . O n l y c o r r e l a t i o n 3 . 4 i s a b l e t o r e a c h a l i n e a r a p p r o x i m a t i o n

f o r a n i t e v a l u e o f t h e c o r r e l a t i o n p a r a m e t e r .

U s i n g c o r r e l a t i o n f u n c t i o n 2 . 1 1 , W e l c h e t a l . 1 9 9 2 s t a t e d t h a t t h e j - t h d e s i g n v a r i a b l e

i s i n a c t i v e i f t h e c o r r e s p o n d i n g c o r r e l a t i o n p a r a m e t e r

j

b e c o m e s z e r o i n n i t y f o r 2 . 1 2 .

F r o m g u r e 3 . 2 c a n b e c o n c l u d e d t h a t t h i s s t r a t e g y i s n o t c o r r e c t : c o r r e l a t i o n p a r a m e t e r

c a n g o t o i n n i t y w h i l e t h e d e s i g n v a r i a b l e x i s c e r t a i n l y n o t i n a c t i v e . T h e y e v e n u s e a t e s t

f u n c t i o n w i t h s m a l l l i n e a r t e r m s i n s o m e d e s i g n v a r i a b l e s t o i l l u s t r a t e t h a t t h e u n i m p o r t a n t

d e s i g n v a r i a b l e e e c t s a r e d e t e c t e d . H o w e v e r , t h e s e d e s i g n v a r i a b l e s a r e f o u n d n o t b e c a u s e

t h e y h a v e a s m a l l c o n t r i b u t i o n t o t h e t o t a l r e s p o n s e , b u t b e c a u s e t h e i r c o n t r i b u t i o n i s l i n e a r .

P r o b l e m s w i t h c o r r e l a t i o n p a r a m e t e r s g o i n g t o i n n i t y n o t o n l y o c c u r f o r c o r r e l a t i o n

f u n c t i o n 2 . 1 1 o r 2 . 1 2 . T e s t f u n c t i o n y = x

2

1

+ x

1

x

2

o n 0 x

1

; x

2

2 w i t h S a 4 4

f u l l f a c t o r i a l d e s i g n , s h o w s t h a t a l s o c o r r e l a t i o n f u n c t i o n 2 . 1 4 g i v e s r i s e t o i n n i t e v a l u e s

o f t h e c o r r e l a t i o n p a r a m e t e r s , b o t h w h e n e s t i m a t i n g

1

a n d

2

, a n d i n t h e c a s e o f a j o i n t

c o r r e l a t i o n p a r a m e t e r =

1

=

2

. O n l y t h e m i n i m i z a t i o n f u n c t i o n o f c o r r e l a t i o n 2 . 1 3 s t i l l

h a s a m i n i m u m .

3 . 3 T w o b a r t r u s s

S v a n b e r g 1 9 8 7 d e s c r i b e d a t w o b a r t r u s s o p t i m i z a t i o n p r o b l e m . T h e t r u s s s t r u c t u r e , s h o w n

i n g u r e 3 . 1 1 , i s p a r a m e t r i z e d b y t w o d e s i g n v a r i a b l e s : x

1

, t h e c r o s s - s e c t i o n a l a r e a c m

2

o f t h e b a r s , a n d x

2

, h a l f o f t h e d i s t a n c e m b e t w e e n t h e t w o n o d e s 1 a n d 2 . O b j e c t i v e

i s t o m i n i m i z e t h e w e i g h t o f t h e t r u s s s t r u c t u r e , s u b j e c t t o s t r e s s c o n s t r a i n t s i n b o t h b a r s .

S v a n b e r g 1 9 8 7 f o r m u l a t e d t h i s p r o b l e m a n a l y t i c a l l y a s t o m i n i m i z e t h e o b j e c t i v e f u n c t i o n :

F

o b j

x = x

1

q

1 + x

2

2

3 . 7

s u b j e c t t o t h e s t r e s s c o n s t r a i n t s :

g

1

x = 0 : 1 2 4

q

1 + x

2

2

8

x

1

+

1

x

1

x

2

1 3 . 8

g

1

x = 0 : 1 2 4

q

1 + x

2

2

8

x

1

,

1

x

1

x

2

1 3 . 9

H e r e , t h e d e s i g n s p a c e i s s e t t o : 1 x

1

2 , 0 : 1 x

2

1 : 6 . T h e s e c o n d c o n s t r a i n t w i l l n e v e r

b e c o m e a c t i v e , a n d i s t h e r e f o r e n o t t a k e n i n t o a c c o u n t . F i g u r e 3 . 1 2 v i s u a l i z e s t h e t w o b a r

t r u s s o p t i m i z a t i o n p r o b l e m .

1 7


20/31

m e t h o d f u n c t i o n R M S E m a x e r r o r E R M S E

S a c k s F

o b j

0 . 0 1 1 6 0 . 0 3 0 9 0 . 0 0 5 4 9

S a c k s g

1

0 . 0 3 0 8 0 . 3 4 9 0 . 0 3 4 8

R e s p o n s e F

o b j

0 . 0 0 1 7 0 0 . 0 3 0 1 0 . 0 0 3 8 0

R e s p o n s e g

1

0 . 0 7 5 1 0 . 4 8 8 0 . 0 5 9 8

T a b l e 3 . 3 : P r e d i c t i o n e r r o r s o f t h e t w o - b a r t r u s s p r o b l e m f o r t h e m e t h o d o f S a c k s e t a l . a n d

t h e r e s p o n s e - s u r f a c e s t r a t e g y

G l o b a l a p p r o x i m a t i o n m o d e l s a r e b u i l t f o r o b j e c t i v e f u n c t i o n a n d r s t c o n s t r a i n t , u s i n g

b o t h t h e r e s p o n s e - s u r f a c e s t r a t e g y a n d t h e m e t h o d o f S a c k s e t a l . O b j e c t i v e a n d c o n s t r a i n t

r e s p o n s e v a l u e s a r e c a l c u l a t e d f o r t h e L a t i n h y p e r c u b e d e s i g n p l o t t e d i n g u r e 3 . 1 2 .

U s i n g t h e m o d e l b u i l d i n g s t r a t e g y o f S a c k s e t a l . , c u b i c c o r r e l a t i o n f u n c t i o n 2 . 1 4 i s

s e l e c t e d , f o r b o t h o b j e c t i v e f u n c t i o n a n d c o n s t r a i n t . B y m e a n s o f m i n i m i z a t i o n o f t h e m a x -

i m i m u m l i k e l i h o o d t h e u n k n o w n p a r a m e t e r s a r e e s t i m a t e d . T h e p r e d i c t i o n s o f o b j e c t i v e

f u n c t i o n a n d c o n s t r a i n t t h a t f o l l o w a r e v i s u a l i z e d i n g u r e 3 . 1 3 . T h e r o o t m e a n s q u a r e d

e r r o r R M S E a c c u r a c y p r e d i c t i o n i s c a l c u l a t e d a n d c o m p a r e d w i t h t h e e m p i r i c a l r o o t m e a n

s q u a r e d e r r o r c o m p u t e d o n a 4 1 4 1 g r i d o f p o i n t s . T h e s e v a l u e s a r e g i v e n i n t a b l e 3 . 3 , w i t h

a d d i t i o n a l l y t h e m a x i m u m p r e d i c t i o n e r r o r o n t h e g r i d .

F u l l s e c o n d o r d e r p o l y n o m i a l s w i t h t h i r d o r d e r m a i n t e r m s a r e u s e d t o t t h e r e s p o n s e d a t a

o f o b j e c t i v e f u n c t i o n a n d c o n s t r a i n t i n t h e c a s e o f r e s p o n s e - s u r f a c e m o d e l b u i l d i n g . R e g r e s s i o n

a n a l y s i s i s a p p l i e d t o e s t i m a t e t h e t e n p a r a m e t e r s . T h e p o l y n o m i a l p r e d i c t i o n s a r e p l o t t e d

i n g u r e 3 . 1 4 . F o r t h e s e a p p r o x i m a t i o n s , r o o t m e a n s q u a r e d e r r o r R M S E , e m p i r i c a l r o o t

m e a n s q u a r e d e r r o r E R M S E , a n d m a x i m u m p r e d i c t i o n e r r o r a r e c a l c u l a t e d a s w e l l , a n d

t a b u l a t e d i n t a b l e 3 . 3 . T h e r e s p o n s e - s u r f a c e v a r i a n t o f t h e R M S E i s d e n e d b y :

R M S E =

v

u

u

t

1

N , k

N

X

i = 1

^ y s

i

, y s

i

2

3 . 1 0

w i t h k t h e n u m b e r o f p a r a m e t e r s .

T h e a p p r o x i m a t i o n s o f t h e o b j e c t i v e f u n c t i o n a r e v e r y a c c u r a t e . T h e r e s p o n s e - s u r f a c e

a p p r o x i m a t i o n i s e v e n m o r e a c c u r a t e t h a n t h e p r e d i c t i o n o f S a c k s e t a l . D i e r e n c e s b e c o m e

m o r e a p p a r e n t f o r t h e c o n s t r a i n t s . F i g u r e s 3 . 1 3 a n d 3 . 1 4 c l e a r l y v i s u a l i z e t h e d i e

Design and Analysis of Computer Experiments the Method of Sacks Et Al - Etman - 1994

Documents

Transcript of Design and Analysis of Computer Experiments the Method of Sacks Et Al - Etman - 1994