NARMAX

7/18/2019 NARMAX

http://slidepdf.com/reader/full/narmax 1/32

S u b m i t t e d t o I n t e r n a t i o n a l J o u r n a l o f C o n t r o l

C o n s t r u c t i n g N A R M A X m o d e l s u s i n g A R M A X

m o d e l s

M a y 5 , 1 9 9 2 , R e v i s e d A p r i l 2 0 , 1 9 9 3

T o r A . J o h a n s e n a n d B j a r n e A . F o s s

D e p a r t m e n t o f E n g i n e e r i n g C y b e r n e t i c s

N o r w e g i a n I n s t i t u t e o f T e c h n o l o g y

N - 7 0 3 4 T r o n d h e i m

A b s t r a c t

T h i s p a p e r o u t l i n e s h o w i t i s p o s s i b l e t o d e c o m p o s e a c o m p l e x n o n - l i n e a r m o d e l l i n g p r o b -

l e m i n t o a s e t o f s i m p l e r l i n e a r m o d e l l i n g p r o b l e m s . L o c a l A R M A X m o d e l s v a l i d w i t h i n

c e r t a i n o p e r a t i n g r e g i m e s a r e i n t e r p o l a t e d t o c o n s t r u c t a g l o b a l N A R M A X ( n o n - l i n e a r

N A R M A X ) m o d e l . K n o w l e d g e o f t h e s y s t e m b e h a v i o r i n t e r m s o f o p e r a t i n g r e g i m e s i s

t h e p r i m a r y b a s i s f o r b u i l d i n g s u c h m o d e l s , h e n c e i t s h o u l d n o t b e c o n s i d e r e d a s a p u r e

b l a c k - b o x a p p r o a c h , b u t a s a n a p p r o a c h t h a t u t i l i z e s a l i m i t e d a m o u n t o f a p r i o r i s y s t e m

k n o w l e d g e . I t i s s h o w n t h a t a l a r g e c l a s s o f n o n - l i n e a r s y s t e m s c a n b e m o d e l l e d i n t h i s w a y ,

a n d i n d i c a t e d h o w t o d e c o m p o s e t h e s y s t e m s r a n g e o f o p e r a t i o n i n t o o p e r a t i n g r e g i m e s .

S t a n d a r d s y s t e m i d e n t i c a t i o n a l g o r i t h m s c a n b e u s e d t o i d e n t i f y t h e N A R M A X m o d e l ,

a n d s e v e r a l a s p e c t s o f t h e s y s t e m i d e n t i c a t i o n p r o b l e m i s d i s c u s s e d a n d i l l u s t r a t e d b y a

s i m u l a t i o n e x a m p l e .

1 I n t r o d u c t i o n

M o d e l l i n g c o m p l e x s y s t e m s u s i n g r s t p r i n c i p l e s i s i n m a n y c a s e s r e s o u r c e d e m a n d i n g . I n

s o m e c a s e s o u r s y s t e m k n o w l e d g e i s s o l i m i t e d t h a t d e t a i l e d m o d e l l i n g i s d i c u l t . I n o t h e r

c a s e s , t h e i n s t r u m e n t a t i o n a n d l o g g e d d a t a f r o m t h e s y s t e m a r e s o s p a r s e o r n o i s y t h a t

i t i s d i c u l t t o i d e n t i f y a l a r g e n u m b e r o f u n k n o w n p h y s i c a l p a r a m e t e r s i n t h e m o d e l .

E x a m p l e s o f t h i s a r e f o u n d i n e . g . m e t a l l u r g i c a l a n d b i o c h e m i c a l p r o c e s s i n d u s t r y .

I n s o m e c a s e s , r e s o u r c e s c a n b e s a v e d b y u s i n g b l a c k - b o x m o d e l s d e s c r i b i n g t h e i n p u t / o u t p u t

b e h a v i o r o f t h e s y s t e m . S u c h m o d e l s r e p r e s e n t s t h e c o n t r o l l a b l e a n d o b s e r v a b l e p a r t o f t h e

s y s t e m . T h e s t r u c t u r e a n d p a r a m e t e r s o f b l a c k - b o x m o d e l s h a s i n g e n e r a l n o d i r e c t i n t e r -

p r e t a t i o n i n t e r m s o f t h e p h y s i c a l p r o p e r t i e s o f t h e s y s t e m . T h e A R M A X m o d e l i s a w e l l

k n o w n l i n e a r i n p u t / o u t p u t m o d e l r e p r e s e n t a t i o n . T h e N A R M A X ( N o n l i n e a r A R M A X )

m o d e l r e p r e s e n t a t i o n i s a n e x t e n s i o n o f t h e l i n e a r A R M A X m o d e l , a n d r e p r e s e n t s t h e s y s -

t e m b y a n o n l i n e a r m a p p i n g o f p a s t i n p u t s , o u t p u t s a n d n o i s e t e r m s t o f u t u r e o u t p u t s . I n

t h i s p a p e r w e d i s c u s s h o w N A R M A X m o d e l s c a n b e r e p r e s e n t e d , a n d i n p a r t i c u l a r d i s c u s s

h o w a N A R M A X m o d e l c a n b e c o n s t r u c t e d f r o m a s e t o f A R M A X m o d e l s .

1

7/18/2019 NARMAX


W e w i l l c o n c e n t r a t e o n n o n - l i n e a r s y s t e m s t h a t a r e w o r k i n g i n s e v e r a l o p e r a t i n g r e g i m e s ,

b e c a u s e s y s t e m s t h a t n o r m a l l y w o r k w i t h i n o n e o p e r a t i n g r e g i m e m a y i n m a n y c a s e s b e

a d e q u a t e l y d e s c r i b e d b y a l i n e a r m o d e l . T h e r e a r e n u m e r o u s e x a m p l e s o f s y s t e m s t h a t m u s t

w o r k i n s e v e r a l o p e r a t i n g r e g i m e s , i n c l u d i n g m o s t b a t c h p r o c e s s e s ( R i p p i n 1 9 8 9 ) . A p a r t

f r o m n o r m a l o p e r a t i n g c o n d i t i o n s , t h e c o n t r o l s y s t e m m a y a l s o h a v e t o t a k e c a r e o f s t a r t u p

a n d s h u t d o w n , o p e r a t i o n d u r i n g m a i n t e n a n c e a n d f a u l t y o p e r a t i o n , w h i c h o b v i o u s l y l e a d

t o d i e r e n t o p e r a t i n g r e g i m e s .

T r a d i t i o n a l l y , t h e p r o b l e m w i t h m u l t i p l e o p e r a t i n g r e g i m e s i s s o l v e d b y n o n - l i n e a r r s t

p r i n c i p l e s m o d e l s c o v e r i n g s e v e r a l o p e r a t i n g r e g i m e s , g a i n s c h e d u l i n g , o r s i m p l y b y m a n u a l

o r r u l e - b a s e d c o n t r o l o f t h e s y s t e m w h e n o p e r a t i n g o u t s i d e t h e n o r m a l o p e r a t i n g r e g i m e s .

F r o m a n e n g i n e e r i n g p o i n t o f v i e w , i t m a y s e e m a p p e a l i n g t o d e c o m p o s e t h e m o d e l l i n g

p r o b l e m i n t o a s e t o f s i m p l e r m o d e l l i n g p r o b l e m s . T h i s i s e x a c t l y w h a t w e p r o p o s e h e r e :

F i r s t t h e s y s t e m o p e r a t i o n i s d e c o m p o s e d i n t o a s e t o f o p e r a t i n g r e g i m e s t h a t a r e a s s u m e d

t o c o v e r t h e f u l l r a n g e o f o p e r a t i o n w e w a n t o u r m o d e l t o c o v e r . N e x t , f o r e a c h o p e r a t i n g

r e g i m e w e d e s i g n a s i m p l e ( t y p i c a l l y l i n e a r ) l o c a l m o d e l . I t i s u s u a l l y n o t n a t u r a l t o d e n e

t h e o p e r a t i n g r e g i m e s a s c r i s p s e t s , s i n c e t h e r e w i l l u s u a l l y b e a s m o o t h t r a n s i t i o n f r o m

o n e r e g i m e t o a n o t h e r , n o t a j u m p . H e n c e , i t m a k e s s e n s e t o i n t e r p o l a t e t h e l o c a l m o d e l s

i n a s m o o t h f a s h i o n t o g e t a g l o b a l m o d e l . T h e i n t e r p o l a t i o n i s s u c h t h a t t h e l o c a l m o d e l

t h a t i s a s s u m e d t o b e t h e b e s t m o d e l a t t h e c u r r e n t o p e r a t i n g p o i n t w i l l b e g i v e n m o s t

w e i g h t i n t h e i n t e r p o l a t i o n , w h i l e n e i g h b o r i n g l o c a l m o d e l s m a y b e g i v e n s o m e w e i g h t , a n d

l o c a l m o d e l s c o r r e s p o n d i n g t o d i s t a n t o p e r a t i n g r e g i m e s w i l l n o t c o n t r i b u t e t o t h e g l o b a l

m o d e l a t t h a t o p e r a t i n g p o i n t . T o d o t h e s m o o t h i n t e r p o l a t i o n a t a g i v e n o p e r a t i n g p o i n t ,

w e n e e d t o k n o w w h i c h o f t h e l o c a l m o d e l s d e s c r i b e t h e s y s t e m w e l l a r o u n d t h a t o p e r a t i n g

p o i n t . F o r t h a t p u r p o s e , t o e a c h l o c a l m o d e l w e a s s o c i a t e a l o c a l m o d e l v a l i d i t y f u n c t i o n ,

i . e . a f u n c t i o n t h a t i n d i c a t e s t h e r e l a t i v e v a l i d i t y o f t h e l o c a l m o d e l s a t a g i v e n o p e r a t i n g

p o i n t .

T h e u s e o f l o c a l l i n e a r m o d e l s w i t h o u t i n t e r p o l a t i o n , i . e . p i e c e w i s e l i n e a r m o d e l s , h a v e b e e n

s u g g e s t e d b y s e v e r a l a u t h o r s , i n c l u d i n g S k e p p s t e d t , L j u n g & M i l l n e r t ( 1 9 9 2 ) , S k e p p s t e d t

( 1 9 8 8 ) , H i l h o r s t , v a n A m e r o n g e n & L o h n b e r g ( 1 9 9 1 ) , B i l l i n g s & V o o n ( 1 9 8 7 ) , a n d T o n g

& L i m ( 1 9 8 0 ) . A r e l a t e d t e c h n i q u e i s t h e u s e o f s p l i n e s ( F r i e d m a n 1 9 9 1 ) f o r r e p r e s e n t i n g

d y n a m i c s m o d e l s ( P s i c h o g i o s , D e V e a u x & U n g a r 1 9 9 2 ) . S p l i n e s a r e a l s o l o c a l m o d e l s ,

b u t u n l i k e p i e c e w i s e l i n e a r m o d e l s , t h e r e a r e c o n s t r a i n t s t h a t e n f o r c e s s m o o t h n e s s o n t h e

b o u n d a r i e s b e t w e e n t h e l o c a l m o d e l s . D i e r e n t v a r i a t i o n s o f i n t e r p o l a t i n g m e m o r i e s ( T o l l e ,

P a r k s , E r s u , H o r m e l & M i l i t z e r 1 9 9 2 , L a n e , H a n d e l m a n & G e l f a n d 1 9 9 2 , O m o h u n d r o

1 9 8 7 ) i s a r e l a t e d l o c a l m o d e l l i n g t e c h n i q u e , w h e r e a n u m b e r o f i n p u t / o u t p u t - p a i r s o f t h e

s y s t e m i s m e m o r i z e d a n d i n t e r p o l a t e d t o g i v e a m o d e l . O u r a p p r o a c h c a n b e t h o u g h t o f

a s a g e n e r a l i z a t i o n o f t h e s e t e c h n i q u e s , s i n c e w e i n t e r p o l a t e l o c a l m o d e l s .

T h i s p a p e r i s o r g a n i z e d a s f o l l o w s : F i r s t , i n s e c t i o n 2 , w e p r e s e n t a m o d e l r e p r e s e n t a t i o n

b a s e d o n l o c a l m o d e l s . T h e n w e d i s c u s s t h e a p p r o x i m a t i o n c a p a b i l i t i e s o f t h i s r e p r e s e n -

t a t i o n , a n d s h o w t h a t a l a r g e c l a s s o f n o n - l i n e a r s y s t e m s c a n b e r e p r e s e n t e d . T h e n o t i o n

o f o p e r a t i n g r e g i m e s i s i n t r o d u c e d a n d w e p r e s e n t a g e n e r a l r e s u l t g u i d i n g t h e c h o i c e o f

o p e r a t i n g p o i n t v e c t o r . T h e r e a f t e r , w e d i s c u s s s o m e p r a c t i c a l a s p e c t s o f m o d e l l i n g u s i n g

l o c a l m o d e l s i n s e c t i o n 3 , a n d s o m e a s p e c t s o f s y s t e m i d e n t i c a t i o n i n s e c t i o n 4 . I n s e c -

t i o n 5 , t h e c o n c e p t s a r e i l l u s t r a t e d b y a s i m u l a t i o n e x a m p l e , a n d s e c t i o n 6 c o n t a i n s s o m e

d i s c u s s i o n s a n d c o n c l u s i o n s .

2

7/18/2019 NARMAX


2 M o d e l R e p r e s e n t a t i o n

T h e N A R M A X m o d e l r e p r e s e n t a t i o n

y ( t ) = f ( y ( t ; 1 ) : : : y ( t ; n

y

) u ( t ; 1 ) : : : u ( t ; n

u

) e ( t ; 1 ) : : : e ( t ; n

e

) ) + e ( t ) ( 1 )

i s s h o w n b y L e o n t a r i t i s & B i l l i n g s ( 1 9 8 5 ) a n d C h e n & B i l l i n g s ( 1 9 8 9 ) t o r e p r e s e n t a l a r g e

c l a s s o f d i s c r e t e - t i m e n o n l i n e a r d y n a m i c s y s t e m s . H e r e y ( t ) 2 Y R

m

i s t h e o u t p u t

v e c t o r , u ( t ) 2 U R

r

i s t h e i n p u t v e c t o r , a n d e ( t ) 2 E R

m

i s e q u a t i o n e r r o r . W e

i n t r o d u c e t h e ( m ( n

y

+ n

e

) + r n

u

) - d i m e n s i o n a l i n f o r m a t i o n v e c t o r

( t ; 1 ) = y

T

( t ; 1 ) : : : y

T

( t ; n

y

) u

T

( t ; 1 ) : : : u

T

( t ; n

u

) e

T

( t ; 1 ) : : : e

T

( t ; n

e

)

T

w h e r e ( t ; 1 ) i s i n t h e s e t = Y

n

y

U

n

u

E

n

e

. T h i s e n a b l e s u s t o w r i t e e q u a t i o n ( 1 )

i n t h e f o r m

y ( t ) = f ( ( t ; 1 ) ) + e ( t ) ( 2 )

P r o v i d e d t h a t n e c e s s a r y s m o o t h n e s s c o n d i t i o n s o n f : ! Y a r e s a t i s e d , a g e n e r a l w a y

o f r e p r e s e n t i n g f u n c t i o n s i s b y s e r i e s e x p a n s i o n s . U s i n g a 1 s t o r d e r T a y l o r - s e r i e s e x p a n d e d

a b o u t t h e s y s t e m s e q u i l i b r i u m p o i n t y i e l d s a s t a n d a r d A R M A X m o d e l . S e c o n d - o r d e r

T a y l o r - e x p a n s i o n s a r e p o s s i b l e , w h i l e h i g h e r - o r d e r T a y l o r - e x p a n s i o n s a r e n o t v e r y u s e f u l

i n p r a c t i c e b e c a u s e t h e n u m b e r o f p a r a m e t e r s i n t h e m o d e l i n c r e a s e s d r a s t i c a l l y w i t h t h e

e x p a n s i o n o r d e r , a n d b e c a u s e o f t h e p o o r e x t r a p o l a t i o n a n d i n t e r p o l a t i o n c a p a b i l i t i e s o f

h i g h e r - o r d e r p o l y n o m i a l s . S p l i n e s o e r s a s o l u t i o n t o t h i s p r o b l e m , b u t t h e a p p r o x i m a -

t i o n i n h i g h e r d i m e n s i o n a l s p a c e s m a y b e d i c u l t d u e t o t h e s m o o t h n e s s c o n s t r a i n t s o n

t h e b o u n d a r i e s . C h e n , B i l l i n g s & G r a n t ( 1 9 9 0 a ) h a v e p r o p o s e d t o u s e a s i g m o i d a l n e u -

r a l n e t w o r k e x p a n s i o n , B i l l i n g s & V o o n ( 1 9 8 7 ) u s e s a p i e c e w i s e l i n e a r m o d e l , a n d C h e n ,

B i l l i n g s , C o w a n & G r a n t ( 1 9 9 0 b ) h a v e a p p l i e d a r a d i a l b a s i s f u n c t i o n e x p a n s i o n a s a m e a n s

o f r e p r e s e n t i n g f . A g e n e r i c m o d e l r e p r e s e n t a t i o n b a s e d o n l o c a l m o d e l s w a s i n t r o d u c e d

i n ( J o h a n s e n & F o s s 1 9 9 2 b , J o h a n s e n & F o s s 1 9 9 2 a ) , i n s p i r e d b y w o r k b y S t o k b r o , H e r t z

& U m b e r g e r ( 1 9 9 0 ) a n d J o n e s e t a l . ( 1 9 9 1 ) . W e w i l l i n t h e f o l l o w i n g s t u d y t h i s m o d e l

r e p r e s e n t a t i o n i n d e t a i l .

A p p r o x i m a t i o n u s i n g l o c a l m o d e l s a n d i n t e r p o l a t i o n

G i v e n a s e t o f f u n c t i o n s f ~

i

: ! 0 1 g

N ; 1

i = 0

, t h e f o l l o w i n g e q u a t i o n i s t r i v i a l l y t r u e

f ( ) =

P

N ; 1

i = 0

f ( ) ~

i

( )

P

N ; 1

i = 0

~

i

( )

( 3 )

a s s u m i n g t h a t a t a n y p o i n t 2 , n o t a l l ~

i

v a n i s h . W e w i l l a s s u m e t h e f u n c t i o n ~

i

i s

c h o s e n s u c h t h a t i t i s l o c a l i z e d i n a s u b s e t

i

. T h i s m e a n s t h a t ~

i

( ) i s s i g n i c a n t l y

l a r g e r t h a n z e r o f o r 2

i

, a n d ~

i

( ) i s v e r y c l o s e t o z e r o f o r 2 =

i

. S i n c e ~

i

i s c l o s e

t o z e r o f o r 2 =

i

, w e c a n s u b s t i t u t e f o n t h e r i g h t - h a n d s i d e i n ( 3 ) w i t h a

^

f

i

t h a t i s a

g o o d a p p r o x i m a t i o n o n l y i n

i

^

f ( ) =

P

N ; 1

i = 0

^

f

i

( ) ~

i

( )

P

N ; 1

i = 0

~

i

( )

( 4 )

I n t r o d u c i n g t h e n o r m a l i z e d f u n c t i o n s ~w

i

: ! 0 1 ] d e n e d b y

~w

i

( ) =

~

i

( )

P

N ; 1

j = 0

~

j

( )

( 5 )

3

7/18/2019 NARMAX


g i v e s t h e a p p r o x i m a t i o n

^

f ( ) =

N ; 1

X

i = 0

^

f

i

( ) ~w

i

( ) ( 6 )

I n t h i s e q u a t i o n , w e c a n i n t e r p r e t ~w

i

a s a f u n c t i o n t h a t g i v e s a v a l u e c l o s e t o 1 i n p a r t s

o f w h e r e t h e f u n c t i o n

^

f

i

i s a g o o d a p p r o x i m a t i o n t o f , a n d c l o s e t o z e r o e l s e w h e r e . B y

d e n i t i o n o f ~w

i

w e k n o w t h a t

P

N ; 1

i = 0

~w

i

( ) = 1 f o r a l l 2 , a n d w e c a l l t h e f u n c t i o n s ~w

i

i n t e r p o l a t i o n f u n c t i o n s b e c a u s e t h e y a r e u s e d t o i n t e r p o l a t e l o c a l m o d e l s

^

f

i

. W e c a l l

^

f

i

a

l o c a l m o d e l s i n c e i t i s a s s u m e d t o b e a n a c c u r a t e d e s c r i p t i o n o f t h e t r u e f l o c a l l y ( w h e r e

~

i

i s n o t c l o s e t o z e r o ) .

T h e s e t o f a l l f u n c t i o n s o f t h e f o r m ( 6 ) w i t h l o c a l m o d e l s o f p o l y n o m i a l o r d e r p a n d s m o o t h

i n t e r p o l a t i o n f u n c t i o n s i s d e n o t e d

~

F

p

=

(

^

f : ! Y

^

f ( ) =

N ; 1

X

i = 0

^

f

i

( ) ~w

i

( )

)

A t t h e e x t r e m e , 0 t h o r d e r T a y l o r - e x p a n s i o n s o f f a b o u t

i

2

i

m a y b e u s e d t o d e n e

^

f

i

:

^

f

i

( ) = f (

i

) =

i

( 7 )

w h e r e

i

i s a p a r a m e t e r v e c t o r . S u c h a s i m p l e l o c a l m o d e l i s c l o s e l y r e l a t e d t o a n i n t e r p o -

l a t i n g m e m o r y ( T o l l e e t a l . 1 9 9 2 ) a n d r e q u i r e s a l a r g e n u m b e r o f i n t e r p o l a t i o n f u n c t i o n s ,

s i n c e t h i s m e a n s t h a t t h e v a l u e f (

i

) i s e x t r a p o l a t e d l o c a l l y . T h i s c a s e i s i n f a c t i d e n t i -

c a l t o n e u r a l n e t w o r k s w i t h l o c a l i z e d r e c e p t i v e e l d s , ( M o o d y & D a r k e n 1 9 8 9 , S t o k b r o e t

a l . 1 9 9 0 ) . C o n s i d e r i n g f ~w

i

g

N ; 1

i = 0

a s a s e t o f b a s i s - f u n c t i o n s , t h e m e t h o d i s a l s o s i m i l a r t o

r a d i a l b a s i s - f u n c t i o n e x p a n s i o n s ( B r o o m h e a d & L o w e 1 9 8 8 ) , f o r t h e f o l l o w i n g r e a s o n : I f

t h e f u n c t i o n s ~

i

a r e c h o s e n a s l o c a l r a d i a l f u n c t i o n s , t h e n o r m a l i z e d f u n c t i o n ~w

i

d e n e d b y

( 5 ) w i l l n o t b e r a d i a l i n g e n e r a l , b u t i t w i l l q u a l i t a t i v e l y h a v e m u c h t h e s a m e s h a p e a n d

f e a t u r e s a s ~

i

, e x c e p t n e a r t h e b o u n d a r y o f .

A 1 s t o r d e r T a y l o r - e x p a n s i o n o f f a b o u t

i

p r o v i d e s b e t t e r e x t r a p o l a t i o n a n d i n t e r p o l a t i o n

t h a n t h e 0 t h o r d e r e x p a n s i o n ( 7 ) . A s s u m i n g t h e 1 s t d e r i v a t i v e o f f e x i s t s , t h e l o c a l m o d e l s

a r e g i v e n b y

^

f

i

( ) = f (

i

) + r f (

i

) ( ;

i

) =

i

+

i

( ;

i

) ( 8 )

w h e r e

i

i s a p a r a m e t e r v e c t o r a n d

i

i s a p a r a m e t e r m a t r i x . O b s e r v e t h a t ( 8 ) i s a c t u a l l y

a n A R M A X m o d e l r e s u l t i n g f r o m a l i n e a r i z a t i o n a b o u t

i

. B o t h t h e W e i g h t e d L i n e a r

M a p s o f S t o k b r o e t a l . ( 1 9 9 0 ) , S t o k b r o ( 1 9 9 1 ) a n d S t o k b r o & U m b e r g e r ( 1 9 9 0 ) a n d t h e

C o n n e c t i o n i s t N o r m a l i z e d L i n e a r S p l i n e N e t w o r k s o f J o n e s e t a l . ( 1 9 9 1 ) a n d J o n e s , L e e ,

B a r n e s , F l a k e , L e e , L e w i s & Q i a n ( 1 9 8 9 ) u s e s a 1 s t o r d e r e x p a n s i o n l o c a l l y . T h i s r e p r e -

s e n t a t i o n m a k e s i t p o s s i b l e t o b u i l d a N A R M A X m o d e l b y i n t e r p o l a t i n g b e t w e e n a s e t o f

A R M A X m o d e l s .

H i g h e r o r d e r l o c a l m o d e l s c a n o f c o u r s e a l s o b e u s e d . F u r t h e r m o r e , t h e r e i s n o r e q u i r e m e n t

t h a t a l l t h e l o c a l m o d e l s s h o u l d h a v e t h e s a m e s t r u c t u r e . S o m e o f t h e l o c a l m o d e l s m a y

b e b a s e d o n r s t p r i n c i p l e s m o d e l l i n g , w h i l e o t h e r s m a y b e g e n e r i c b l a c k - b o x m o d e l s .

J o h a n s e n & F o s s ( 1 9 9 2 c ) u s e s t h i s a p p r o a c h t o i n t e g r a t e r s t p r i n c i p l e s m o d e l s w i t h n e u r a l

n e t w o r k t y p e m o d e l s .

A p p r o x i m a t i o n P r o p e r t i e s

I t s e e m s r e a s o n a b l e t h a t t h e a p p r o x i m a t i o n c a n b e m a d e a r b i t r a r y g o o d b y c h o o s i n g a

s u c i e n t n u m b e r o f l o c a l m o d e l s . T h i s i s i n d e e d t h e c a s e , a s i l l u s t r a t e d i n t h e f o l l o w i n g .

4

7/18/2019 NARMAX


W e u s e t h e f o l l o w i n g n o r m t o m e a s u r e t h e a p p r o x i m a t i o n a c c u r a c y

f ;

^

f

1

= s u p

2

f ( ) ;

^

f ( )

2

w h e r e j j j j

2

d e n o t e s E u c l i d i a n n o r m .

T h e ( p + 1 ) t h d e r i v a t i v e o f t h e v e c t o r f u n c t i o n f a t t h e p o i n t i s d e n o t e d b y r

p + 1

f ( )

A s s u m e f i s c o n t i n u o u s l y d i e r e n t i a b l e p + 1 t i m e s , a n d f

^

f

i

g

N ; 1

i = 0

a r e l o c a l m o d e l s e q u a l

t o t h e r s t p t e r m s o f t h e T a y l o r - s e r i e s e x p a n s i o n o f f a b o u t

i

. F o r a n y 2 , w e h a v e

f ( ) ;

^

f ( ) =

N ; 1

X

i = 0

( f ( ) ;

^

f

i

( ) ) ~w

i

( )

I f w e a s s u m e r

p + 1

f ( ) < M f o r a l l 2 , w h e r e j j j j d e n o t e s t h e i n d u c e d o p e r a t o r

n o r m , w e o b t a i n b y T a y l o r s t h e o r e m

f ( ) ;

^

f ( )

2

<

N ; 1

X

i = 0

M

( p + 1 ) !

;

i

p + 1

2

~w

i

( )

I n o r d e r t o e n s u r e t h a t t h i s n o r m i s s m a l l e r t h a n a n a r b i t r a r y > 0 , w e m u s t e n s u r e t h a t

f o r a n y 2 t h e f o l l o w i n g c o n d i t i o n h o l d s

N ; 1

X

i = 0

;

i

p + 1

2

~

i

( ) <

( p + 1 ) !

M

N ; 1

X

i = 0

~

i

( ) ( 9 )

D e n i n g t h e s e t o f f u n c t i o n s f g

i

: ! R g

N ; 1

i = 0

b y

g

i

( ) = ;

i

p + 1

2

;

( p + 1 ) !

M

a n d r e w r i t i n g ( 9 ) g i v e s t h e f o l l o w i n g c o n d i t i o n t h a t m u s t h o l d f o r a n y 2

N ; 1

X

i = 0

g

i

( ) ~

i

( ) < 0 ( 1 0 )

o r e q u i v a l e n t l y i f w e d i v i d e ( 1 0 ) b y

P

N ; 1

i = 0

~

i

( )

N ; 1

X

i = 0

g

i

( ) ~w

i

( ) < 0 ( 1 1 )

T h e p r o b l e m i s n o w t o n d t h e c o n d i t i o n s o n N a n d t h e f u n c t i o n s f ~

i

g

N ; 1

i = 0

t o e n s u r e t h a t

e q u a t i o n ( 1 0 ) h o l d s f o r a n y g i v e n > 0 . A g e o m e t r i c i n t e r p r e t a t i o n o f ( 1 0 ) i s g i v e n i n F i g u r e

1 . C e r t a i n l y , t h i s e q u a t i o n h o l d s i f t h e n e g a t i v e c o n t r i b u t i o n o f o n e t e r m g

i

( ) ~

i

( ) i n ( 1 0 )

d o m i n a t e s t h e ( p o s s i b l y p o s i t i v e ) c o n t r i b u t i o n o f a l l o t h e r t e r m s . A n e c e s s a r y c o n d i t i o n

i s g

i

( ) ~

i

( ) ! 0 a s

2

! 1 . T h i s w i l l c e r t a i n l y b e e n s u r e d i f w e c h o o s e ~

i

a s a n

e x p o n e n t i a l o r G a u s s i a n f u n c t i o n .

N o t i c e t h a t t h e s h a p e o f t h e g

i

- f u n c t i o n s a r e x e d a n d g i v e n b y t h e s p e c i c a t i o n s . W e a r e ,

h o w e v e r , f r e e t o c h o o s e t h e l o c a t i o n a n d n u m b e r N o f l o c a l m o d e l s . L e t u s c h o o s e t h e s e t

f

i

g

N ; 1

i = 0

s o l a r g e a n d \ s u c i e n t l y d e n s e i n " t h a t a t l e a s t o n e o f t h e f u n c t i o n s f g

i

g

N ; 1

i = 0

w i l l b e n e g a t i v e a t a n y 2 . T h e n t h e f u n c t i o n s f g

i

g

N ; 1

i = 0

a r e x e d , a n d w e m u s t c h o o s e

t h e ~

i

- f u n c t i o n s s u c h t h a t ( 1 0 ) h o l d .

5

7/18/2019 NARMAX


T h i s c a n b e d o n e i n s e v e r a l w a y s . I n t h e l i m i t w h e n t h e w i d t h o f t h e ~

i

- f u n c t i o n s g o t o

z e r o t h e i n t e r p o l a t i o n f u n c t i o n s ~w

i

w i l l a p p r o a c h s t e p - f u n c t i o n s a s s h o w n i n F i g u r e 2 . T h e

m o d e l w i l l t h e n a p p r o a c h a p i e c e w i s e c o n s t a n t m o d e l i f p = 0 , a p i e c e w i s e l i n e a r m o d e l i f

p = 1 , e t c . I n t h i s l i m i t , a t a n y 2 t h e r e w i l l e x i s t a j s u c h t h a t

~w

i

( ) =

(

1 I f i = j

0 I f i 6= j

B y t h e c h o i c e o f f

i

g

N ; 1

i = 0

w e k n o w t h a t g

j

( ) < 0 , a n d s i n c e ~w

i

( ) = 0 f o r i 6= j , ( 1 1 ) w i l l

h o l d . W e c a n n o w p r o v i d e a r e s u l t f o r t h e c a s e w h e n i s a b o u n d e d s e t :

T h e o r e m 1 S u p p o s e g i v e n a n y i n t e g e r p 0 , a n d s u p p o s e f h a s c o n t i n u o u s ( p + 1 ) - t h

d e r i v a t i v e . I f i s b o u n d e d , t h e n f o r a n y > 0 t h e r e i s a

^

f 2

~

F

p

( w i t h n i t e N , w h i c h

m a y d e p e n d o n ) s u c h t h a t

f ;

^

f

1

< ( 1 2 )

P r o o f : S i n c e r

p + 1

f ( ) i s c o n t i n u o u s , i t i s b o u n d e d ( b y M < 1 ) o n . S i n c e i s

b o u n d e d , a n i t e N i s s u c i e n t t o e n s u r e t h a t o n e g

i

- f u n c t i o n i s n e g a t i v e a t a n y p o i n t .

S i n c e N i s n i t e , w e d o n o t h a v e t o g o t o t h e l i m i t a n d m a k e f ~w

i

g

N ; 1

i = 0

s t e p - f u n c t i o n s , b u t

c a n s t o p w h e n w e a r e s u c i e n t l y c l o s e . T h e n f ~

i

g

N ; 1

i = 0

c a n b e c h o s e n a s s m o o t h f u n c t i o n s

s u c h t h a t ( 1 1 ) h o l d s . S i n c e 2 w a s a r b i t r a r y , t h e t h e o r e m i s p r o v e d .

2

T h i s i s a n e x i s t e n c e t h e o r e m . H o w e v e r , t h e p r o o f i s c o n s t r u c t i v e a n d g i v e s i n d i c a t i o n s o n

h o w t o c o n s t r u c t t h e a p p r o x i m a t o r . I n o r d e r t o u s e t h i s p r o o f t o f o r m u l a t e a n u p p e r b o u n d

o n t h e a p p r o x i m a t i o n e r r o r , w e i n t r o d u c e t h e f o l l o w i n g d e n i t i o n o f d i s t a n c e b e t w e e n s e t s ,

s i m i l a r t o t h e H a u s s d o r f m e t r i c :

D e n i t i o n 1 A s s u m e A a n d B a r e t w o n o n e m p t y s u b s e t s o f a v e c t o r s p a c e . T h e n t h e

d i s t a n c e b e t w e e n t h e s e t s i s d e n e d a s

D ( A B ) = i n f

a 2 A

s u p

b 2 B

a ; b

2

2

T h e c r u x i n t h e p r o o f o f T h e o r e m 1 i s t h a t a t a n y p o i n t 2 o n e o f t h e g

i

- f u n c t i o n s i s

n e g a t i v e a n d t h a t t h e ~

i

- f u n c t i o n s a r e c h o s e n s u c h t h a t a t a n y p o i n t 2 , a n e g a t i v e

t e r m g

i

( ) ~

i

( ) w i l l d o m i n a t e t h e s u m ( 1 0 ) . A t l e a s t o n e g

i

- f u n c t i o n w i l l b e n e g a t i v e a t

a n y 2 i f t h e f o l l o w i n g c o n d i t i o n h o l d s

D ( f

i

g )

( p + 1 ) !

M

1

p + 1

( 1 3 )

I f t h e s e t f

i

g i s d e n s e i n , t h i s d i s t a n c e w i l l b e z e r o . T h e t e r m \ s u c i e n t l y d e n s e " u s e d

i n f o r m a l l y a b o v e m e a n s t h a t t h e s e t f

i

g

N ; 1

i = 0

s h o u l d b e c h o s e n s u c h t h a t ( 1 3 ) h o l d s f o r

t h e g i v e n

T h e o r e m 2 S u p p o s e g i v e n a n i n t e g e r p 0 I f i s b o u n d e d a n d f h a s b o u n d e d ( p + 1 ) - t h

d e r i v a t i v e , i . e . r

p + 1

f ( ) M f o r a l l 2 , t h e n f o r a n y

^

f 2

~

F

p

w i t h n i t e N a n d

s u c i e n t l y n a r r o w f u n c t i o n s f

~

i

g

N ; 1

i = 0

, a n u p p e r b o u n d o n t h e a p p r o x i m a t i o n e r r o r i s g i v e n

b y

f ;

^

f

1

M

( p + 1 ) !

( D ( f

i

g ) )

p + 1

( 1 4 )

6

7/18/2019 NARMAX


P r o o f : ( 1 3 ) w i l l h o l d f o r e q u a l t o t h e r i g h t - h a n d s i d e o f 1 4 ) . F r o m t h e p r e v i o u s d i s c u s -

s i o n , i t i s e v i d e n t t h a t ( 1 1 ) h o l d s f o r a n y 2 . H e n c e , f ;

^

f

1

w i l l b e b o u n d e d b y ,

a n d t h e r e s u l t f o l l o w s .

2

T h i s i s u n d e r t h e c o n d i t i o n t h a t t h e ~

i

- f u n c t i o n s a r e c h o s e n n a r r o w . T h i s b o u n d i s c o n s e r -

v a t i v e , m e a n i n g t h a t f o r ~

i

- f u n c t i o n s t h a t a r e n o t t o o n a r r o w a n d n o t t o o w i d e , o n e m a y

e x p e c t b e t t e r a c c u r a c y . H o w e v e r , i f t h e f u n c t i o n s f ~

i

g

N ; 1

i = 0

a r e n o t n a r r o w , t h e r e s u l t d o e s

n o t h o l d .

F r o m ( 1 4 ) w e s e e t h a t i f t h e p o l y n o m i a l o r d e r p o f t h e l o c a l m o d e l s i s i n c r e a s e d , t h e n t h e

a c c u r a c y w i l l i m p r o v e . I f i s n o t b o u n d e d a n d M > 0 , N m u s t b e i n n i t e i n o r d e r t o

g u a r a n t e e a b o u n d e d e r r o r .

I f f d o e s n o t s a t i s f y t h e s m o o t h n e s s c o n d i t i o n s i n T h e o r e m 1 , t h e p r o o f o b v i o u s l y d o e s

n o t h o l d . I f , h o w e v e r , f i s s u c h t h a t i t c a n b e a p p r o x i m a t e d a r b i t r a r y w e l l b y a s u -

c i e n t l y s m o o t h f u n c t i o n , t h e n w e c a n s h o w t h a t f c a n b e a p p r o x i m a t e d a r b i t r a r y w e l l b y

i n t e r p o l a t i n g l o c a l m o d e l s . I n p a t r i c u l a r w e h a v e :

C o r o l l a r y 1 T h e r e s u l t s o f T h e o r e m 1 a l s o h o l d s i f t h e s m o o t h n e s s a s s u m p t i o n o n f i s

r e l a x e d t o a s s u m i n g o n l y c o n t i n u i t y . I n o t h e r w o r d s , t h e s e t

~

F

p

i s d e n s e i n t h e s e t o f

c o n t i n u o u s f u n c t i o n s f r o m i n t o Y

P r o o f : B y t h e W e i e r s t r a s s a p p r o x i m a t i o n t h e o r e m , e . g . ( S t r o m b e r g 1 9 8 1 ) , f o r a n y >

0 t h e r e e x i s t s a p o l y n o m i a l

~

f s u c h t h a t f ;

~

f

1

= 2 . B y t h e o r e m 1 ,

~

f c a n b e

a p p r o x i m a t e d b y a

^

f 2

~

F

p

o n t h e b o u n d e d s e t s u c h t h a t

~

f ;

^

f

1

< = 2 . U s i n g t h e

t r i a n g l e i n e q u a l i t y w e g e t f ;

^

f

1

<

2

E x a m p l e 1

A s s u m e p = 1 , i . e . t h e l o c a l m o d e l s a r e A R M A X m o d e l s . T h e n ( 1 4 ) c a n b e w r i t t e n

f ;

^

f

1

M

2

( D ( f

i

g ) )

2

= ( 1 5 )

I f f a n d a r e s c a l a r s , M i s a b o u n d o n t h e s e c o n d d e r i v a t i v e o f f , i n o t h e r w o r d s a

b o u n d o n t h e c u r v a t u r e . I f t h e s y s t e m i s l i n e a r , t h e n M = 0 a n d o n e l o c a l l i n e a r m o d e l i s

s u c i e n t t o m a k e a n a r b i t r a r y g o o d g l o b a l m o d e l ( o f c o u r s e ) . M i n d i c a t e s t h e n o n l i n e a r i t y

o f t h e f u n c t i o n , a n d w e e x p e c t t o i n c r e a s e w i t h i n c r e a s i n g M , i . e . i n c r e a s i n g n o n l i n e a r i t y ,

w h i c h i s i n d e e d t h e c a s e a s i n d i c a t e d b y ( 1 5 ) . H o w e v e r , u s i n g t h e u p p e r b o u n d M g i v e s

a c o n s e r v a t i v e r e s u l t s i n c e t h e s y s t e m m a y b e h a v e m o r e l i n e a r l y i n s o m e r e g i o n s t h a n

o t h e r s . H e n c e , w e n e e d n o t h a v e h i g h d e n s i t y o f l o c a l m o d e l s w h e r e t h e s y s t e m d o e s n o t

h a v e s t r o n g n o n l i n e a r b e h a v i o r .

2

E x a m p l e 2

W i t h a s i m p l e e x a m p l e w e i l l u s t r a t e t h e u s e o f T h e o r e m 2 . C o n s i d e r t h e f u n c t i o n f :

0 2 ! R g i v e n b y f ( ) =

2

+ 1 . A s s u m e t h a t w e h a v e t w o l o c a l l i n e a r m o d e l s l o c a t e d

7

7/18/2019 NARMAX


a t

0

= 0 5 a n d

1

= 1 5 . T h e n D ( f 0 5 1 5 g 0 2 ] ) = 0 5 , p = 1 a n d M = 2 . T h e o r e m

2 p r e d i c t s t h e b o u n d = 0 2 5 o n t h e a p p r o x i m a t i o n a c c u r a c y . A s s h o w n b y F i g u r e

3 , t h i s b o u n d i s e x a c t w h e n u s i n g i n n i t l y n a r r o w f u n c t i o n s ~

i

, i . e . a p i e c e w i s e l i n e a r

a p p r o x i m a t i o n . T h e r e a s o n f o r t h i s i s t h a t M = f

0 0

( ) = 2 f o r a l l , h e n c e t h e r e i s n o

r e g i o n s w h e r e f i s \ l e s s n o n l i n e a r " . A s w e s h a l l s e e l a t e r , b e t t e r a p p r o x i m a t i o n s c a n b e

a c h i e v e d u s i n g w e l l - c h o s e n ~

i

- f u n c t i o n s . F r o m t h i s g u r e w e a l s o s e e t h a t t h e l o c a l l i n e a r

m o d e l s a r e n o t c h o s e n a s a r s t o r d e r T a y l o r - e x p a n s i o n , b u t c h o s e n o n t h e b a s i s o f e . g . a

l e a s t s q u a r e s r e g r e s s i o n , i m p r o v e m e n t m i g h t a l s o b e a c h i e v e d .

2

S i n c e t h e s y s t e m f u n c t i o n f c a n b e a p p r o x i m a t e d a r b i t r a r y w e l l , w e a r e a b l e t o m a k e

a r b i t r a r y g o o d p r e d i c t i o n o n a n i t e h o r i z o n i f t h e r e i s n o n o i s e , p r o v i d e d t h e i n t i a l v a l u e s

a r e c o r r e c t a n d t h e i n p u t s a n d o u t p u t s a r e s u c h t h a t t h e y g i v e v e c t o r s t h a t r e m a i n i n

( P o l y c a r p o u , I o a n n o u & A h m e d - Z a i d 1 9 9 2 ) . H o w e v e r , i t i s w e l l k n o w n t h a t t h e s o l u t i o n

t o s o m e d i e r e n c e e q u a t i o n s a r e s e n s i t i v e w i t h r e s p e c t t o i n t i a l v a l u e s o r m o d e l l i n g e r r o r s .

E x a m p l e s o f s u c h s y s t e m s a r e c h a o t i c o r u n s t a b l e s y s t e m s .

O p e r a t i n g r e g i m e s

I n t h e r e s t o f t h i s p a p e r w e w i l l u s u a l l y a s s u m e p = 1 , i . e . w e u s e l i n e a r A R M A X m o d e l s

l o c a l l y t o b u i l d a n o n - l i n e a r N A R M A X m o d e l . I n t h e r e p r e s e n t a t i o n ( 6 ) t h e i n t e r p o l a t i o n

f u n c t i o n s f ~w

i

g

N ; 1

i = 0

a r e d e n e d o n t h e s e t . T h i s i s a s u b s e t o f t h e i n f o r m a t i o n - s p a c e .

I f t h e i n f o r m a t i o n - s p a c e h a s h i g h d i m e n s i o n ( a s i t o f t e h a s ) , t h e c u r s e o f d i m e n s i o n a l l i t y

p r o b l e m a r i s e s . T h i s p r o b l e m w a s r s t d e s c r i b e d b y B e l l m a n ( 1 9 6 1 ) i s e s s e n t i a l l y t h a t

t h e n u m b e r o f l o c a l m o d e l s n e e d e d t o u n i f o r m l y c o v e r a r e g i o n o f t h i s s p a c e i n c r e a s e s

e x p o n e n t i a l l y w i t h t h e d i m e n s i o n o f t h e s p a c e . I n p r a c t i s e , u n i f o r m c o v e r a g e i t u s u a l l y n o t

n e c e s s a r y , b u t t h e p r o b l e m i s s t i l l s e v e r e . I n s o m e c a s e s t h e i n t e r p o l a t i o n f u n c t i o n s m a y

b e d e n e d o n a s p a c e o f s m a l l e r d i m e n s i o n . T h i s i s o u r m o t i v a t i o n f o r i n t r o d u c i n g t h e

t e r m s o p e r a t i n g r e g i m e a n d o p e r a t i n g p o i n t . F i r s t , w e d e n e t o b e t h e s e t o f o p e r a t i n g

p o i n t s . M o t i v a t e d b y t h e f a c t t h a t w e w a n t t o m o d e l a n o n l i n e a r s y s t e m w i t h a s e t o f

l i n e a r m o d e l s , i t i s c o n v e n i e n t t o d e n e a n o p e r a t i n g r e g i m e a s a s u b s e t o f w h e r e t h e

s y s t e m b e h a v e s a p p r o x i m a t e l y l i n e a r l y .

D e n i t i o n 2 A n o p e r a t i n g r e g i m e i s a s e t o f o p e r a t i n g p o i n t s

i

w h e r e t h e s y s t e m

b e h a v e s a p p r o x i m a t e l y l i n e a r l y .

A m o d e l v a l i d i t y f u n c t i o n

i

: ! 0 1 ] i s s m o o t h a n d s a t i s e s

i

( ) 1 f o r 2

i

, a n d

g o e s t o z e r o o u t s i d e

i

. T h e i n t e r p o l a t i o n f u n c t i o n s w

i

: ! 0 1 ] a r e n o w d e n e d a s

w

i

( ) =

i

( )

P

N ; 1

j = 0

j

( )

a s s u m i n g t h a t a t e v e r y o p e r a t i n g p o i n t 2 , n o t a l l m o d e l v a l i d i t y f u n c t i o n s

i

v a n i s h .

I n m a n y c a s e s t h e r e w i l l e x i s t a f u n c t i o n H : ! s u c h t h a t a t a n y t w i l l ( t ) = H ( ( t ) )

T h e f u n c t i o n H w i l l t y p i c a l l y b e a p r o j e c t i o n , i . e . w i l l b e i n a s p a c e o f l o w e r d i m e n s i o n

t h a n . I n c a s e s w h e r e t h e o p e r a t i n g p o i n t i s c a l c u l a t e d o n t h e b a s i s o f l t e r e d o r e s t i m a t e d

q u a n t i t i e s , t h e r e l a t i o n s h i p b e t w e e n ( t ) a n d ( t ) i s m o r e c o m p l e x , a n d m u s t b e d e s c r i b e d

b y a n o p e r a t o r H . T h i s m a y b e t h e c a s e w h e n i s e s t i m a t e d u s i n g a r e c u r s i v e a l g o r i t h m o r

a r e c u r s i v e l t e r t o d e p r e s s n o i s e . A l t h o u g h v e r y i m p o r t a n t , t h i s c o m p l i c a t e s t h e a n a l y s i s

8

7/18/2019 NARMAX


c o n s i d e r a b l y , a n d w e w i l l n o t c o n s i d e r t h i s c a s e h e r e , b u t l e a v e i t a s a t o p i c f o r f u t u r e

r e s e a r c h .

T o s u m m a r i z e , t h e r e p r e s e n t a t i o n w e a d d r e s s a t t h i s s t a g e i s

^y ( t ) =

^

f ( ( t ; 1 ) ) =

N ; 1

X

i = 0

^

f

i

( ( t ; 1 ) ) w

i

( ( t ; 1 ) ) ( 1 6 )

w h e r e t h e l o c a l m o d e l s

^

f

i

( ( t ; 1 ) ) =

i

+

i

( ( t ; 1 ) ;

i

) ( 1 7 )

a r e A R M A X m o d e l s . W e d e n e t h e s e t

F

p

=

(

^

f : ! Y

^

f ( ) =

N ; 1

X

i = 0

^

f

i

( ) w

i

( )

)

w h e r e p i s t h e p o l y n o m i a l o r d e r o f

^

f

i

, t h e i n t e r p o l a t i o n f u n c t i o n s f w

i

g

N ; 1

i = 0

a r e s m o o t h , a n d

= H ( ) . N o w w e w a n t t o s t a t e s o m e g e n e r a l r e s u l t s r e g a r d i n g t h e t r a n s f o r m H f r o m t h e

i n f o r m a t i o n v e c t o r t o t h e o p e r a t i n g p o i n t v e c t o r . I n g e n e r a l , f c a n b e w r i t t e n a s a n a n e

f u n c t i o n o f s o m e o f i t s a r g u m e n t . W e r e a r r a n g e t h e e l e m e n t s o f i n t o

T

=

T

L

T

N

] s u c h

t h a t

f ( ) = f (

L

N

) = f

1

(

N

) + f

2

(

N

)

L

( 1 8 )

A s s u m e

L

a n d

N

a r e t h e s u b s e t s o f t h e i n f o r m a t i o n - s p a c e c o r r e s p o n d i n g t o

L

a n d

N

r e s p e c t i v e l y . f

1

:

N

! R

m

a n d f

2

:

N

! R

m m

a r e n o n - l i n e a r v e c t o r - a n d m a t r i x -

v a l u e d f u n c t i o n s , r e s p e c t i v e l y . O u r p r i n c i p a l r e s u l t g u i d i n g t h e c h o i c e o f i s t h e f o l l o w i n g ,

w h i c h i n d i c a t e s t h a t m u s t b e c h o s e n s u c h t h a t i t c a p t u r e s t h e s y s t e m s n o n - l i n e a r i t i e s :

T h e o r e m 3 A s s u m e f g i v e n i n ( 1 8 ) i s c o n t i n u o u s , a n d i s b o u n d e d . T h e n f o r a n y > 0

t h e r e i s a

^

f 2 F

1

w i t h =

N

, a n d n i t e N s u c h t h a t f ;

^

f

1

<

P r o o f : F i x a n a r b i t r a r y 2 s u c h t h a t

T

=

T

L

T

N

f ( ) ;

^

f ( )

2

= f (

N

L

) ;

N ; 1

X

i = 0

^

f

i

(

N

L

) w

i

(

N

)

2

=

N ; 1

X

i = 0

( f

1

(

N

) + f

2

(

N

)

L

;

^

f

i

(

N

L

) ) w

i

(

N

)

2

=

N ; 1

X

i = 0

( f

1

(

N

) ;

^

f

N i

(

N

) + f

2

(

N

)

L

;

^

f

L i

(

L

) ) w

i

(

N

)

2

I n t h e l a s t l i n e w e s p l i t t h e l i n e a r f u n c t i o n

^

f

i

: ! R

m

i n t o t w o l i n e a r f u n c t i o n s

^

f

N i

:

N

! R

m

a n d

^

f

L i

:

L

! R

m

. N o w w e c h o o s e

^

f

L i

(

L

) =

i

L

w h e r e

i

i s a n o t y e t

s p e c i e d c o n s t a n t p a r a m e t e r m a t r i x . T h e n w e h a v e

f ( ) ;

^

f ( )

2

N ; 1

X

i = 0

( f

1

(

N

) ;

^

f

N i

(

N

) + ( f (

N

) ;

i

)

L

) w

i

(

N

)

2

N ; 1

X

i = 0

( f

1

(

N

) ;

^

f

N i

(

N

) ) w

i

(

N

)

2

+

N ; 1

X

i = 0

( f

2

(

N

) ;

i

)

L

w

i

(

N

)

2

f

1

(

N

) ;

N ; 1

X

i = 0

^

f

N i

(

N

) w

i

(

N

)

2

+

L 2

f

2

(

N

) ;

N ; 1

X

i = 0

i

w

i

(

N

)

2

9

7/18/2019 NARMAX


T h e r s t t e r m i n t h i s e q u a t i o n c a n b e m a d e a r b i t r a r y s m a l l b y C o r o l l a r y 1 w i t h p = 1

s i n c e

^

f

N i

i s l i n e a r . S i n c e i s b o u n d e d , t h e s e c o n d t e r m c a n b e m a d e a r b i t r a r y s m a l l b y

t h e s a m e c o r o l l a r y w i t h p = 0 t h r o u g h t h e c h o i c e o f

i

. H e n c e , f o r a n y > 0 w e c a n m a k e

f ( ) ;

^

f ( )

2

< a n d s i n c e i s a r b i t r a r y w e g e t f ;

^

f

1

<

2

U s i n g t h e s a m e n o t a t i o n a s b e f o r e , t h e a t t a i n a b l e a p p r o x i m a t i o n e r r o r i s b o u n d e d b y

f ;

^

f

1

M

2

( D ( f

i

g ) )

2

+ 2

L

D ( f

i

g )

= ( 1 9 )

w h e r e

L

= s u p

L

2

L

L 2

T h e m o t i v a t i o n f o r i n t r o d u c i n g t h e o p e r a t i n g p o i n t i s t h a t i n m a n y c a s e s t h i s v e c t o r

m a y b e o f a s i g n i c a n t l y l o w e r d i m e n s i o n t h a n . W i t h a x e d N t h e r s t t e r m i n ( 1 9 )

w i l l b e s i g n i c a n t l y s m a l l e r t h a n t h e c o r r e s p o n d i n g t e r m

M

2

( D ( f

i

g ) )

2

H o w e v e r , t h e s e c o n d t e r m i n ( 1 9 ) w i l l m a k e t h e e r r o r i n c r e a s e , b u t i n m o s t c a s e s w h e n

i s o f s m a l l e r d i m e n s i o n t h a n , t h e a p p r o x i m a t i o n ( 1 6 ) - ( 1 7 ) w i l l g i v e b e t t e r a c c u r a c y t h a n

( 6 ) , ( 8 ) . A n o t h e r i m p o r t a n t f a c t i s t h a t a l o w d i m e n s i o n o f m a k e s i t e a s i e r t o p a r t i t i o n

t h e s e t i n t o o p e r a t i n g r e g i m e s .

E x a m p l e 3

F o r e x a m p l e , i f f i s l i n e a r i n t h e c o n t r o l v a r i a b l e s u ( t ; 1 ) , t h e n n e e d n o t c o n t a i n a n y

u ( t ; 1 ) - t e r m s . I f w e h a v e t h e s y s t e m

y ( t ) = f ( y ( t ; 1 ) u ( t ; 1 ) ) = f

1

( y ( t ; 1 ) ) + f

2

( y ( t ; 1 ) ) u ( t ; 1 )

w e c a n c h o o s e ( t ; 1 ) = y ( t ; 1 ) w i t h o u t l o o s i n g a c c u r a c y i n t h e a p p r o x i m a t i o n .

2

W e n o w g e n e r a l i z e t h i s r e s u l t f o r l o c a l e x p a n s i o n s o f ( p o l y n o m i a l ) o r d e r p . W e s p l i t i n t o

t w o p a r t s a n d r e a r r a n g e

T

=

T

L

T

H

] s u c h t h a t

f ( ) = f (

L

H

) = f

H 1

(

H

) + f

H 2

(

H

) f

L

(

L

) ( 2 0 )

w h e r e f

L

:

L

! R

m

i s o f p o l y n o m i a l o r d e r l e s s t h a n o r e q u a l t o p , f

H 1

:

H

! R

m

, a n d

f

H 2

:

H

! R

m m

m a y b e o f h i g h e r o r d e r .

T h e o r e m 4 S u p p o s e f g i v e n i n ( 2 0 ) i s c o n t i n u o u s a n d i s a b o u n d e d s e t . T h e n f o r a n y

> 0 t h e r e i s a

^

f 2 F

p

w i t h =

H

, a n d n i t e N s u c h t h a t f ;

^

f

1

<

P r o o f : T h e p r o o f f o l l o w s t h e s a m e i d e a a s t h e p r o o f o f T h e o r e m 3 , b u t r e q u i r e s s o m e

t e d i o u s n o t a t i o n , a n d i s t h e r e f o r e o m m i t t e d .

2

1 0

7/18/2019 NARMAX


S o m e C o m p a r i s i o n s

U s i n g l o c a l l i n e a r m o d e l s w e c a n w r i t e t h e m o d e l r e p r e s e n t a t i o n ( 1 6 ) - ( 1 7 ) a s

^y ( t ) =

N ; 1

X

i = 0

(

i

+

i

( ( t ; 1 ) ;

i

) ) w

i

( ( t ; 1 ) )

=

N ; 1

X

i = 0

(

i

;

i

i

) w

i

( ( t ; 1 ) )

!

+

N ; 1

X

i = 0

i

w

i

( ( t ; 1 ) )

!

( t ; 1 )

= ( ( t ; 1 ) ) + ( ( t ; 1 ) ) ( t ; 1 )

T h i s m e a n s t h a t t h e n o n - l i n e a r m o d e l c a n b e w r i t t e n a s a n a p p a r e n t l y l i n e a r m o d e l , w h e r e

t h e p a r a m e t e r s a r e d e p e n d e n t o n t h e o p e r a t i n g p o i n t . P r i e s t l e y ( 1 9 8 1 ) i n t r o d u c e d S t a t e -

d e p e n d e n t m o d e l s w h i c h c a n b e w r i t t e n

^y ( t ) = ( x ( t ; 1 ) ) + ( x ( t ; 1 ) ) ( t ; 1 ) ( 2 1 )

w h e r e x i s t h e \ s t a t e - v e c t o r " , i s a s t a t e - d e p e n d e n t v e c t o r , a n d i s a s t a t e - d e p e n d e n t

m a t r i x . I n g e n e r a l x = w a s s u g g e s t e d , b u t i t w a s a l s o o b s e r v e d t h a t t h i s m i g h t b e

r e d u n d a n t , s o a s i m p l e r v e c t o r m a y b e u s e d t o d e s c r i b e t h e p a r a m e t e r d e p e n d e n c e . T h e

p r e s e n t a p p r o a c h w i t h x = h a s o b v i o u s s i m i l a r i t i e s . B i l l i n g s & V o o n ( 1 9 8 7 ) d i s c u s s e s

t h e u s e o f m o d e l s w i t h s i g n a l - d e p e n d e n t p a r a m e t e r s , w h i c h a r e s i m i l a r t o ( 2 1 ) t h i s x = ! ,

w h e r e ! ( t ) i s t h e a u x i l l i a r y s i g n a l . I n ( B i l l i n g s & V o o n 1 9 8 7 ) p o l y n o m i a l s w a s u s e d t o

d e n e t h e d e p e n d e n c e o f t h e p a r a m e t e r s o n t h e a u x i l l i a r y s i g n a l , i . e . ( ! ( t ) ) a n d ( ! ( t ) )

a r e p o l y n o m i a l s i n ! ( t ) . A s i m i l a r a p p r o a c h w a s p r o p o s e d b y C y r o t - N o r m a n d & M i e n

( 1 9 8 0 ) . O u r a p p r o a c h i s a l s o s i m i l a r , b u t s y s t e m k n o w l e d g e i s a p p l i e d t o c h o o s e t h e

i

-

f u n c t i o n s , w h i c h a g a i n d e n e s ( ( t ) ) a n d ( ( t ) ) . T h e T h r e s h o l d A R M o d e l b y T o n g &

L i m ( 1 9 8 0 ) c a n a l s o b e w r i t t e n i n t h e f o r m ( 2 1 ) w i t h x ( t ; 1 ) = y ( t ; 1 )

( y ( t ; 1 ) ) =

(

1

I f y ( t ; 1 ) 2 Y

1

2

I f y ( t ; 1 ) 2 Y

2

( y ( t ; 1 ) ) =

(

1

I f y ( t ; 1 ) 2 Y

1

2

I f y ( t ; 1 ) 2 Y

2

w h e r e Y = Y

1

Y

2

. H e r e t h e p a r a m e t e r s a r e s w i t c h e d b e t w e e n t w o p o s s i b l e p a r a m e t e r s e t s ,

a n d t h e d e c i s i o n i s b a s e d o n t h e v a l u e o f y ( t ; 1 ) . T h e r e s u l t i n g m o d e l i s a p i e c e w i s e l i n e a r

m o d e l a n d r e l a t e d t o o u r a p p r o a c h i f ( t ; 1 ) = y ( t ; 1 ) a n d t h e i n t e r p o l a t i o n f u n c t i o n s

a r e s t e p - f u n c t i o n s .

T h e n o t i o n o f o p e r a t i n g p o i n t s a n d m o d e l v a l i d i t y f u n c t i o n s o e r s a c o m p l e m e n t a r y m e t h o d

f o r p a r a m e t e r i z i n g t h e s t a t e - d e p e n d e n c e o f t h e p a r a m e t e r s g i v e n i n ( P r i e s t l e y 1 9 8 8 ) .

T a k a g i & S u g e n o ( 1 9 8 5 ) s u g g e s t e d a f u z z y l o g i c b a s e d t e c h n i q u e f o r c o m b i n i n g i n a s m o o t h

f a s h i o n a s e t o f l i n e a r m o d e l s i n t o a g l o b a l m o d e l . I t t u r n s o u t t h a t i f t h e o p e r a t i n g r e g i m e s

i

a r e v i e w e d a s f u z z y s e t s w i t h m e m b e r s h i p f u n c t i o n s e q u a l t o t h e m o d e l v a l i d i t y f u n c t i o n s ,

t h e n i n f e r e n c e o n a r u l e b a s e o f t h e f o r m

I F ( t ; 1 ) 2

i

T H E N ^y ( t ) =

^

f

i

( ( t ; 1 ) )

g i v e s a r e s u l t i n g g l o b a l m o d e l o f t h e s a m e f o r m a s t h e o n e a n a l y s e d i n t h e p r e s e n t p a p e r ,

p r o v i d e d t h e f u z z y o p e r a t i o n s a r e p r o p e r l y d e n e d . T h i s s u g g e s t s t h e u s e o f f u z z y s e t s

a n d r u l e s a s a m e a n s o f d e n i n g t h e o p e r a t i n g r e g i m e s a n d l o c a l m o d e l v a l i d i t y f u n c t i o n s .

1 1

7/18/2019 NARMAX


T h i s i s a p p e a l i n g s i n c e t h i s g i v e s a d i r e c t m e t h o d o f r e p r e s e n t i n g t h e e m p i r i c a l k n o w l e d g e

t h e e n g i n e e r s a n d o p e r a t o r s h a v e a b o u t t h e s y s t e m a n d l o c a l m o d e l s .

A r e l a t e d n o n - l i n e a r m o d e l l i n g a p p r o a c h i s r a d i a l b a s i s - f u n c t i o n s ( R B F ) , ( P o w e l l 1 9 8 7 ) ,

( B r o o m h e a d & L o w e 1 9 8 8 ) . U s i n g R B F ' s , a n o n - l i n e a r f u n c t i o n m a y b e m o d e l l e d a s

^

f ( ) =

N ; 1

X

i = 0

i

r

i

( ;

i

)

w h e r e r

i

: R

+

! R i s t y p i c a l l y c h o s e n a s a G a u s s i a n f u n c t i o n . T h e r e l a t i o n s h i p b e t w e e n

s o m e o f t h e s e a p p r o a c h e s i s b e s t i l l u s t r a t e d b y a n e x a m p l e .

E x a m p l e 4

W e c o n s i d e r a g a i n t h e f u n c t i o n i n E x a m p l e 2 , a n d t h e f o l l o w i n g 4 m o d e l l i n g a p p r o a c h e s :

1 . T w o p i e c e w i s e l i n e a r m o d e l s , a s E x a m p l e 2 , c e n t e r e d a t

0

= 0 5 a n d

1

= 1 5 . T h i s

m a y a l s o b e i n t e r p r e t e d a s a T h r e s h o l d e d A R m o d e l .

2 . W e c h o o s e G a u s s i a n m o d e l v a l i d i t y f u n c t i o n s

i

( ) = e x p

;

1

2

;

i

i

2

!

( 2 2 )

w i t h

0

= 0 5

1

= 1 5

i

= 0 5

2

, a n d u s e 2 l o c a l l i n e a r m o d e l s .

3 . 5 l o c a l 0 t h o r d e r m o d e l s c e n t e r e d a t

0

= 0

1

= 0 5

2

= 1

3

= 1 5

4

= 2 , a n d

G a u s s i a n m o d e l v a l i d i t y f u n c t i o n s w i t h

i

= 0 5

2

,

4 . A r a d i a l b a s i s - f u n c t i o n e x p a n s i o n w i t h 5 G a u s s i a n b a s i s - f u n c t i o n s c e n t e r e d a t

0

=

0

1

= 0 5

2

= 1

3

= 1 5

4

= 2 , a n d

i

= 0 5

2

L i n e a r r e g r e s s i o n i s u s e d t o e s t i m a t e t h e m o d e l p a r a m e t e r s , a n d t h e r e s u l t s a r e s h o w n i n

F i g u r e 4 . B y c o m p a r i n g F i g u r e 4 a w i t h 4 b , i t i s o b v i o u s t h a t i n t e r p o l a t i n g l o c a l l i n e a r

m o d e l s u s i n g w e l l c h o s e n m o d e l v a l i d i t y f u n c t i o n s c a n i m p r o v e t h e a c c u r a c y c o m p a r e d t o

p i e c e w i c e l i n e a r m o d e l s .

N o t i c e t h a t f n o w i s d e n e d o n ; 1 3 ] , w h i l e d a t a o n 0 2 ] i s u s e d f o r p a r a m e t e r e s t i m a -

t i o n . T h e e x t r a p o l a t i o n c a p a b i l i t i e s c a n t h u s b e e v a l u a t e d , a n d w e s e e t h a t t h e l o c a l l i n e a r

a p p r o x i m a t i o n s g i v e 1 s t o r d e r e x t r a p o l a t i o n , a s w o u l d b e e x p e c t e d , w h i l e t h e l o c a l 0 t h

o r d e r m o d e l s g i v e 0 t h o r d e r e x t r a p o l a t i o n . T h e R B F a p p r o a c h d o e s n o t g i v e n a n y e x t r a p -

o l a t i o n a t a l l , s i n c e a l l b a s i s - f u n c t i o n s g o t o 0 . A f e e d - f o r w a r d n e u r a l n e t w i t h o n e h i d d e n

l a y e r ( o f s i g m o i d a l b a s i s - f u n c t i o n s ) w o u l d g i v e a n e x t r a p o l a t i o n q u a l i t a t i v e l y s i m i l a r t o t h e

0 t h o r d e r m o d e l s i n g u r e 4 c . A s w e s e e , t h e r e a r e f u n d a m e n t a l d i e r e n c e s c o n c e r n i n g t h e

e x t r a p o l a t i o n c a p a b i l i t i e s .

2

3 M o d e l l i n g

T h e r e p r e s e n t a t i o n ( 1 6 - 1 7 ) i s a p p e a l i n g s i n c e A R M A X m o d e l s a r e s i m p l e . W e r e p r e s e n t

a c o m p l e x n o n l i n e a r s y s t e m w i t h a n u m b e r o f s i m p l e l i n e a r s y s t e m s . A p i e c e w i s e l i n e a r

1 2

7/18/2019 NARMAX


m o d e l w i l l h a v e t h e s a m e f e a t u r e s , b u t u n l e s s w e e n f o r c e t h e m o d e l t o b e c o n t i n u o u s o n

t h e b o u n d a r y b e t w e e n t h e l o c a l m o d e l s , t h e r e s u l t i n g g l o b a l m o d e l m a y b e d i s c o n t i n u o u s ,

w h i c h m a y b e u n d e s i r a b l e i n s o m e c a s e s . E n f o r c i n g c o n t i n u i t y p o s e s r e s t r i c t i o n s o n t h e

p a r a m e t e r s p a c e , g i v i n g l o s t r e p r e s e n t a t i o n a l p o w e r o f t h e m o d e l c l a s s . T h e s a m e p r o b l e m

a r i s e s t o a n e v e n l a r g e r e x t e n t u s i n g e . g . c u b i c s p l i n e s . U n l i k e t h e p i e c e w i s e l i n e a r m o d e l ,

t h e m o d e l ( 1 6 ) w i l l b e s m o o t h w h e n t h e m o d e l v a l i d i t y f u n c t i o n s a r e c h o s e n a s s m o o t h

f u n c t i o n s . I n p r a c t i c e , t h e r e a r e a t l e a s t 4 w a y s a N A R M A X m o d e l c a n b e c o n s t u c e d u s i n g

l o c a l A R M A X m o d e l s a n d i n t e r p o l a t i o n :

1 . F i r s t w e c h o o s e a s e t o f o p e r a t i n g r e g i m e s

i

t h a t c o r r e s p o n d t o t h e n o r m a l e q u i -

l i b r i u m p o i n t s a n d m a j o r t r a n s i e n t o p e r a t i n g r e g i m e s o f t h e s y s t e m i n q u e s t i o n .

T h i s m e a n s t h a t w e p a r t i t i o n t h e s e t o f o p e r a t i n g p o i n t s i n t o p a r t s w h e r e b e b e l i e v e

t h a t t h e s y s t e m w i l l b e h a v e l i n e a r l y . T h e n w e p e r f o r m e x p e r i m e n t s o n t h e s y s t e m

a n d i d e n t i f y a l o c a l A R M A X m o d e l

^

f

i

f o r e a c h o p e r a t i n g r e g i m e , u s i n g c o s t i n d i c e s

c o r r e s p o n d i n g t o e a c h l o c a l m o d e l

J

i

=

1

m

i

m

X

t = 1

y ( t ) ;

^

f

i

( ( t ; 1 ) )

T

i

y ( t ) ;

^

f

i

( ( t ; 1 ) )

( 2 3 )

w h e r e m

i

i s t h e n u m b e r o f d a t a - p o i n t s f o r r e g i m e

i

, a n d

i

i s a s c a l i n g m a t r i x .

T h e n t h e l o c a l m o d e l s a r e i n t e g r a t e d u s i n g s y s t e m k n o w l e d g e t o c h o o s e s e n s i b l e

m o d e l v a l i d i t y f u n c t i o n s f

i

g

N ; 1

i = 0

s u c h t h a t t h e s e t i s c o v e r e d , a s s h o w n i n g u r e 5 .

T h e c h o i c e o f t h e s e f u n c t i o n s w i l l s t r o n g l y i n u e n c e t h e a c c u r a c y o f t h e g l o b a l m o d e l ,

s i n c e t h e l o c a l A R M A X m o d e l s a r e i d e n t i e d b e f o r e t h e f u n c t i o n s

i

a r e c h o s e n .

2 . I n s t e a d o f c h o o s i n g t h e m o d e l v a l i d i t y f u n c t i o n s f

i

g

N ; 1

i = 0

e m p i r i c a l l y , w e m a y t r y

t o n d o p t i m a l v a l i d i t y f u n c t i o n s a f t e r w e h a v e f o u n d t h e l o c a l A R M A X m o d e l s .

C h o o s i n g x e d s t r u c t u r e s f o r t h e f u n c t i o n s f

i

g

N ; 1

i = 0

i s n e c e s s a r y t o m a k e t h e p r o b l e m

n i t e - d i m e n s i o n a l . K e e p i n g t h e p a r a m e t e r s o f t h e i d e n t i e d A R M A X m o d e l s x e d ,

w e m a y s e a r c h f o r o p t i m a l p a r a m e t e r s o f f

i

g

N ; 1

i = 0

u s i n g t h e s a m e d a t a u s e d f o r

i d e n t i f y i n g t h e A R M A X m o d e l s , a n d a g l o b a l p e r f o r m a n c e i n d e x . T h i s p r o c e d u r e

l e a d s t o a t w o - s t e p o p t i m i z a t i o n p r o c e d u r e .

3 . A m o r e d i r e c t a p p r o a c h i s t o r s t c h o o s e t h e m o d e l v a l i d i t y f u n c t i o n s c o r r e s p o n d i n g

t o t h e o p e r a t i n g r e g i m e s

i

u s i n g s y s t e m k n o w l e d g e . K e e p i n g t h e m o d e l v a l i d i t y

f u n c t i o n s x e d , w e m i n i m i z e t h e g l o b a l i n d e x

J =

1

m

m

X

t = 1

y ( t ) ;

^

f ( ( t ; 1 ) )

T

y ( t ) ;

^

f ( ( t ; 1 ) )

( 2 4 )

w i t h r e s p e c t t o a l l p a r a m e t e r s i n t h e l o c a l m o d e l s . H e r e m i s t h e n u m b e r o f d a t a -

p o i n t s a v a i l a b l e , a n d i s a s u i t a b l e s c a l i n g m a t r i x . N o w t h e s h a p e o f t h e m o d e l

v a l i d i t y f u n c t i o n s w i l l b e t a k e n i n t o c o n s i d e r a t i o n w h e n n d i n g t h e o p t i m a l p a r a m -

e t e r s f o r t h e l o c a l m o d e l s . T h i s h a s t w o s i d e e e c t s : F i r s t , t h e a c c u r a c y o f t h e

g l o b a l m o d e l i s l e s s s e n s i t i v e t o t h e c h o i s e o f f

i

g

N ; 1

i = 0

. S e c o n d , t h e l o c a l m o d e l s ( 1 7 )

a r e i n u e n c e d b y t h e u s e r - s p e c i e d f u n c t i o n s f

i

g

N ; 1

i = 0

. H e n c e , t h e y a r e n o l o n g e r

l i n e a r i z a t i o n s o f f a b o u t f

i

g

N ; 1

i = 0

4 . A n o b v i o u s i m p r o v e m e n t t o m e t h o d s 2 a n d 3 w o u l d b e t o s e a r c h f o r A R M A X a n d

l o c a l m o d e l v a l i d i t y f u n c t i o n p a r a m e t e r s s i m u l t a n e o u s l y . T h i s l e a d s t o a c o m p l e x

n o n - l i n e a r p r o g r a m m i n g p r o b l e m .

1 3

7/18/2019 NARMAX


R e q u i r e d A P r i o r i S y s t e m K n o w l e d g e

W h e n b u i l d i n g m o d e l s , d i e r e n t k i n d s o f s y s t e m k n o w l e d g e m u s t b e a v a i l a b l e . F o r A R -

M A X m o d e l s , o n e m u s t r s t e s t i m a t e t h e d o m i n a n t t i m e - c o n s t a n t s o f t h e s y s t e m t o c h o o s e

t h e s a m p l i n g i n t e r v a l . S e c o n d , t h e A R M A X m o d e l o r d e r m u s t b e c h o s e n a n d t h e s t r u c t u r e

o f t h e s y s t e m d i s t u r b a n c e s m u s t b e k n o w n i n o r d e r t o s e l e c t t h e M A - p a r t o f t h e m o d e l .

W h e n b u i l d i n g N A R M A X m o d e l s , i n a d d i t i o n i t i s n e c e s s a r y t o n d a s u i t a b l e s t r u c t u r e

f o r t h e s y s t e m f u n c t i o n f . F i r s t p r i n c i p l e s k n o w l e d g e c a n b e a p p l i e d h e r e , i f a v a i l a b l e .

W e h a v e p r o p o s e d a g e n e r i c s t r u c t u r e t h a t d o n o t r e q u i r e r s t p r i n c i p l e s m o d e l l i n g . I t i s ,

h o w e v e r , n o t a c o m p l e t e l y b l a c k - b o x a p p r o a c h , a s s o m e l i m i t e d s y s t e m k n o w l e d g e m u s t b e

i n c l u d e d . I n o r d e r t o u s e t h e l o c a l m o d e l l i n g a p p r o a c h i n t r o d u c e d h e r e , a p r i o r i k n o w l e d g e

i n t e r m s o f o p e r a t i n g r e g i m e s m u s t b e a v a i l a b l e . O n e m u s t b e a b l e t o e s t i m a t e o p e r a t i n g

r e g i o n s i n w h i c h t h e s y s t e m w i l l b e h a v e a p p r o x i m a t e l y l i n e a r l y .

I n g e n e r a l , t h e t e c h n i q u e w i t h l o c a l m o d e l s a n d i n t e r p o l a t i o n m a y b e u s e d i n a n e l e g a n t

f a s h i o n t o i n t e g r a t e r s t p r i n c i p l e s m o d e l s w i t h b l a c k - b o x m o d e l s , s i n c e i t i s c o m p l e t e l y

f e a s i b l e t h a t s o m e o f t h e l o c a l m o d e l s m a y b e d e r i v e d b a s e d o n r s t p r i n c i p l e s , w h i l e

o t h e r s m a y b e b l a c k b o x m o d e l s ( J o h a n s e n & F o s s 1 9 9 2 c ) . I n o p e r a t i n g r e g i m e s w h e r e

t h e d o m i n a t i n g p h y s i c a l p h e o m e n a a r e w e l l u n d e r s t o o d a n d p o s s i b l e t o m o d e l , a n d i n

o p e r a t i n g r e g i m e s w h e r e t h e d a t a i s s o s p a r e s t h a t b l a c k - b o x m o d e l l i n g i s n o t p o s s i b l e , i t

m a k e s s e n s e t o u s e l o c a l r s t p r i n c i p l e s m o d e l s . I n t h e r e m a i n i n g r e g i m e s , b l a c k - b o x m o d e l s

c a n b e c o n s t r u c t e d , a n d t h e p r o p o s e d t e c h n i q u e w i t h o p e r a t i n g r e g i m e d e c o m p o s i t i o n c a n

b e a p p l i e d t o i n t e g r a t e t h e d i e r e n t m o d e l s . O f c o u r s e , i n r e g i m e s w h e r e w e h a v e l i m i t e d

d a t a a n d l i m i t e d k n o w l e d g e , m o d e l l i n g i s i m p o s s i b l e , a n d t h e b e s t w e c a n h o p e f o r i s s o m e

r e a s o n a b l e e x t r a p o l a t i o n o f t h e n e i g h b o r i n g l o c a l m o d e l s i n t o t h o s e r e g i m e s .

D e n i n g t h e o p e r a t i n g p o i n t i n a s u i t a b l e m a n n e r i s i m p o r t a n t . I f t h e l o c a l m o d e l s a r e

l i n e a r , w e h a v e s h o w n i n T h e o r e m 3 t h a t t h e o p e r a t i n g p o i n t m u s t c a p t u r e t h e s y s t e m s

n o n - l i n e a r i t i e s . G i v e n a s e t o f d a t a f r o m t h e s y s t e m , d i e r e n t t e s t s f o r l i n e a r r e a t i o n s h i p s

b e t w e e n s o m e i n p u t s a n d t h e o u t p u t s i s o f g r e a t i n t e r e s t ( H a b e r 1 9 8 5 ) . I n t h e c a s e w i t h

s i g n a l - d e p e n d e n t p i e c e w i s e l i n e a r m o d e l s , i t i s o b s e r v e d b y B i l l i n g s & V o o n ( 1 9 8 7 ) t h a t

t h e m o d e l m a y b e i n p u t - s e n s i t i v e . T h i s m u s t c e r t a i n l y b e e x p e c t e d i f t h e d a t a u s e d f o r

i d e n t i c a t i o n d o e s n o t c o v e r t h e f u l l r a n g e o f o p e r a t i o n . I n p u t s e n s i t i v i t y a n d b i a s e d

m o d e l s m a y a l s o b e t h e r e s u l t i f t h e o p e r a t i n g p o i n t v e c t o r i s n o t s u i t a b l y c h o s e n , i . e . o n l y

s o m e o f t h e n o n - l i n e a r i t i e s a r e c a p t u r e d b y t h e o p e r a t i n g p o i n t .

4 I d e n t i c a t i o n

F i r s t w e c o n s i d e r i d e n t i c a t i o n o f l o c a l m o d e l p a r a m e t e r s b a s e d o n t h e l o c a l c o s t i n d i c e s

( 2 3 ) , a n d s e c o n d w e c o n s i d e r t h e g l o b a l c o s t i n d e x ( 2 4 ) . F i n a l l y , w e c o n s i d e r i d e n t i c a t i o n

o f l o c a l m o d e l v a l i d i t y f u n c t i o n p a r a m e t e r s a n d m o d e l s t r u c t u r e i d e n t i c a t i o n .

I d e n t i f y i n g l o c a l m o d e l p a r a m e t e r s u s i n g l o c a l c o s t i n d i c e s

T h e p r e d i c t i o n e r r o r a t t i m e t f o r t h e l o c a l m o d e l

^

f

i

i s d e n e d t o b e

i

( t ) = y ( t ) ;

^

f

i

( ( t ; 1 ) )

1 4

7/18/2019 NARMAX


T h e c o s t i n d e x J

i

a s s o c i a t e d w i t h t h e l o c a l m o d e l c a n b e w r i t t e n a s

J

i

=

1

m

i

m

X

t = 1

T

i

( t )

i

i

( t ) ( 2 5 )

C o n s i d e r t h e l o c a l A R M A X m o d e l ( 1 7 ) . T h e l o c a l m o d e l s a r e p a r a m e t e r i z e d b y a v e c t o r

i

a n d a m a t r i x

i

. S i n c e a l l l o c a l m o d e l s ( 1 7 ) a r e l i n e a r f u n c t i o n s o f t h e p a r a m e t e r s , t h e

r e p r e s e n t a t i o n i s b a s i c a l l y l i n e a r i n t h e p a r a m e t e r s , a n d s t a n d a r d i d e n t i c a t i o n m e t h o d s

c a n b e a p p l i e d , e . g . ( S o d e r s t r o m & S t o i c a 1 9 8 8 ) .

A s s u m e r s t t h e n o i s e e ( t ) i s s e q u e n t i a l l y u n c o r r e l a t e d . S i n c e t h e i n f o r m a t i o n v e c t o r

( t ; 1 ) d o n o t c o n t a i n n o i s e t e r m s e ( t ; 1 ) : : : e ( t ; n

e

) , t h e m o d e l c a n b e w r i t t e n o n t h e

l i n e a r r e g r e s s i o n f o r m

^

f

i

( ( t ; 1 ) ) = '

T

i

( t ; 1 )

i

( 2 6 )

w h e r e

i

i s a p a r a m e t e r v e c t o r a n d '

i

( t ; 1 ) i s a r e g r e s s i o n m a t r i x .

T h e p a r a m e t e r s c a n b e e s t i m a t e d u s i n g t h e l e a s t s q u a r e s ( L S ) m e t h o d . T h e r e g r e s s i o n

m a t r i x , '

i

( t ; 1 ) , i s a m a t r i x o f c o m p u t a b l e o r m e a s u r a b l e q u a n t i t i e s n o t d e p e n d i n g o n

t h e p a r a m e t e r v e c t o r a n d n o t c o r r e l a t e d w i t h e ( t ) . T h e l e a s t s q u a r e s e s t i m a t e m i n i m i z i n g

( 2 5 ) c a n b e w r i t t e n a s

^

i

=

1

m

i

m

X

t = 1

'

i

( t )

i

'

i

( t )

T

!

; 1

1

m

i

m

X

t = 1

i

'

i

( t ) y ( t )

!

( 2 7 )

I n t h e g e n e r a l c a s e w h e n d e l a y e d n o i s e , e ( t ; 1 ) e ( t ; 2 ) : : : e ( t ; n

e

) , i s i n c l u d e d i n ( t ) ,

w e u s e t h e p r e d i c t i o n e r r o r ( P E ) m e t h o d . S i n c e t h e n o i s e i s a s s u m e d n o t t o b e m e a s u r a b l e

w e d o n o t k n o w t h e v a l u e s o f e ( t ; 1 ) : : : e ( t ; n

e

) . I f t h e m o d e l m a t c h e s t h e t r u e s y s t e m ,

t h e n

i

( t ) = e ( t ) . N o w

i

( t ; 1 ) d e p e n d s o n t h e p a r a m e t e r s

i

s i n c e i t i s t h e p r e d i c t i o n

e r r o r . S i n c e '

i

( t ) d e p e n d s o n

i

( t ; 1 ) a n d h e n c e

i

, w e m a y c o n c l u d e t h a t t h e p r e d i c t o r

( 2 6 ) i s n o l o n g e r l i n e a r i n t h e p a r a m e t e r s . H e n c e i t i s n o t p o s s i b l e t o n d a s i m p l e a n a l y t i c

s o l u t i o n l i k e ( 2 7 ) . T h e c o s t i n d i c e s ( 2 5 ) m u s t b e m i n i m i z e d n u m e r i c a l l y u s i n g e . g . t h e

N e w t o n - R a p h s o n a l g o r i t h m

^

( k + 1 )

i

=

^

( k )

i

;

k

r

2

J

i

^

( k )

i

; 1

r J

i

^

( k )

i

o r t h e G a u s s - N e w t o n a l g o r i t h m , w h i c h i s b a s e d o n s i m p l i e d c a l c u l a t i o n s o f t h e i n v e r s e

H e s s i a n m a t r i x .

B o t h t h e L S - m e t h o d a n d P E - m e t h o d c a n b e f o r m u l a t e d r e c u r s i v e l y . T h e R P E - a l g o r i t h m

i s

^

i

( t ) =

^

i

( t ; 1 ) + K

i

( t )

i

( t ) ( 2 8 )

K

i

( t ) = P

i

( t ) ( t )

i

( 2 9 )

P

i

( t ) = P

i

( t ; 1 ) ; P

i

( t ; 1 ) ( t )

; 1

i

+

T

( t ) P

i

( t ; 1 ) ( t )

; 1

T

( t ) P

i

( t ; 1 ) ( 3 0 )

w i t h ( t ) = ;

@

@

i

( t )

I d e n t i f y i n g l o c a l m o d e l p a r a m e t e r s u s i n g a g l o b a l c o s t i n d e x

W e d e n e t h e g l o b a l p r e d i c t i o n e r r o r t o b e

( t ) = y ( t ) ;

^

f ( ( t ; 1 ) )

1 5

7/18/2019 NARMAX


T h e g l o b a l c o s t i n d e x ( 2 4 ) c a n b e r e w r i t t e n a s

J =

1

m

m

X

t = 1

T

( t ) ( t ) ( 3 1 )

T h e L S - a n d P E - m e t h o d s c a n b e f o r m u l a t e d i n t h e s a m e m a n n e r a s a b o v e . W h e n t h e

i d e n t i c a t i o n i s p e r f o r m e d o n - l i n e , s o m e r a t h e r h e u r i s t i c m o d i c a t i o n m a y b e d e s i r a b l e .

A s p o i n t e d o u t i n ( J o h a n s e n & F o s s 1 9 9 2 b ) , o n l y t h e p a r a m e t e r s o f t h o s e l o c a l m o d e l s t h a t

a r e a s s u m e d t o b e v a l i d i n t h e c u r r e n t o p e r a t i n g r e g i m e s h o u l d b e u p d a t e d . T h i s i s e a s i l y

a c c o m p l i s h e d b y a s s u r i n g t h a t t h e m o d e l v a l i d i t y f u n c t i o n

i

i s e x a c t l y z e r o f o r o p e r a t i n g

p o i n t s w h e r e t h e l o c a l m o d e l i s n o t v a l i d . I n p r a c t i c e , h o w e v e r , w e w o u l d l i k e t h e f u n c t i o n s

i

t o b e s m o o t h , i . e . t h e y s h o u l d g o f a s t t o z e r o i n s t e a d o f b e i n g e x a c t l y z e r o . T h i s m a y

c a u s e p r o b l e m s w h e n t h e s y s t e m i s o p e r a t i n g w i t h i n o n e o p e r a t i n g r e g i m e f o r a l o n g t i m e .

T h e n a l l t h e o t h e r l o c a l m o d e l s w i l l b e u p d a t e d s l i g h t l y e a c h t i m e - s t e p , a n d i n f o r m a t i o n

a b o u t o t h e r o p e r a t i n g r e g i m e s w i l l \ l e a k o u t " , i n p a r t i c u l a r i f f o r g e t t i n g f a c t o r s a r e u s e d .

T h e h e u r i s t i c s w e p r o p o s e t o e l i m i n a t e t h i s p r o b l e m i s t o u p d a t e o n l y t h e p a r a m e t e r s o f

t h o s e l o c a l m o d e l s s a t i s f y i n g w

i

( ( t ) ) > , w h e r e t y p i c a l l y 2 0 1 0 5 ] . I t i s a d a n g e r t h a t

p a r a m e t e r s b e i n g a n a c t i v e p a r t o f t h e g l o b a l m o d e l m a y n e v e r b e u p d a t e d . T h i s r e q u i r e s

t h a t t h e s y s t e m i s e x c i t a t e d s u c h t h a t t h e p a r a m e t e r s o f a l l l o c a l m o d e l s w i l l b e u p d a t e d

f r o m t i m e t o t i m e .

I d e n t i f y i n g m o d e l v a l i d i t y f u n c t i o n p a r a m e t e r s

I n g e n e r a l , t h e l o c a l m o d e l v a l i d i t y f u n c t i o n p a r a m e t e r s w i l l e n t e r t h e e q u a t i o n s f o r t h e

p r e d i c t i o n e r r o r n o n l i n e a r l y . I n p a r t i c u l a r , i f t h e s e p a r a m e t e r s a r e t o b e i d e n t i e d s i m -

u l a t e o u s l y w i t h t h e l o c a l m o d e l p a r a m e t e r s , w e g e t a c o m p l e x n o n - l i n e a r p r o g r a m m i n g

p r o b l e m . W e w i l l n o t d i s c u s s t h i s p r o b l e m h e r e , b u t r e f e r t o t h e v a s t l i t t e r a t u r e o n n o n -

l i n e a r p r o g r a m m i n g , e . g . ( G i l l , M u r r a y & W r i g h t 1 9 8 1 ) . W e w i l l l i k e t o p o i n t o u t t h a t

m o s t o f o u r s i m u l a t i o n s s o f a r i n d i c a t e t h a t a r o u g h e m p i r i c a l c h o i s e o f m o d e l v a l i d i t y

f u n c t i o n s c o m b i n e d w i t h l o c a l m o d e l i d e n t i c a t i o n b a s e d o n a g l o b a l c o s t i n d e x i n m o s t

c a s e s g i v e s b e t t e r r e s u l t s t h a n t h e u s e o f l o c a l i n d i c e s a n d s u b s e q u e n t o p t i m i z a t i o n o f t h e

l o c a l m o d e l v a l i d i t y f u n c t i o n s .

I d e n t i f y i n g m o d e l s t r u c t u r e

W e h a v e s u g g e s t e d h o w k n o w l e d g e a b o u t o p e r a t i n g r e g i m e s m a y b e u s e d t o d e c o m p o s e

t h e m o d e l l i n g p r o b l e m i n t o t h e p r o b l e m o f b u i l d i n g s i m p l e A R M A X m o d e l s c o r r e s p o n d i n g

t o e a c h o p e r a t i n g r e g i m e . T o g e t h e r w i t h m o d e l v a l i d i t y f u n c t i o n s , t h i s g i v e s a m o d e l

s t r u c t u r e w h e r e o n l y t h e p a r a m e t e r s a r e u n k n o w n . I n s o m e c a s e s , s u c h k n o w l e d g e m a y

n o t b e a v a i l a b l e a n d w e n e e d m e t h o d s t o n d a n a d e q u a t e m o d e l s t r u c t u r e , i . e . , t h e n u m b e r

N o f l o c a l m o d e l s , a n d t h e s t r u c t u r e o f e a c h l o c a l m o d e l . F r o m t h e p a r s i m o n y p r i n c i p l e

w e k n o w t h a t t h e b e s t m o d e l i s t h e m o d e l w i t h f e w e s t p a r a m e t e r s a b l e t o d e s c r i b e t h e

s y s t e m a d e q u a t e l y . T h e r e a r e s e v e r a l t h e o r e t i c a l f r a m e w o r k s t h a t d e a l w i t h t h i s p r o b l e m .

1 . T h e p r e d i c t i o n e r r o r u s i n g a g o o d m o d e l s h o u l d b e u n c o r r e l a t e d w i t h p a s t p r e d i c t i o n

e r r o r s a n d i n p u t s ( a n d f u t u r e i n p u t s i f t h e s y s t e m o p e r a t e s i n o p e n l o o p ) . T h e r e a r e

s e v e r a l c o r r e l a t i o n - b a s e d t e s t , s e e e g . ( B i l l i n g s & V o o n 1 9 8 6 ) .

1 6

7/18/2019 NARMAX


2 . I f w e c o n s i d e r t h e e x p e c t e d e r r o r c r i t e r i o n

~

J o n f u t u r e d a t a , w e o b t a i n ( S o d e r s t r o m

& S t o i c a 1 9 8 8 )

~

J = ( 1 + P = m ) J ( 3 2 )

T h i s d e p e n d s o n t h e n u m b e r o f p a r a m e t e r s P a n d t h e n u m b e r s o f d a t a p o i n t s m u s e d

f o r i d e n t i c a t i o n . T h i s i s a l s o r e l a t e d t o t h e A k a i k e I n f o r m a t i o n C r i t e r i o n , ( A k a i k e

1 9 6 9 )

I n g e n e r a l J w i l l d e c r e a s e w h e n m o r e p a r a m e t e r s a r e i n t r o d u c e d i n t h e m o d e l , e . g . w h e n

n e w l o c a l m o d e l s a r e a d d e d . H o w e v e r , P w i l l i n c r e a s e , a n d a t s o m e s t a g e t h e i n c r e m e n t

i n 1 + P = m w i l l b e l a r g e r t h a n t h e d e c r e a s e i n J , i f m i s k e p t x e d . T h e i n d e x

~

J w i l l t h e n

i n c r e a s e , i n d i c a t i n g t h a t t h e q u a l i t y o f t h e m o d e l d e c r e a s e s . I t i s t h e r e f o r e i m p o r t a n t t o

k e e p t h e n u m b e r o f l o c a l m o d e l s a t a m i n i m u m , a n d u s e a s s i m p l e l o c a l m o d e l s a s p o s s i b l e .

B o t h t h e s e m e t h o d s c a n b e i m p l e m e n t e d o - l i n e b y a n e x h a u s t i v e s e a r c h . N o t a l l o f

t h e m a r e s u i t e d f o r o n - l i n e s t r u c t u r e i d e n t i c a t i o n , h o w e v e r . I t r e q u i r e s l a r g e a m o u n t s

o f c o m p u t e r p o w e r t o t e s t m o r e t h a n 2 - 3 m o d e l h y p o t h e s e s s i m u l t a n e o u s l y . G e n e r a l l y a

b a t c h o f d a t a i s r e q u i r e d t o p e r f o r m a n y s t a t i s t i c a l t e s t w i t h s o m e s i g n i c a n c e l e v e l . A l a r g e

p r e d i c t i o n e r r o r a t s o m e t i m e s a m p l e m a y b e d u e t o n o i s e , p a r a m e t e r e r r o r s o r i n a d e q u a t e

m o d e l s t r u c t u r e . C o l l e c t i n g a b a t c h o f d a t a o v e r s o m e t i m e w i l l r e d u c e t h e i m p a c t o f n o i s e .

I f t h e b a t c h i s s o l a r g e t h a t t h e p a r a m e t e r e s t i m a t o r i s e x p e c t e d t o c o n v e r g e d u r i n g t h e

b a t c h , t h e i m p a c t o f p a r a m e t e r e r r o r s m a y a l s o b e i n s i g n i c a n t . H e n c e , i f t h e b a t c h i s l a r g e

a n d t h e p r e d i c t i o n e r r o r i s b i a s e d o r c o r r e l a t e d , w e c a n i n f e r t h a t t h e m o d e l s t r u c t u r e i s

n o t g o o d . I n o u r a p p r o a c h w i t h l o c a l m o d e l s , w e m u s t d e c i d e w h i c h l o c a l m o d e l s a r e t h e

c a u s e f o r t h e m i s m a t c h . T h i s c a n b e f o u n d b y c o l l e c t i n g s t a t i s t i c s l o c a l l y f o r e v e r y l o c a l

m o d e l . T h e p r o b l e m o f o n - l i n e s t r u c t u r e i d e n t i c a t i o n i s d i s c u s s e d i n ( J o h a n s e n & F o s s

1 9 9 2 c )

T i m e - v a r y i n g s y s t e m s

I n c a s e o f t i m e v a r y i n g p a r a m e t e r s t h e R P E - f o r m u l a t i o n ( 2 8 ) - ( 3 0 ) m u s t b e m o d i e d . T h i s

i s u s u a l l y d o n e b y i n t r o d u c i n g a m e t h o d f o r a r t i c i a l l y i n c r e a s i n g t h e c o v a r i a n c e m a t r i x

e s t i m a t e P s o i t w i l l n o t g o t o z e r o . T h e m o s t c o m m o n s c h e m e s a r e l i n e a r i n c r e a s e , w h i c h

c o r r e s p o n d t o t h e K a l m a n l t e r , e x p o n e n t i a l i n c r e a s e , a n d c o v a r i a n c e r e s e t t i n g .

A t o n e t i m e - s t e p w e g e t t h e i n f o r m a t i o n v e c t o r ( t ) . T h e i n f o r m a t i o n v e c t o r i s t r a n s f o r m e d

t o t h e v e c t o r w ( t ) = w

0

( ( t ) ) w

N ; 1

( ( t ) )

T

. T h i s v e c t o r c o r r e s p o n d t o t h e d i r e c t i o n

i n i n t e r p o l a t i o n - s p a c e w h e r e w e g e t i n f o r m a t i o n . T h e i n t e r p o l a t i o n - s p a c e c o n s i s t s o f N

d i m e n s i o n s , o n e f o r e a c h l o c a l m o d e l . I f f o r g e t t i n g i s t o b e a v o i d e d , w e s h o u l d o n l y u p d a t e

m o d e l s a l o n g t h e d i r e c t i o n i n t h e m o d e l s p a c e w h e r e w e g e t n e w i n f o r m a t i o n . T h i s m e a n s

t h a t w e s h o u l d o n l y f o r g e t i f w e k n o w t h a t n e w i n f o r m a t i o n w i l l a r r i v e t o c o m p e n s a t e f o r

t h e f o r g o t t e n i n f o r m a t i o n . A t t h e o p e r a t i n g r e g i m e l e v e l , t h i s i s r a t h e r s i m p l e i n o u r c a s e

s i n c e b y c o n s t r u c t i o n t h e c o m p o n e n t s o f w ( t ) w i l l b e c l o s e t o z e r o w h e n t h e i n f o r m a t i o n

i s n o t r e l e v a n t f o r t h e c o r r e s p o n d i n g l o c a l m o d e l s . H e n c e , b y t h r e s h o l d i n g t h e p a r a m e t e r

u p d a t e , o n l y t h e l o c a l m o d e l s w e g e t n e w i n f o r m a t i o n a b o u t w i l l b e u p d a t e d . T h i s l e a d s

t o a s m a l l s e t o f l o c a l m o d e l s t o b e u p d a t e d a t e a c h t i m e - s t e p . W i t h i n e a c h l o c a l m o d e l ,

t e c h n i q u e s b a s e d o n t h e s a m e t y p e o f r e a s o n i n g c a n b e a p p l i e d t o o n l y u p d a t e i n t h e

d i r e c t i o n s i n p a r a m e t e r s - s p a c e w h e r e w e g e t n e w i n f o r m a t i o n , ( F o r t e s c u e , K e r s h e n b a u m

& Y d s t i e 1 9 8 1 , S l i d , E g e l a n d & F o s s 1 9 8 5 , P a r k u m , P o u l s e n & H o l s t 1 9 9 0 ) .

1 7

7/18/2019 NARMAX


5 S i m u l a t i o n e x a m p l e

W e w i l l u s e t h e p r o p o s e d a p p r o a c h t o i d e n t i f y a m o d e l o f a C o n t i n u o u s S t i r r e d T a n k

R e a c t o r ( C S T R ) w h e r e a r s t o r d e r , e x o t h e r m i c c h e m i c a l r e a c t i o n A ! B t a k e s p l a c e .

T h e s y s t e m i s d e s c r i b e d b y t h e f o l l o w i n g m a s s - a n d e n e r g y - b a l a n c e

V

d

d t

c

A

= c

A i

q

i

; c

A

q

o

; V r

A

( 3 3 )

c

p

V

d

d t

T = c

p

T

i

q

i

; c

p

T q

o

+ Q ; H

r

V r

A

( 3 4 )

r

A

= k

0

c

A

e x p

;

E

A

R

(

1

T

;

1

T

R

)

( 3 5 )

w i t h s y m b o l s a s d e n e d i n T a b l e 1 .

S y m b o l V a l u e U n i t D e s c r i p t i o n

T 3 5 0 - 4 0 0 K R e a c t o r t e m p e r a t u r e

T

i

3 1 0 K I n l e t t e m p e r a t u r e

T

R

3 5 0 K R e f e r e n c e t e m p e r a t u r e

c

A

c a . 1 k m o l = m

3

C o n c e n t r a t i o n o f A i n r e a c t o r

c

A i

1 0 k m o l = m

3

I n l e t c o n c e n t r a t i o n o f A

E

A

7 0 0 0 0 k J = k m o l A c t i v a t i o n e n e r g y

R 8 . 3 1 4 k J = ( K k m o l ) G a s c o n s t a n t

k

0

0 . 0 4 2 1 = m i n F r e q u e n c y f a c t o r

1 0 k g = l A v e . d e n s i t y i n r e a c t o r

c

p

4 0 k J = ( K k g ) A v e . h e a t c a p a c i t y i n r e a c t o r

V 1 0 . 0 m

3

R e a c t o r v o l u m e

H

r

- 9 0 0 0 0 k J = k m o l R e a c t i o n e n e r g y

q

i

c a . 5 0 - 5 0 0 l = m i n I n l e t o w

q

o

c a . 5 0 - 5 0 0 l = m i n O u t l e t o w

Q c a . - 6 - 3 M W E x t e r n a l p o w e r f r o m h e a t e x c h a n g e r

r

A

k m o l = l R e a c t i o n r a t e

T a b l e 1 : S y m b o l s .

I n p u t s t o t h e s y s t e m a r e t h e p o w e r Q a n d t h e i n l e t o w q

i

. O u t p u t s a r e t e m p e r a t u r e T

a n d c o n c e n t r a t i o n c

A

. W e d e n e t h e v e c t o r s y = 5 1 0

; 4

c

A

5 1 0

; 3

T

T

a n d u =

5 0 q

i

1 0

; 7

Q

T

. T h e s y s t e m i s s i m u l a t e d a s a c o n t i n u o u s - t i m e s y s t e m . T w o i n d e p e n d e n t

s e q u e n c e s f ( y ( t ) u ( t ) ) g

1 0 0 0

t = 1

a r e c o l l e c t e d b y s a m p l i n g t h e s y s t e m e v e r y 2 m i n u t e s , s e e g u r e

6 . O n e s e t i s u s e d f o r p a r a m e t e r i d e n t i c a t i o n o n l y , a n d t h e o t h e r i s u s e d f o r m o d e l

v a l i d a t i o n o n l y .

T h e r e a c t o r i s o p e n - l o o p u n s t a b l e . T h e r e a r e t h e r e f o r e t w o s t a b i l i z i n g s i n g l e - l o o p P I -

c o n t r o l l e r s . T h e r e f e r e n c e s i g n a l t o t h e c o n t r o l l e r s a r e L P - l t e r e d w h i t e n o i s e s i g n a l s ,

e n s u r i n g t h e i n p u t i s r i c h .

I n o u r e x a m p l e w e c h o o s e t h e i n f o r m a t i o n v e c t o r

T

( t ; 1 ) = y

T

( t ; 1 ) u

T

( t ; 1 ) ] . W e

h a v e p e r f o r m e d 4 s i m u l a t i o n s , a n d a l e a s t s q u a r e s a l g o r i t h m i s u s e d i n a l l c a s e s :

1 8

7/18/2019 NARMAX


S i m u l a t i o n 1

F i r s t , a n A R M A X m o d e l

^y ( t ) = '

T

( t ; 1 ) ( 3 6 )

=

0

B

B

B

B

B

B

B

B

B

B

B

B

B

B

B

B

@

1 0

0 1

y

1

( t ; 1 ) ; y

?

1

0

y

2

( t ; 1 ) ; y

?

2

0

0 y

1

( t ; 1 ) ; y

?

1

0 y

2

( t ; 1 ) ; y

?

2

u

1

( t ; 1 ) ; u

?

1

0

u

2

( t ; 1 ) ; u

?

2

0

0 u

1

( t ; 1 ) ; u

?

1

0 u

2

( t ; 1 ) ; u

?

2

1

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

A

T

0

B

B

B

B

B

B

B

B

B

B

B

B

B

B

B

B

@

1

2

3

4

5

6

7

8

9

1 0

1

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

A

i s t t e d u s i n g l i n e a r r e g r e s s i o n o n t h e d a t a . T h e p o i n t s y

?

1

y

?

2

T

a n d u

?

1

u

?

2

T

a r e t h e p o i n t s

t h e A R M A X m o d e l i s l i n e a r i z e d a b o u t , a n d a r e c h o s e n a s m e a n v a l u e s o f t h e r e s p e c t i v e

s i g n a l s .


S e c o n d , a N A R M A X m o d e l w i t h t w o l o c a l A R M A X m o d e l s ( 3 6 ) i s t t e d . I f c

A i

a n d T

i

a r e c o n s t a n t , t h e m o d e l ( 3 3 ) - ( 3 5 ) c a n b e w r i t t e n

d

d t

y ( t ) = f ( y ( t ) u ( t ) ) = f

1

( y ( t ) ) + f

2

( y ( t ) ) u ( t ) ( 3 7 )

D i s c r e t i z i n g b y t h e E u l e r m e t h o d g i v e s

y ( t ) = y ( t ; 1 ) + t ( f

1

( y ( t ; 1 ) ) + f

2

( y ( t ; 1 ) ) u ( t ; 1 ) ) ( 3 8 )

C o m p a r i n g t h i s w i t h ( 1 8 ) , T h e o r e m 3 i n d i c a t e s t h a t t h e o p e r a t i n g p o i n t = y c a p t u r e s

t h e n o n l i n e a r i t i e s . I n o r d e r t o k e e p t h e e x a m p l e s i m p l e , w e o b s e r v e t h a t t h e s y s t e m e x h i b i t

s t r o n g e s t n o n - l i n e a r b e h a v i o r w i t h r e s p e c t t o t e m p e r a t u r e . A s a r s t a p p r o x i m a t i o n , i t i s

t h e r e f o r e r e a s o n a b l e t o c h o o s e ( t ) = y

2

( t ) = 5 1 0

; 4

T ( t ) . T h e 2 l o c a l m o d e l v a l i d i t y

f u n c t i o n s a r e c h o s e n a s G a u s s i a n s ( 2 2 ) w i t h

0

= 1 8 a n d

1

= 1 9 ( c o r r e s p o n d i n g t o 3 6 0 K

a n d 3 8 0 K ) . T h e s e v a l u e s a r e f o u n d b y e x a m i n i n g t h e o p e r a t i n g r a n g e t h e d a t a s p a n . T h e

s i z e o f t h e o p e r a t i n g r e g i m e s a r e e s t i m a t e d t o b e

i

= 0 0 5 ( c o r r e s p o n d i n g t o 1 0 K ) . T h e

i d e n t i c a t i o n o f t h e t w o A R M A X m o d e l s i s p e r f o r m e d s e p a r a t e l y u s i n g l o c a l c o s t i n d i c e s

( 2 3 ) .


T h e s a m e m o d e l s s t r u c t u r e a s s i m u l a t i o n 2 , b u t a g l o b a l c o s t i n d e x ( 2 4 ) i s u s e d t o s i m u l -

t a n e o u s l y i d e n t i f y t h e p a r a m e t e r s o f t h e t w o A R M A X m o d e l s .


F i n a l l y , w e u s e 4 l o c a l A R M A X m o d e l s a n d a g l o b a l c o s t i n d e x ( 2 4 ) . T h e l o c a l m o d e l

v a l i d i t y f u n c t i o n s a r e s t i l l G a u s s i a n s , c e n t e r e d a t

0

= 1 7 7 5

1

= 1 8 2 5

2

= 1 8 7 5 , a n d

1 9

7/18/2019 NARMAX


3

= 1 9 2 5 c o r r e s p o n d i n g t o 3 5 5 3 6 5 3 7 5 3 8 5 K r e s p e c t i v e l y . T h e w i d t h p a r a m e t e r i s

c h o s e n a s

i

= 0 0 2 , c o r r e s p o n d i n g t o 4 K

R e s u l t s

T h e r e s u l t s a r e s u m m a r i z e d i n t a b l e 2 ( a l l t h e r e s u l t s a r e u s i n g t h e i d e n t i e d m o d e l f o r

p r e d i c t i o n o n t h e d a t a i n d e p e n d e n t o f t h e d a t a u s e d f o r i d e n t i c a t i o n ) . W e s e e t h a t a l l

N A R M A X a p p r o a c h e s g i v e s i g n i c a n t l y b e t t e r r e s u l t s t h a n t h e A R M A X a p p r o a c h . A s

w o u l d b e e x p e c t e d , b e t t e r r e s u l t s a r e a c h i e v e d w i t h a g l o b a l p e r f o r m a n c e i n d e x t h a n l o c a l

i n d i c e s , a n d i n c r e a s i n g t h e n u m b e r o f l o c a l m o d e l s a l s o i m p r o v e o n t h e m o d e l a c c u r a c y .

O n e - s t e p - a h e a d p r e d i c t i o n e r r o r s a r e s h o w n i n g u r e 7 . T h e c u r v e s i n d i c a t e s t h a t t h e

p r e d i c t i o n e r r o r i s c o n s i d e r a b l y r e d u c e d u s i n g t h e N A R M A X m o d e l s c o m p a r e d t o t h e

A R M A X m o d e l s .

T h e c o v a r i a n c e f u n c t i o n s f o r t h e p r e d i c t i o n e r r o r s a r e

E ( ( t ) ; ) ( ( t + ) ; )

T

=

r

1 1

( ) r

1 2

( )

r

2 1

( ) r

2 2

( )

!

( 3 9 )

E s t i m a t e s o f t h e a u t o c o r r e l a t i o n f u n c t i o n s a r e s h o w n i n g u r e 8 . I t i s w e l l k n o w n t h a t a n

u n b i a s e d m o d e l g i v e s a n a u t o c o r r e l a t i o n f u n c t i o n e q u a l t o a - f u n c t i o n ( T h i s i s n o t a s u f -

c i e n t c o n d i t i o n . A m o r e d e t a i l e d m o d e l v a l i d a t i o n s h o u l d a l s o c o n s i d e r E ( u ( t ) ; u ) ( ( t +

) ; )

T

] a n d h i g h e r o r d e r c o v a r i a n c e s ( B i l l i n g s & V o o n 1 9 8 6 ) ) . H o w e v e r , w e m a y c o n -

c l u d e f r o m t h e c u r v e s t h a t t h e N A R M A X m o d e l s s t r o n g l y i m p r o v e o n t h e m o d e l a c c u r a c y

c o m p a r e d t o t h e A R M A X m o d e l s . W e m a y n o t e x p e c t a p e r f e c t m o d e l b e c a u s e t h e m o d e l

s t r u c t u r e i s d i e r e n t t h a n t h e t r u e s y s t e m : F i r s t , t h e r e i s f u n d a m e n t a l s t r u c t u r a l d i e r e n c e

b e t w e e n t h e s t a t e - s p a c e s y s t e m a n d t h e m o d e l b a s e d o n l o c a l m o d e l s a n d i n t e r p o l a t i o n .

T h e l o w n u m b e r o f l o c a l m o d e l s l i m i t s t h e a c c u r a c y . S e c o n d , t h e r e i s a s t r u c t u r e e r r o r

i n t r o d u c e d b y s a m p l i n g t h e c o n t i n u o u s s y s t e m . T h i r d , t h e s i m p l i e d c h o i s e o f o p e r a t i n g

p o i n t i n t r o d u c e s a n o n s y s t e m a t i c e r r o r .

W e h a v e a l s o d o n e s i m u l a t i o n s u s i n g o p t i m i z a t i o n o f t h e

i

- p a r a m e t e r s i n t h e l o c a l m o d e l

v a l i d i t y f u n c t i o n s a f t e r t h e l o c a l A R M A X p a r a m e t e r s w a s i d e n t i e d u s i n g l o c a l c o s t i n d i c e s .

T h i s g a v e s u b s t a n t i a l i m p r o v e m e n t s , b u t t h e r e s u l t s w a s n o t a s g o o d a s u s i n g a g l o b a l i n d e x

w i t h p r e c h o s e n ( n o t o p t i m a l )

i

- p a r a m e t e r s . I n c l u d i n g y

1

( t ) i n t h e o p e r a t i n g p o i n t v e c t o r

a l s o g a v e s o m e i m p r o v e m e n t s , b u t n o t a s m u c h a s o n e m a y h a v e e x p e c t e d . H e n c e , w e c a n

c o n c l u d e t h a t t h e c h o i s e o f o p e r a t i n g p o i n t i s s e n s i b l e .

6 D i s c u s s i o n s a n d C o n c l u s i o n s

A s d i s c u s s e d i n t h e i n t r o d u c t i o n , t h i s m o d e l r e p r e s e n t a t i o n m a y b e u s e f u l w h e n r s t p r i n c i -

p l e s m o d e l l i n g i s r e s o u r c e d e m a n d i n g o r d o e s n o t g i v e s a t i s f a c t o r y r e s u l t s . T o d a y , A R M A X

m o d e l s a r e n o d o u b t t h e m o s t w i d e l y u s e d b l a c k - b o x t y p e m o d e l i n i n d u s t r y . N e u r a l n e t -

w o r k s h a v e o v e r t h e p a s t f e w y e a r s g a i n e d c o n s i d e r a b l e p o p u l a r i t y , a t l e a s t a c a d e m i c a l l y .

T h e m o s t p o p u l a r f e e d - f o r w a r d t y p e n e t w o r k s c a n b e u s e d t o b u i l d b l a c k b o x N A R M A X

m o d e l s , t y p i c a l e x a m p l e s c a n b e f o u n d i n ( C h e n e t a l . 1 9 9 0 a , N g u y e n & W i d r o w 1 9 9 0 ) .

C o m m o n t o m o s t t y p e s o f n e u r a l n e t w o r k s i s t h a t t h e r e p r e s e n t a t i o n i s v e r y c o m p l e x a n d

d i c u l t t o u n d e r s t a n d a n d v a l i d a t e , w h i c h m a y e x p l a i n w h y s o f e w i n d u s t r i a l a p p l i c a t i o n s

a r e r e p o r t e d .

2 0

7/18/2019 NARMAX


S i m u l a t i o n P a r a m e t e r s V a r i a n c e : E

( ( t ) ; ) ( ( t ) ; )

T

S i m u l a t i o n 1 : A R M A X

m o d e l

=

0

B

B

B

B

B

B

B

B

B

B

B

B

@

0 5 0 5 5

1 8 5 3 3

0 6 2 5 6

; 1 9 2 5 5

0 0 7 5 5

1 4 0 1 0

0 8 5 9 9

; 0 1 1 8 9

; 0 0 3 3 6

0 1 7 5 8

1

C

C

C

C

C

C

C

C

C

C

C

C

A

9 4 0 ; 1 7 7

; 1 7 7 0 3 4

1 0

4

S i m u l a t i o n 2 : N A R M A X

m o d e l w i t h 2 l o c a l A R M A X

m o d e l s . T h e l o c a l m o d e l s

a r e t t e d s e p a r a t e l y u s i n g

l o c a l p r e d i c t i o n e r r o r s .

1

=

0

B

B

B

B

B

B

B

B

B

B

B

B

@

0 5 9 8 5

1 7 8 1 2

0 7 4 7 0

; 1 3 2 7 6

0 0 5 1 4

1 2 8 1 7

0 9 8 4 2

; 0 1 0 4 3

; 0 0 4 8 6

0 1 7 2 1

1

C

C

C

C

C

C

C

C

C

C

C

C

A

2

=

0

B

B

B

B

B

B

B

B

B

B

B

B

@

0 3 9 3 1

1 9 2 3 5

0 4 6 9 4

; 2 9 4 9 3

0 1 0 6 9

1 5 9 5 9

0 8 7 6 5

; 0 1 8 7 5

; 0 0 4 1 0

0 1 8 9 0

1

C

C

C

C

C

C

C

C

C

C

C

C

A

2 1 0 ; 0 4 0

; 0 4 0 0 0 9

1 0

4


m o d e l t w o l o c a l A R M A X

m o d e l s . T h e l o c a l m o d e l s

a r e t t e d u s i n g t h e g l o b a l

p r e d i c t i o n e r r o r .

1

=

0

B

B

B

B

B

B

B

B

B

B

B

B

@

0 5 7 7 1

1 7 8 5 9

0 9 0 9 6

; 1 4 8 0 6

0 0 1 8 5

1 2 9 4

1 0 5 3 4

; 0 0 5 4 9

; 0 0 5 3 4

0 1 6 2 0

1

C

C

C

C

C

C

C

C

C

C

C

C

A

2

=

0

B

B

B

B

B

B

B

B

B

B

B

B

@

0 3 8 6 5

1 9 2 5 5

0 3 1 7 6

; 3 3 8 9 2

0 1 3 8 1

1 6 9 5 2

0 8 4 9 3

; 0 2 3 4 2

; 0 0 4 1 8

0 1 9 8 3

1

C

C

C

C

C

C

C

C

C

C

C

C

A

0 9 6 ; 0 1 9

; 0 1 9 0 0 4

1 0

4


m o d e l w i t h 4 l o c a l N A R -

M A X m o d e l s . T h e g l o b a l

p r e d i c t i o n e r r o r i s u s e d .

1

=

0

B

B

B

B

B

B

B

B

B

B

B

B

@

0 6 1 8 5

1 7 5 2 8

0 8 6 2 4

; 1 9 0 7 6

0 0 2 7 6

1 1 9 3 3

1 0 2 0 9

; 0 0 5 7 3

; 0 0 4 6 7

0 1 6 2 6

1

C

C

C

C

C

C

C

C

C

C

C

C

A

2

=

0

B

B

B

B

B

B

B

B

B

B

B

B

@

0 5 6 5 9

1 8 1 3 1

0 7 3 6 4

; 1 7 9 9 0

0 0 5 3 8

1 3 7 1 2

0 9 8 6 7

; 0 1 1 3 1

; 0 0 4 9 2

0 1 7 3 7

1

C

C

C

C

C

C

C

C

C

C

C

C

A

0 3 8 ; 0 0 8

; 0 0 8 0 0 2

1 0

4

3

=

0

B

B

B

B

B

B

B

B

B

B

B

B

@

0 4 6 4 3

1 8 8 3 9

0 5 4 3 6

; 2 7 9 4 4

0 0 9 1 8

1 5 6 6 8

0 9 4 2 8

; 0 1 6 8 5

; 0 0 5 0 5

0 1 8 4 7

1

C

C

C

C

C

C

C

C

C

C

C

C

A

4

=

0

B

B

B

B

B

B

B

B

B

B

B

B

@

0 2 9 7 1

1 9 6 9 6

0 1 9 7 0

; 4 0 5 7 9

0 1 6 4 2

1 8 2 7 5

0 8 4 7 1

; 0 2 6 2 4

; 0 0 4 3 3

0 2 0 4 2

1

C

C

C

C

C

C

C

C

C

C

C

C

A

T a b l e 2 : R e s u l t s f o r A R M A X a n d N A R M A X m o d e l t t i n g .

2 1

7/18/2019 NARMAX


D e c o m p o s i n g t h e s y s t e m o p e r a t i o n i n t o s e v e r a l o p e r a t i n g r e g i m e s a n d u s i n g l o c a l A R M A X

m o d e l s t o d e s c r i b e e a c h o p e r a t i n g r e g i m e i s a p p e a l i n g f o r s e v e r a l r e a s o n s :

I t i s p o s s i b l e t o i n t e g r a t e s e v e r a l k i n d s o f s y s t e m k n o w l e d g e , i n c l u d i n g l o c a l r s t

p r i n c i p l e s m o d e l s , w i t h a b l a c k - b o x t y p e m o d e l . A R M A X m o d e l s a r e w e l l u n d e r s t o o d

a n d w i d e l y u s e d i n i n d u s t r y , a n d i s h e n c e a c o n v e n i e n t b a s i s f o r b u i l d i n g N A R M A X

m o d e l s .

T h e c l a s s o f s y s t e m s t h a t c a n b e r e p r e s e n t e d i s l a r g e , a n d a l i n e a r p a r a m e t e r i z a t i o n

o f t h e m o d e l i s s u c i e n t .

T h e c o n c e p t i s s t r a i g h t f o r w a r d , a n d t h e m o d e l s t r u c t u r e i s e a s y t o u n d e r s t a n d . T h i s

i s i m p o r t a n t , s i n c e t h e m o d e l s t r u c t u r e c a n b e e a s i l y v a l i d a t e d . I n a d d i t i o n , s o m e

v a l i d a t i o n m a y b e p e r f o r m e d b y v a l i d a t i n g e a c h l o c a l m o d e l s e p a r a t e l y .

D e s c r i b i n g a s y s t e m b y m e a n s o f o p e r a t i n g r e g i m e s i s c o m m o n p r a c t i s e i n e n g i n e e r i n g .

I n t e g r a t i n g t h e m o d e l s f o r e a c h o p e r a t i n g r e g i m e b y i n t e r p o l a t i o n h a v e n o t b e e n

c o m m o n s o f a r , b u t s e e m s t o b e a s t r a i g h t f o r w a r d w a y t o b u i l d m o d e l s t h a t a r e v a l i d

w i t h i n s e v e r a l o p e r a t i n g r e g i m e s . T h e i n t e r p o l a t i o n m a y i m p r o v e t h e a c c u r a c y o f

t h e m o d e l , c o m p a r e d t o p i e c e w i s e l i n e a r m o d e l s . I n a d d i t i o n , t h e s m o o t h n e s s o f t h e

m o d e l i s a n i n h e r e n t p r o p e r t y .

A f u n d a m e n t a l p r o b l e m w i t h a l l l o c a l m o d e l l i n g m e t h o d s i s t h e c u r s e o f d i m e n s i o n a l l i t y

p r o b l e m ( B e l l m a n 1 9 6 1 , M o o d y & D a r k e n 1 9 8 9 , T o l l e e t a l . 1 9 9 2 , F r i e d m a n 1 9 9 1 ) . I n o u r

c a s e , w e h a v e s h o w n t h a t t h i s p r o b l e m m a y s o m e t i m e s b e r e d u c e d c o n s i d e r a b l y , s i n c e t h e

o p e r a t i n g p o i n t m a y b e o f l o w e r d i m e n s i o n t h a n t h e i n f o r m a t i o n v e c t o r .

T o s u m m a r i z e , w e h a v e i n v e s t i g a t e d h o w n o n - l i n e a r s y s t e m s c a n b e m o d e l l e d u s i n g N A R -

M A X m o d e l s b a s e d o n l o c a l A R M A X m o d e l s . T h e p r i m a r y r e s u l t i s t h a t g i v e n a s u c i e n t

n u m b e r o f l o c a l m o d e l s a n d w e l l d e n e d o p e r a t i n g r e g i m e s , t h e s y s t e m f u n c t i o n c a n b e

a p p r o x i m a t e d t o a r b i t r a r y a c c u r a c y . I n p r a c t i c e , n o i s e a n d t h e a m o u n t o f d a t a a v a i l a b l e

w i l l l i m i t t h e a t t a i n a b l e a c c u r a c y . S t a n d a r d i d e n t i c a t i o n a l g o r i t h m s c a n e a s i l y b e a p p l i e d

s i n c e t h e p r o p o s e d r e p r e s e n t a t i o n w i l l b e l i n e a r i n t h e p a r a m e t e r s . T h e e m p i r i c a l c h o i c e

o f m o d e l v a l i d i t y f u n c t i o n m a y h o w e v e r c o m p l i c a t e t h e p r o b l e m . S e v e r a l p r a c t i c a l a s p e c t s

o f b u i l d i n g s u c h m o d e l s a r e o u t l i n e d a n d i l l u s t r a t e d b y a s i m u l a t i o n e x a m p l e .

T h e a p p r o a c h f a l l s s o m e w h a t b e t w e e n r s t p r i n c i p l e s m o d e l l i n g a n d p u r e b l a c k - b o x m o d -

e l l i n g . A v a i l a b l e l o c a l r s t p r i n c i p l e s m o d e l s a s w e l l a s a p r i o r i k n o w l e d g e i n t e r m s o f

o p e r a t i n g r e g i m e s , c a n b e i n c o r p o r a t e d i n t h e m o d e l .

A c k n o w l e d g e m e n t s

T h i s w o r k w a s s u p p o r t e d b y t h e R o y a l N o r w e g i a n C o u n c i l f o r S c i e n t i c a n d I n d u s t r i a l

R e s e a r c h ( N T N F ) u n d e r d o c t o r a l s c h o l a r s h i p g r a n t n o . S T . 1 0 . 1 2 . 2 2 1 7 1 8 g i v e n t o t h e r s t

a u t h o r .

R e f e r e n c e s

A k a i k e , H . ( 1 9 6 9 ) , ` F i t t i n g a u t o r e g r e s s i v e m o d e l s f o r p r e d i c t i o n ' , A n n . I n s t . S t a t . M a t h .

2 1 , 2 4 3 { 2 4 7 .

2 2

7/18/2019 NARMAX


B e l l m a n , R . E . ( 1 9 6 1 ) , A d a p t i v e C o n t r o l P r o c e s s e s , P r i n c e t o n U n i v . P r e s s .

B i l l i n g s , S . A . & V o o n , W . S . F . ( 1 9 8 6 ) , ` C o r r e l a t i o n b a s e d m o d e l v a l i d i t y t e s t s f o r n o n -

l i n e a r m o d e l s ' , I n t . J . C o n t r o l 4 4 ( 1 ) , 2 3 5 { 2 4 4 .

B i l l i n g s , S . A . & V o o n , W . S . G . ( 1 9 8 7 ) , ` P i e c e w i s e l i n e a r i d e n t i c a t i o n o f n o n - l i n e a r

s y s t e m s ' , I n t . J . C o n t r o l 4 6 , 2 1 5 { 2 3 5 .

B r o o m h e a d , D . S . & L o w e , D . ( 1 9 8 8 ) , ` M u l t i v a r i a b l e f u n c t i o n a l i n t e r p o l a t i o n a n d a d a p t i v e

n e t w o r k s ' , C o m p l e x S y s t e m s 2 , 3 2 1 { 3 5 5 .

C h e n , S . & B i l l i n g s , S . A . ( 1 9 8 9 ) , ` R e p r e s e n t a t i o n o f n o n - l i n e a r s y s t e m s : t h e N A R A M X

m o d e l ' , I n t . J . C o n t r o l 4 9 ( 3 ) , 1 0 1 3 { 1 0 3 2 .

C h e n , S . , B i l l i n g s , S . A . & G r a n t , P . M . ( 1 9 9 0 a ) , ` N o n - l i n e a r s y s t e m i d e n t i c a t i o n u s i n g

n e u r a l n e t w o r k s ' , I n t . J . C o n t r o l 5 1 ( 6 ) , 1 1 9 1 { 1 2 1 4 .

C h e n , S . , B i l l i n g s , S . A . , C o w a n , C . F . N . & G r a n t , P . ( 1 9 9 0 b ) , ` P r a c t i c a l i d e n t i c a t i o n o f

N A R M A X m o d e l s u s i n g r a d i a l b a s i s f u n c t i o n s ' , I n t . J o u r n a l o f C o n t r o l 5 2 ( 6 ) , 1 3 2 7 {

1 3 5 0 .

C y r o t - N o r m a n d , D . & M i e n , H . D . V . ( 1 9 8 0 ) , N o n - l i n e a r s t a t e - a n e i d e n t i c a t i o n m e t h -

o d s : A p p l i c a t i o n t o e l e c t r i c a l p o w e r p l a n t s , i n ` P r o c . I F A C S y m p o s i u m o n A u t o m a t i c

C o n t r o l i n P o w e r G e n e r a t i o n , D i s t r i b u t i o n a n d P r o t e c t i o n ' , p p . 4 4 9 { 4 6 2 .

F o r t e s c u e , T . R . , K e r s h e n b a u m , L . S . & Y d s t i e , B . E . ( 1 9 8 1 ) , ` I m p l e m e n t a t i o n o f s e l f -

t u n i n g r e g u l a t o r s w i t h v a r i a b l e f o r g e t t i n g f a c t o r s ' , A u t o m a t i c a 1 7 , 8 3 1 { 8 3 5 .

F r i e d m a n , J . H . ( 1 9 9 1 ) , ` M u l t i v a r i a b l e a d a p t i v e r e g r e s s i o n s p l i n e s ' , T h e A n n a l s o f S t a t i s t i c s

1 9 , 1 { 1 4 1 .

G i l l , P . , M u r r a y , W . & W r i g h t , M . ( 1 9 8 1 ) , P r a c t i c a l o p t i m i z a t i o n , A c a d e m i c P r e s s , I n c .

H a b e r , R . ( 1 9 8 5 ) , N o n l i n e a r i t y t e s t s f o r d y n a m i c s p r o c e s s e s , i n ` 7 t h I F A C S y m p . o n I d e n -

t i c a t i o n a n d S y s t e m P a r a m e t e r E s t i m a t i o n ' , p p . 4 0 9 { 4 1 4 .

H i l h o r s t , R . A . , v a n A m e r o n g e n , J . & L o h n b e r g , P . ( 1 9 9 1 ) , I n t e l l i g e n t a d a p t i v e c o n t r o l o f

m o d e - s w i t c h p r o c e s s e s , i n ` P r o c . I F A C I n t e r n a t i n a l S y m p o s i u m o n I n t e l l i g e n t T u n i n g

a n d A d a p t i v e C o n t r o l , S i n g a p o r e ' .

J o h a n s e n , T . A . & F o s s , B . A . ( 1 9 9 2 a ) , ` A N A R M A X m o d e l r e p r e s e n t a t i o n f o r a d a p t i v e

c o n t r o l b a s e d o n l o c a l m o d e l s ' , M o d e l i n g , I d e n t i c a t i o n , a n d C o n t r o l 1 3 ( 1 ) , 2 5 { 3 9 .

J o h a n s e n , T . A . & F o s s , B . A . ( 1 9 9 2 b ) , N o n l i n e a r l o c a l m o d e l r e p r e s e n t a t i o n f o r a d a p -

t i v e s y s t e m s , i n ` P r o c e e d i n g o f t h e S i n g a p o r e I n t . C o n f . o n I n t e l l i g e n t C o n t r o l a n d

I n s t r u m e n t a t i o n ' , V o l . 2 , p p . 6 7 7 { 6 8 2 .

J o h a n s e n , T . A . & F o s s , B . A . ( 1 9 9 2 c ) , R e p r e s e n t i n g a n d l e a r n i n g u n m o d e l e d d y n a m i c s

w i t h n e u r a l n e t w o r k m e m o r i e s , i n ` P r o c e e d i n g s o f t h e A m e r i c a n C o n t r o l C o n f e r e n c e ,

C h i c a g o , I l . ' , V o l . 3 .

J o n e s , R . D . , L e e , Y . C . , B a r n e s , C . W . , F l a k e , G . W . , L e e , K . , L e w i s , P . S . & Q i a n ,

S . ( 1 9 8 9 ) , F u n c t i o n a p p r o x i m a t i o n a n d t i m e s e r i e s p r e d i c t i o n w i t h n e u r a l n e t w o r k s ,

T e c h n i c a l R e p o r t 9 0 - 2 1 , L o s A l a m o s N a t i o n a l L a b . , N e w M e x i c o .

L a n e , S . H . , H a n d e l m a n , D . A . & G e l f a n d , J . J . ( 1 9 9 2 ) , ` T h e o r y a n d d e v e l o p m e n t o f

h i g h e r - o r d e r C M A C n e u r a l n e t w o r k s ' , I E E E C o n t r o l S y s t e m M a g a z i n e 1 2 ( 2 ) , 2 3 { 3 0 .

2 3

7/18/2019 NARMAX


L e o n t a r i t i s , I . J . & B i l l i n g s , S . A . ( 1 9 8 5 ) , ` I n p u t - o u t p u t p a r a m e t r i c m o d e l s f o r n o n - l i n e a r

s y s t e m s ' , I n t . J o u r n a l o f C o n t r o l 4 1 ( 2 ) , 3 0 3 { 3 4 4 .

J o n e s e t a l . , R . D . ( 1 9 9 1 ) , N o n l i n e a r a d a p t i v e n e t w o r k s : A l i t t l e t h e o r y , a f e w a p p l i c a t i o n s ,

T e c h n i c a l R e p o r t 9 1 - 2 7 3 , L o s A l a m o s N a t i o n a l L a b . , N e w M e x i c o .

S l i d , S . , E g e l a n d , O . & F o s s , B . ( 1 9 8 5 ) , ` A s o l u t i o n t o t h e b l o w - u p p r o b l e m i n a d a p t i v e

c o n t r o l l e r s ' , M o d e l i n g , I d e n t i c a t i o n a n d C o n t r o l 6 ( 1 ) , 3 9 { 5 6 .

S o d e r s t r o m , T . & S t o i c a , P . ( 1 9 8 8 ) , S y s t e m I d e n t i c a t i o n , P r e n t i c e H a l l .

M o o d y , J . & D a r k e n , C . J . ( 1 9 8 9 ) , ` F a s t l e a r n i n g i n n e t w o r k s o f l o c a l l y - t u n e d p r o c e s s i n g

u n i t s ' , N e u r a l C o m p u t a t i o n 1 , 2 8 1 { 2 9 4 .

N g u y e n , D . H . & W i d r o w , B . ( 1 9 9 0 ) , ` N e u r a l n e t w o r k s f o r s e l f - l e a r n i n g c o n t r o l s y s t e m s ' ,

I E E E C o n t r o l S y s t e m s M a g a z i n e 1 0 ( 3 ) , 1 8 { 2 3 .

O m o h u n d r o , S . M . ( 1 9 8 7 ) , ` E c i e n t a l g o r i t h m s w i t h n e u r a l n e t w o r k b e h a v i o r ' , C o m p l e x

S y s t e m s 1 , 2 7 3 { 3 4 7 .

P a r k u m , J . E . , P o u l s e n , N . K . & H o l s t , J . ( 1 9 9 0 ) , S e l e c t i v e f o r g e t t i n g i n a d a p t i v e p r o c e -

d u r e s , i n ` P r o c . 1 1 t h I F A C W o r l d C o n g r e s s , T a l l i n , E s t o n i a ' .

P o l y c a r p o u , M . M . , I o a n n o u , P . A . & A h m e d - Z a i d , F . ( 1 9 9 2 ) , N e u r a l n e t w o r k s a n d o n - l i n e

a p p r o x i m a t o r s f o r d i s c r e t e - t i m e n o n l i n e a r s y s t e m i d e n t i c a t i o n , S u b m i t t e d t o I E E E

T r a n s . C o n t r o l S y s t e m s T e c h n o l o g y .

P o w e l l , M . J . D . ( 1 9 8 7 ) , R a d i a l b a s i s f u n c t i o n a p p r o x i m a t i o n s t o p o l y n o m i a l s , i n ` 1 2 t h

B i e n n a l N u m e r i c a l A n a l y s i s C o n f e r e n c e , D u n d e e ' , p p . 2 2 3 { 2 4 1 .

P r i e s t l e y , M . B . ( 1 9 8 1 ) , S p e c t r a l A n a l y s i s a n d T i m e S e r i e s , A c a d e m i c P r e s s .

P r i e s t l e y , M . B . ( 1 9 8 8 ) , N o n - l i n e a r a n d N o n - s t a t i o n a r y T i m e S e r i e s A n a l y s i s , A c a d e m i c

P r e s s .

P s i c h o g i o s , D . C . , D e V e a u x , R . D . & U n g a r , L . H . ( 1 9 9 2 ) , N o n p a r a m e t r i c s y s t e m i d e n t i -

c a t i o n : A c o m p a r i s o n o f M A R S a n d n e u r a l n e t s , i n ` P r o c . A m e r i c a n C o n t r o l C o n -

f e r e n c e , C h i c a g o , I l . ' .

R i p p i n , D . W . T . ( 1 9 8 9 ) , C o n t r o l o f b a t c h p r o c e s s e s , i n ` P r o c e e d i n g s D Y C O R D + 8 9 ,

A u g u s t , M a a s t r i c t , T h e N e t h e r l a n d s ' , p p . 1 1 5 { 1 2 5 .

S k e p p s t e d t , A . ( 1 9 8 8 ) , C o n s t r u c t i o n o f C o m p o s i t e M o d e l s f r o m l a r g e d a t a - s e t s , P h D t h e s i s ,

U n i v e r s i t y o f L i n k o p i n g .

S k e p p s t e d t , A . , L j u n g , L . & M i l l n e r t , M . ( 1 9 9 2 ) , ` C o n s t r u c t i o n o f c o m p o s i t e m o d e l s f r o m

o b s e r v e d d a t a ' , I n t . J . C o n t r o l 5 5 ( 1 ) , 1 4 1 { 1 5 2 .

S t o k b r o , K . ( 1 9 9 1 ) , P r e d i c t i n g c h a o s w i t h w e i g h t e d m a p s , T e c h n i c a l R e p o r t 9 1 / 1 0 S ,

N O R D I T A , C o p e n h a g e n .

S t o k b r o , K . & U m b e r g e r , D . K . ( 1 9 9 0 ) , F o r e c a s t i n g w i t h w e i g h t e d m a p s , i n ` P r o c . 1 9 9 0

W o r k s h o p o n N o n l i n e a r M o d e l i n g a n d F o r e c a s t i n g , S a n t a F e I n s t i t u t e ' .

S t o k b r o , K . , H e r t z , J . A . & U m b e r g e r , D . K . ( 1 9 9 0 ) , E x p l o i t i n g n e u r o n s w i t h l o c a l i z e d

r e c e p t i v e e l d s t o l e a r n c h a o s , P r e p r i n t 2 8 , N i e l s B o h r I n s t i t u t e a n d N O R D I T A ,

C o p e n h a n g e n . S u b m i t t e d t o J o u r n a l o f C o m p l e x S y s t e m s .

2 4

7/18/2019 NARMAX


S t r o m b e r g , K . R . ( 1 9 8 1 ) , A n I n t r o d u c t i o n t o C l a s s i c a l R e a l A n a l y s i s , W a d s w o r t h , I n c . ,

B e l m o n t , C a .

T a k a g i , T . & S u g e n o , M . ( 1 9 8 5 ) , ` F u z z y i d e n t i c a t i o n o f s y s t e m s a n d i t s a p p l i c a t i o n t o

m o d e l i n g a n d c o n t r o l ' , I E E E T r a n s . S y s t e m s , M a n , a n d C y b e r n e t i c s 1 5 , 1 1 6 { 1 3 2 .

T o l l e , H . , P a r k s , P . C . , E r s u , E . , H o r m e l , M . & M i l i t z e r , J . ( 1 9 9 2 ) , ` L e a r n i n g c o n t r o l w i t h

i n t e r p o l a t i n g m e m o r i e s { g e n e r a l i d e a d , d e s i g n l a y - o u t , t h e o r e t i c a l a p p r o a c h e s a n d

p r a c t i c a l a p p l i c a t i o n s ' , I n t . J . C o n t r o l 5 6 , 2 9 1 { 3 1 7 .

T o n g , H . & L i m , K . S . ( 1 9 8 0 ) , ` T h r e s h o l d a u t o r e g r e s s i o n , l i m i t c y c l e s a n d c y c l i c a l d a t a ' ,

J . R o y a l S t a t . S o c . B 4 2 , 2 4 5 { 2 9 2 .

2 5

7/18/2019 NARMAX


-1

0

1

2

3

4

5

6

-1 0 1 2 3 4 5 6 7 8 9

F i g u r e 1 : A g e o m e t r i c i n t e r p r e t a t i o n o f t h e c o n s t r a i n t s o n ~

i

( p + 1 ) !

M

0

1

2

~

0

~

1

~

2

g

0

g

1

g

2

-1

0

1

2

3

4

5

6

-1 0 1 2 3 4 5 6 7 8 9

F i g u r e 2 : S i t u a t i o n w h e n t h e w i d t h o f ~

i

g o e s t o z e r o .

( p + 1 ) !

M

0

1

2

~

0

~

1

~

2

~w

0

~w

1

~w

2

g

0

g

1

g

2

2 6

7/18/2019 NARMAX


0

1

2

3

4

5

6

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

F i g u r e 3 : A p p r o x i m a t i o n o f f ( ) =

2

+ 1 u s i n g t w o l o c a l l i n e a r m o d e l s .

f ( )

^

f ( )

2 7

7/18/2019 NARMAX


-5

0

5

10

-1 0 1 2 3-5

0

5

10

-1 0 1 2 3

0

2

4

6

8

10

-1 0 1 2 30

2

4

6

8

10

-1 0 1 2 3

f ( )

F i g u r e 4 : a ) A p p r o x i m a t i o n o f f ( ) =

2

+ 1 u s i n g a p i e c e w i s e l i n e a r m o d e l w i t h t w o

l o c a l l i n e a r m o d e l s . b ) A p p r o x i m a t i o n u s i n g t w o l o c a l l i n e a r m o d e l s a n d G a u s s i a n m o d e l

v a l i d i t y f u n c t i o n s . c ) A p p r o x i m a t i o n u s i n g 5 l o c a l 0 t h o r d e r e x p a n s i o n s ( c o n s t a n t ) d )

A p p r o x i m a t i o n u s i n g a r a d i a l b a s i s - f u n c t i o n e x p a n s i o n w i t h 5 G a u s s i a n b a s i s - f u n c t i o n s .

( c ) ( d )

( a ) ( b )

2 8

7/18/2019 NARMAX


6

5

4

3

2

1

F i g u r e 5 : T h e s e t o f o p e r a t i n g p o i n t s i s c o v e r e d w i t h l o c a l m o d e l s . T h e g u r e s h o w s

l i n e s w h e r e t h e m o d e l v a l i d i t y f u n c t i o n s

i

a r e c o n s t a n t .

2 9

7/18/2019 NARMAX


0

0.5

1

1.5

2

2.5

0 100 200 300 400 500 600 700 800 900 1000

t

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 100 200 300 400 500 600 700 800 900 1000

t

0

0.5

1

1.5

2

2.5

0 100 200 300 400 500 600 700 800 900 1000

t

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 100 200 300 400 500 600 700 800 900 1000

t

F i g u r e 6 : T h e t w o r s t c u r v e s s h o w o u t p u t a n d i n p u t d a t a u s e d f o r i d e n t i c a t i o n , w h i l e

t h e t w o l a s t c u r v e s s h o w d a t a u s e d f o r v a l i d a t i o n .

u

2

( t )

u

1

( t )

y

1

( t )

y

2

( t )

u

2

( t )

u

1

( t )

y

1

( t )

y

2

( t )

3 0

7/18/2019 NARMAX


-0.1

-0.05

0

0.05

0.1

0 100 200 300 400 500 600 700 800 900 1000

-0.1

-0.05

0

0.05

0.1

0 100 200 300 400 500 600 700 800 900 1000

-0.1

-0.05

0

0.05

0.1

0 100 200 300 400 500 600 700 800 900 1000

-0.1

-0.05

0

0.05

0.1

0 100 200 300 400 500 600 700 800 900 1000

-0.1

-0.05

0

0.05

0.1

0 100 200 300 400 500 600 700 800 900 1000

-0.1

-0.05

0

0.05

0.1

0 100 200 300 400 500 600 700 800 900 1000

-0.1

-0.05

0

0.05

0.1

0 100 200 300 400 500 600 700 800 900 1000

-0.1

-0.05

0

0.05

0.1

0 100 200 300 400 500 600 700 800 900 1000

t

F i g u r e 7 : P r e d i c t i o n e r r o r s o n t h e i n d e p e n d e n t v a l i d a t i o n d a t a f o r t h e r e s u l t i n g m o d e l s o f

t h e 4 s i m u l a t i o n s . H e r e

1

= y

1

; ^y

1

, a n d

2

= y

2

; ^y

2

S i m . 4

S i m . 3

S i m . 2

S i m . 1

1

2

1

2

1

2

1

2

3 1

7/18/2019 NARMAX


-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

-1

-0.5

0

0.5

1

0 5 10-1

-0.5

0

0.5

1

0 5 10

F i g u r e 8 : T h e c u r v e s s h o w t h e a u t o c o r r e l a t i o n f u n c t i o n s f o r t h e p r e d i c t i o n e r r o r s , f o r t h e

r e s u l t i n g m o d e l s o f t h e 4 s i m u l a t i o n s .

4

3

2

1

1

2

3

4

1

2

3

4

4

3

2

1

r

1 1

)

r

1 1

0 )

r

1 2

)

p

r

1 1

0 ) r

2 2

0 )

r

2 1

)

p

r

1 1

0 ) r

2 2

0 )

r

2 2

)

r

2 2

0 )

NARMAX

Documents

Transcript of NARMAX