Priors, Stabilizers and Basis Functions: from regularization to radial, tensor and additive splines

8/14/2019 Priors, Stabilizers and Basis Functions: from regularization to radial, tensor and additive splines

1/28

M A S S A C H U S E T T S I N S T I T U T E O F T E C H N O L O G Y

A R T I F I C I A L I N T E L L I G E N C E L A B O R A T O R Y

A . I . M e m o N o . 1 4 3 0 J u n e 1 9 9 3

C . B . C . L . P a p e r N o . 7 5

P r i o r s , S t a b i l i z e r s a n d B a s i s F u n c t i o n s : f r o m

r e g u l a r i z a t i o n t o r a d i a l , t e n s o r a n d a d d i t i v e

s p l i n e s

F e d e r i c o G i r o s i , M i c h a e l J o n e s a n d T o m a s o P o g g i o

A b s t r a c t

W e h a d p r e v i o u s l y s h o w n t h a t r e g u l a r i z a t i o n p r i n c i p l e s l e a d t o a p p r o x i m a t i o n s c h e m e s w h i c h a r e e q u i v a l e n t

t o n e t w o r k s w i t h o n e l a y e r o f h i d d e n u n i t s , c a l l e d R e g u l a r i z a t i o n N e t w o r k s . I n p a r t i c u l a r w e h a d d i s c u s s e d

h o w s t a n d a r d s m o o t h n e s s f u n c t i o n a l s l e a d t o a s u b c l a s s o f r e g u l a r i z a t i o n n e t w o r k s , t h e w e l l - k n o w n R a d i a l

B a s i s F u n c t i o n s a p p r o x i m a t i o n s c h e m e s . I n t h i s p a p e r w e s h o w t h a t r e g u l a r i z a t i o n n e t w o r k s e n c o m p a s s

a m u c h b r o a d e r r a n g e o f a p p r o x i m a t i o n s c h e m e s , i n c l u d i n g m a n y o f t h e p o p u l a r g e n e r a l a d d i t i v e m o d e l s

a n d s o m e o f t h e n e u r a l n e t w o r k s . I n p a r t i c u l a r w e i n t r o d u c e n e w c l a s s e s o f s m o o t h n e s s f u n c t i o n a l s t h a t

l e a d t o d i e r e n t c l a s s e s o f b a s i s f u n c t i o n s . A d d i t i v e s p l i n e s a s w e l l a s s o m e t e n s o r p r o d u c t s p l i n e s c a n

b e o b t a i n e d f r o m a p p r o p r i a t e c l a s s e s o f s m o o t h n e s s f u n c t i o n a l s . F u r t h e r m o r e , t h e s a m e e x t e n s i o n t h a t

l e a d s f r o m R a d i a l B a s i s F u n c t i o n s ( R B F ) t o H y p e r B a s i s F u n c t i o n s ( H B F ) a l s o l e a d s f r o m a d d i t i v e m o d e l s

t o r i d g e a p p r o x i m a t i o n m o d e l s , c o n t a i n i n g a s s p e c i a l c a s e s B r e i m a n ' s h i n g e f u n c t i o n s a n d s o m e f o r m s o f

P r o j e c t i o n P u r s u i t R e g r e s s i o n . W e p r o p o s e t o u s e t h e t e r m G e n e r a l i z e d R e g u l a r i z a t i o n N e t w o r k s f o r t h i s

b r o a d c l a s s o f a p p r o x i m a t i o n s c h e m e s t h a t f o l l o w f r o m a n e x t e n s i o n o f r e g u l a r i z a t i o n . I n t h e p r o b a b i l i s t i c

i n t e r p r e t a t i o n o f r e g u l a r i z a t i o n , t h e d i e r e n t c l a s s e s o f b a s i s f u n c t i o n s c o r r e s p o n d t o d i e r e n t c l a s s e s o f

p r i o r p r o b a b i l i t i e s o n t h e a p p r o x i m a t i n g f u n c t i o n s p a c e s , a n d t h e r e f o r e t o d i e r e n t t y p e s o f s m o o t h n e s s

a s s u m p t i o n s . I n t h e n a l p a r t o f t h e p a p e r , w e s h o w t h e r e l a t i o n b e t w e e n a c t i v a t i o n f u n c t i o n s o f t h e

G a u s s i a n a n d s i g m o i d a l t y p e b y c o n s i d e r i n g t h e s i m p l e c a s e o f t h e k e r n e l G ( x ) = x

I n s u m m a r y , d i e r e n t m u l t i l a y e r n e t w o r k s w i t h o n e h i d d e n l a y e r , w h i c h w e c o l l e c t i v e l y c a l l G e n e r a l i z e d

R e g u l a r i z a t i o n N e t w o r k s , c o r r e s p o n d t o d i e r e n t c l a s s e s o f p r i o r s a n d a s s o c i a t e d s m o o t h n e s s f u n c t i o n a l s

i n a c l a s s i c a l r e g u l a r i z a t i o n p r i n c i p l e . T h r e e b r o a d c l a s s e s a r e a ) R a d i a l B a s i s F u n c t i o n s t h a t g e n e r a l i z e

i n t o H y p e r B a s i s F u n c t i o n s , b ) s o m e t e n s o r p r o d u c t s p l i n e s , a n d c ) a d d i t i v e s p l i n e s t h a t g e n e r a l i z e i n t o

s c h e m e s o f t h e t y p e o f r i d g e a p p r o x i m a t i o n , h i n g e f u n c t i o n s a n d o n e - h i d d e n - l a y e r p e r c e p t r o n s .

c

M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y , 1 9 9 3

T h i s p a p e r d e s c r i b e s r e s e a r c h d o n e w i t h i n t h e C e n t e r f o r B i o l o g i c a l a n d C o m p u t a t i o n a l L e a r n i n g i n t h e D e p a r t -

m e n t o f B r a i n a n d C o g n i t i v e S c i e n c e s a n d a t t h e A r t i c i a l I n t e l l i g e n c e L a b o r a t o r y . T h i s r e s e a r c h i s s p o n s o r e d b y

g r a n t s f r o m t h e O c e o f N a v a l R e s e a r c h u n d e r c o n t r a c t s N 0 0 0 1 4 - 9 1 - J - 1 2 7 0 a n d N 0 0 0 1 4 - 9 2 - J - 1 8 7 9 b y a g r a n t f r o m

t h e N a t i o n a l S c i e n c e F o u n d a t i o n u n d e r c o n t r a c t A S C - 9 2 1 7 0 4 1 ( w h i c h i n c l u d e s f u n d s f r o m D A R P A p r o v i d e d u n d e r

t h e H P C C p r o g r a m ) a n d b y a g r a n t f r o m t h e N a t i o n a l I n s t i t u t e s o f H e a l t h u n d e r c o n t r a c t N I H 2 - S 0 7 - R R 0 7 0 4 7 .

A d d i t i o n a l s u p p o r t i s p r o v i d e d b y t h e N o r t h A t l a n t i c T r e a t y O r g a n i z a t i o n , A T R A u d i o a n d V i s u a l P e r c e p t i o n R e -

s e a r c h L a b o r a t o r i e s , M i t s u b i s h i E l e c t r i c C o r p o r a t i o n , S u m i t o m o M e t a l I n d u s t r i e s , a n d S i e m e n s A G . S u p p o r t f o r t h e

A . I . L a b o r a t o r y ' s a r t i c i a l i n t e l l i g e n c e r e s e a r c h i s p r o v i d e d b y O N R c o n t r a c t N 0 0 0 1 4 - 9 1 - J - 4 0 3 8 . T o m a s o P o g g i o i s

s u p p o r t e d b y t h e U n c a s a n d H e l e n W h i t a k e r C h a i r a t t h e W h i t a k e r C o l l e g e , M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y .


2/28

1 I n t r o d u c t i o n

I n r e c e n t p a p e r s w e a n d o t h e r s h a v e a r g u e d t h a t t h e

t a s k o f l e a r n i n g f r o m e x a m p l e s c a n b e c o n s i d e r e d i n

m a n y c a s e s t o b e e q u i v a l e n t t o m u l t i v a r i a t e f u n c t i o n a p -

p r o x i m a t i o n , t h a t i s , t o t h e p r o b l e m o f a p p r o x i m a t i n g a

s m o o t h f u n c t i o n f r o m s p a r s e d a t a , t h e e x a m p l e s . T h e

i n t e r p r e t a t i o n o f a n a p p r o x i m a t i o n s c h e m e i n t e r m s o f

n e t w o r k s , a n d v i c e v e r s a , h a s a l s o b e e n e x t e n s i v e l y d i s -

c u s s e d ( B a r r o n a n d B a r r o n , 1 9 8 8 P o g g i o a n d G i r o s i ,

1 9 8 9 , 1 9 9 0 B r o o m h e a d a n d L o w e , 1 9 8 8 ) .

I n a s e r i e s o f p a p e r s w e h a v e e x p l o r e d a s p e c i c , a l -

b e i t q u i t e g e n e r a l , a p p r o a c h t o t h e p r o b l e m o f f u n c t i o n

a p p r o x i m a t i o n . T h e a p p r o a c h i s b a s e d o n t h e r e c o g n i -

t i o n t h a t t h e i l l - p o s e d p r o b l e m o f f u n c t i o n a p p r o x i m a -

t i o n f r o m s p a r s e d a t a m u s t b e c o n s t r a i n e d b y a s s u m -

i n g a n a p p r o p r i a t e p r i o r o n t h e c l a s s o f a p p r o x i m a t i n g

f u n c t i o n s . R e g u l a r i z a t i o n t e c h n i q u e s t y p i c a l l y i m p o s e

s m o o t h n e s s c o n s t r a i n t s o n t h e a p p r o x i m a t i n g s e t o f f u n c -

t i o n s . I t c a n b e a r g u e d t h a t s o m e f o r m o f s m o o t h n e s s

i s n e c e s s a r y t o a l l o w m e a n i n g f u l g e n e r a l i z a t i o n i n a p -

p r o x i m a t i o n t y p e p r o b l e m s ( P o g g i o a n d G i r o s i , 1 9 8 9 ,

1 9 9 0 ) . A s i m i l a r a r g u m e n t c a n a l s o b e u s e d i n t h e c a s e

o f c l a s s i c a t i o n w h e r e s m o o t h n e s s i n v o l v e s t h e c l a s s i c a -

t i o n b o u n d a r i e s r a t h e r t h a n t h e i n p u t - o u t p u t m a p p i n g

i t s e l f . O u r u s e o f r e g u l a r i z a t i o n , w h i c h f o l l o w s t h e c l a s -

s i c a l t e c h n i q u e i n t r o d u c e d b y T i k h o n o v ( 1 9 6 3 , 1 9 7 7 ) ,

i d e n t i e s t h e a p p r o x i m a t i n g f u n c t i o n a s t h e m i n i m i z e r

o f a c o s t f u n c t i o n a l t h a t i n c l u d e s a n e r r o r t e r m a n d a

s m o o t h n e s s f u n c t i o n a l , u s u a l l y c a l l e d a s t a b i l i z e r . I n t h e

B a y e s i a n i n t e r p r e t a t i o n o f r e g u l a r i z a t i o n t h e s t a b i l i z e r

c o r r e s p o n d s t o a s m o o t h n e s s p r i o r , a n d t h e e r r o r t e r m

t o a m o d e l o f t h e n o i s e i n t h e d a t a ( u s u a l l y G a u s s i a n

a n d a d d i t i v e ) .

I n P o g g i o a n d G i r o s i ( 1 9 8 9 ) w e s h o w e d t h a t r e g u l a r -

i z a t i o n p r i n c i p l e s l e a d t o a p p r o x i m a t i o n s c h e m e s w h i c h

a r e e q u i v a l e n t t o n e t w o r k s w i t h o n e \ h i d d e n " l a y e r ,

w h i c h w e c a l l R e g u l a r i z a t i o n N e t w o r k s ( R N ) . I n p a r -

t i c u l a r , w e d e s c r i b e d h o w a c e r t a i n c l a s s o f r a d i a l s t a -

b i l i z e r s { a n d t h e a s s o c i a t e d p r i o r s i n t h e e q u i v a l e n t

B a y e s i a n f o r m u l a t i o n { l e a d t o a s u b c l a s s o f r e g u l a r -

i z a t i o n n e t w o r k s , t h e a l r e a d y - k n o w n R a d i a l B a s i s F u n c -

t i o n s ( P o w e l l , 1 9 8 7 , 1 9 9 0 M i c c h e l l i , 1 9 8 6 D y n , 1 9 8 7 )

t h a t w e h a v e e x t e n d e d t o H y p e r B a s i s F u n c t i o n s ( P o g g i o

a n d G i r o s i , 1 9 9 0 , 1 9 9 0 a ) . T h e r e g u l a r i z a t i o n n e t w o r k s

w i t h r a d i a l s t a b i l i z e r s w e s t u d i e d i n c l u d e a l l t h e c l a s s i -

c a l o n e - d i m e n s i o n a l a s w e l l a s m u l t i d i m e n s i o n a l s p l i n e s

a n d a p p r o x i m a t i o n t e c h n i q u e s , s u c h a s r a d i a l a n d n o n -

r a d i a l G a u s s i a n o r m u l t i q u a d r i c f u n c t i o n s . I n P o g g i o a n d

G i r o s i ( 1 9 9 0 , 1 9 9 0 a ) w e h a v e e x t e n d e d t h i s c l a s s o f n e t -

w o r k s t o H y p e r B a s i s F u n c t i o n s ( H B F ) . I n t h i s p a p e r w e

s h o w t h a t a n e x t e n s i o n o f R e g u l a r i z a t i o n N e t w o r k s , t h a t

w e p r o p o s e t o c a l l G e n e r a l i z e d R e g u l a r i z a t i o n N e t w o r k s

( G R N ) , e n c o m p a s s e s a n e v e n b r o a d e r r a n g e o f a p p r o x -

i m a t i o n s c h e m e s , i n c l u d i n g , i n a d d i t i o n t o H B F , t e n s o r

p r o d u c t s p l i n e s , m a n y o f t h e g e n e r a l a d d i t i v e m o d e l s ,

a n d s o m e o f t h e n e u r a l n e t w o r k s .

T h e p l a n o f t h e p a p e r i s a s f o l l o w s . W e r s t d i s c u s s

t h e s o l u t i o n o f t h e v a r i a t i o n a l p r o b l e m s o f r e g u l a r i z a t i o n

i n a r a t h e r g e n e r a l f o r m . W e t h e n i n t r o d u c e t h r e e d i e r -

e n t c l a s s e s o f s t a b i l i z e r s { a n d t h e c o r r e s p o n d i n g p r i o r s

i n t h e e q u i v a l e n t B a y e s i a n i n t e r p r e t a t i o n { t h a t l e a d t o

d i e r e n t c l a s s e s o f b a s i s f u n c t i o n s : t h e w e l l - k n o w r a d i a l

s t a b i l i z e r s , t e n s o r - p r o d u c t s t a b i l i z e r s , a n d t h e n e w a d d i -

t i v e s t a b i l i z e r s t h a t u n d e r l i e a d d i t i v e s p l i n e s o f d i e r e n t

t y p e s . I t i s t h e n p o s s i b l e t o s h o w t h a t t h e s a m e e x t e n -

s i o n t h a t l e a d s f r o m R a d i a l B a s i s F u n c t i o n s t o H y p e r

B a s i s F u n c t i o n s l e a d s f r o m a d d i t i v e m o d e l s t o r i d g e a p -

p r o x i m a t i o n , c o n t a i n i n g a s s p e c i a l c a s e s B r e i m a n ' s h i n g e

f u n c t i o n s ( 1 9 9 2 ) a n d r i d g e a p p r o x i m a t i o n s o f t h e t y p e

o f P r o j e c t i o n P u r s u i t R e g r e s s i o n ( P P R ) ( F r i e d m a n a n d

S t u e z l e , 1 9 8 1 H u b e r , 1 9 8 5 ) . S i m p l e n u m e r i c a l e x p e r -

i m e n t s a r e t h e n d e s c r i b e d t o i l l u s t r a t e t h e t h e o r e t i c a l

a r g u m e n t s .

I n s u m m a r y , t h e c h a i n o f o u r a r g u m e n t s s h o w s t h a t

r i d g e a p p r o x i m a t i o n s c h e m e s s u c h a s

f ( x ) =

d

X

i = 1

h

( w

x )

w h e r e

h

( y ) =

n

X

= 1

c

G ( y ; t

)

a r e a p p r o x i m a t i o n s o f R e g u l a r i z a t i o n N e t w o r k s w i t h a p -

p r o p r i a t e a d d i t i v e s t a b i l i z e r s . T h e f o r m o f G d e p e n d s

o n t h e s t a b i l i z e r , a n d i n c l u d e s i n p a r t i c u l a r c u b i c s p l i n e s

( u s e d i n t y p i c a l i m p l e m e n t a t i o n s o f P P R ) a n d o n e -

d i m e n s i o n a l G a u s s i a n s . I t s e e m s , h o w e v e r , i m p o s s i b l e

t o d i r e c t l y d e r i v e f r o m r e g u l a r i z a t i o n p r i n c i p l e s t h e s i g -

m o i d a l a c t i v a t i o n f u n c t i o n s u s e d i n M u l t i l a y e r P e r c e p -

t r o n s . W e d i s c u s s i n a s i m p l e e x a m p l e t h e c l o s e r e l a t i o n -

s h i p b e t w e e n b a s i s f u n c t i o n s o f t h e h i n g e , t h e s i g m o i d

a n d t h e G a u s s i a n t y p e .

T h e a p p e n d i c e s d e a l w i t h o b s e r v a t i o n s r e l a t e d t o t h e

m a i n r e s u l t s o f t h e p a p e r a n d m o r e t e c h n i c a l d e t a i l s .

2 T h e r e g u l a r i z a t i o n a p p r o a c h t o t h e

a p p r o x i m a t i o n p r o b l e m

S u p p o s e t h a t t h e s e t g = f ( x

i

y

i

) 2 R

d

R g

N

i = 1

o f d a t a

h a s b e e n o b t a i n e d b y r a n d o m s a m p l i n g o f a f u n c t i o n f

b e l o n g i n g t o s o m e s p a c e o f f u n c t i o n s X d e n e d o n R

d

i n t h e p r e s e n c e o f n o i s e , a n d s u p p o s e w e a r e i n t e r e s t e d

i n r e c o v e r i n g t h e f u n c t i o n f , o r a n e s t i m a t e o f i t , f r o m

t h e s e t o f d a t a g . T h i s p r o b l e m i s c l e a r l y i l l - p o s e d , s i n c e

i t h a s a n i n n i t e n u m b e r o f s o l u t i o n s . I n o r d e r t o c h o o s e

o n e p a r t i c u l a r s o l u t i o n w e n e e d t o h a v e s o m e a p r i o r i

k n o w e d g e o f t h e f u n c t i o n t h a t h a s t o b e r e c o n s t r u c t e d .

T h e m o s t c o m m o n f o r m o f a p r i o r i k n o w l e d g e c o n s i s t s i n

a s s u m i n g t h a t t h e f u n c t i o n i s s m o o t h , i n t h e s e n s e t h a t

t w o s i m i l a r i n p u t s c o r r e s p o n d t o t w o s i m i l a r o u t p u t s .

T h e m a i n i d e a u n d e r l y i n g r e g u l a r i z a t i o n t h e o r y i s t h a t

t h e s o l u t i o n o f a n i l l - p o s e d p r o b l e m c a n b e o b t a i n e d f r o m

a v a r i a t i o n a l p r i n c i p l e , w h i c h c o n t a i n s b o t h t h e d a t a a n d

p r i o r s m o o t h n e s s i n f o r m a t i o n . S m o o t h n e s s i s t a k e n i n t o

a c c o u n t b y d e n i n g a s m o o t h n e s s f u n c t i o n a l f ] i n s u c h

a w a y t h a t l o w e r v a l u e s o f t h e f u n c t i o n a l c o r r e s p o n d t o

s m o o t h e r f u n c t i o n s . S i n c e w e l o o k f o r a f u n c t i o n t h a t

i s s i m u l t a n e o u s l y c l o s e t o t h e d a t a a n d a l s o s m o o t h , i t

i s n a t u r a l t o c h o o s e a s a s o l u t i o n o f t h e a p p r o x i m a t i o n

p r o b l e m t h e f u n c t i o n t h a t m i n i m i z e s t h e f o l l o w i n g f u n c -

t i o n a l :

1


3/28

H f =

N

X

i = 1

( f ( x

i

) ; y

i

)

2

+ f ( 1 )

w h e r e i s a p o s i t i v e n u m b e r t h a t i s u s u a l l y c a l l e d t h e

r e g u l a r i z a t i o n p a r a m e t e r . T h e r s t t e r m i s e n f o r c i n g

c l o s e n e s s t o t h e d a t a , a n d t h e s e c o n d s m o o t h n e s s , w h i l e

t h e r e g u l a r i z a t i o n p a r a m e t e r c o n t r o l s t h e t r a d e o b e -

t w e e n t h e s e t w o t e r m s .

I t c a n b e s h o w n t h a t , f o r a w i d e c l a s s o f f u n c t i o n a l s

t h e s o l u t i o n s o f t h e m i n i m i z a t i o n o f t h e f u n c t i o n a l ( 1 ) a l l

h a v e t h e s a m e f o r m . A l t h o u g h a d e t a i l e d a n d r i g o r o u s

d e r i v a t i o n o f t h e s o l u t i o n o f t h i s p r o b l e m i s o u t o f t h e

s c o p e o f t h i s m e m o , a s i m p l e d e r i v a t i o n o f t h i s g e n e r a l

r e s u l t i s p r e s e n t e d i n a p p e n d i x ( A ) . I n t h i s s e c t i o n w e

j u s t p r e s e n t a f a m i l y o f s m o o t h n e s s f u n c t i o n a l s a n d t h e

c o r r e s p o n d i n g s o l u t i o n s o f t h e v a r i a t i o n a l p r o b l e m . W e

r e f e r t h e r e a d e r t o t h e c u r r e n t l i t e r a t u r e f o r t h e m a t h e -

m a t i c a l d e t a i l s ( W a h b a , 1 9 9 0 M a d y c h a n d N e l s o n , 1 9 9 0

D y n , 1 9 8 7 ) .

W e r s t n e e d t o g i v e a m o r e p r e c i s e d e n i t i o n o f

w h a t w e m e a n b y s m o o t h n e s s a n d d e n e a c l a s s o f s u i t -

a b l e s m o o t h n e s s f u n c t i o n a l s . W e r e f e r t o s m o o t h n e s s a s

a m e a s u r e o f t h e \ o s c i l l a t o r y " b e h a v i o r o f a f u n c t i o n .

T h e r e f o r e , w i t h i n a c l a s s o f d i e r e n t i a b l e f u n c t i o n s , o n e

f u n c t i o n w i l l b e s a i d t o b e s m o o t h e r t h a n a n o t h e r o n e i f

i t o s c i l l a t e s l e s s . I f w e l o o k a t t h e f u n c t i o n s i n t h e f r e -

q u e n c y d o m a i n , w e m a y s a y t h a t a f u n c t i o n i s s m o o t h e r

t h a n a n o t h e r o n e i f i t h a s l e s s e n e r g y a t h i g h f r e q u e n c y

( s m a l l e r b a n d w i d t h ) . T h e h i g h f r e q u e n c y c o n t e n t o f a

f u n c t i o n c a n b e m e a s u r e d b y r s t h i g h - p a s s l t e r i n g t h e

f u n c t i o n , a n d t h e n m e a s u r i n g t h e p o w e r , t h a t i s t h e L

2

n o r m , o f t h e r e s u l t . I n f o r m u l a s , t h i s s u g g e s t s d e n i n g

s m o o t h n e s s f u n c t i o n a l s o f t h e f o r m :

f =

Z

R

d

d s

~

f ( s )

2

~

G ( s )

( 2 )

w h e r e ~ i n d i c a t e s t h e F o u r i e r t r a n s f o r m ,

~

G i s s o m e p o s i -

t i v e f u n c t i o n t h a t f a l l s o t o z e r o a s k s k ! 1 ( s o t h a t

1

~

G

i s a n h i g h - p a s s l t e r ) a n d f o r w h i c h t h e c l a s s o f f u n c t i o n s

s u c h t h a t t h i s e x p r e s s i o n i s w e l l d e n e d i s n o t e m p t y . F o r

a w e l l d e n e d c l a s s o f f u n c t i o n s G ( M a d y c h a n d N e l s o n ,

1 9 9 0 D y n , 1 9 9 1 ) t h i s f u n c t i o n a l i s a s e m i - n o r m , w i t h a

n i t e d i m e n s i o n a l n u l l s p a c e N . T h e n e x t s e c t i o n w i l l

b e d e v o t e d t o g i v i n g e x a m p l e s o f t h e p o s s i b l e c h o i c e s f o r

t h e s t a b i l i z e r . F o r t h e m o m e n t w e j u s t a s s u m e t h a t i t

c a n b e w r i t t e n a s i n e q . ( 2 ) , a n d m a k e t h e a d d i t i o n a l a s -

s u m p t i o n t h a t

~

G i s s y m m e t r i c , s o t h a t i t s F o u r i e r t r a n s -

f o r m G i s r e a l a n d s y m m e t r i c . I n t h i s c a s e i t i s p o s s i b l e

t o s h o w ( s e e a p p e n d i x ( A ) f o r a s k e t c h o f t h e p r o o f )

t h a t t h e f u n c t i o n t h a t m i n i m i z e s t h e f u n c t i o n a l ( 1 ) h a s

t h e f o r m :

f ( x ) =

N

X

i = 1

c

i

G ( x ; x

i

) +

k

X

= 1

d

( x ) ( 3 )

w h e r e f

g

k

= 1

i s a b a s i s i n t h e k d i m e n s i o n a l n u l l s p a c e

N a n d t h e c o e c i e n t s d

a n d c

i

s a t i s f y t h e f o l l o w i n g

l i n e a r s y s t e m :

( G + I ) c +

T

d = y

c = 0

w h e r e I i s t h e i d e n t i t y m a t r i x , a n d w e h a v e d e n e d

( y )

i

= y

i

( c )

i

= c

i

( d )

i

= d

i

( G )

i j

= G ( x

i

; x

j

) ( )

i

=

( x

i

)

T h e e x i s t e n c e o f a s o l u t i o n t o t h e l i n e a r s y s t e m s h o w n

a b o v e i s g u a r a n t e e d b y t h e e x i s t e n c e o f t h e s o l u t i o n o f

t h e v a r i a t i o n a l p r o b l e m . T h e c a s e o f = 0 c o r r e s p o n d s

t o p u r e i n t e r p o l a t i o n , a n d i n t h i s c a s e t h e s o l v a b i l i t y o f

t h e l i n e a r s y s t e m d e p e n d s o n t h e p r o p e r t i e s o f t h e b a s i s

f u n c t i o n G

T h e a p p r o x i m a t i o n s c h e m e o f e q . f o r m ( 3 ) h a s a s i m -

p l e i n t e r p r e t a t i o n i n t e r m s o f a n e t w o r k w i t h o n e l a y e r

o f h i d d e n u n i t s , w h i c h w e c a l l a R e g u l a r i z a t i o n N e t w o r k

( R N ) . A p p e n d i x B d e s c r i b e s t h e s i m p l e e x t e n s i o n t o v e c -

t o r o u t p u t s c h e m e .

3 C l a s s e s o f s t a b i l i z e r s

I n t h e p r e v i o u s s e c t i o n w e c o n s i d e r e d t h e c l a s s o f s t a b i -

l i z e r s o f t h e f o r m :

f =

Z

R

d

d s

~

f ( s )

2

~

G ( s )

( 4 )

a n d w e h a v e s e e n t h a t t h e s o l u t i o n o f t h e m i n i m i z a t i o n

p r o b l e m a l w a y s h a s t h e s a m e f o r m . I n t h i s s e c t i o n w e

d i s c u s s t h r e e d i e r e n t t y p e s o f s t a b i l i z e r s b e l o n g i n g t o

t h e c l a s s ( 4 ) , c o r r e s p o n d i n g t o d i e r e n t p r o p e r t i e s o f t h e

b a s i s f u n c t i o n s G . E a c h o f t h e m c o r r e s p o n d s t o d i e r -

e n t a p r i o r i a s s u m p t i o n s a b o u t t h e s m o o t h n e s s o f t h e

f u n c t i o n t h a t m u s t b e a p p r o x i m a t e d .

3 . 1 R a d i a l s t a b i l i z e r s

M o s t o f t h e c o m m o n l y u s e d s t a b i l i z e r s h a v e r a d i a l s i m -

m e t r y , t h a t i s , t h e y s a t i s f y t h e f o l l o w i n g e q u a t i o n :

f ( x ) = f ( R x )

f o r a n y r o t a t i o n m a t r i x R . T h i s c h o i c e r e e c t s t h e a

p r i o r i a s s u m p t i o n t h a t a l l t h e v a r i a b l e s h a v e t h e s a m e

r e l e v a n c e , a n d t h a t t h e r e a r e n o p r i v i l i g e d d i r e c t i o n s .

R o t a t i o n i n v a r i a n t s t a b i l i z e r s c o r r e s p o n d c l e a r l y t o r a -

d i a l b a s i s f u n c t i o n G ( k x k ) . M u c h a t t e n t i o n h a s b e e n

d e d i c a t e d t o t h i s c a s e , a n d t h e c o r r e s p o n d i n g a p p r o x -

i m a t i o n t e c h n i q u e i s k n o w n a s R a d i a l B a s i s F u n c t i o n s

( M i c c h e l l i , 1 9 8 6 P o w e l l , 1 9 8 7 ) . T h e c l a s s o f a d m i s s i b l e

R a d i a l B a s i s F u n c t i o n s i s t h e c l a s s o f c o n d i t i o n a l l y p o s -

i t i v e d e n i t e f u n c t i o n s o f a n y o r d e r , s i n c e i t h a s b e e n

s h o w n ( M a d y c h a n d N e l s o n , 1 9 9 1 D y n , 1 9 9 1 ) t h a t i n

t h i s c a s e t h e f u n c t i o n a l o f e q . ( 4 ) i s a s e m i - n o r m , a n d

t h e a s s o c i a t e d v a r i a t i o n a l p r o b l e m i s w e l l d e n e d . A l l

t h e R a d i a l B a s i s F u n c t i o n s c a n t h e r e f o r e b e d e r i v e d i n

t h i s f r a m e w o r k . W e e x p l i c i t l y g i v e t w o i m p o r t a n t e x a m -

p l e s .

D u c h o n m u l t i v a r i a t e s p l i n e s

2


4/28

D u c h o n ( 1 9 7 7 ) c o n s i d e r e d m e a s u r e s o f s m o o t h n e s s o f t h e

f o r m

f =

Z

R

d

d s k s k

2 m

~

f ( s )

2

I n t h i s c a s e

~

G ( s ) =

1

k s k

2 m

a n d t h e c o r r e s p o n d i n g b a s i s

f u n c t i o n i s t h e r e f o r e

G ( x ) =

k x k

2 m d

l n k x k i f 2 m > d a n d d i s e v e n

k x k

2 m d

o t h e r w i s e .

( 5 )

I n t h i s c a s e t h e n u l l s p a c e o f f ] i s t h e v e c t o r s p a c e

o f p o l y n o m i a l s o f d e g r e e a t m o s t m i n d v a r i a b l e s , w h o s e

d i m e n s i o n i s

k =

d + m ; 1

d

T h e s e b a s i s f u n c t i o n s a r e r a d i a l a n d c o n d i t i o n a l l y p o s -

i t i v e d e n i t e , s o t h a t t h e y r e p r e s e n t j u s t p a r t i c u l a r i n -

s t a n c e s o f t h e w e l l k n o w n R a d i a l B a s i s F u n c t i o n s t e c h -

n i q u e ( M i c c h e l l i , 1 9 8 6 W a h b a , 1 9 9 0 ) . I n t w o d i m e n -

s i o n s , f o r m = 2 , e q . ( 5 ) y i e l d s t h e s o c a l l e d \ t h i n

p l a t e " b a s i s f u n c t i o n G ( x ) = k x k

2

l n k x k ( H a r d e r a n d

D e s m a r a i s , 1 9 7 2 ) , d e p i c t e d i n g u r e ( 1 ) .

T h e G a u s s i a n

A s t a b i l i z e r o f t h e f o r m

f =

Z

R

d

d s e

k s k

2

~

f ( s )

2

w h e r e i s a x e d p o s i t i v e p a r a m e t e r , h a s

~

G ( s ) = e

k s k

2

a n d a s b a s i s f u n c t i o n t h e G a u s s i a n f u n c t i o n , r e p r e s e n t e d

i n g u r e ( 2 ) . T h e G a u s s i a n f u n c t i o n i s p o s i t i v e d e n i t e ,

a n d i t i s w e l l k n o w n f r o m t h e t h e o r y o f r e p r o d u c i n g k e r -

n e l s t h a t p o s i t i v e d e n i t e f u n c t i o n s c a n b e u s e d t o d e -

n e n o r m s o f t h e t y p e ( 4 ) . S i n c e f ] i s a n o r m , i t s n u l l

s p a c e c o n t a i n s o n l y t h e z e r o e l e m e n t , a n d t h e a d d i t i o n a l

n u l l s p a c e t e r m s o f e q . ( 3 ) a r e n o t n e e d e d , u n l i k e i n

D u c h o n s p l i n e s . A d i s a d v a n t a g e o f t h e G a u s s i a n i s t h e

a p p e a r a n c e o f t h e s c a l i n g p a r a m e t e r , w h i l e D u c h o n

s p l i n e s , b e i n g h o m o g e n e o u s f u n c t i o n s , d o n o t d e p e n d o n

a n y s c a l i n g p a r a m e t e r . H o w e v e r , i t i s p o s s i b l e t o d e v i s e

g o o d h e u r i s t i c s t h a t f u r n i s h s u b - o p t i m a l , b u t s t i l l g o o d ,

v a l u e s o f , o r g o o d s t a r t i n g p o i n t s f o r c r o s s - v a l i d a t i o n

p r o c e d u r e s .

O t h e r B a s i s F u n c t i o n s

H e r e w e g i v e a l i s t o f o t h e r f u n c t i o n s t h a t c a n b e u s e d a s

b a s i s f u n c t i o n s i n t h e R a d i a l B a s i s F u n c t i o n s t e c h n i q u e ,

a n d t h a t a r e t h e r e f o r e a s s o c i a t e d w i t h t h e m i n i m i z a t i o n

o f s o m e f u n c t i o n a l . I n t h e f o l l o w i n g t a b l e w e i n d i c a t e a s

\ p . d . " t h e p o s i t i v e d e n i t e f u n c t i o n s , w h i c h d o n o t n e e d

a n y p o l y n o m i a l t e r m i n t h e s o l u t i o n , a n d a s \ c . p . d . k "

t h e c o n d i t i o n a l l y p o s i t i v e d e n i t e f u n c t i o n s o f o r d e r k

w h i c h n e e d a p o l y n o m i a l o f d e g r e e k i n t h e s o l u t i o n .

G ( r ) = e

r

2

G a u s s i a n , p . d .

G ( r ) =

p

r

2

+ c

2

m u l t i q u a d r i c , c . p . d . 1

G ( r ) =

1

p

c

2

+ r

2

i n v e r s e m u l t i q u a d r i c , p . d .

G ( r ) = r

2 n + 1

m u l t i v a r i a t e s p l i n e s , c . p . d . n

G ( r ) = r

2 n

l n r m u l t i v a r i a t e s p l i n e s , c . p . d . n

3 . 2 T e n s o r p r o d u c t s t a b i l i z e r s

A n a l t e r n a t i v e t o c h o o s i n g a r a d i a l f u n c t i o n

~

G i n t h e

s t a b i l i z e r ( 4 ) i s a t e n s o r p r o d u c t t y p e o f b a s i s f u n c t i o n ,

t h a t i s a f u n c t i o n o f t h e f o r m

~

G ( s ) =

d

j = 1

~g ( s

j

) ( 6 )

w h e r e s

j

i s t h e j - t h c o o r d i n a t e o f t h e v e c t o r s , a n d ~ g

i s a n a p p r o p r i a t e o n e - d i m e n s i o n a l f u n c t i o n . W h e n g i s

p o s i t i v e d e n i t e t h e f u n c t i o n a l f ] i s c l e a r l y a n o r m a n d

i t s n u l l s p a c e i s e m p t y . I n t h e c a s e o f a c o n d i t i o n a l l y

p o s i t i v e d e n i t e f u n c t i o n t h e s t r u c t u r e o f t h e n u l l s p a c e

c a n b e m o r e c o m p l i c a t e d a n d w e d o n o t c o n s i d e r i t h e r e .

S t a b i l i z e r s w i t h

~

G ( s ) a s i n e q u a t i o n ( 6 ) h a v e t h e f o r m

f =

Z

R

d

d s

~

f ( s )

2

d

j = 1

~g ( s

j

)

w h i c h l e a d s t o a t e n s o r p r o d u c t b a s i s f u n c t i o n

G ( x ) =

d

j = 1

g ( x

j

)

w h e r e x

j

i s t h e j - t h c o o r d i n a t e o f t h e v e c t o r x a n d g ( x )

i s t h e F o u r i e r t r a n s f o r m o f ~ g ( s ) . A n i n t e r e s t i n g e x a m p l e

i s t h e o n e c o r r e s p o n d i n g t o t h e c h o i c e :

~g ( s ) =

1

1 + s

2

w h i c h l e a d s t o t h e b a s i s f u n c t i o n :

G ( x ) =

d

j = 1

e

x

j

= e

P

d

j = 1

x

j

= e

k x k

L

1

T h i s b a s i s f u n c t i o n i s i n t e r e s t i n g f r o m t h e p o i n t o f v i e w

o f V L S I i m p l e m e n t a t i o n s , b e c a u s e i t r e q u i r e s t h e c o m -

p u t a t i o n o f t h e L

1

n o r m o f t h e i n p u t v e c t o r x , w h i c h

i s u s u a l l y e a s i e r t o c o m p u t e t h a n t h e E u c l i d e a n n o r m

L

2

. H o w e v e r , t h i s b a s i s f u n c t i o n i n n o t v e r y s m o o t h ,

a s s h o w n i n g u r e ( 3 ) , a n d i t s p e r f o r m a n c e i n p r a c t i c a l

c a s e s s h o u l d r s t b e t e s t e d e x p e r i m e n t a l l y .

W e n o t i c e t h a t t h e c h o i c e

~g ( s ) = e

s

2

l e a d s a g a i n t o t h e G a u s s i a n b a s i s f u n c t i o n G ( x ) =

e

k x k

2

3


5/28

3 . 3 A d d i t i v e s t a b i l i z e r s

W e h a v e s e e n i n t h e p r e v i o u s s e c t i o n h o w s o m e t e n s o r

p r o d u c t a p p r o x i m a t i o n s c h e m e s c a n b e d e r i v e d i n t h e

f r a m e w o r k o f r e g u l a r i z a t i o n t h e o r y . W e n o w w i l l s e e t h a t

i s a l s o p o s s i b l e t o d e r i v e t h e c l a s s o f a d d i t i v e a p p r o x i m a -

t i o n s c h e m e s i n t h e s a m e f r a m e w o r k , w h e r e b y a d d i t i v e

a p p r o x i m a t i o n w e m e a n a n a p p r o x i m a t i o n o f t h e f o r m

f ( x ) =

d

X

= 1

f

( x

) ( 7 )

w h e r e x

i s t h e - t h c o m p o n e n t o f t h e i n p u t v e c t o r x

a n d t h e f

a r e o n e - d i m e n s i o n a l f u n c t i o n s t h a t w i l l b e

d e n e d a s t h e a d d i t i v e c o m p o n e n t s o f f ( f r o m n o w o n

G r e e k l e t t e r i n d i c e s w i l l b e u s e d i n a s s o c i a t i o n w i t h c o m -

p o n e n t s o f t h e i n p u t v e c t o r s ) . A d d i t i v e m o d e l s a r e w e l l

k n o w n i n s t a t i s t i c s ( s e e H a s t i e a n d T i b s h i r a n i ' s b o o k ,

1 9 9 0 ) a n d c a n b e c o n s i d e r a s a g e n e r a l i z a t i o n o f l i n e a r

m o d e l s . T h e y a r e a p p e a l i n g b e c a u s e , b e i n g e s s e n t i a l l y a

s u p e r p o s i t i o n o f o n e - d i m e n s i o n a l f u n c t i o n s , t h e y h a v e a

l o w c o m p l e x i t y , a n d t h e y s h a r e w i t h l i n e a r m o d e l s t h e

f e a t u r e t h a t t h e e e c t s o f t h e d i e r e n t v a r i a b l e s c a n b e

e x a m i n e d s e p a r a t e l y .

T h e s i m p l e s t w a y t o o b t a i n s u c h a n a p p r o x i m a t i o n

s c h e m e i s t o c h o o s e a s t a b i l i z e r t h a t c o r r e s p o n d s t o a n

a d d i t i v e b a s i s f u n c t i o n ( s e e g . 4 f o r a n e x a m p l e ) :

G ( x ) =

n

X

= 1

g ( x

) ( 8 )

w h e r e

a r e c e r t a i n x e d p a r a m e t e r s . S u c h a c h o i c e , i n

f a c t , l e a d s t o a n a p p r o x i m a t i o n s c h e m e o f t h e f o r m ( 7 )

i n w h i c h t h e a d d i t i v e c o m p o n e n t s f

h a v e t h e f o r m :

f

( x ) =

N

X

i = 1

c

i

G ( x

; x

i

) ( 9 )

N o t i c e t h a t t h e a d d i t i v e c o m p o n e n t s a r e n o t i n d e p e n d e n t

a t t h i s s t a g e , s i n c e t h e r e i s o n l y o n e s e t o f c o e c i e n t s c

i

W e p o s t p o n e t h e d i s c u s s i o n o f t h i s p o i n t t o s e c t i o n ( 4 . 2 ) .

W e w o u l d l i k e t o w r i t e s t a b i l i z e r s c o r r e s p o n d i n g t o

t h e b a s i s f u n c t i o n ( 8 ) i n t h e f o r m ( 4 ) , w h e r e

~

G ( s ) i s t h e

F o u r i e r t r a n s f o r m o f G ( x ) . W e n o t i c e t h a t t h e F o u r i e r

t r a n s f o r m o f a n a d d i t i v e f u n c t i o n l i k e t h e o n e i n e q u a t i o n

( 8 ) i s a d i s t r i b u t i o n . F o r e x a m p l e , i n t w o d i m e n s i o n s w e

o b t a i n

~

G ( s ) =

x

~g ( s

x

) ( s

y

) +

y

~g ( s

y

) ( s

x

) ( 1 0 )

a n d t h e i n t e r p r e t a t i o n o f t h e r e c i p r o c a l o f t h i s e x p r e s s i o n

i s d e l i c a t e . H o w e v e r , a l m o s t a d d i t i v e b a s i s f u n c t i o n s c a n

b e o b t a i n e d i f w e a p p r o x i m a t e t h e d e l t a f u n c t i o n s i n e q .

( 1 0 ) w i t h G a u s s i a n s o f v e r y s m a l l v a r i a n c e . C o n s i d e r ,

f o r e x a m p l e i n t w o d i m e n s i o n s , t h e s t a b i l i z e r :

f =

Z

R

d

d s

~

f ( s )

2

x

~g ( s

x

) e

(

s

y

)

2

+

y

~g ( s

y

) e

(

s

x

)

2

( 1 1 )

T h i s c o r r e s p o n d s t o a b a s i s f u n c t i o n o f t h e f o r m :

G ( x y ) =

x

g ( x ) e

2

y

2

+

y

g ( y ) e

2

x

2

( 1 2 )

I n t h e l i m i t o f g o i n g t o z e r o t h e d e n o m i n a t o r i n e x -

p r e s s i o n ( 1 1 ) a p p r o a c h e s e q . ( 1 0 ) , a n d t h e b a s i s f u n c -

t i o n ( 1 2 ) a p p r o a c h e s a b a s i s f u n c t i o n t h a t i s t h e s u m o f

o n e - d i m e n s i o n a l b a s i s f u n c t i o n s . I n t h i s p a p e r w e d o n o t

d i s c u s s t h i s l i m i t p r o c e s s i n a r i g o r o u s w a y . I n s t e a d w e

o u t l i n e a n o t h e r w a y t o o b t a i n a d d i t i v e a p p r o x i m a t i o n s

i n t h e f r a m e w o r k o f r e g u l a r i z a t i o n t h e o r y .

L e t u s a s s u m e t h a t w e k n o w a p r i o r i t h a t t h e f u n c t i o n

f t h a t w e w a n t t o a p p r o x i m a t e i s a d d i t i v e , t h a t i s :

f ( x ) =

d

X

= 1

f

( x

)

W e t h e n a p p l y t h e r e g u l a r i z a t i o n a p p r o a c h a n d i m p o s e a

s m o o t h n e s s c o n s t r a i n t , n o t o n t h e f u n c t i o n f a s a w h o l e ,

b u t o n e a c h s i n g l e a d d i t i v e c o m p o n e n t , t h r o u g h a r e g u -

l a r i z a t i o n f u n c t i o n a l o f t h e f o r m :

H f =

N

X

i = 1

( y

i

;

d

X

= 1

f

( x

i

) )

2

+

d

X

= 1

1

Z

R

d s

~

f

( s )

2

~g ( s )

w h e r e

a r e g i v e n p o s i t i v e p a r a m e t e r s w h i c h a l l o w u s t o

i m p o s e d i e r e n t d e g r e e s o f s m o o t h n e s s o n t h e d i e r e n t

a d d i t i v e c o m p o n e n t s . T h e m i n i m i z e r o f t h i s f u n c t i o n a l

i s f o u n d w i t h t h e s a m e t e c h n i q u e d e s c r i b e d i n a p p e n d i x

( A ) , a n d s k i p p i n g n u l l s p a c e t e r m s , i t h a s t h e u s u a l f o r m

f ( x ) =

N

X

i = 1

c

i

G ( x ; x

i

) ( 1 3 )

w h e r e

G ( x ; x

i

) =

d

X

= 1

g ( x

; x

i

)

a s i n e q . ( 8 ) .

W e n o t i c e t h a t t h e a d d i t i v e c o m p o n e n t o f e q . ( 1 3 )

c a n b e w r i t t e n a s

f

( x

) =

N

X

i = 1

c

i

g ( x

; x

i

)

w h e r e w e h a v e d e n e d

c

i

=

c

i

T h e a d d i t i v e c o m p o n e n t s a r e t h e r e f o r e n o t i n d e p e n d e n t

b e c a u s e t h e p a r a m e t e r s

a r e x e d . I f t h e

w e r e f r e e

p a r a m e t e r s , t h e c o e c i e n t s c

i

w o u l d b e i n d e p e n d e n t , a s

w e l l a s t h e a d d i t i v e c o m p o n e n t s .

N o t i c e t h a t t h e t w o w a y s w e h a v e o u t l i n e d f o r d e r i v -

i n g a d d i t i v e a p p r o x i m a t i o n f r o m r e g u l a r i z a t i o n t h e o r y

a r e e q u i v a l e n t . T h e y b o t h s t a r t f r o m a p r i o r a s s u m p t i o n

o f a d d i t i v i t y a n d s m o o t h n e s s o f t h e c l a s s o f f u n c t i o n s

t o b e a p p r o x i m a t e d . I n t h e r s t t e c h n i q u e t h e t w o a s -

s u m p t i o n s a r e b o t h i n t h e c h o i c e o f t h e s t a b i l i z e r , ( e q .

1 1 ) i n t h e s e c o n d t h e y a r e m a d e e x p l i c i t a n d e x p l o i t e d

s e q u e n t i a l l y .

4


6/28

4 E x t e n s i o n s : f r o m R e g u l a r i z a t i o n

N e t w o r k s t o G e n e r a l i z e d

R e g u l a r i z a t i o n N e t w o r k s

I n t h i s s e c t i o n w e w i l l r s t r e v i e w s o m e e x t e n s i o n s o f r e g -

u l a r i z a t i o n n e t w o r k s , a n d t h e n w i l l a p p l y t h e m t o R a d i a l

B a s i s F u n c t i o n s a n d t o a d d i t i v e s p l i n e s .

A f u n d a m e n t a l p r o b l e m i n a l m o s t a l l p r a c t i c a l a p p l i -

c a t i o n s i n l e a r n i n g a n d p a t t e r n r e c o g n i t i o n i s t h e c h o i c e

o f t h e r e l e v a n t v a r i a b l e s . I t m a y h a p p e n t h a t s o m e o f

t h e v a r i a b l e s a r e m o r e r e l e v a n t t h a n o t h e r s , t h a t s o m e

v a r i a b l e s a r e j u s t t o t a l l y i r r e l e v a n t , o r t h a t t h e r e l e v a n t

v a r i a b l e s a r e l i n e a r c o m b i n a t i o n s o f t h e o r i g i n a l o n e s .

I t c a n t h e r e f o r e b e u s e f u l t o w o r k n o t w i t h t h e o r i g i n a l

s e t o f v a r i a b l e s x , b u t w i t h a l i n e a r t r a n s f o r m a t i o n o f

t h e m , W x , w h e r e W i s a p o s s i b i l y r e c t a n g u l a r m a t r i x .

I n t h e f r a m e w o r k o f r e g u l a r i z a t i o n t h e o r y , t h i s c a n b e

t a k e n i n t o a c c o u n t b y m a k i n g t h e a s s u m p t i o n t h a t t h e

a p p r o x i m a t i n g f u n c t i o n f h a s t h e f o r m f ( x ) = F ( W x )

f o r s o m e s m o o t h f u n c t i o n F . T h e s m o o t h n e s s a s s u m p -

t i o n i s n o w m a d e d i r e c t l y o n F , t h r o u g h a s m o o t h n e s s

f u n c t i o n a l F ] o f t h e f o r m ( 4 ) . T h e r e g u l a r i z a t i o n f u n c -

t i o n a l i s n o w e x p r e s s e d i n t e r m s o f F a s

H F =

N

X

i = 1

( y

i

; F ( z

i

) )

2

+ F

w h e r e z

i

= W x

i

. T h e f u n c t i o n t h a t m i n i m i z e s t h i s f u n c -

t i o n a l i s c l e a r l y , a c c o r d i n g l y t o t h e r e s u l t s o f s e c t i o n ( 2 ) ,

o f t h e f o r m :

F ( z ) =

N

X

i = 1

c

i

G ( z ; z

i

)

( p l u s e v e n t u a l l y a p o l y n o m i a l i n z ) . T h e r e f o r e t h e s o l u -

t i o n f o r f i s

f ( x ) = F ( W x ) =

N

X

i = 1

c

i

G ( W x ; W x

i

) ( 1 4 )

T h i s a r g u m e n t i s e x a c t f o r g i v e n a n d k n o w n W , a s i n

t h e c a s e o f c l a s s i c a l R a d i a l B a s i s F u n c t i o n s . U s u a l l y t h e

m a t r i x W i s u n k n o w n , a n d i t m u s t b e e s t i m a t e d f r o m

t h e e x a m p l e s . E s t i m a t i n g b o t h t h e c o e c i e n t s c

i

a n d

t h e m a t r i x W b y l e a s t s q u a r e s i s p r o b a b l y n o t a g o o d

i d e a , s i n c e w e w o u l d e n d u p t r y i n g t o e s t i m a t e a n u m -

b e r o f p a r a m e t e r s t h a t i s l a r g e r t h a n t h e n u m b e r o f d a t a

p o i n t s ( t h o u g h o n e m a y u s e r e g u l a r i z e d l e a s t s q u a r e s ) .

T h e r e f o r e , i t h a s b e e n p r o p o s e d t o r e p l a c e t h e a p p r o x i -

m a t i o n s c h e m e o f e q . ( 1 4 ) w i t h a s i m i l a r o n e , i n w h i c h h e

b a s i c s h a p e o f t h e a p p r o x i m a t i o n s c h e m e i s r e t a i n e d , b u t

t h e n u m b e r o f b a s i s f u n c t i o n s i s d e c r e a s e d . T h e r e s u l t -

i n g a p p r o x i m a t i n g f u n c t i o n t h a t w e c a l l t h e G e n e r a l i z e d

R e g u l a r i z a t i o n N e t w o r k ( G R N ) i s :

f ( x ) =

n

X

= 1

c

G ( W x ; W t

) ( 1 5 )

w h e r e n < N a n d t h e c e n t e r s t

a r e c h o s e n a c c o r d i n g t o

s o m e h e u r i s t i c ( M o o d y a n d D a r k e n , 1 9 8 9 ) , o r a r e c o n s i d -

e r e d a s f r e e p a r a m e t e r s ( P o g g i o a n d G i r o s i , 1 9 8 9 , 1 9 9 0 ) .

T h e c o e c i e n t s c

a n d t h e e l e m e n t s o f t h e m a t r i x W

a r e e s t i m a t e d a c c o r d i n g l y t o a l e a s t s q u a r e s c r i t e r i o n .

T h e e l e m e n t s o f t h e m a t r i x W c o u l d a l s o b e e s t i m a t e d

t h r o u g h c r o s s - v a l i d a t i o n , w h i c h m a y b e a f o r m a l l y m o r e

a p p r o p r i a t e t e c h n i q u e .

I n t h e s p e c i a l c a s e i n w h i c h t h e m a t r i x W a n d t h e

c e n t e r s a r e k e p t x e d , t h e r e s u l t i n g t e c h n i q u e i s o n e o r i g -

i n a l l y p r o p o s e d b y B r o o m h e a d a n d L o w e ( 1 9 8 8 ) , a n d t h e

c o e c i e n t s s a t i s f y t h e f o l l o w i n g l i n e a r e q u a t i o n :

G

T

G c = G

T

y

w h e r e w e h a v e d e n e d t h e f o l l o w i n g v e c t o r s a n d m a t r i -

c e s :

( y )

i

= y

i

( c )

= c

( G )

i

= G ( x

i

; t

)

T h i s t e c h n i q u e , w h i c h h a s b e c o m e q u i t e c o m m o n i n t h e

n e u r a l n e t w o r k c o m m u n i t y , h a s t h e a d v a n t a g e o f r e t a i n -

i n g t h e f o r m o f t h e r e g u l a r i z a t i o n s o l u t i o n , w h i l e b e i n g

l e s s c o m p l e x t o c o m p u t e . A c o m p l e t e t h e o r e t i c a l a n a l y -

s i s h a s n o t y e t b e e n g i v e n , b u t s o m e r e s u l t s , i n t h e c a s e

i n w h i c h t h e m a t r i x W i s s e t t o i d e n t i t y , a r e a l r e a d y

a v a i l a b l e ( S i v a k u m a r a n d W a r d , 1 9 9 1 ) .

T h e n e x t s e c t i o n s d i s c u s s a p p r o x i m a t i o n s c h e m e s o f

t h e f o r m ( 1 5 ) i n t h e c a s e s o f r a d i a l a n d a d d i t i v e b a s i s

f u n c t i o n s .

4 . 1 E x t e n s i o n s o f R a d i a l B a s i s F u n c t i o n s

I n t h e c a s e i n w h i c h t h e b a s i s f u n c t i o n i s r a d i a l , t h e

a p p r o x i m a t i o n s c h e m e o f e q . ( 1 5 ) b e c o m e s :

f ( x ) =

n

X

= 1

c

G ( k x ; t

k

w

)

w h e r e w e h a v e d e n e d t h e w e i g h t e d n o r m :

k x k

w

x W

T

W x ( 1 6 )

T h e b a s i s f u n c t i o n s o f e q . ( 1 5 ) a r e n o t r a d i a l a n y m o r e ,

o r , m o r e a c c u r a t e l y , t h e y a r e r a d i a l i n t h e m e t r i c d e n e d

b y e q . ( 1 6 ) . T h i s m e a n s t h a t t h e l e v e l c u r v e s o f t h e b a s i s

f u n c t i o n s a r e n o t c i r c l e s , b u t e l l i p s e s , w h o s e a x e s d o n o t

n e e d t o b e a l i g n e d w i t h t h e c o o r d i n a t e a x i s . N o t i c e t h a t

i n t h i s c a s e w h a t i s i m p o r t a n t i s n o t t h e m a t r i x W i t s e l f ,

b u t r a t h e r t h e p r o d u c t m a t r i x W

T

W . T h e r e f o r e , b y t h e

C h o l e s k y d e c o m p o s i t i o n , i t i s s u c i e n t t o t a k e W u p p e r

t r i a n g u l a r . T h e a p p r o x i m a t i o n s c h e m e d e n e d b y e q .

( 1 5 ) h a s b e e n d i s c u s s e d i n d e t a i l i n ( P o g g i o a n d G i r o s i ,

1 9 9 0 G i r o s i , 1 9 9 2 ) , s o w e d o w i l l n o t d i s c u s s i t f u r t h e r ,

a n d w i l l c o n s i d e r , i n t h e n e x t s e c t i o n , i t s a n a l o g u e i n t h e

c a s e o f a d d i t i v e b a s i s f u n c t i o n s .

4 . 2 E x t e n s i o n s o f a d d i t i v e s p l i n e s

I n t h e p r e v i o u s s e c t i o n s w e h a v e s e e n a n e x t e n s i o n o f

t h e c l a s s i c a l r e g u l a r i z a t i o n t e c h n i q u e . I n t h i s s e c t i o n w e

d e r i v e t h e f o r m t h a t t h i s e x t e n s i o n t a k e s w h e n a p p l i e d

t o a d d i t i v e s p l i n e s . T h e r e s u l t i n g s c h e m e i s v e r y s i m i l a r

t o P r o j e c t i o n P u r s u i t R e g r e s s i o n ( F r i e d m a n a n d S t u e z l e ,

1 9 8 1 H u b e r , 1 9 8 5 ) .

W e s t a r t f r o m t h e \ c l a s s i c a l " a d d i t i v e s p l i n e , d e r i v e d

f r o m r e g u l a r i z a t i o n i n s e c t i o n ( 3 . 3 ) :

5


7/28

f ( x ) =

N

X

i = 1

c

i

d

X

= 1

G ( x

; x

i

) ( 1 7 )

I n t h i s s c h e m e t h e s m o o t h i n g p a r a m e t e r s

s h o u l d b e

k n o w n , o r c a n b e e s t i m a t e d b y c r o s s - v a l i d a t i o n . A n a l -

t e r n a t i v e t o c r o s s - v a l i d a t i o n i s t o c o n s i d e r t h e p a r a m -

e t e r s

a s f r e e p a r a m e t e r s , a n d e s t i m a t e t h e m w i t h a

l e a s t s q u a r e t e c h n i q u e t o g e t h e r w i t h t h e c o e c i e n t s c

i

I f t h e p a r a m e t e r s

a r e f r e e , t h e a p p r o x i m a t i o n s c h e m e

o f e q . ( 1 7 ) b e c o m e s t h e f o l l o w i n g :

f ( x ) =

N

X

i = 1

d

X

= 1

c

i

g ( x

; x

i

)

w h e r e t h e c o e c i e n t s c

i

a r e n o w i n d e p e n d e n t . O f

c o u r s e , n o w w e m u s t e s t i m a t e N d c o e c i e n t s i n s t e a d

o f j u s t N , a n d w e a r e l i k e l y t o e n c o u n t e r t h e o v e r t t i n g

p r o b l e m . W e t h e n a d o p t t h e s a m e i d e a p r e s e n t e d i n s e c -

t i o n ( 4 ) , a n d c o n s i d e r a n a p p r o x i m a t i o n s c h e m e o f t h e

f o r m

f ( x ) =

n

X

= 1

d

X

= 1

c

G ( x

; t

) ( 1 8 )

i n w h i c h t h e n u m b e r o f c e n t e r s i s s m a l l e r t h a n t h e n u m -

b e r o f e x a m p l e s , r e d u c i n g t h e n u m b e r o f c o e c i e n t s t h a t

m u s t b e e s t i m a t e d . W e n o t i c e t h a t e q . ( 1 8 ) c a n b e w r i t -

t e n a s

f ( x ) =

d

X

= 1

f

( x

)

w h e r e e a c h a d d i t i v e c o m p o n e n t h a s t h e f o r m :

f

( x

) =

n

X

= 1

c

G ( x

; t

)

T h e r e f o r e a n o t h e r a d v a n t a g e o f t h i s t e c h n i q u e i s t h a t

t h e a d d i t i v e c o m p o n e n t s a r e n o w i n d e p e n d e n t , e a c h o f

t h e m b e i n g a o n e - d i m e n s i o n a l R a d i a l B a s i s F u n c t i o n s .

W e c a n n o w u s e t h e s a m e a r g u m e n t f r o m s e c t i o n ( 4 ) t o

i n t r o d u c e a l i n e a r t r a n s f o r m a t i o n o f t h e i n p u t s x ! W x

w h e r e W i s a d d m a t r i x . C a l l i n g w

t h e - t h c o l u m n

o f W , a n d p e r f o r m i n g t h e s u b s t i t u t i o n x ! W x i n e q .

( 1 8 ) , w e o b t a i n

f ( x ) =

n

X

= 1

d

X

= 1

c

G ( w

x ; t

) ( 1 9 )

W e n o w d e n e t h e f o l l o w i n g o n e - d i m e n s i o n a l f u n c t i o n :

h

( y ) =

n

X

= 1

c

G ( y ; t

)

a n d r e w r i t e t h e a p p r o x i m a t i o n s c h e m e o f e q : ( 1 9 ) a s

f ( x ) =

d

X

i = 1

h

( w

x ) ( 2 0 )

N o t i c e t h e s i m i l a r i t y b e t w e e n e q . ( 2 0 ) a n d t h e P r o j e c -

t i o n P u r s u i t R e g r e s s i o n t e c h n i q u e : i n b o t h s c h e m e s t h e

u n k n o w n f u n c t i o n i s a p p r o x i m a t e d b y a l i n e a r s u p e r p o s i -

t i o n o f o n e - d i m e n s i o n a l v a r i a b l e s , w h i c h a r e p r o j e c t i o n s

o f t h e o r i g i n a l v a r i a b l e s o n c e r t a i n v e c t o r s t h a t h a v e b e e n

e s t i m a t e d . I n P r o j e c t i o n P u r s u i t R e g r e s s i o n t h e c h o i c e

o f t h e f u n c t i o n s h

k

( y ) i s l e f t t o t h e u s e r . I n o u r c a s e t h e

h

k

a r e o n e - d i m e n s i o n a l R a d i a l B a s i s F u n c t i o n s , f o r e x -

a m p l e c u b i c s p l i n e s , o r G a u s s i a n s . T h e c h o i c e d e p e n d s ,

s t r i c t l y s p e a k i n g , o n t h e s p e c i c p r i o r , t h a t i s , o n t h e

s p e c i c s m o o t h n e s s a s s u m p t i o n s m a d e b y t h e u s e r . I n -

t e r e s t i n g l y , i n m a n y a p p l i c a t i o n s o f P r o j e c t i o n P u r s u i t

R e g r e s s i o n t h e f u n c t i o n s h

k

h a v e b e e n i n d e e d c h o s e n t o

b e c u b i c s p l i n e s .

L e t u s b r i e y r e v i e w t h e s t e p s t h a t b r i n g u s f r o m t h e

c l a s s i c a l a d d i t i v e a p p r o x i m a t i o n s c h e m e o f e q . ( 9 ) t o

a P r o j e c t i o n P u r s u i t R e g r e s s i o n - l i k e t y p e o f a p p r o x i m a -

t i o n :

1 . t h e r e g u l a r i z a t i o n p a r a m e t e r s

o f t h e c l a s s i c a l a p -

p r o x i m a t i o n s c h e m e ( 9 ) a r e c o n s i d e r e d a s f r e e p a -

r a m e t e r s

2 . t h e n u m b e r o f c e n t e r s i s c h o s e n t o b e s m a l l e r t h a n

t h e n u m b e r o f d a t a p o i n t s

3 . i t i s a s s u m e d t h a t t h e t r u e r e l e v a n t v a r i a b l e s a r e

s o m e u n k n o w n l i n e a r c o m b i n a t i o n o f t h e o r i g i n a l

v a r i a b l e s

W e n o t i c e t h a t i n t h e s p e c i a l c a s e i n w h i c h e a c h a d d i -

t i v e c o m p o n e n t h a s j u s t o n e c e n t e r ( n = 1 ) , t h e a p p r o x -

i m a t i o n s c h e m e o f e q . ( 1 9 ) b e c o m e s :

f ( x ) =

d

X

= 1

c

G ( w

x ; t

) ( 2 1 )

I f t h e b a s i s f u n c t i o n G w e r e a s i g m o i d a l f u n c t i o n t h i s

w o u l d b e c l e a r l y a s t a n d a r d M u l t i l a y e r P e r c e p t r o n w i t h

o n e l a y e r o f h i d d e n u n i t s . S i g m o i d a l f u n c t i o n s c a n n o t

b e d e r i v e d f r o m r e g u l a r i z a t i o n t h e o r y , b u t w e w i l l s e e i n

s e c t i o n ( 6 ) t h e r e l a t i o n s h i p b e t w e e n a s i g m o i d a l f u n c t i o n

a n d a b a s i s f u n c t i o n t h a t c a n b e d e r i v e d f r o m r e g u l a r -

i z a t i o n , l i k e t h e a b s o l u t e v a l u e f u n c t i o n .

T h e r e a r e c l e a r l y a n u m b e r o f c o m p u t a t i o n a l i s s u e s r e -

l a t e d t o h o w t o n d t h e p a r a m e t e r s o f a n a p p r o x i m a t i o n

s c h e m e l i k e t h e o n e o f e q . ( 1 9 ) , b u t w e d o n o t d i s c u s s

t h e m h e r e . W e p r e s e n t i n s t e a d , i n s e c t i o n ( 7 ) , s o m e e x -

p e r i m e n t a l r e s u l t s , a n d w i l l d e s c r i b e t h e a l g o r i t h m u s e d

t o o b t a i n t h e m .

5 P r i o r s , s t a b i l i z e r s a n d b a s i s f u n c t i o n s

I t i s w e l l k n o w n t h a t a v a r i a t i o n a l p r i n c i p l e s u c h a s e q u a -

t i o n ( 1 ) c a n b e d e r i v e d n o t o n l y i n t h e c o n t e x t o f f u n c -

t i o n a l a n a l y s i s ( T i k h o n o v a n d A r s e n i n , 1 9 7 7 ) , b u t a l s o i n

a p r o b a b i l i s t i c f r a m e w o r k ( M a r r o q u i n e t a l . , 1 9 8 7 B e r t -

e r o e t a l . , 1 9 8 8 , W a h b a , 1 9 9 0 ) . I n t h i s s e c t i o n w e i l l u s -

t r a t e t h i s c o n n e c t i o n i n f o r m a l l y , w i t h o u t a d d r e s s i n g t h e

s e v e r a l d e e p m a t h e m a t i c a l i s s u e s o f t h e p r o b l e m .

S u p p o s e t h a t t h e s e t g = f ( x

i

y

i

) 2 R

n

R g

N

i = 1

o f

d a t a h a s b e e n o b t a i n e d b y r a n d o m s a m p l i n g a f u n c t i o n

f , d e n e d o n R

n

, i n t h e p r e s e n c e o f n o i s e , t h a t i s

6


8/28

f ( x

i

) = y

i

+

i

i = 1 : : : N ( 2 2 )

w h e r e

i

a r e r a n d o m i n d e p e n d e n t v a r i a b l e s w i t h a g i v e n

d i s t r i b u t i o n . W e a r e i n t e r e s t e d i n r e c o v e r i n g t h e f u n c -

t i o n f , o r a n e s t i m a t e o f i t , f r o m t h e s e t o f d a t a g W e

t a k e a p r o b a b i l i s t i c a p p r o a c h , a n d r e g a r d t h e f u n c t i o n f

a s t h e r e a l i z a t i o n o f a r a n d o m e l d w i t h a k n o w n p r i o r

p r o b a b i l i t y d i s t r i b u t i o n . L e t u s d e n e :

{ P f g ] a s t h e c o n d i t i o n a l p r o b a b i l i t y o f t h e f u n c t i o n

f g i v e n t h e e x a m p l e s g

{ P g f ] a s t h e c o n d i t i o n a l p r o b a b i l i t y o f g g i v e n f I f

t h e f u n c t i o n u n d e r l y i n g t h e d a t a i s f , t h i s i s t h e p r o b -

a b i l i t y t h a t b y r a n d o m s a m p l i n g t h e f u n c t i o n f a t t h e

s i t e s f x

i

g

N

i = 1

t h e s e t o f m e a s u r e m e n t f y

i

g

N

i = 1

i s o b t a i n e d ,

b e i n g t h e r e f o r e a m o d e l o f t h e n o i s e .

{ P f ] : i s t h e a p r i o r i p r o b a b i l i t y o f t h e r a n d o m e l d f

T h i s e m b o d i e s o u r a p r i o r i k n o w l e d g e o f t h e f u n c t i o n ,

a n d c a n b e u s e d t o i m p o s e c o n s t r a i n t s o n t h e m o d e l ,

a s s i g n i n g s i g n i c a n t p r o b a b i l i t y o n l y t o t h o s e f u n c t i o n s

t h a t s a t i s f y t h o s e c o n s t r a i n t s .

A s s u m i n g t h a t t h e p r o b a b i l i t y d i s t r i b u t i o n s P g f

a n d P f ] a r e k n o w , t h e p o s t e r i o r d i s t r i b u t i o n P f g ] c a n

n o w b e c o m p u t e d b y a p p l y i n g t h e B a y e s r u l e :

P f g / P g f P f ( 2 3 )

W e n o w m a k e t h e a s s u m p t i o n t h a t t h e n o i s e v a r i a b l e s

i n e q . ( 2 2 ) a r e n o r m a l l y d i s t r i b u t e d , w i t h v a r i a n c e

T h e r e f o r e t h e p r o b a b i l i t y P g f ] c a n b e w r i t t e n a s :

P g f / e

1

2

2

P

N

i = 1

( y

i

f ( x

i

) )

2

w h e r e i s t h e v a r i a n c e o f t h e n o i s e .

T h e m o d e l f o r t h e p r i o r p r o b a b i l i t y d i s t r i b u t i o n P f

i s c h o s e n i n a n a l o g y w i t h t h e d i s c r e t e c a s e ( w h e n t h e

f u n c t i o n f i s d e n e d o n a n i t e s u b s e t o f a n - d i m e n s i o n a l

l a t t i c e ) f o r w h i c h t h e p r o b l e m c a n b e r i g o r o u s l y f o r m a l -

i z e d ( M a r r o q u i n e t a l . , 1 9 8 7 ) . T h e p r i o r p r o b a b i l i t y P f

i s w r i t t e n a s

P f / e

f

w h e r e f ] i s a s m o o t h n e s s f u n c t i o n a l o f t h e t y p e d e -

s c r i b e d i n s e c t i o n ( 3 ) a n d a p o s i t i v e r e a l n u m b e r . T h i s

f o r m o f p r o b a b i l i t y d i s t r i b u t i o n g i v e s h i g h p r o b a b i l i t y

o n l y t o t h o s e f u n c t i o n s f o r w h i c h t h e t e r m f ] i s s m a l l ,

a n d e m b o d i e s t h e a p r i o r i k n o w l e d g e t h a t o n e h a s a b o u t

t h e s y s t e m .

F o l l o w i n g t h e B a y e s r u l e ( 2 3 ) t h e a p o s t e r i o r i p r o b a -

b i l i t y o f f i s w r i t t e n a s

P f g / e

1

2

2

P

N

i = 1

( y

i

f ( x

i

) )

2

+ 2

2

f

( 2 4 )

O n e s i m p l e e s t i m a t e o f t h e f u n c t i o n f f r o m t h e p r o b -

a b i l i t y d i s t r i b u t i o n ( 2 4 ) i s t h e s o c a l l e d M A P ( M a x i m u m

A P o s t e r i o r i ) e s t i m a t e , t h a t c o n s i d e r s t h e f u n c t i o n t h a t

m a x i m i z e s t h e a p o s t e r i o r i p r o b a b i l i t y P f g ] , o r m i n i -

m i z e s t h e e x p o n e n t i n e q u a t i o n ( 2 4 ) . T h e M A P e s t i m a t e

o f f i s t h e r e f o r e t h e m i n i m i z e r o f t h e f o l l o w i n g f u n c t i o n a l :

H f =

N

X

i = 1

( y

i

; f ( x

i

) )

2

+ f

w h e r e = 2

2

. T h i s f u n c t i o n a l i s t h e s a m e a s t h a t

o f e q . ( 1 ) , a n d f r o m h e r e i t i s c l e a r t h a t t h e p a r a m e t e r

, t h a t i s u s u a l l y c a l l e d t h e \ r e g u l a r i z a t i o n p a r a m e t e r "

d e t e r m i n e s t h e t r a d e - o b e t w e e n t h e l e v e l o f t h e n o i s e

a n d t h e s t r e n g t h o f t h e a p r i o r i a s s u m p t i o n s a b o u t t h e

s o l u t i o n , t h e r e f o r e c o n t r o l l i n g t h e c o m p r o m i s e b e t w e e n

t h e d e g r e e o f s m o o t h n e s s o f t h e s o l u t i o n a n d i t s c l o s e n e s s

t o t h e d a t a .

A s w e h a v e p o i n t e d o u t ( P o g g i o a n d G i r o s i , 1 9 8 9 ) ,

p r i o r p r o b a b i l i t i e s c a n a l s o b e s e e n a s a m e a s u r e o f c o m -

p l e x i t y , a s s i g n i n g h i g h c o m p l e x i t y t o t h e f u n c t i o n s w i t h

s m a l l p r o b a b i l i t y . I t h a s b e e n p r o p o s e d b y R i s s a n e n

( 1 9 7 8 ) t o m e a s u r e t h e c o m p l e x i t y o f a h y p o t h e s i s i n

t e r m s o f t h e b i t l e n g t h n e e d e d t o e n c o d e i t . I t t u r n s

o u t t h a t t h e M A P e s t i m a t e m e n t i o n e d a b o v e i s c l o s e l y

r e l a t e d t o t h e M i n i m u m D e s c r i p t i o n L e n g t h P r i n c i p l e :

t h e h y p o t h e s i s f w h i c h f o r g i v e n g c a n b e d e s c r i b e d i n

t h e m o s t c o m p a c t w a y i s c h o s e n a s t h e \ b e s t " h y p o t h e -

s i s . S i m i l a r i d e a s h a v e b e e n e x p l o r e d b y o t h e r s ( f o r i n -

s t a n c e S o l o m o n o i n 1 9 7 8 ) . T h e y c o n n e c t d a t a c o m p r e s -

s i o n a n d c o d i n g w i t h B a y e s i a n i n f e r e n c e , r e g u l a r i z a t i o n ,

f u n c t i o n a p p r o x i m a t i o n a n d l e a r n i n g .

5 . 1 T h e B a y e s i a n i n t e r p r e t a t i o n o f G e n e r a l i z e d

R e g u l a r i z a t i o n N e t w o r k s

I n t h e p r o b a b i l i s t i c i n t e r p r e t a t i o n o f s t a n d a r d r e g u l a r i z a -

t i o n t h e t e r m f ] i n t h e r e g u l a r i z a t i o n f u n c t i o n a l c o r -

r e s p o n d s t o t h e f o l l o w i n g p r i o r p r o b a b i l i t y i n a B a y e s i a n

f o r m u l a t i o n i n w h i c h t h e M A P e s t i m a t e i s s o u g h t :

P f / e

f

F r o m t h i s p o i n t o f v i e w , t h e e x t e n s i o n o f s e c t i o n ( 4 ) c o r -

r e s p o n d s ( a g a i n i n f o r m a l l y ) t o c h o o s e a n a p r i o r i p r o b -

a b i l i t y o f t h e f o r m

P f /

Z

g e

g

( f ( x ) ; g ( W x ) )

w h e r e g m e a n s t h a t a f u n c t i o n a l i n t e g r a t i o n i s b e i n g

p e r f o r m e d . T h i s r e s t r i c t s t h e s p a c e o f f u n c t i o n s o n w h i c h

t h e p r o b a b i l i t y d i s t r i b u t i o n i s d e n e d t o t h e c l a s s o f f u n c -

t i o n s t h a t c a n b e w r i t t e n a s f ( x ) = g ( W x ) , a n d a s s u m e

a p r i o r p r o b a b i l i t y d i s t r i b u t i o n e

g ( ( x ) )

f o r t h e f u n c -

t i o n s g , w h e r e i s n o w a r a d i a l l y s y m m e t r i c s t a b i l i z e r .

I n a s i m i l a r m a n n e r , i n t h e c a s e o f a d d i t i v e a p p r o x i -

m a t i o n t h e p r i o r p r o b a b i l i t y o f f i s c o n c e n t r a t e d o n t h o s e

f u n c t i o n s f t h a t c a n b e w r i t t e n a s s u m s o f a d d i t i v e c o m -

p o n e n t s , a n d c o r r e s p o n d i n g p r i o r s a r e o f t h e f o r m :

P f /

Z

f

1

: : : f

d

d

= 1

e

1

f

f ( x ) ;

d

X

= 1

f

( x

)

!

T h i s i s e q u i v a l e n t t o s a y i n g t h a t w e k n o w a p r i o r i t h a t

t h e u n d e r l y i n g f u n c t i o n i s a d d i t i v e .

7


9/28

6 A d d i t i v e s p l i n e s , h i n g e f u n c t i o n s ,

s i g m o i d a l n e u r a l n e t s

I n t h e p r e v i o u s s e c t i o n s w e h a v e s h o w n h o w t o e x t e n d

R N t o s c h e m e s t h a t w e h a v e c a l l e d G R N , w h i c h i n c l u d e

r i d g e a p p r o x i m a t i o n s c h e m e s o f t h e P P R t y p e , t h a t i s

f ( x ) =

d

X

i = 1

h

( w

x )

w h e r e

h

( y ) =

n

X

= 1

c

G ( y ; t

)

T h e f o r m o f t h e b a s i s f u n c t i o n G d e p e n d s o n t h e s t a -

b i l i z e r , a n d a l i s t o f \ a d m i s s i b l e " G h a s b e e n g i v e n i n

s e c t i o n ( 3 ) . T h e s e i n c l u d e t h e a b s o l u t e v a l u e G ( x ) = x

{ c o r r e s p o n d i n g t o p i e c e w i s e l i n e a r s p l i n e s , a n d t h e f u n c -

t i o n G ( x ) = x

3

{ c o r r e s p o n d i n g t o c u b i c s p l i n e s ( u s e d

i n t y p i c a l i m p l e m e n t a t i o n s o f P P R ) , a s w e l l a s G a u s s i a n

f u n c t i o n s . T h o u g h i t m a y s e e m n a t u r a l t o t h i n k t h a t s i g -

m o i d a l m u l t i l a y e r p e r c e p t r o n s m a y b e i n c l u d e d i n t h i s

f r a m e w o r k , i t i s a c t u a l l y i m p o s s i b l e t o d e r i v e d i r e c t l y

f r o m r e g u l a r i z a t i o n p r i n c i p l e s t h e s i g m o i d a l a c t i v a t i o n

f u n c t i o n s t y p i c a l l y u s e d i n M u l t i l a y e r P e r c e p t r o n s . I n

t h e f o l l o w i n g s e c t i o n w e s h o w , h o w e v e r , t h a t t h e r e i s a

c l o s e r e l a t i o n s h i p b e t w e e n b a s i s f u n c t i o n s o f t h e h i n g e ,

t h e s i g m o i d a n d t h e G a u s s i a n t y p e .

6 . 1 F r o m a d d i t i v e s p l i n e s t o r a m p a n d h i n g e

f u n c t i o n s

W e w i l l c o n s i d e r h e r e t h e o n e - d i m e n s i o n a l c a s e . M u l -

t i d i m e n s i o n a l a d d i t i v e a p p r o x i m a t i o n s c o n s i s t o f o n e -

d i m e n s i o n a l t e r m s ( o n c e t h e W h a s b e e n x e d ) . W e

c o n s i d e r t h e a p p r o x i m a t i o n w i t h t h e l o w e s t p o s s i b l e d e -

g r e e o f s m o o t h n e s s : p i e c e w i s e l i n e a r . T h e a s s o c i a t e d

b a s i s f u n c t i o n G ( x ) = x i s s h o w n i n g u r e 5 t o p l e f t ,

a n d t h e a s s o c i a t e d s t a b i l i z e r i s g i v e n b y

f =

Z

1

1

d s

~

f ( s )

2

s

2

I t s u s e i n a p p r o x i m a t i n g a o n e - d i m e n s i o n a l f u n c t i o n c o n -

s i s t s o f t h e l i n e a r c o m b i n a t i o n w i t h a p p r o p r i a t e c o e -

c i e n t s o f t r a n s l a t e s o f x . I t i s e a s y t o s e e t h a t a l i n -

e a r c o m b i n a t i o n o f t w o t r a n s l a t e s o f x w i t h a p p r o p r i -

a t e c o e c i e n t s ( p o s i t i v e a n d n e g a t i v e a n d e q u a l i n a b -

s o l u t e v a l u e ) y i e l d s t h e p i e c e w i s e l i n e a r t h r e s h o l d f u n c -

t i o n

L

( x ) s h o w n i n g u r e 5 . L i n e a r c o m b i n a t i o n s o f

t r a n s l a t e s o f s u c h f u n c t i o n s c a n b e u s e d t o a p p r o x i m a t e

o n e - d i m e n s i o n a l f u n c t i o n s . A s i m i l a r d e r i v a t i v e - l i k e , l i n -

e a r c o m b i n a t i o n o f t w o t r a n s l a t e s o f

L

( x ) f u n c t i o n s w i t h

a p p r o p r i a t e c o e c i e n t s y i e l d s t h e G a u s s i a n - l i k e f u n c t i o n

g

L

( x ) a l s o s h o w n i n g u r e 5 . L i n e a r c o m b i n a t i o n s o f

t r a n s l a t e s o f t h i s f u n c t i o n c a n a l s o b e u s e d f o r a p p r o x i -

m a t i o n o f a f u n c t i o n . T h u s a n y g i v e n a p p r o x i m a t i o n i n

t e r m s o f g

L

( x ) c a n b e r e w r i t t e n i n t e r m s o f

L

( x ) a n d

t h e l a t t e r c a n b e i n t u r n e x p r e s s e d i n t e r m s o f t h e b a s i s

f u n c t i o n x

N o t i c e t h a t t h e b a s i s f u n c t i o n s x u n d e r l i e t h e

\ h i n g e " t e c h n i q u e p r o p o s e d b y B r e i m a n ( 1 9 9 2 ) , w h e r e a s

t h e b a s i s f u n c t i o n s

L

( x ) a r e s i g m o i d a l - l i k e a n d t h e

g

L

( x ) a r e G a u s s i a n - l i k e . T h e a r g u m e n t s a b o v e s h o w t h e

c l o s e r e l a t i o n s b e t w e e n a l l o f t h e m , d e s p i t e t h e f a c t t h a t

o n l y x i s s t r i c t l y a \ l e g a l " b a s i s f u n c t i o n f r o m t h e p o i n t

o f v i e w o f r e g u l a r i z a t i o n ( g

L

( x ) i s n o t , t h o u g h t h e v e r y

s i m i l a r b u t s m o o t h e r G a u s s i a n i s ) . N o t i c e a l s o t h a t x

c a n b e e x p r e s s e d i n t e r m s o f \ r a m p " f u n c t i o n s , t h a t i s

x = x

+

+ x

T h e s e r e l a t i o n s h i p s i m p l y t h a t i t m a y b e i n t e r e s t i n g

t o c o m p a r e h o w w e l l e a c h o f t h e s e b a s i s f u n c t i o n s i s a b l e

t o a p p r o x i m a t e s o m e s i m p l e f u n c t i o n . T o d o t h i s w e u s e d

t h e m o d e l f ( x ) =

P

n

c

G ( x ; t

) t o a p p r o x i m a t e t h e

f u n c t i o n h ( x ) = s i n ( 2 x ) o n 0 1 ] , w h e r e G ( x ) i s o n e o f

t h e b a s i s f u n c t i o n s o f g u r e 5 . T h e f u n c t i o n s i n ( 2 x )

i s p l o t t e d i n g u r e 6 . F i f t y t r a i n i n g p o i n t s a n d 1 0 , 0 0 0

t e s t p o i n t s w e r e c h o s e n u n i f o r m l y o n 0 1 ] . T h e p a r a m -

e t e r s w e r e l e a r n e d u s i n g t h e i t e r a t i v e b a c k t t i n g a l g o -

r i t h m t h a t w i l l b e d e s c r i b e d i n s e c t i o n 7 . W e l o o k e d a t

t h e f u n c t i o n l e a r n e d a f t e r t t i n g 1 , 2 , 4 , 8 a n d 1 6 b a s i s

f u n c t i o n s . T h e r e s u l t i n g a p p r o x i m a t i o n s a r e p l o t t e d i n

t h e f o l l o w i n g g u r e s a n d t h e e r r o r s a r e s u m m a r i z e d i n

t a b l e 1 .

T h e r e s u l t s s h o w t h a t t h e p e r f o r m a n c e o f a l l t h r e e

b a s i s f u n c t i o n s i s f a i r l y c l o s e a s t h e n u m b e r o f b a s i s

f u n c t i o n s i n c r e a s e s . A l l m o d e l s d i d a g o o d j o b o f a p -

p r o x i m a t i n g s i n ( 2 x ) . T h e a b s o l u t e v a l u e f u n c t i o n d i d

s l i g h t l y b e t t e r a n d t h e \ G a u s s i a n " f u n c t i o n d i d s l i g h t l y

w o r s e . I t i s i n t e r e s t i n g t h a t t h e a p p r o x i m a t i o n u s i n g t w o

a b s o l u t e v a l u e f u n c t i o n s i s a l m o s t i d e n t i c a l t o t h e a p -

p r o x i m a t i o n u s i n g o n e \ s i g m o i d a l " f u n c t i o n w h i c h a g a i n

s h o w s t h a t t w o a b s o l u t e v a l u e b a s i s f u n c t i o n s c a n s u m

t o e q u a l o n e \ s i g m o i d a l " p i e c e w i s e l i n e a r f u n c t i o n .

7 N u m e r i c a l i l l u s t r a t i o n s

7 . 1 C o m p a r i n g a d d i t i v e a n d n o n - a d d i t i v e

m o d e l s

I n o r d e r t o i l l u s t r a t e s o m e o f t h e i d e a s p r e s e n t e d i n t h i s

p a p e r a n d t o p r o v i d e s o m e p r a c t i c a l i n t u i t i o n a b o u t t h e

v a r i o u s m o d e l s , w e p r e s e n t n u m e r i c a l e x p e r i m e n t s c o m -

p a r i n g t h e p e r f o r m a n c e o f a d d i t i v e a n d n o n - a d d i t i v e n e t -

w o r k s o n t w o - d i m e n s i o n a l p r o b l e m s . I n a m o d e l c o n s i s t -

i n g o f a s u m o f t w o - d i m e n s i o n a l G a u s s i a n s , t h e m o d e l

c a n b e c h a n g e d f r o m a n o n - a d d i t i v e R a d i a l B a s i s F u n c -

t i o n n e t w o r k t o a n a d d i t i v e n e t w o r k b y \ e l o n g a t i n g " t h e

G a u s s i a n s a l o n g t h e t w o c o o r d i n a t e a x e s . T h i s a l l o w s u s

t o m e a s u r e t h e p e r f o r m a n c e o f a n e t w o r k a s i t c h a n g e s

f r o m a n o n - a d d i t i v e s c h e m e t o a n a d d i t i v e o n e .

F i v e d i e r e n t m o d e l s w e r e t e s t e d . T h e r s t t h r e e d i f -

f e r o n l y i n t h e v a r i a n c e s o f t h e G a u s s i a n a l o n g t h e t w o

c o o r d i n a t e a x e s . T h e r a t i o o f t h e x v a r i a n c e t o t h e y v a r i -

a n c e d e t e r m i n e s t h e e l o n g a t i o n o f t h e G a u s s i a n . T h e s e

m o d e l s a l l h a v e t h e s a m e f o r m a n d c a n b e w r i t t e n a s :

f ( x ) =

N

X

i = 1

c

i

G

1

( x ; x

i

) + G

2

( x ; x

i

)

w h e r e

G

1

= e

(

x

2

1

+

y

2

2

)

a n d

8


10/28

G

2

= e

(

x

2

2

+

y

2

1

)

T h e m o d e l s d i e r o n l y i n t h e v a l u e s o f

1

a n d

2

. F o r

t h e r s t m o d e l ,

1

= 5 a n d

2

= 5 ( R B F ) , f o r t h e

s e c o n d m o d e l

1

= 1 0 a n d

2

= 5 ( e l l i p t i c a l G a u s s i a n ) ,

a n d f o r t h e t h i r d m o d e l ,

1

= 1 a n d

2

= 5 ( a d d i t i v e ) .

T h e s e m o d e l s c o r r e s p o n d t o p l a c i n g t w o G a u s s i a n s a t

e a c h d a t a p o i n t x

i

, w i t h o n e G a u s s i a n e l o n g a t e d i n t h e

x d i r e c t i o n a n d o n e e l o n g a t e d i n t h e y d i r e c t i o n . I n t h e

r s t c a s e ( R B F ) t h e r e i s n o e l o n g a t i o n , i n t h e s e c o n d c a s e

( e l l i p t i c a l G a u s s i a n ) t h e r e i s m o d e r a t e e l o n g a t i o n , a n d

i n t h e l a s t c a s e ( a d d i t i v e ) t h e r e i s i n n i t e e l o n g a t i o n . I n

t h e s e t h r e e m o d e l s , t h e c e n t e r s w e r e x e d i n t h e l e a r n i n g

a l g o r i t h m a n d e q u a l t o t h e t r a i n i n g e x a m p l e s . T h e o n l y

p a r a m e t e r s t h a t w e r e l e a r n e d w e r e t h e c o e c i e n t s c

i

T h e f o u r t h m o d e l i s a n a d d i t i v e m o d e l o f t h e f o r m

( 1 8 ) , i n w h i c h t h e n u m b e r o f c e n t e r s i s s m a l l e r t h a n t h e

n u m b e r o f d a t a p o i n t s , b u t t h e a d d i t i v e c o m p o n e n t s a r e

i n d e p e n d e n t , a n d c a n b e w r i t t e n a s :

f ( x y ) =

n

X

= 1

b

G ( x ; t

x

) +

n

X

= 1

c

G ( y ; t

y

)

w h e r e t h e b a s i s f u n c t i o n i s t h e G a u s s i a n :

G ( x ) = e

2 x

2

I n t h i s m o d e l , t h e c e n t e r s w e r e a l s o x e d i n t h e l e a r n -

i n g a l g o r i t h m , a n d w e r e a p r o p e r s u b s e t o f t h e t r a i n i n g

e x a m p l e s , s o t h a t t h e r e w e r e f e w e r c e n t e r s t h a n e x a m -

p l e s . I n t h e e x p e r i m e n t s t h a t f o l l o w , 7 c e n t e r s w e r e u s e d

w i t h t h i s m o d e l , a n d t h e c o e c i e n t s b

a n d c

w e r e d e -

t e r m i n e d b y l e a s t s q u a r e s .

T h e f t h m o d e l i s a G e n e r a l i z e d R e g u l a r i z a t i o n N e t -

w o r k m o d e l , o f t h e f o r m ( 2 1 ) , t h a t u s e s a G a u s s i a n b a s i s

f u n c t i o n :

f ( x ) =

n

X

= 1

c

e

( w

x t

)

2

I n t h i s m o d e l t h e w e i g h t v e c t o r s , c e n t e r s , a n d c o e -

c i e n t s a r e a l l l e a r n e d .

T h e c o e c i e n t s o f t h e r s t f o u r m o d e l s w e r e s e t b y

s o l v i n g t h e l i n e a r s y s t e m o f e q u a t i o n s b y u s i n g t h e

p s e u d o - i n v e r s e , w h i c h n d s t h e b e s t m e a n s q u a r e d t

o f t h e l i n e a r m o d e l t o t h e d a t a .

T h e f t h m o d e l w a s t r a i n e d b y t t i n g o n e b a s i s f u n c -

t i o n a t a t i m e a c c o r d i n g t o t h e f o l l o w i n g a l g o r i t h m :

A d d a n e w b a s i s f u n c t i o n

O p t i m i z e t h e p a r a m e t e r s w

t

a n d c

u s i n g t h e

r a n d o m s t e p a l g o r i t h m ( d e s c r i b e d b e l o w )

B a c k t t i n g : f o r e a c h b a s i s f u n c t i o n a d d e d s o f a r :

{ h o l d t h e p a r a m e t e r s o f a l l o t h e r f u n c t i o n s

x e d

{ r e o p t i m i z e t h e p a r a m e t e r s o f f u n c t i o n

R e p e a t t h e b a c k t t i n g s t a g e u n t i l t h e r e i s n o s i g -

n i c a n t d e c r e a s e i n L

2

e r r o r .

T h e r a n d o m s t e p a l g o r i t h m ( C a p r i l e a n d G i r o s i , 1 9 9 0 )

f o r o p t i m i z i n g a s e t o f p a r a m e t e r s w o r k s a s f o l l o w s . P i c k

r a n d o m c h a n g e s t o e a c h p a r a m e t e r s u c h t h a t e a c h r a n -

d o m c h a n g e l i e s w i t h i n s o m e i n t e r v a l a b ] . A d d t h e

r a n d o m c h a n g e s t o e a c h p a r a m e t e r a n d t h e n c a l c u l a t e

t h e n e w e r r o r b e t w e e n t h e o u t p u t o f t h e n e t w o r k a n d

t h e t a r g e t v a l u e s . I f t h e e r r o r d e c r e a s e s , t h e n k e e p t h e

c h a n g e s a n d d o u b l e t h e l e n g t h o f t h e i n t e r v a l f o r p i c k -

i n g r a n d o m c h a n g e s . I f t h e e r r o r i n c r e a s e s , t h e n t h r o w

o u t t h e c h a n g e s a n d h a l v e t h e s i z e o f t h e i n t e r v a l . I f t h e

l e n g t h o f t h e i n t e r v a l b e c o m e s l e s s t h a n s o m e t h r e s h o l d ,

t h e n r e s e t t h e l e n g t h o f t h e i n t e r v a l t o s o m e l a r g e r v a l u e .

T h e v e m o d e l s w e r e e a c h t e s t e d o n t w o d i e r e n t f u n c -

t i o n s : a t w o - d i m e n s i o n a l a d d i t i v e f u n c t i o n :

h ( x y ) = s i n ( 2 x ) + 4 ( y ; 0 5 )

2

a n d t h e t w o - d i m e n s i o n a l G a b o r f u n c t i o n :

g ( x y ) = e

k x k

2

c o s ( 7 5 ( x + y ) )

T h e g r a p h s o f t h e s e f u n c t i o n s a r e s h o w n i n g u r e

1 0 . T h e t r a i n i n g d a t a f o r t h e a d d i t i v e f u n c t i o n c o n -

s i s t e d o f 2 0 p o i n t s p i c k e d f r o m a u n i f o r m d i s t r i b u t i o n

o n 0 1 0 1 ] . A n o t h e r 1 0 , 0 0 0 p o i n t s w e r e r a n d o m l y

c h o s e n t o s e r v e a s t e s t d a t a . T h e t r a i n i n g d a t a f o r t h e

G a b o r f u n c t i o n c o n s i s t e d o f 2 0 p o i n t s p i c k e d f r o m a u n i -

f o r m d i s t r i b u t i o n o n ; 1 1 ; 1 1 ] w i t h a n a d d i t i o n a l

1 0 , 0 0 0 p o i n t s u s e d a s t e s t d a t a .

I n o r d e r t o s e e h o w s e n s i t i v e w e r e t h e p e r f o r m a n c e s

t o t h e c h o i c e o f b a s i s f u n c t i o n , w e a l s o r e p e a t e d t h e e x -

p e r i m e n t s f o r t h e m o d e l s 3 , 4 a n d 5 w i t h a s i g m o i d ( t h a t

i s n o t a b a s i s f u n c t i o n t h a t c a n b e d e r i v e d f r o m r e g u l a r -

i z a t i o n t h e o r y ) r e p l a c i n g t h e G a u s s i a n b a s i s f u n c t i o n . I n

o u r e x p e r i m e n t s w e u s e d t h e s t a n d a r d s i g m o i d f u n c t i o n :

( x ) =

1

1 + e

x

T h e s e m o d e l s ( 6 , 7 a n d 8 ) a r e s h o w n i n t a b l e 2 t o g e t h e r

w i t h m o d e l s 1 t o 5 . N o t i c e t h a t o n l y m o d e l 8 i s a M u l t i -

l a y e r P e r c e p t r o n i n t h e s t a n d a r d s e n s e . T h e r e s u l t s a r e

s u m m a r i z e d i n t a b l e 3 .

P l o t s o f s o m e o f t h e a p p r o x i m a t i o n s a r e s h o w n i n g -

u r e s 1 1 , 1 2 , 1 3 a n d 1 4 . A s e x p e c t e d , t h e r e s u l t s s h o w

t h a t t h e a d d i t i v e m o d e l w a s a b l e t o a p p r o x i m a t e t h e a d -

d i t i v e f u n c t i o n , h ( x y ) b e t t e r t h a n b o t h t h e R B F m o d e l

a n d t h e e l l i p t i c a l G a u s s i a n m o d e l . A l s o , t h e r e s e e m s t o

b e a s m o o t h d e g r a d a t i o n o f p e r f o r m a n c e a s t h e m o d e l

c h a n g e s f r o m t h e a d d i t i v e t o t h e R a d i a l B a s i s F u n c t i o n

( g u r e 1 1 ) . J u s t t h e o p p o s i t e r e s u l t s a r e s e e n i n a p p r o x -

i m a t i n g t h e n o n - a d d i t i v e G a b o r f u n c t i o n , g ( x y ) . T h e

R B F m o d e l d i d v e r y w e l l , w h i l e t h e a d d i t i v e m o d e l d i d

a v e r y p o o r j o b i n a p p r o x i m a t i n g t h e G a b o r f u n c t i o n

( g u r e s 1 2 a n d 1 3 a ) . H o w e v e r , w e s e e t h a t t h e G R N

s c h e m e ( m o d e l 5 ) , g i v e s a f a i r l y g o o d a p p r o x i m a t i o n ( g -

u r e 1 3 b ) . T h i s i s d u e t o t h e f a c t t h a t t h e l e a r n i n g a l -

g o r i t h m w a s a b l e t o n d b e t t e r d i r e c t i o n s t o p r o j e c t t h e

d a t a t h a n t h e x a n d y a x e s a s i n t h e p u r e a d d i t i v e m o d e l .

W e c a n a l s o s e e f r o m t a b l e 3 t h a t t h e a d d i t i v e m o d e l

w i t h f e w e r c e n t e r s t h a n e x a m p l e s ( m o d e l 4 ) h a s a l a r g e r

t r a i n i n g e r r o r t h a n t h e p u r e l y a d d i t i v e m o d e l 3 , b u t a

m u c h s m a l l e r t e s t e r r o r . T h e r e s u l t s f o r t h e s i g m o i d a l

a d d i t i v e m o d e l l e a r n i n g t h e a d d i t i v e f u n c t i o n h ( g u r e

9


11/28

1 4 ) s h o w t h a t i t i s c o m p a r a b l e t o t h e G a u s s i a n a d d i t i v e

m o d e l . T h e r s t t h r e e m o d e l s w e c o n s i d e r e d h a d a n u m -

b e r o f p a r a m e t e r s e q u a l t o t h e n u m b e r o f d a t a p o i n t s ,

a n d w e r e s u p p o s e d t o e x a c t l y i n t e r p o l a t e t h e d a t a , s o

t h a t o n e m a y w o n d e r w h y t h e t r a i n i n g e r r o r s a r e n o t

e x a c t l y z e r o . T h i s i s d u e t o t h e i l l - c o n d i t i o n i n g o f t h e

a s s o c i a t e d l i n e a r s y s t e m , w h i c h i s a c o m m o n p r o b l e m i n

R a d i a l B a s i s F u n c t i o n s ( D y n , L e v i n a n d R i p p a , 1 9 8 6 ) .

8 S u m m a r y a n d r e m a r k s

A l a r g e n u m b e r o f a p p r o x i m a t i o n t e c h n i q u e s c a n b e w r i t -

t e n a s m u l t i l a y e r n e t w o r k s w i t h o n e h i d d e n l a y e r , a s

s h o w n i n g u r e ( 1 6 ) . I n p a s t p a p e r s ( P o g g i o a n d G i r o s i ,

1 9 8 9 P o g g i o a n d G i r o s i , 1 9 9 0 , 1 9 9 0 b M a r u y a m a , G i r o s

Priors, Stabilizers and Basis Functions: from regularization to radial, tensor and additive splines

Documents

Transcript of Priors, Stabilizers and Basis Functions: from regularization to radial, tensor and additive splines