1989 - Handwritten Digit Recognition with a BackPropagation Network

8/8/2019 1989 - Handwritten Digit Recognition with a Back Propagation Network

1/9

H a n d w r i t t e n D i g i t R e c o g n i t i o n w i t h a

B a c k - P r o p a g a t i o n N e t w o r k

Y . L e C u n , B . B o s e r , J . S . D e n k e r , D . H e n d e r s o n ,

R . E . H o w a r d , W . H u b b a r d , a n d L . D . J a c k e l

A T & T B e l l L a b o r a t o r i e s , H o l m d e l , N . J . 0 7 7 3 3

A B S T R A C T

W e p r e s e n t a n a p p l i c a t i o n o f b a c k - p r o p a g a t i o n n e t w o r k s t o h a n d -

w r i t t e n d i g i t r e c o g n i t i o n . M i n i m a l p r e p r o c e s s i n g o f t h e d a t a w a s

r e q u i r e d , b u t a r c h i t e c t u r e o f t h e n e t w o r k w a s h i g h l y c o n s t r a i n e d

a n d s p e c i c a l l y d e s i g n e d f o r t h e t a s k . T h e i n p u t o f t h e n e t w o r k

c o n s i s t s o f n o r m a l i z e d i m a g e s o f i s o l a t e d d i g i t s . T h e m e t h o d h a s

1 % e r r o r r a t e a n d a b o u t a 9 % r e j e c t r a t e o n z i p c o d e d i g i t s p r o v i d e d

b y t h e U . S . P o s t a l S e r v i c e .

1 I N T R O D U C T I O N

T h e m a i n p o i n t o f t h i s p a p e r i s t o s h o w t h a t l a r g e b a c k - p r o p a g a t i o n ( B P ) n e t -

w o r k s c a n b e a p p l i e d t o r e a l i m a g e - r e c o g n i t i o n p r o b l e m s w i t h o u t a l a r g e , c o m p l e x

p r e p r o c e s s i n g s t a g e r e q u i r i n g d e t a i l e d e n g i n e e r i n g . U n l i k e m o s t p r e v i o u s w o r k o n

t h e s u b j e c t ( D e n k e r e t a l . , 1 9 8 9 ) , t h e l e a r n i n g n e t w o r k i s d i r e c t l y f e d w i t h i m a g e s ,

r a t h e r t h a n f e a t u r e v e c t o r s , t h u s d e m o n s t r a t i n g t h e a b i l i t y o f B P n e t w o r k s t o d e a l

w i t h l a r g e a m o u n t s o f l o w l e v e l i n f o r m a t i o n .

P r e v i o u s w o r k p e r f o r m e d o n s i m p l e d i g i t i m a g e s ( L e C u n , 1 9 8 9 ) s h o w e d t h a t t h e

a r c h i t e c t u r e o f t h e n e t w o r k s t r o n g l y i n u e n c e s t h e n e t w o r k ' s g e n e r a l i z a t i o n a b i l i t y .

G o o d g e n e r a l i z a t i o n c a n o n l y b e o b t a i n e d b y d e s i g n i n g a n e t w o r k a r c h i t e c t u r e t h a t

c o n t a i n s a c e r t a i n a m o u n t o f a p r i o r i k n o w l e d g e a b o u t t h e p r o b l e m . T h e b a s i c d e -

s i g n p r i n c i p l e i s t o m i n i m i z e t h e n u m b e r o f f r e e p a r a m e t e r s t h a t m u s t b e d e t e r m i n e d

b y t h e l e a r n i n g a l g o r i t h m , w i t h o u t o v e r l y r e d u c i n g t h e c o m p u t a t i o n a l p o w e r o f t h e

n e t w o r k . T h i s p r i n c i p l e i n c r e a s e s t h e p r o b a b i l i t y o f c o r r e c t g e n e r a l i z a t i o n b e c a u s e


2/9

F i g u r e 1 : E x a m p l e s o f o r i g i n a l z i p c o d e s f r o m t h e t e s t i n g s e t .

i t r e s u l t s i n a s p e c i a l i z e d n e t w o r k a r c h i t e c t u r e t h a t h a s a r e d u c e d e n t r o p y ( D e n k e r

e t a l . , 1 9 8 7 ; P a t a r n e l l o a n d C a r n e v a l i , 1 9 8 7 ; T i s h b y , L e v i n a n d S o l l a , 1 9 8 9 ; L e C u n ,

1 9 8 9 ) . O n t h e o t h e r h a n d , s o m e e o r t m u s t b e d e v o t e d t o d e s i g n i n g a p p r o p r i a t e

c o n s t r a i n t s i n t o t h e a r c h i t e c t u r e .

2 Z I P C O D E R E C O G N I T I O N

T h e h a n d w r i t t e n d i g i t - r e c o g n i t i o n a p p l i c a t i o n w a s c h o s e n b e c a u s e i t i s a r e l a t i v e l y

s i m p l e m a c h i n e v i s i o n t a s k : t h e i n p u t c o n s i s t s o f b l a c k o r w h i t e p i x e l s , t h e d i g i t s

a r e u s u a l l y w e l l - s e p a r a t e d f r o m t h e b a c k g r o u n d , a n d t h e r e a r e o n l y t e n o u t p u t

c a t e g o r i e s . Y e t t h e p r o b l e m d e a l s w i t h o b j e c t s i n a r e a l t w o - d i m e n s i o n a l s p a c e a n d

t h e m a p p i n g f r o m i m a g e s p a c e t o c a t e g o r y s p a c e h a s b o t h c o n s i d e r a b l e r e g u l a r i t y

a n d c o n s i d e r a b l e c o m p l e x i t y . T h e p r o b l e m h a s a d d e d a t t r a c t i o n b e c a u s e i t i s o f

g r e a t p r a c t i c a l v a l u e .

T h e d a t a b a s e u s e d t o t r a i n a n d t e s t t h e n e t w o r k i s a s u p e r s e t o f t h e o n e u s e d i n

t h e w o r k r e p o r t e d l a s t y e a r ( D e n k e r e t a l . , 1 9 8 9 ) . W e e m p h a s i z e t h a t t h e m e t h o d

o f s o l u t i o n r e p o r t e d h e r e r e l i e s m o r e h e a v i l y o n a u t o m a t i c l e a r n i n g , a n d m u c h l e s s

o n h a n d - d e s i g n e d p r e p r o c e s s i n g .

T h e d a t a b a s e c o n s i s t s o f 9 2 9 8 s e g m e n t e d n u m e r a l s d i g i t i z e d f r o m h a n d w r i t t e n z i p -

c o d e s t h a t a p p e a r e d o n r e a l U . S . M a i l p a s s i n g t h r o u g h t h e B u a l o , N . Y . p o s t o c e .

E x a m p l e s o f s u c h i m a g e s a r e s h o w n i n g u r e 1 . T h e d i g i t s w e r e w r i t t e n b y m a n y

d i e r e n t p e o p l e , u s i n g a g r e a t v a r i e t y o f s i z e s , w r i t i n g s t y l e s a n d i n s t r u m e n t s , w i t h

w i d e l y v a r y i n g l e v e l s o f c a r e . T h i s w a s s u p p l e m e n t e d b y a s e t o f 3 3 4 9 p r i n t e d d i g -

i t s c o m i n g f r o m 3 5 d i e r e n t f o n t s . T h e t r a i n i n g s e t c o n s i s t e d o f 7 2 9 1 h a n d w r i t t e n

d i g i t s p l u s 2 5 4 9 p r i n t e d d i g i t s . T h e r e m a i n i n g 2 0 0 7 h a n d w r i t t e n a n d 7 0 0 p r i n t e d

d i g i t s w e r e u s e d a s t h e t e s t s e t . T h e p r i n t e d f o n t s i n t h e t e s t s e t w e r e d i e r e n t f r o m

t h e p r i n t e d f o n t s i n t h e t r a i n i n g s e t . O n e i m p o r t a n t f e a t u r e o f t h i s d a t a b a s e , w h i c h


3/9

F i g u r e 2 : E x a m p l e s o f n o r m a l i z e d d i g i t s f r o m t h e t e s t i n g s e t .

i s a c o m m o n f e a t u r e t o a l l r e a l - w o r l d d a t a b a s e s , i s t h a t b o t h t h e t r a i n i n g s e t a n d

t h e t e s t i n g s e t c o n t a i n n u m e r o u s e x a m p l e s t h a t a r e a m b i g u o u s , u n c l a s s i a b l e , o r

e v e n m i s c l a s s i e d .

3 P R E P R O C E S S I N G

A c q u i s i t i o n , b i n a r i z a t i o n , l o c a t i o n o f t h e z i p c o d e , a n d p r e l i m i n a r y s e g m e n t a t i o n

w e r e p e r f o r m e d b y P o s t a l S e r v i c e c o n t r a c t o r s ( W a n g a n d S r i h a r i , 1 9 8 8 ) . S o m e o f

t h e s e s t e p s c o n s t i t u t e v e r y h a r d t a s k s i n t h e m s e l v e s . T h e s e g m e n t a t i o n ( s e p a r a t i n g

e a c h d i g i t f r o m i t s n e i g h b o r s ) w o u l d b e a r e l a t i v e l y s i m p l e t a s k i f w e c o u l d a s s u m e

t h a t a c h a r a c t e r i s c o n t i g u o u s a n d i s d i s c o n n e c t e d f r o m i t s n e i g h b o r s , b u t n e i t h e r

o f t h e s e a s s u m p t i o n s h o l d s i n p r a c t i c e . M a n y a m b i g u o u s c h a r a c t e r s i n t h e d a t a b a s e

a r e t h e r e s u l t o f m i s - s e g m e n t a t i o n ( e s p e c i a l l y b r o k e n 5 ' s ) a s c a n b e s e e n o n g u r e 2 .

A t t h i s p o i n t , t h e s i z e o f a d i g i t v a r i e s b u t i s t y p i c a l l y a r o u n d 4 0 b y 6 0 p i x e l s . S i n c e

t h e i n p u t o f a b a c k - p r o p a g a t i o n n e t w o r k i s x e d s i z e , i t i s n e c e s s a r y t o n o r m a l i z e

t h e s i z e o f t h e c h a r a c t e r s . T h i s w a s p e r f o r m e d u s i n g a l i n e a r t r a n s f o r m a t i o n t o

m a k e t h e c h a r a c t e r s t i n a 1 6 b y 1 6 p i x e l i m a g e . T h i s t r a n s f o r m a t i o n p r e s e r v e s

t h e a s p e c t r a t i o o f t h e c h a r a c t e r , a n d i s p e r f o r m e d a f t e r e x t r a n e o u s m a r k s i n t h e

i m a g e h a v e b e e n r e m o v e d . B e c a u s e o f t h e l i n e a r t r a n s f o r m a t i o n , t h e r e s u l t i n g i m a g e

i s n o t b i n a r y b u t h a s m u l t i p l e g r a y l e v e l s , s i n c e a v a r i a b l e n u m b e r o f p i x e l s i n t h e

o r i g i n a l i m a g e c a n f a l l i n t o a g i v e n p i x e l i n t h e t a r g e t i m a g e . T h e g r a y l e v e l s o f

e a c h i m a g e a r e s c a l e d a n d t r a n s l a t e d t o f a l l w i t h i n t h e r a n g e 1 t o 1 .

4 T H E N E T W O R K

T h e r e m a i n d e r o f t h e r e c o g n i t i o n i s e n t i r e l y p e r f o r m e d b y a m u l t i - l a y e r n e t w o r k . A l l

o f t h e c o n n e c t i o n s i n t h e n e t w o r k a r e a d a p t i v e , a l t h o u g h h e a v i l y c o n s t r a i n e d , a n d

a r e t r a i n e d u s i n g b a c k - p r o p a g a t i o n . T h i s i s i n c o n t r a s t w i t h e a r l i e r w o r k ( D e n k e r

e t a l . , 1 9 8 9 ) w h e r e t h e r s t f e w l a y e r s o f c o n n e c t i o n s w e r e h a n d - c h o s e n c o n s t a n t s .

T h e i n p u t o f t h e n e t w o r k i s a 1 6 b y 1 6 n o r m a l i z e d i m a g e a n d t h e o u t p u t i s c o m p o s e d


4/9

o f 1 0 u n i t s : o n e p e r c l a s s . W h e n a p a t t e r n b e l o n g i n g t o c l a s s i i s p r e s e n t e d , t h e

d e s i r e d o u t p u t i s + 1 f o r t h e i t h o u t p u t u n i t , a n d 1 f o r t h e o t h e r o u t p u t u n i t s .

F i g u r e 3 : I n p u t i m a g e ( l e f t ) , w e i g h t v e c t o r ( c e n t e r ) , a n d r e s u l t i n g f e a t u r e m a p

( r i g h t ) . T h e f e a t u r e m a p i s o b t a i n e d b y s c a n n i n g t h e i n p u t i m a g e w i t h a s i n g l e

n e u r o n t h a t h a s a l o c a l r e c e p t i v e e l d , a s i n d i c a t e d . W h i t e r e p r e s e n t s - 1 , b l a c k

r e p r e s e n t s + 1 .

A f u l l y c o n n e c t e d n e t w o r k w i t h e n o u g h d i s c r i m i n a t i v e p o w e r f o r t h e t a s k w o u l d h a v e

f a r t o o m a n y p a r a m e t e r s t o b e a b l e t o g e n e r a l i z e c o r r e c t l y . T h e r e f o r e a r e s t r i c t e d

c o n n e c t i o n - s c h e m e m u s t b e d e v i s e d , g u i d e d b y o u r p r i o r k n o w l e d g e a b o u t s h a p e

r e c o g n i t i o n . T h e r e a r e w e l l - k n o w n a d v a n t a g e s t o p e r f o r m i n g s h a p e r e c o g n i t i o n b y

d e t e c t i n g a n d c o m b i n i n g l o c a l f e a t u r e s . W e h a v e r e q u i r e d o u r n e t w o r k t o d o t h i s

b y c o n s t r a i n i n g t h e c o n n e c t i o n s i n t h e r s t f e w l a y e r s t o b e l o c a l . I n a d d i t i o n , i f

a f e a t u r e d e t e c t o r i s u s e f u l o n o n e p a r t o f t h e i m a g e , i t i s l i k e l y t o b e u s e f u l o n

o t h e r p a r t s o f t h e i m a g e a s w e l l . O n e r e a s o n f o r t h i s i s t h a t t h e s a l i e n t f e a t u r e s o f a

d i s t o r t e d c h a r a c t e r m i g h t b e d i s p l a c e d s l i g h t l y f r o m t h e i r p o s i t i o n i n a t y p i c a l c h a r -

a c t e r . O n e s o l u t i o n t o t h i s p r o b l e m i s t o s c a n t h e i n p u t i m a g e w i t h a s i n g l e n e u r o n

t h a t h a s a l o c a l r e c e p t i v e e l d , a n d s t o r e t h e s t a t e s o f t h i s n e u r o n i n c o r r e s p o n d i n g

l o c a t i o n s i n a l a y e r c a l l e d a f e a t u r e m a p ( s e e g u r e 3 ) . T h i s o p e r a t i o n i s e q u i v a l e n t

t o a c o n v o l u t i o n w i t h a s m a l l s i z e k e r n e l , f o l l o w e d b y a s q u a s h i n g f u n c t i o n . T h e

p r o c e s s c a n b e p e r f o r m e d i n p a r a l l e l b y i m p l e m e n t i n g t h e f e a t u r e m a p a s a p l a n e

o f n e u r o n s w h o s e w e i g h t v e c t o r s a r e c o n s t r a i n e d t o b e e q u a l . T h a t i s , u n i t s i n a

f e a t u r e m a p a r e c o n s t r a i n e d t o p e r f o r m t h e s a m e o p e r a t i o n o n d i e r e n t p a r t s o f t h e

i m a g e . A n i n t e r e s t i n g s i d e - e e c t o f t h i s w e i g h t s h a r i n g t e c h n i q u e , a l r e a d y d e s c r i b e d

i n ( R u m e l h a r t , H i n t o n a n d W i l l i a m s , 1 9 8 6 ) , i s t o r e d u c e t h e n u m b e r o f f r e e p a r a m -

e t e r s b y a l a r g e a m o u n t , s i n c e a l a r g e n u m b e r o f u n i t s s h a r e t h e s a m e w e i g h t s . I n

a d d i t i o n , a c e r t a i n l e v e l o f s h i f t i n v a r i a n c e i s p r e s e n t i n t h e s y s t e m : s h i f t i n g t h e

i n p u t w i l l s h i f t t h e r e s u l t o n t h e f e a t u r e m a p , b u t w i l l l e a v e i t u n c h a n g e d o t h e r w i s e .

I n p r a c t i c e , i t w i l l b e n e c e s s a r y t o h a v e m u l t i p l e f e a t u r e m a p s , e x t r a c t i n g d i e r e n t

f e a t u r e s f r o m t h e s a m e i m a g e .


5/9

1 2 3 4 5 6 7 8 9 1 0 1 1 1 2

1 X X X X X

2 X X X X X

3 X X X X X

4 X X X X X

T a b l e 1 : C o n n e c t i o n s b e t w e e n H 2 a n d H 3 .

T h e i d e a o f l o c a l , c o n v o l u t i o n a l f e a t u r e m a p s c a n b e a p p l i e d t o s u b s e q u e n t h i d d e n

l a y e r s a s w e l l , t o e x t r a c t f e a t u r e s o f i n c r e a s i n g c o m p l e x i t y a n d a b s t r a c t i o n . I n t e r -

e s t i n g l y , h i g h e r l e v e l f e a t u r e s r e q u i r e l e s s p r e c i s e c o d i n g o f t h e i r l o c a t i o n . R e d u c e d

p r e c i s i o n i s a c t u a l l y a d v a n t a g e o u s , s i n c e a s l i g h t d i s t o r t i o n o r t r a n s l a t i o n o f t h e i n -

p u t w i l l h a v e r e d u c e d e e c t o n t h e r e p r e s e n t a t i o n . T h u s , e a c h f e a t u r e e x t r a c t i o n i n

o u r n e t w o r k i s f o l l o w e d b y a n a d d i t i o n a l l a y e r w h i c h p e r f o r m s a l o c a l a v e r a g i n g a n d

a s u b s a m p l i n g , r e d u c i n g t h e r e s o l u t i o n o f t h e f e a t u r e m a p . T h i s l a y e r i n t r o d u c e s

a c e r t a i n l e v e l o f i n v a r i a n c e t o d i s t o r t i o n s a n d t r a n s l a t i o n s . A f u n c t i o n a l m o d u l e

o f o u r n e t w o r k c o n s i s t s o f a l a y e r o f s h a r e d - w e i g h t f e a t u r e m a p s f o l l o w e d b y a n

a v e r a g i n g / s u b s a m p l i n g l a y e r . T h i s i s r e m i n i s c e n t o f t h e N e o c o g n i t r o n a r c h i t e c t u r e

( F u k u s h i m a a n d M i y a k e , 1 9 8 2 ) , w i t h t h e n o t a b l e d i e r e n c e t h a t w e u s e b a c k p r o p

( r a t h e r t h a n u n s u p e r v i s e d l e a r n i n g ) w h i c h w e f e e l i s m o r e a p p r o p r i a t e t o t h i s s o r t

o f c l a s s i c a t i o n p r o b l e m .

T h e n e t w o r k a r c h i t e c t u r e , r e p r e s e n t e d i n g u r e 4 , i s a d i r e c t e x t e n s i o n o f t h e o n e s

d e s c r i b e d i n ( L e C u n , 1 9 8 9 ; L e C u n e t a l . , 1 9 9 0 ) . T h e n e t w o r k h a s f o u r h i d d e n

l a y e r s r e s p e c t i v e l y n a m e d H 1 , H 2 , H 3 , a n d H 4 . L a y e r s H 1 a n d H 3 a r e s h a r e d -

w e i g h t s f e a t u r e e x t r a c t o r s , w h i l e H 2 a n d H 4 a r e a v e r a g i n g / s u b s a m p l i n g l a y e r s .

A l t h o u g h t h e s i z e o f t h e a c t i v e p a r t o f t h e i n p u t i s 1 6 b y 1 6 , t h e a c t u a l i n p u t i s a 2 8

b y 2 8 p l a n e t o a v o i d p r o b l e m s w h e n a k e r n e l o v e r l a p s a b o u n d a r y . H 1 i s c o m p o s e d

o f 4 g r o u p s o f 5 7 6 u n i t s a r r a n g e d a s 4 i n d e p e n d e n t 2 4 b y 2 4 f e a t u r e m a p s . T h e s e

f o u r f e a t u r e m a p s w i l l b e d e s i g n a t e d b y H 1 . 1 , H 1 . 2 , H 1 . 3 a n d H 1 . 4 . E a c h u n i t i n

a f e a t u r e m a p t a k e s i t s i n p u t f r o m a 5 b y 5 n e i g h b o r h o o d o n t h e i n p u t p l a n e . A s

d e s c r i b e d a b o v e , c o r r e s p o n d i n g c o n n e c t i o n s o n e a c h u n i t i n a g i v e n f e a t u r e m a p a r e

c o n s t r a i n e d t o h a v e t h e s a m e w e i g h t . I n o t h e r w o r d s , a l l o f t h e 5 7 6 u n i t s i n H 1 . 1

u s e s t h e s a m e s e t o f 2 6 w e i g h t s ( i n c l u d i n g t h e b i a s ) . O f c o u r s e , u n i t s i n a n o t h e r

m a p ( s a y H 1 . 4 ) s h a r e a n o t h e r s e t o f 2 6 w e i g h t s .

L a y e r H 2 i s t h e a v e r a g i n g / s u b s a m p l i n g l a y e r . I t i s c o m p o s e d o f 4 p l a n e s o f s i z e 1 2

b y 1 2 . E a c h u n i t i n o n e o f t h e s e p l a n e s t a k e s i n p u t s o n 4 u n i t s o n t h e c o r r e s p o n d i n g

p l a n e i n H 1 . R e c e p t i v e e l d s d o n o t o v e r l a p . A l l t h e w e i g h t s a r e c o n s t r a i n e d t o b e

e q u a l , e v e n w i t h i n a s i n g l e u n i t . T h e r e f o r e , H 2 p e r f o r m s a l o c a l a v e r a g i n g a n d a 2

t o 1 s u b s a m p l i n g o f H 1 i n e a c h d i r e c t i o n .

L a y e r H 3 i s c o m p o s e d o f 1 2 f e a t u r e m a p s . E a c h f e a t u r e m a p c o n t a i n s 6 4 u n i t s

a r r a n g e d i n a 8 b y 8 p l a n e . A s b e f o r e , t h e s e f e a t u r e m a p s w i l l b e d e s i g n a t e d a s

H 2 . 1 , H 2 . 2 H 2 . 1 2 . T h e c o n n e c t i o n s c h e m e b e t w e e n H 2 a n d H 3 i s q u i t e s i m i l a r

t o t h e o n e b e t w e e n t h e i n p u t a n d H 1 , b u t s l i g h t l y m o r e c o m p l i c a t e d b e c a u s e H 3

h a s m u l t i p l e 2 - D m a p s . E a c h u n i t r e c e p t i v e e l d i s c o m p o s e d o f o n e o r t w o 5 b y


6/9

28x28INPUT

4@24x24H1

4@12x12H2

12@8x8H3

12@4x4H4

10OUTPUT

F i g u r e 4 : N e t w o r k A r c h i t e c t u r e w i t h 5 l a y e r s o f f u l l y - a d a p t i v e c o n n e c t i o n s .


7/9

5 n e i g h b o r h o o d s c e n t e r e d a r o u n d u n i t s t h a t a r e a t i d e n t i c a l p o s i t i o n s w i t h i n e a c h

H 2 m a p s . O f c o u r s e , a l l u n i t s i n a g i v e n m a p a r e c o n s t r a i n e d t o h a v e i d e n t i c a l

w e i g h t v e c t o r s . T h e m a p s i n H 2 o n w h i c h a m a p i n H 3 t a k e s i t s i n p u t s a r e c h o s e n

a c c o r d i n g t o a s c h e m e d e s c r i b e d o n t a b l e 1 . A c c o r d i n g t o t h i s s c h e m e , t h e n e t w o r k

i s c o m p o s e d o f t w o a l m o s t i n d e p e n d e n t m o d u l e s . L a y e r H 4 p l a y s t h e s a m e r o l e a s

l a y e r H 2 , i t i s c o m p o s e d o f 1 2 g r o u p s o f 1 6 u n i t s a r r a n g e d i n 4 b y 4 p l a n e s .

T h e o u t p u t l a y e r h a s 1 0 u n i t s a n d i s f u l l y c o n n e c t e d t o H 4 . I n s u m m a r y , t h e n e t w o r k

h a s 4 6 3 5 u n i t s , 9 8 4 4 2 c o n n e c t i o n s , a n d 2 5 7 8 i n d e p e n d e n t p a r a m e t e r s . T h i s a r c h i -

t e c t u r e w a s d e r i v e d u s i n g t h e O p t i m a l B r a i n D a m a g e t e c h n i q u e ( L e C u n , D e n k e r

a n d S o l l a , 1 9 9 0 ) s t a r t i n g f r o m a p r e v i o u s a r c h i t e c t u r e ( L e C u n e t a l . , 1 9 9 0 ) t h a t

h a d 4 t i m e s m o r e f r e e p a r a m e t e r s .

5 R E S U L T S

A f t e r 3 0 t r a i n i n g p a s s e s t h e e r r o r r a t e o n t r a i n i n g s e t ( 7 2 9 1 h a n d w r i t t e n p l u s 2 5 4 9

p r i n t e d d i g i t s ) w a s 1 1 % a n d t h e M S E w a s 0 1 7 . O n t h e w h o l e t e s t s e t ( 2 0 0 7

h a n d w r i t t e n p l u s 7 0 0 p r i n t e d c h a r a c t e r s ) t h e e r r o r r a t e w a s 3 4 % a n d t h e M S E w a s

0 0 2 4 . A l l t h e c l a s s i c a t i o n e r r o r s o c c u r r e d o n h a n d w r i t t e n c h a r a c t e r s .

I n a r e a l i s t i c a p p l i c a t i o n , t h e u s e r i s n o t s o m u c h i n t e r e s t e d i n t h e r a w e r r o r r a t e

a s i n t h e n u m b e r o f r e j e c t i o n s n e c e s s a r y t o r e a c h a g i v e n l e v e l o f a c c u r a c y . I n o u r

c a s e , w e m e a s u r e d t h e p e r c e n t a g e o f t e s t p a t t e r n s t h a t m u s t b e r e j e c t e d i n o r d e r

t o g e t 1 % e r r o r r a t e . O u r r e j e c t i o n c r i t e r i o n w a s b a s e d o n t h r e e c o n d i t i o n s : t h e

a c t i v i t y l e v e l o f t h e m o s t - a c t i v e o u t p u t u n i t s h o u l d b y l a r g e r t h a n a g i v e n t h r e s h o l d

t

1

, t h e a c t i v i t y l e v e l o f t h e s e c o n d m o s t - a c t i v e u n i t s h o u l d b e s m a l l e r t h a n a g i v e n

t h r e s h o l d t

2

, a n d n a l l y , t h e d i e r e n c e b e t w e e n t h e a c t i v i t y l e v e l s o f t h e s e t w o u n i t s

s h o u l d b e l a r g e r t h a n a g i v e n t h r e s h o l d t

d

. T h e b e s t p e r c e n t a g e o f r e j e c t i o n s o n

t h e c o m p l e t e t e s t s e t w a s 5 7 % f o r 1 % e r r o r . O n t h e h a n d w r i t t e n s e t o n l y , t h e

r e s u l t w a s 9 % r e j e c t i o n s f o r 1 % e r r o r . I t s h o u l d b e e m p h a s i z e d t h a t t h e r e j e c t i o n

t h r e s h o l d s w e r e o b t a i n e d u s i n g p e r f o r m a n c e m e a s u r e s o n t h e t e s t s e t . A b o u t h a l f

t h e s u b s t i t u t i o n e r r o r s i n t h e t e s t i n g s e t w e r e d u e t o f a u l t y s e g m e n t a t i o n , a n d a n

a d d i t i o n a l q u a r t e r w e r e d u e t o e r r o n e o u s a s s i g n m e n t o f t h e d e s i r e d c a t e g o r y . S o m e

o f t h e r e m a i n i n g i m a g e s w e r e a m b i g u o u s e v e n t o h u m a n s , a n d i n a f e w c a s e s t h e

n e t w o r k m i s c l a s s i e d t h e i m a g e f o r n o d i s c e r n i b l e r e a s o n .

E v e n t h o u g h a s e c o n d - o r d e r v e r s i o n o f b a c k - p r o p a g a t i o n w a s u s e d , i t i s i n t e r e s t i n g

t o n o t e t h a t t h e l e a r n i n g t a k e s o n l y 3 0 p a s s e s t h r o u g h t h e t r a i n i n g s e t . W e t h i n k

t h i s c a n b e a t t r i b u t e d t o t h e l a r g e a m o u n t o f r e d u n d a n c y p r e s e n t i n r e a l d a t a . A

c o m p l e t e t r a i n i n g s e s s i o n ( 3 0 p a s s e s t h r o u g h t h e t r a i n i n g s e t p l u s t e s t ) t a k e s a b o u t

3 d a y s o n a S U N S P A R C s t a t i o n 1 u s i n g t h e S N 2 c o n n e c t i o n i s t s i m u l a t o r ( B o t t o u

a n d L e C u n , 1 9 8 9 ) .

A f t e r s u c c e s s f u l t r a i n i n g , t h e n e t w o r k w a s i m p l e m e n t e d o n a c o m m e r c i a l D i g i t a l

S i g n a l P r o c e s s o r b o a r d c o n t a i n i n g a n A T & T D S P - 3 2 C g e n e r a l p u r p o s e D S P c h i p

w i t h a p e a k p e r f o r m a n c e o f 1 2 . 5 m i l l i o n m u l t i p l y - a d d o p e r a t i o n s p e r s e c o n d o n 3 2 b i t

o a t i n g p o i n t n u m b e r s . T h e D S P o p e r a t e s a s a c o p r o c e s s o r i n a P C c o n n e c t e d t o

a v i d e o c a m e r a . T h e P C p e r f o r m s t h e d i g i t i z a t i o n , b i n a r i z a t i o n a n d s e g m e n t a t i o n


8/9

F i g u r e 5 : A t y p i c a l d a t a . T h e n e t w o r k c l a s s i e s t h e s e c o r r e c t l y , e v e n t h o u g h t h e y

a r e q u i t e u n l i k e a n y t h i n g i n t h e t r a i n i n g s e t .

o f t h e i m a g e , w h i l e t h e D S P p e r f o r m s t h e s i z e - n o r m a l i z a t i o n a n d t h e c l a s s i c a t i o n .

T h e o v e r a l l t h r o u g h p u t o f t h e d i g i t r e c o g n i z e r i n c l u d i n g i m a g e a c q u i s i t i o n i s 1 0 t o

1 2 c l a s s i c a t i o n s p e r s e c o n d a n d i s l i m i t e d m a i n l y b y t h e n o r m a l i z a t i o n s t e p . O n

n o r m a l i z e d d i g i t s , t h e D S P p e r f o r m s m o r e t h a n 3 0 c l a s s i c a t i o n s p e r s e c o n d .

6 C O N C L U S I O N

B a c k - p r o p a g a t i o n l e a r n i n g w a s s u c c e s s f u l l y a p p l i e d t o a l a r g e , r e a l - w o r l d t a s k . O u r

r e s u l t s a p p e a r t o b e a t t h e s t a t e o f t h e a r t i n h a n d w r i t t e n d i g i t r e c o g n i t i o n . T h e

n e t w o r k h a d m a n y c o n n e c t i o n s b u t r e l a t i v e l y f e w f r e e p a r a m e t e r s . T h e n e t w o r k

a r c h i t e c t u r e a n d t h e c o n s t r a i n t s o n t h e w e i g h t s w e r e d e s i g n e d t o i n c o r p o r a t e g e o -

m e t r i c k n o w l e d g e a b o u t t h e t a s k i n t o t h e s y s t e m . B e c a u s e o f i t s a r c h i t e c t u r e , t h e

n e t w o r k c o u l d b e t r a i n e d o n a l o w - l e v e l r e p r e s e n t a t i o n o f d a t a t h a t h a d m i n i m a l

p r e p r o c e s s i n g ( a s o p p o s e d t o e l a b o r a t e f e a t u r e e x t r a c t i o n ) . B e c a u s e o f t h e r e d u n -

d a n t n a t u r e o f t h e d a t a a n d b e c a u s e o f t h e c o n s t r a i n t s i m p o s e d o n t h e n e t w o r k , t h e

l e a r n i n g t i m e w a s r e l a t i v e l y s h o r t c o n s i d e r i n g t h e s i z e o f t h e t r a i n i n g s e t . S c a l i n g

p r o p e r t i e s w e r e f a r b e t t e r t h a n o n e w o u l d e x p e c t j u s t f r o m e x t r a p o l a t i n g r e s u l t s o f

b a c k - p r o p a g a t i o n o n s m a l l e r , a r t i c i a l p r o b l e m s . P r e l i m i n a r y r e s u l t s o n a l p h a n u -

m e r i c c h a r a c t e r s s h o w t h a t t h e m e t h o d c a n b e d i r e c t l y e x t e n d e d t o l a r g e r t a s k s .

T h e n a l n e t w o r k o f c o n n e c t i o n s a n d w e i g h t s o b t a i n e d b y b a c k - p r o p a g a t i o n l e a r n -

i n g w a s r e a d i l y i m p l e m e n t a b l e o n c o m m e r c i a l d i g i t a l s i g n a l p r o c e s s i n g h a r d w a r e .

T h r o u g h p u t r a t e s , f r o m c a m e r a t o c l a s s i e d i m a g e , o f m o r e t h a n t e n d i g i t s p e r

s e c o n d w e r e o b t a i n e d .

A c k n o w l e d g m e n t s

W e t h a n k t h e U S P o s t a l S e r v i c e a n d i t s c o n t r a c t o r s f o r p r o v i d i n g u s w i t h t h e z i p -

c o d e d a t a b a s e . W e t h a n k H e n r y B a i r d f o r u s e f u l d i s c u s s i o n s a n d f o r p r o v i d i n g t h e

p r i n t e d - f o n t d a t a b a s e .

R e f e r e n c e s

B o t t o u , L . - Y . a n d L e C u n , Y . ( 1 9 8 9 ) . S N 2 : A S i m u l a t o r f o r C o n n e c t i o n i s t M o d e l s

N e u r i s t i q u e S A , P a r i s , F r a n c e .


9/9

D e n k e r , J . , S c h w a r t z , D . , W i t t n e r , B . , S o l l a , S . A . , H o w a r d , R . , J a c k e l , L . , a n d

H o p e l d , J . ( 1 9 8 7 ) . L a r g e A u t o m a t i c L e a r n i n g , R u l e E x t r a c t i o n a n d G e n e r a l -

i z a t i o n . C o m p l e x S y s t e m s , 1 : 8 7 7 { 9 2 2 .

D e n k e r , J . S . , G a r d n e r , W . R . , G r a f , H . P . , H e n d e r s o n , D . , H o w a r d , R . E . , H u b b a r d ,

W . , J a c k e l , L . D . , B a i r d , H . S . , a n d G u y o n , I . ( 1 9 8 9 ) . N e u r a l N e t w o r k R e c -

o g n i z e r f o r H a n d - W r i t t e n Z i p C o d e D i g i t s . I n T o u r e t z k y , D . , e d i t o r , A d v a n c e s

i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s , v o l u m e 1 , p a g e s 3 2 3 { 3 3 1 , D e n v e r ,

1 9 8 8 . M o r g a n K a u f m a n n .

F u k u s h i m a , K . a n d M i y a k e , S . ( 1 9 8 2 ) . N e o c o g n i t r o n : A n e w a l g o r i t h m f o r p a t t e r n

r e c o g n i t i o n t o l e r a n t o f d e f o r m a t i o n s a n d s h i f t s i n p o s i t i o n . P a t t e r n R e c o g n i t i o n

1 5 : 4 5 5 { 4 6 9 .

L e C u n , Y . ( 1 9 8 9 ) . G e n e r a l i z a t i o n a n d N e t w o r k D e s i g n S t r a t e g i e s . I n P f e i f e r , R . ,

S c h r e t e r , Z . , F o g e l m a n , F . , a n d S t e e l s , L . , e d i t o r s , C o n n e c t i o n i s m i n P e r s p e c -

t i v e , Z u r i c h , S w i t z e r l a n d . E l s e v i e r .

L e C u n , Y . , B o s e r , B . , D e n k e r , J . S . , H e n d e r s o n , D . , H o w a r d , R . E . , H u b b a r d , W . ,

a n d J a c k e l , L . D . ( 1 9 9 0 ) . B a c k - P r o p a g a t i o n A p p l i e d t o H a n d w r i t t e n Z i p c o d e

R e c o g n i t i o n . N e u r a l C o m p u t a t i o n , 1 ( 4 ) .

L e C u n , Y . , D e n k e r , J . S . , a n d S o l l a , S . ( 1 9 9 0 ) . O p t i m a l B r a i n D a m a g e . I n T o u r e t -

z k y , D . , e d i t o r , A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s , v o l u m e 2 ,

( D e n v e r , 1 9 8 9 ) . M o r g a n K a u f m a n .

P a t a r n e l l o , S . a n d C a r n e v a l i , P . ( 1 9 8 7 ) . L e a r n i n g N e t w o r k s o f N e u r o n s w i t h B o o l e a n

L o g i c . E u r o p h y s i c s L e t t e r s , 4 ( 4 ) : 5 0 3 { 5 0 8 .

R u m e l h a r t , D . E . , H i n t o n , G . E . , a n d W i l l i a m s , R . J . ( 1 9 8 6 ) . L e a r n i n g i n t e r n a l

r e p r e s e n t a t i o n s b y e r r o r p r o p a g a t i o n . I n P a r a l l e l d i s t r i b u t e d p r o c e s s i n g : E x p l o -

r a t i o n s i n t h e m i c r o s t r u c t u r e o f c o g n i t i o n , v o l u m e I , p a g e s 3 1 8 { 3 6 2 . B r a d f o r d

B o o k s , C a m b r i d g e , M A .

T i s h b y , N . , L e v i n , E . , a n d S o l l a , S . A . ( 1 9 8 9 ) . C o n s i s t e n t I n f e r e n c e o f P r o b a b i l i t i e s

i n L a y e r e d N e t w o r k s : P r e d i c t i o n s a n d G e n e r a l i z a t i o n . I n P r o c e e d i n g s o f t h e

I n t e r n a t i o n a l J o i n t C o n f e r e n c e o n N e u r a l N e t w o r k s , W a s h i n g t o n D C .

W a n g , C . H . a n d S r i h a r i , S . N . ( 1 9 8 8 ) . A F r a m e w o r k f o r O b j e c t R e c o g n i t i o n i n a

V i s u a l l y C o m p l e x E n v i r o n m e n t a n d i t s A p p l i c a t i o n t o L o c a t i n g A d d r e s s B l o c k s

o n M a i l P i e c e s . I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , 2 : 1 2 5 .

1989 - Handwritten Digit Recognition with a BackPropagation Network

Documents

Transcript of 1989 - Handwritten Digit Recognition with a BackPropagation Network