7/30/2019 On Multiple Classifiers Systems for Pattern Recognition

1/5

O n M u l t i p l e C l a s s i e r S y s t e m s f o r P a t t e r n R e c o g n i t i o n

T i n K a m H o , J o n a t h a n J . H u l l , S a r g u r N . S r i h a r i

C e n t e r f o r D o c u m e n t A n a l y s i s a n d R e c o g n i t i o n

S t a t e U n i v e r s i t y o f N e w Y o r k a t B u a l o

B u a l o , N Y 1 4 2 6 0 , U S A

A b s t r a c t

D i c u l t p a t t e r n r e c o g n i t i o n p r o b l e m s i n v o l v i n g

l a r g e c l a s s s e t s a n d n o i s y i n p u t c a n b e s o l v e d b y a m u l -

t i p l e c l a s s i e r s y s t e m , w h i c h a l l o w s s i m u l t a n e o u s u s e

o f a r b i t r a r y f e a t u r e d e s c r i p t o r s a n d c l a s s i c a t i o n p r o -

c e d u r e s . I n d e p e n d e n t d e c i s i o n s b y e a c h c l a s s i e r c a n

b e c o m b i n e d b y m e t h o d s o f t h e h i g h e s t r a n k , B o r d a

c o u n t , a n d l o g i s t i c r e g r e s s i o n , r e s u l t i n g i n s u b s t a n t i a l

i m p r o v e m e n t i n o v e r a l l c o r r e c t n e s s .

1 I n t r o d u c t i o n

A p a t t e r n r e c o g n i t i o n s y s t e m i s p r o p o s e d t h a t c o n -

s i s t s o f a s e t o f i n d e p e n d e n t c l a s s i e r s a n d a d e c i s i o n

c o m b i n a t i o n f u n c t i o n 6 ] . W e c o n s i d e r t h i s a s a p r e -

f e r r e d s o l u t i o n t o a c o m p l e x p a t t e r n r e c o g n i t i o n p r o b -

l e m , b e c a u s e i t a l l o w s s i m u l t a n e o u s u s e o f f e a t u r e d e -

s c r i p t o r s o f m a n y t y p e s , t h e i r c o r r e s p o n d i n g m e a s u r e s

o f s i m i l a r i t y , a n d a n y a p p r o p r i a t e c l a s s i c a t i o n p r o -

c e d u r e s . C l a s s i e r s u s i n g d i e r e n t f e a t u r e d e s c r i p t o r s

a n d m a t c h i n g p r o c e d u r e s o f t e n p r o d u c e u n c o r r e l a t e d

e r r o r s . C l a s s i c a t i o n p e r f o r m a n c e c a n b e i m p r o v e d

b y o b t a i n i n g a c o n s e n s u s o f t h e i r d e c i s i o n s . I t i s a l s o

p o s s i b l e t o d y n a m i c a l l y s e l e c t t h e m o s t a p p r o p r i a t e

c l a s s i e r s f o r i n p u t s o f a p a r t i c u l a r t y p e .

A n e e c t i v e d e c i s i o n c o m b i n a t i o n f u n c t i o n i s c r i t i -

c a l t o t h e s u c c e s s o f a m u l t i p l e c l a s s i e r s y s t e m . T h e

f u n c t i o n s h o u l d t a k e a d v a n t a g e o f t h e s t r e n g t h s o f t h e

i n d i v i d u a l c l a s s i e r s , a v o i d t h e i r w e a k n e s s e s , a n d i m -

p r o v e c l a s s i c a t i o n c o r r e c t n e s s . M e t h o d s b a s e d o n i n -

t e r s e c t i o n a n d u n i o n o f c a n d i d a t e s e t s h a v e b e e n p r o -

p o s e d i n 4 ] . T h o s e t e c h n i q u e s a r e s e n s i t i v e t o o u t l y -

i n g w o r s t c a s e s a n d h e n c e a r e u n s a t i s f a c t o r y i n a n o i s y

e n v i r o n m e n t . I n t h i s p a p e r , w e p r o p o s e s e v e r a l n e w

t e c h n i q u e s t o o v e r c o m e t h i s p r o b l e m .

2 D e c i s i o n C o m b i n a t i o n M e t h o d s

W e a s s u m e t h a t e a c h c l a s s i e r o u t p u t s i t s d e c i s i o n s

a s a r a n k i n g o f a g i v e n s e t o f c l a s s e s w i t h r e s p e c t t o

a n i n p u t p a t t e r n . A c l a s s i e r b e l i e v e s m o s t s t r o n g l y

t h a t t h e i n p u t p a t t e r n b e l o n g s t o t h e c l a s s r a n k e d a t

t h e t o p , a c c o r d i n g t o a c e r t a i n s i m i l a r i t y s c o r e i t c o m -

p u t e s . B i n a r y d e c i s i o n s ( a c c e p t e d a s a p a r t i c u l a r c l a s s

o r r e j e c t e d ) o u t p u t b y s o m e c l a s s i e r s a r e c o n s i d e r e d

a s r a n k i n g s o f t w o l e v e l s .

R a n k i n g s a r e u s e d f o r t h r e e r e a s o n s . ( 1 ) T h e y c o n -

t a i n m o r e i n f o r m a t i o n t h a n a u n i q u e c l a s s c h o i c e . T h i s

i s d e s i r a b l e i n a m a n y - c l a s s d i s c r i m i n a t i o n p r o b l e m ,

w h e r e t h e c l a s s i e r s m a y n o t b e a b l e t o u n i q u e l y i d e n -

t i f y t h e t r u e c l a s s , b u t c a n i n c l u d e t h e t r u e c l a s s i n s e v -

e r a l g u e s s e s w i t h h i g h a c c u r a c y . ( 2 ) A s a n o n p a r a m e t -

r i c m e t h o d , i t a v o i d s m a k i n g a s s u m p t i o n s o n t h e d i s -

t r i b u t i o n o f t h e n u m e r i c a l s i m i l a r i t y s c o r e s c o m p u t e d

b y e a c h c l a s s i e r . ( 3 ) I t i s c o n v e n i e n t t o i m p l e m e n t ,

a n d g e n e r a l l y a p p l i c a b l e t o a l l t y p e s o f c l a s s i e r s , s i n c e

a r a n k i n g c a n a l w a y s b e d e r i v e d f r o m a l i n e a r o r d e r i n g

o f t h e s i m i l a r i t y s c o r e s .

R a n k i n g c o m b i n a t i o n m e t h o d s a r e i n t e n d e d t o i m -

p r o v e t h e r a n k o f t h e t r u e c l a s s . T h e i r s u c c e s s i s e v a l -

u a t e d b y t h e p o s i t i o n o f t h e t r u e c l a s s i n t h e r e s u l t a n t

r a n k i n g . A c o m b i n a t i o n m e t h o d i s c o n s i d e r e d s u c -

c e s s f u l i f t h e t r u e c l a s s a p p e a r s c l o s e t o t h e t o p o f t h e

o u t p u t r a n k i n g m o r e o f t e n t h a n i t d o e s i n a n y o f t h e

i n d i v i d u a l r a n k i n g s t h a t a r e i n p u t .

T h r e e m e t h o d s f o r r a n k i n g c o m b i n a t i o n a r e p r o -

p o s e d . I n e a c h m e t h o d , a c o n d e n c e s c o r e i s d e n e d

w h i c h i s a f u n c t i o n o f t h e r a n k s a s s i g n e d t o e a c h c l a s s

b y t h e c l a s s i e r s . O n l y t h e r e l a t i v e m a g n i t u d e s o f

t h e c o n d e n c e s c o r e s f o r d i e r e n t c l a s s e s a r e i m p o r -

t a n t . T h e c o n s e n s u s r a n k i n g i s o b t a i n e d b y s o r t i n g

t h e c l a s s e s b y t h e c o n d e n c e s c o r e s .

L e t t h e r a n k s a s s i g n e d t o a c l a s s b y c l a s s i e r s

C

1

; C

2

; : : : ; C

m

( m 2 ) b e r e p r e s e n t e d a s a v e c t o r

R = < r

1

; r

2

; : : : ; r

m

> a s s o c i a t e d w i t h e a c h c l a s s .

r

i

= 1 i f a c l a s s i s r a n k e d a t t h e t o p b y c l a s s i e r C

i

,

a n d r

i

= 2 i f r a n k e d a t t h e s e c o n d p o s i t i o n a n d s o

o n . T h e c o n d e n c e s c o r e S i s a f u n c t i o n o f R :

S = f ( R ) :

7/30/2019 On Multiple Classifiers Systems for Pattern Recognition

2/5

T h r e e f o r m s o f f ( R ) a r e p r o p o s e d :

f

1

( R ) = m i n ( r

1

; r

2

; : : : ; r

m

)

f

2

( R ) = r

1

+ r

2

+ : : : + r

m

f

3

( R ) = w

1

r

1

+ w

2

r

2

+ : : : + w

m

r

m

:

A m e t h o d t h a t u s e s f

1

i s c a l l e d t h e h i g h e s t r a n k

m e t h o d . f

2

i s u s e d i n t h e B o r d a c o u n t m e t h o d , a n d f

3

i s u s e d i n a g e n e r a l i z e d B o r d a c o u n t m e t h o d w h e r e t h e

w e i g h t s w

i

a r e e s t i m a t e d b y l o g i s t i c r e g r e s s i o n . U s i n g

e a c h o f f

1

, f

2

, a n d f

3

, a n e w r a n k i n g i s o b t a i n e d b y s o r t -

i n g t h e g i v e n c l a s s e s a c c o r d i n g t o t h e c o m p u t e d v a l u e s

o f f

1

, f

2

, a n d f

3

, r e s p e c t i v e l y . T h e a d v a n t a g e s a n d d i s -

a d v a n t a g e s o f e a c h m e t h o d a r e d i s c u s s e d i n S e c t i o n s 3

t o 5 .

3 T h e H i g h e s t R a n k M e t h o d

A s s u m e t h a t f o r e a c h i n p u t p a t t e r n , M c l a s s i e r s

a r e a p p l i e d t o r a n k a s e t o f c l a s s e s . E a c h c l a s s i s t h e n

a s s i g n e d t h e m i n i m u m ( h i g h e s t ) o f t h e M r a n k p o s i -

t i o n s i t r e c e i v e s a s i t s s c o r e . T h e s e t o f c l a s s e s i s t h e n

s o r t e d b y t h e s e s c o r e s t o y i e l d a c o m b i n e d c l a s s r a n k -

i n g f o r t h e i n p u t p a t t e r n . T h e r e m a y b e t i e s i n t h i s

c o m b i n e d r a n k i n g , w h i c h m a y b e b r o k e n a r b i t r a r i l y t o

a c h i e v e a s t r i c t o r d e r i n g .

T h i s m e t h o d i s p a r t i c u l a r l y u s e f u l i n a p r o b l e m i n -

v o l v i n g a l a r g e n u m b e r o f c l a s s e s a n d a s m a l l n u m b e r

o f u n c o r r e l a t e d c l a s s i e r s . T h e a d v a n t a g e i s w i t h i t s

a b i l i t y t o f o c u s o n t h e s t r e n g t h o f e a c h c l a s s i e r . F o r

a n y i n p u t p a t t e r n , a s l o n g a s t h e r e i s o n e c l a s s i e r t h a t

p e r f o r m s w e l l a n d r a n k s t h e t r u e c l a s s n e a r t h e t o p ,

s a y , a t r a n k N , n o m a t t e r h o w t h e o t h e r c l a s s i e r s

p e r f o r m , t h e t r u e c l a s s w i l l b e a t a p o s i t i o n n o f a r t h e r

t h e n N M f r o m t h e t o p i n t h e c o m b i n e d r a n k i n g ,

w h e r e M i s t h e n u m b e r o f c l a s s i e r s .

O n e d i s a d v a n t a g e w i t h t h i s m e t h o d i s t h a t t h e c o m -

b i n e d r a n k i n g m a y h a v e m a n y t i e s . T h e n u m b e r o f

c l a s s e s i n t i e s d e p e n d s o n t h e n u m b e r o f c l a s s i e r s

u s e d . F o r e x a m p l e , i f v e c l a s s i e r s a r e u s e d , t h e r e

a r e a t l e a s t o n e a n d a t m o s t v e d i s t i n c t c l a s s e s t h a t

a r e r a n k e d a t t h e t o p b y a c l a s s i e r . T h o s e v e c l a s s e s

a r e i n a t i e i n t h e n a l r a n k i n g , s i n c e t h e y a l l r e c e i v e

t h e s c o r e 1 . T h e r e f o r e , t h i s m e t h o d i s u s e f u l o n l y i f t h e

n u m b e r o f c l a s s i e r s i s s m a l l r e l a t i v e t o t h e n u m b e r o f

c l a s s e s .

4 T h e B o r d a C o u n t M e t h o d

D e c i s i o n c o m b i n a t i o n i n a m u l t i p l e c l a s s i e r s y s t e m

c a n b e v i e w e d a s a c o m m i t t e e v o t i n g p r o b l e m i n g r o u p

d e c i s i o n t h e o r y a n d a c c o m p l i s h e d b y a g r o u p c o n s e n -

s u s f u n c t i o n . O n e u s e f u l g r o u p c o n s e n s u s f u n c t i o n i s

t h e B o r d a c o u n t 2 ] . F o r a n y p a r t i c u l a r c l a s s c , t h e

B o r d a c o u n t i s t h e s u m o f t h e n u m b e r o f c l a s s e s r a n k e d

b e l o w c b y e a c h c l a s s i e r . I t i s d e n e d a s f o l l o w s :

F o r a n y c l a s s c i n a s e t S , l e t B

j

( c ) b e t h e n u m b e r

o f c l a s s e s i n S w h i c h a r e r a n k e d b e l o w t h e c l a s s c b y

c l a s s i e r C

j

( j = 1 ; : : : ; m ) . T h e B o r d a c o u n t f o r c l a s s

c i s

B ( c ) =

m

X

j = 1

B

j

( c ) :

T h e c o n s e n s u s r a n k i n g i s g i v e n b y s o r t i n g t h e c l a s s e s

i n d e s c e n d i n g o r d e r o f t h e i r B o r d a c o u n t s .

I n t u i t i v e l y , i f t h e c l a s s c i s r a n k e d n e a r t h e t o p b y

m o r e c l a s s i e r s , i t s B o r d a c o u n t t e n d s t o b e l a r g e r .

T h e m a g n i t u d e o f t h e B o r d a c o u n t f o r e a c h c l a s s m e a -

s u r e s t h e s t r e n g t h o f a g r e e m e n t b y t h e c l a s s i e r s o n

t h e p r o p o s i t i o n t h a t t h e i n p u t p a t t e r n b e l o n g s t o t h a t

c l a s s . I n a t w o - c l a s s p r o b l e m , t h e B o r d a c o u n t i s

e q u i v a l e n t t o a m a j o r i t y v o t e .

I f t h e r e a r e n o t i e s i n t h e i n d i v i d u a l r a n k i n g s ,

t h e B o r d a c o u n t m e t h o d i s e q u i v a l e n t t o s o r t i n g t h e

c l a s s e s b y t h e s u m o f t h e i r r a n k s ( f

2

i n S e c t i o n 2 ) .

T h e B o r d a c o u n t m e t h o d a s s u m e s a n a d d i t i v e i n d e -

p e n d e n c e b e t w e e n t h e r a n k i n g s .

T h e B o r d a c o u n t m e t h o d i s s i m p l e t o i m p l e m e n t ,

a n d r e q u i r e s n o a p r i o r i k n o w l e d g e o f t h e c l a s s i e r

p e r f o r m a n c e . H o w e v e r , i t d o e s n o t t a k e i n t o a c c o u n t

t h e d i e r e n c e s i n t h e i n d i v i d u a l c l a s s i e r c a p a b i l i t i e s .

A l l c l a s s i e r s a r e t r e a t e d e q u a l l y , w h i c h m a y n o t b e

p r e f e r a b l e , w h e n i t i s k n o w n f o r s u r e t h a t c e r t a i n c l a s -

s i e r s p e r f o r m b e t t e r t h a n o t h e r s i n m o s t c a s e s . B e -

c a u s e o f t h i s , t h e m e t h o d d o e s n o t g u a r a n t e e a n i m -

p r o v e m e n t o f t h e r a n k o f t h e t r u e c l a s s . A s t a t i s t i c a l

a p p r o a c h t h a t c o m p u t e s a w e i g h t f o r e a c h c l a s s i e r i s

d e s c r i b e d i n t h e n e x t s e c t i o n .

5 T h e L o g i s t i c R e g r e s s i o n M e t h o d

A g e n e r a l i z a t i o n o f t h e B o r d a c o u n t i s a w e i g h t e d

s u m o f t h e r a n k s . T h e w e i g h t s r e e c t t h e r e l a t i v e s i g -

n i c a n c e o f e a c h c l a s s i e r , w h i c h a r e e s t i m a t e d b a s e d

o n o b s e r v a t i o n s o f t h e c l a s s i e r p e r f o r m a n c e o n a

t r a i n i n g s e t . T h e w e i g h t s c a n b e e s t i m a t e d b y a l o -

g i s t i c r e g r e s s i o n a n a l y s i s 1 ] 3 ] 7 ] .

C o n s i d e r t h e r a n k s a s s i g n e d t o e a c h c l a s s a s r a n d o m

v a r i a b l e s . F o r a s e t o f t r a i n i n g p a t t e r n s , t h e t r u e c l a s s

i d e n t i t i e s a r e k n o w n . T o r e p r e s e n t s u c h k n o w l e d g e

f r o m t h e t r a i n i n g s e t , w e n e e d t o d e t e r m i n e h o w t h e

r a n k v a r i a b l e s p r e d i c t w h i c h c l a s s i s t h e t r u e c l a s s o f

a g i v e n p a t t e r n .

W e d e n e a b i n a r y r e s p o n s e v a r i a b l e Y a s s o c i a t e d

w i t h e a c h c l a s s , w i t h Y = 1 m e a n i n g t h a t t h e c l a s s

i s t h e t r u e c l a s s , a n d Y = 0 o t h e r w i s e . F o r a s e t

o f t r a i n i n g p a t t e r n s , t h e t r u e c l a s s e s a r e k n o w n a n d

7/30/2019 On Multiple Classifiers Systems for Pattern Recognition

3/5

t h e r e f o r e e a c h c l a s s h a s a k n o w n v a l u e o f Y . Y h a s a

B e r n o u l l i d i s t r i b u t i o n w i t h e x p e c t e d v a l u e

E ( Y ) = 1 P ( Y = 1 ) + 0 P ( Y = 0 ) = P ( Y = 1 ) :

W e d e n o t e t h e p r o b a b i l i t y P ( Y = 1 ) a s ( x ) , w h e r e

x = < x

1

; x

2

; : : : ; x

m

> r e p r e s e n t s t h e r a n k s a s s i g n e d

t o t h a t c l a s s b y c l a s s i e r s C

1

; C

2

; : : : ; C

m

. F o r c o n v e -

n i e n c e i n i n t e r p r e t a t i o n , w e a s s u m e t h a t x

j

f o r a p a r -

t i c u l a r c l a s s h a s t h e l a r g e s t v a l u e w h e n t h a t c l a s s i s

r a n k e d a t t h e t o p b y c l a s s i e r C

j

. F o r i n s t a n c e , i n a

p r o b l e m w i t h 1 0 0 c l a s s e s , x

3

= 1 0 0 f o r a c l a s s r a n k e d

b y C

3

a t t h e t o p , a n d x

3

= 9 9 f o r a c l a s s r a n k e d n e x t

t o i t , a n d s o o n .

I n t u i t i v e l y w e e x p e c t t h a t t h e l i k e l i h o o d o f a c l a s s

b e i n g t h e t r u e c l a s s P ( Y = 1 ) i s l a r g e r w h e n i t i s

r a n k e d h i g h e r b y t h e c l a s s i e r s . T h e r e l a t i o n s h i p b e -

t w e e n t h e r a n k s a n d t h e t e n d e n c y t o w a r d s b e i n g a t r u e

c l a s s i s e x p e c t e d t o b e m o n o t o n i c , b u t n o t n e c e s s a r i l y

l i n e a r . I n f a c t , w e e x p e c t ( x ) ! 0 w h e n c o m p o n e n t

v a l u e s o f x a r e s m a l l , a n d ( x ) ! 1 w h e n c o m p o n e n t

v a l u e s o f x a r e l a r g e . T h e s e c o n d i t i o n s o n t h e r e s p o n s e

f u n c t i o n s u g g e s t t h e u s e o f t h e l o g i s t i c r e s p o n s e f u n c -

t i o n 1 ] . F o r t h e c a s e w i t h o n e i n d e p e n d e n t v a r i a b l e ,

t h e f u n c t i o n h a s t h e f o r m

( x ) =

e x p ( + x )

1 + e x p ( + x )

w h e r e x i s t h e i n d e p e n d e n t v a r i a b l e , ; a r e p a r a m -

e t e r s . U s i n g t h i s f u n c t i o n a s a m o d e l , t h e o d d s o f

h a v i n g r e s p o n s e 1 ( P ( Y = 1 ) ) a r e

( x )

1 ? ( x )

= e x p ( + x ) :

T h e l o g - o d d s h a v e a l i n e a r r e l a t i o n s h i p w i t h t h e i n d e -

p e n d e n t v a r i a b l e x

l o g

( x )

1 ? ( x )

= ( + x ) ;

w h i c h c a n b e g e n e r a l i z e d t o t h e m u l t i v a r i a t e c a s e w i t h

m i n d e p e n d e n t v a r i a b l e s

l o g

( x )

1 ? ( x )

= ( +

1

x

1

+

2

x

2

+ : : : +

m

x

m

) :

S u c h a l o g - o d d s ( l o g i t ) t r a n s f o r m a t i o n l i n k s t h e

p r o b l e m t o l i n e a r r e g r e s s i o n a n a l y s i s 1 ] . M a x i m u m

l i k e l i h o o d m e t h o d s c a n b e u s e d t o e s t i m a t e t h e m o d e l

p a r a m e t e r s . T h e r e l a t i v e m a g n i t u d e s o f t h e e s t i m a t e d

p a r a m e t e r s i n d i c a t e t h e r e l a t i v e s i g n i c a n c e o f t h e

c l a s s i e r s i n t h e i r m a r g i n a l c o n t r i b u t i o n s t o t h e l o g i t .

H e n c e i n s i g n i c a n t c l a s s i e r s m a y b e i d e n t i e d a n d

r e m o v e d f r o m t h e s y s t e m .

E s t i m a t i o n o f t h e w e i g h t s i s i l l u s t r a t e d w i t h a n e x -

a m p l e a p p l i c a t i o n i n w o r d r e c o g n i t i o n , w h e r e t w o c l a s -

s i e r s a r e u s e d t o d i s c r i m i n a t e b e t w e e n 3 3 , 8 5 0 c l a s s e s

( w o r d s ) . A n e i g h b o r h o o d o f u p t o 5 0 o b s e r v a t i o n s

w e r e t a k e n f o r e a c h i m a g e . A t o t a l o f 4 3 , 4 2 2 o b s e r v a -

t i o n s w e r e o b t a i n e d u s i n g 1 , 0 5 5 t r a i n i n g i m a g e s . O n l y

t h e t o p t e n d e c i s i o n s f r o m e a c h o f t h e t w o r a n k i n g s

w e r e u s e d i n m o d e l e s t i m a t i o n . T h a t i s , a c l a s s r e -

c e i v e s a 1 0 i f i t i s r a n k e d a t t h e t o p , a n d a 0 i f i t i s

r a n k e d b e l o w t h e 1 0 t h p o s i t i o n . F i g u r e 1 s h o w s t h e

p l o t o f t h e c o m p u t e d l o g i t s v e r s u s x

1

a n d x

2

. A r e g r e s -

s i o n p l a n e w a s t t o t h e s e l o g i t s b y t h e S A S p r o c e d u r e

L O G I S T I C 9 ] . T h e e s t i m a t e d m o d e l i s

L ( x ) = ? 5 : 8 5 5 7 + 0 : 1 9 6 5 x

1

+ 0 : 4 0 0 8 x

2

:

F i g u r e 1 : P l o t o f e m p i r i c a l l o g i t s v e r s u s r a n k s b y t w o

c l a s s i e r s .

F o r a n u n s e e n p a t t e r n , t h e t r u e c l a s s i s u n k n o w n ,

a n d t h e l o g i t o f e a c h c l a s s i s p r e d i c t e d b y t h e e s t i m a t e d

m o d e l . S i n c e t h e o d d s o f h a v i n g r e s p o n s e 1 ( i . e . , b e i n g

t h e t r u e c l a s s ) i n c r e a s e m o n o t o n i c a l l y w i t h t h e l o g i t ,

t h e g i v e n c l a s s e s c a n b e o r d e r e d b y d e s c e n d i n g v a l u e s

o f t h e l o g i t . T h e c l a s s w i t h t h e l a r g e s t l o g i t i s t h e n

c o n s i d e r e d a s m o s t l i k e l y t o b e t h e t r u e c l a s s .

I n p a r a m e t e r e s t i m a t i o n , a l l c o m b i n a t i o n s o f t h e

r a n k s h a v e t o b e c o n s i d e r e d . T h e r e f o r e t h e m e t h o d

i s c o m p u t a t i o n a l l y e x p e n s i v e , a n d i s p r a c t i c a l o n l y f o r

r a n k i n g s o f a s m a l l n u m b e r o f c l a s s e s . I n p r o b l e m s

i n v o l v i n g m a n y c l a s s e s , o n e m a y c o n s i d e r o n l y t h o s e

c l a s s e s r a n k e d v e r y c l o s e t o t h e t o p , s a y , o n l y t h e t o p

t e n d e c i s i o n s i n e a c h r a n k i n g .

7/30/2019 On Multiple Classifiers Systems for Pattern Recognition

4/5

B y u s i n g a s p e c i c Y f o r e a c h d e c i d e d c l a s s , a n d

u s i n g r a n k s f o r a l l c l a s s e s s i m u l t a n e o u s l y a s r e g r e s s o r s

8 ] , a r e g r e s s i o n m o d e l c a n b e e s t i m a t e d f o r e a c h d e -

c i d e d c l a s s . D e c i s i o n f o r a n u n s e e n p a t t e r n c a n t h e n

b e m a d e b y c o m p a r i n g t h e p r e d i c t e d l o g i t f o r e a c h

c l a s s . T h i s i s a m o r e r e n e d m o d e l , w h i c h i s u s e f u l

w h e n t h e r e i s a l a r g e a m o u n t o f t r a i n i n g d a t a .

6 I n c r e m e n t a l R e n e m e n t

I n a p p l i c a t i o n s w h e r e o n l y a f e w t o p c h o i c e s a r e d e -

s i r e d , t h e l o g i s t i c r e g r e s s i o n m e t h o d c a n b e a p p l i e d t o

o b t a i n a c o n s e n s u s . H o w e v e r , i n a n a p p l i c a t i o n w h e r e

a c o m p l e t e r a n k i n g o f a l a r g e n u m b e r o f g i v e n c l a s s e s

i s d e s i r e d , e s t i m a t i o n o f t h e m o d e l p a r a m e t e r s m a y

b e c o m e t o o e x p e n s i v e . I n s u c h a c a s e , t h e t h r e e c o m -

b i n a t i o n f u n c t i o n s c a n b e u s e d i n t u r n t o i m p r o v e t h e

r a n k i n g s i n c r e m e n t a l l y . T h e h i g h e s t r a n k m e t h o d c a n

b e a p p l i e d r s t t o o b t a i n a c o m b i n e d r a n k i n g . A n u m -

b e r o f c h o i c e s c a n t h e n b e e x t r a c t e d , w h i c h c a n b e

r e r a n k e d u s i n g t h e B o r d a c o u n t m e t h o d o r t h e l o g i s -

t i c r e g r e s s i o n m e t h o d . T h i s i s a p r o c e s s o f i n c r e m e n t a l

r e n e m e n t , s t a r t i n g w i t h t h e s i m p l e s t m e t h o d a n d n -

i s h i n g w i t h t h e m o s t e x p e n s i v e m e t h o d .

7 D y n a m i c C l a s s i e r S e l e c t i o n

C l a s s i c a t i o n p e r f o r m a n c e o f a m u l t i p l e c l a s s i e r

s y s t e m m a y a l s o b e i m p r o v e d b y d y n a m i c a l l y s e l e c t i n g

t h e m o s t a p p r o p r i a t e c l a s s i e r s f o r i n p u t s o f a p a r t i c -

u l a r t y p e .

C o n s i d e r a n o r a c l e t h a t w i l l a l w a y s s e l e c t t h e b e s t

c l a s s i e r f o r e a c h i m a g e . I f s u c h a n o r a c l e i s a v a i l a b l e ,

w e c a n t a k e t h e d e c i s i o n s f r o m t h e s e l e c t e d c l a s s i e r ,

a n d i g n o r e t h e d e c i s i o n s b y o t h e r c l a s s i e r s . T h i s i s

a n i d e a l c a s e w h e r e w e c a n a p p l y d y n a m i c c l a s s i e r

s e l e c t i o n .

O n e w a y t o a p p r o x i m a t e s u c h a n o r a c l e i s t o c o m -

p u t e s o m e m u t u a l l y e x c l u s i v e c o n d i t i o n s t h a t p a r t i t i o n

t h e s e t o f a l l p o s s i b l e p a t t e r n s i n a p a r t i c u l a r d o m a i n .

A t r a i n i n g s e t i s p a r t i t i o n e d a c c o r d i n g t o t h e c o m -

p u t e d c o n d i t i o n s . C l a s s i e r p e r f o r m a n c e i s m e a s u r e d

s e p a r a t e l y o n e a c h p a r t i t i o n . T h e b e s t c l a s s i e r f o r

e a c h p a r t i t i o n i s h e n c e d e t e r m i n e d . F o r t h e t e s t s e t ,

s i m i l a r c o n d i t i o n s a r e c o m p u t e d a n d t h e b e s t c l a s s i e r

f o r t h e c o r r e s p o n d i n g p a r t i t i o n i s s e l e c t e d . T h i s i s a

d i v i d e - a n d - c o n q u e r s t r a t e g y .

D y n a m i c s e l e c t i o n c a n a l s o b e a p p l i e d a t t h e c l a s -

s i e r s e t l e v e l . A f t e r t h e t r a i n i n g s e t h a s b e e n p a r -

t i t i o n e d , t h e s i g n i c a n c e o f e a c h c l a s s i e r ' s c o n t r i b u -

t i o n c a n b e e v a l u a t e d u s i n g l o g i s t i c r e g r e s s i o n a n a l y s i s .

T h e e s t i m a t e d m o d e l s u g g e s t s t h e d e c i s i o n c o m b i n a -

t i o n f u n c t i o n f o r t h e t y p e o f p a t t e r n s i n t h a t p a r t i -

t i o n . A f t e r t h e m o d e l i s e s t i m a t e d f o r e a c h p a r t i t i o n ,

t h e a p p r o p r i a t e d e c i s i o n c o m b i n a t i o n f u n c t i o n c a n b e

s e l e c t e d d y n a m i c a l l y f o r e a c h u n s e e n p a t t e r n b y e v a l -

u a t i n g t h e p a r t i t i o n i n g c o n d i t i o n .

P o s s i b l e p a r t i t i o n i n g c o n d i t i o n s i n c l u d e c h a r a c t e r -

i z a t i o n s o f i n p u t q u a l i t y a n d a g r e e m e n t o f d e c i d e d

c l a s s e s . F o r e x a m p l e , a c h a r a c t e r i m a g e c a n b e d e -

s c r i b e d b y t h e d e n s i t y o f b l a c k p i x e l s a n d a m e a s u r e o f

i m a g e f r a g m e n t a t i o n . T h e a g r e e m e n t o f , s a y , t h e t o p

c h o i c e b y e a c h c l a s s i e r , o f t e n i n d i c a t e s t h e d i c u l t y

o f a p a r t i c u l a r i n s t a n c e o f a g i v e n p r o b l e m . C l a s s i e r s

t e n d t o d i s a g r e e w i t h o n e a n o t h e r o n a d i c u l t i n p u t .

T h e r e f o r e s o m e h i n t s o n h o w t h e d e c i s i o n s s h o u l d b e

c o m b i n e d c a n b e o b t a i n e d b y o b s e r v i n g t h e t o p c h o i c e

a g r e e m e n t b y p a r t i c u l a r c l a s s i e r s .

8 E x p e r i m e n t a l R e s u l t s

T h e t h r e e c o m b i n a t i o n m e t h o d s w e r e t e s t e d i n

a w o r d r e c o g n i t i o n a p p l i c a t i o n , w h e r e t h e o b j e c -

t i v e w a s t o c l a s s i f y a w o r d i m a g e a s o n e o f 3 3 , 8 5 0

w o r d s i n a g i v e n l e x i c o n . T h e i m a g e s w e r e c o l l e c t e d

f r o m m a c h i n e - p r i n t e d a d d r e s s e s t a k e n f r o m l i v e m a i l ,

s c a n n e d a t 2 1 2 p i x e l s p e r i n c h a n d b i n a r i z e d . T h e

w o r d s h a d b e e n p r i n t e d i n h i g h l y v a r i a b l e q u a l i t i e s

a n d f o n t s . T h e l e x i c o n w a s c o m p i l e d f r o m a d a t a b a s e

o f p o s t a l w o r d s a n d a l i a s e s .

F i v e c l a s s i e r s w e r e d e s i g n e d t o r a n k t h e l e x i c o n a c -

c o r d i n g t o d i e r e n t f e a t u r e s a n d m a t c h i n g p r o c e d u r e s

5 ] . C l a s s i e r s 1 a n d 2 u s e t w o d i e r e n t t e c h n i q u e s

t o p o s t p r o c e s s d e c i s i o n s b a s e d o n i s o l a t e d c h a r a c t e r

r e c o g n i t i o n . C l a s s i e r 3 i s b a s e d o n c h a r a c t e r s e g m e n -

t a t i o n a n d c h a r a c t e r r e c o g n i t i o n i n c o n t e x t . C l a s s i e r s

4 a n d 5 a r e b a s e d o n w o r d s h a p e a n a l y s i s t h a t t r e a t s

a w o r d a s a s i n g l e s y m b o l . T h e c l a s s i e r s a n d t h e

c o m b i n a t i o n m e t h o d s w e r e t r a i n e d u s i n g 1 , 0 5 5 s a m -

p l e i m a g e s .

T a b l e 1 s u m m a r i z e s t h e p e r f o r m a n c e o f t h e v e

c l a s s i e r s a n d t h e i r c o m b i n a t i o n s b y t h e t h r e e m e t h -

o d s o v e r a s e t o f 1 , 6 7 1 t e s t i n g i m a g e s , w i t h o u t d y -

n a m i c c l a s s i e r s e l e c t i o n . S u b s t a n t i a l i m p r o v e m e n t s

i n t h e c o r r e c t r a t e s a r e o b s e r v e d .

9 C o n c l u s i o n s

A m u l t i p l e c l a s s i e r s y s t e m w a s p r o p o s e d t o s o l v e

c o m p l e x p a t t e r n r e c o g n i t i o n p r o b l e m s . I t s a d v a n t a g e s

i n c l u d e r o b u s t n e s s g i v e n b y s i m u l t a n e o u s u s e o f c o m -

p l e m e n t a r y r e c o g n i t i o n m e t h o d s a n d e x i b i l i t y i n d y -

n a m i c a d a p t a t i o n . R e c o g n i t i o n d e c i s i o n s a r e r e p r e -

s e n t e d a s r a n k i n g s o f a g i v e n c l a s s s e t . C o n s e n s u s i n

d e c i s i o n s i s o b t a i n e d b y t h r e e d i e r e n t m e t h o d s , w h o s e

e e c t i v e n e s s i s d e m o n s t r a t e d i n a w o r d r e c o g n i t i o n a p -

p l i c a t i o n .

7/30/2019 On Multiple Classifiers Systems for Pattern Recognition

5/5

T a b l e 1 : S u m m a r y o f p e r f o r m a n c e o n 1 , 6 7 1 d e g r a d e d

w o r d i m a g e s u s i n g a 3 3 , 8 5 0 w o r d l e x i c o n .

% C o r r e c t i n T o p N D e c i s i o n s

D e s c r i p t i o n s N = 1 2 3 1 0

C l a s s i e r 1 7 9 . 2 8 6 . 1 8 8 . 2 9 0 . 5

C l a s s i e r 2 7 6 . 9 8 3 . 2 8 5 . 4 8 8 . 3

C l a s s i e r 3 7 4 . 8 8 4 . 1 8 6 . 3 9 0 . 5

C l a s s i e r 4 4 2 . 4 5 3 . 7 5 9 . 5 7 2 . 1

C l a s s i e r 5 5 8 . 9 7 0 . 0 7 4 . 5 8 2 . 9

C o m b i n a t i o n s b y

h i g h e s t r a n k 4 6 . 6 7 3 . 8 8 7 . 0 9 4 . 9

B o r d a c o u n t 8 3 . 1 8 8 . 1 9 0 . 7 9 4 . 6

l o g i s t i c r e g r e s s i o n 8 8 . 4 9 1 . 2 9 2 . 7 9 5 . 1

* : s i g n i c a n t i m p r o v e m e n t s o v e r i n d i v i d u a l p e r f o r m a n c e .

T h e p r o p o s e d m e t h o d o l o g y i s a p p l i c a b l e t o a n y p a t -

t e r n r e c o g n i t i o n p r o b l e m , a s l o n g a s m u l t i p l e s o l u t i o n s

e x i s t f o r t h a t p r o b l e m , a n d e a c h o f t h e m p r o v i d e s a

r a n k i n g o f a g i v e n s e t o f c l a s s e s w i t h r e s p e c t t o a n

i n p u t p a t t e r n .

T h e a d v a n t a g e o f u s i n g m u l t i p l e c l a s s i e r s i s b e s t

d e m o n s t r a t e d i n p r o b l e m s t h a t i n v o l v e a l a r g e s e t o f

c l a s s e s a n d c o m p l e x i n p u t s . W o r d r e c o g n i t i o n i s o n e

s u c h p r o b l e m , w h e r e t h e s i z e o f t h e l e x i c o n d e t e r m i n e s

t h e n u m b e r o f c l a s s e s . O t h e r p r o b l e m s w i t h t h e s e

c h a r a c t e r i s t i c s i n c l u d e t h e r e c o g n i t i o n o f C h i n e s e c h a r -

a c t e r s , n g e r p r i n t s , h u m a n f a c e s , s p e e c h , a s w e l l a s

c e r t a i n a r e a s o f m e d i c a l d i a g n o s i s .

R e f e r e n c e s

1 ] A . A g r e s t i , C a t e g o r i c a l D a t a A n a l y s i s , J o h n W i l e y &

S o n s , 1 9 9 0 .

2 ] D . B l a c k , T h e T h e o r y o f C o m m i t t e e s a n d E l e c t i o n s ,

C a m b r i d g e U n i v e r s i t y P r e s s , L o n d o n , 1 9 5 8 , 2 n d e d . ,

1 9 6 3 .

3 ] D . R . C o x , E . J . S n e l l , A n a l y s i s o f B i n a r y D a t a , 2 n d .

e d . , C h a p m a n a n d H a l l , 1 9 8 9 .

4 ] T . K . H o , J . J . H u l l , S . N . S r i h a r i , \ C o m b i n a t i o n o f

S t r u c t u r a l C l a s s i e r s " , P r e - P r o c e e d i n g s o f t h e I A P R

S y n t a c t i c a n d S t r u c t u r a l P a t t e r n R e c o g n i t i o n W o r k -

s h o p , M u r r a y H i l l , 1 9 9 0 , 1 2 3 - 1 3 6 .

5 ] T . K . H o , J . J . H u l l , S . N . S r i h a r i , \ W o r d R e c o g n i t i o n

w i t h M u l t i - L e v e l C o n t e x t u a l K n o w l e d g e " , P r o c e e d i n g s

o f t h e F i r s t I n t e r n a t i o n a l C o n f e r e n c e o n D o c u m e n t

A n a l y s i s a n d R e c o g n i t i o n , S a i n t - M a l o , 1 9 9 1 , 9 0 5 - 9 1 5 .

6 ] T . K . H o , A T h e o r y o f M u l t i p l e C l a s s i e r S y s t e m s A n d

I t s A p p l i c a t i o n t o V i s u a l W o r d R e c o g n i t i o n , D o c t o r a l

D i s s e r t a t i o n , D e p a r t m e n t o f C o m p u t e r S c i e n c e , S t a t e

U n i v e r s i t y o f N e w Y o r k a t B u a l o , 1 9 9 2 .

7 ] J . M . L a n d w e h r , D . P r e g i b o n , A . C . S h o e m a k e r ,

\ G r a p h i c a l M e t h o d s f o r A s s e s s i n g L o g i s t i c R e g r e s s i o n

M o d e l s " , J o u r n a l o f t h e A m e r i c a n S t a t i s t i c a l A s s o c i a -

t i o n , 7 9 , 3 8 5 , M a r c h 1 9 8 4 , 6 1 - 7 1 .

8 ] T . P a v l i d i s , T . H a s t i e , p e r s o n a l c o m m u n i c a t i o n s .

9 ] S A S I n s t i t u t e I n c . , S A S / S T A T U s e r ' s G u i d e , V e r s i o n

6 , F o u r t h E d i t i o n , S A S I n s t i t u t e I n c . , 1 9 8 9 .