8/14/2019 Face Detection in Color Images Using PCA
1/5
F A C E D E T E C T I O N I N C O L O R I M A G E S
U S I N G P R I N C I P A L C O M P O N E N T S A N A L Y S I S
B . M e n s e r a n d F . M u l l e r
A a c h e n U n i v e r s i t y o f T e c h n o l o g y ( R W T H ) , G e r m a n y
A B S T R A C T
I n t h i s p a p e r w e p r e s e n t a f a c e d e t e c t i o n a l g o -
r i t h m f o r c o l o r i m a g e s w i t h c o m p l e x b a c k g r o u n d .
W e i n c l u d e c o l o r i n f o r m a t i o n i n t o a f a c e d e t e c -
t i o n a p p r o a c h b a s e d o n p r i n c i p a l c o m p o n e n t s a n a l -
y s i s ( P C A ) . A s k i n c o l o r p r o b a b i l i t y i m a g e i s g e n -
e r a t e d b y d o i n g a c o l o r a n a l y s i s a n d t h e P C A i s
p e r f o r m e d o n t h i s n e w i m a g e i n s t e a d o f t h e l u m i -
n a n c e i m a g e . E x p e r i m e n t s s h o w t h a t c o l o r i n f o r m a -
t i o n i m p r o v e s t h e r o b u s t n e s s o f t h e d e t e c t i o n s i g n i f -
i c a n t l y .
I N T R O D U C T I O N
I n t h e r e c e n t p a s t t h e r e i s a g r o w i n g i n t e r e s t i n
i m a g e c o n t e n t a n a l y s i s , g i v e n a l a r g e n u m b e r o f
a p p l i c a t i o n s l i k e i m a g e r e t r i e v a l i n d a t a b a s e s , f a c e
r e c o g n i t i o n o r c o n t e n t - b a s e d i m a g e c o d i n g . T h e
a u t o m a t i c d e t e c t i o n o f h u m a n f a c e s i n i m a g e s w i t h
c o m p l e x b a c k g r o u n d i s a n i m p o r t a n t p r e l i m i n a r y
t a s k f o r t h e s e a p p l i c a t i o n s ( s e e f o r e x a m p l e C h e l l a p a
e t a l 1 ] ) .
A p r o b l e m c l o s e l y r e l a t e d t o f a c e d e t e c t i o n i s f a c e
r e c o g n i t i o n . O n e o f t h e b a s i c a p p r o a c h e s i n f a c e
r e c o g n i t i o n i s t h e e i g e n s p a c e d e c o m p o s i t i o n ( e . g . T u r k
a n d P e n t l a n d 8 ] ) . T h e i m a g e u n d e r c o n s i d e r a -
t i o n i s p r o j e c t e d i n t o a l o w d i m e n s i o n a l f e a t u r e s p a c e
t h a t i s s p a n n e d b y t h e e i g e n v e c t o r s o f a s e t o f t e s t
f a c e s . F o r t h e r e c o g n i t i o n t a s k , t h e r e s u l t i n g c o -
e c i e n t s ( p r i n c i p a l c o m p o n e n t s ) a r e c o m p a r e d t o
t h o s e o f i m a g e s i n t h e d a t a b a s e . P r i n c i p a l c o m p o -
n e n t s a n a l y s i s ( P C A ) c a n a l s o b e u s e d f o r t h e l o c a l -
i z a t i o n o f a f a c e r e g i o n . A n i m a g e p a t t e r n i s c l a s -
s i e d a s a f a c e i f i t s d i s t a n c e t o t h e f a c e s p a c e i s
s m a l l e r t h a n a c e r t a i n t h r e s h o l d . H o w e v e r , o u r e x -
p e r i m e n t s s h o w t h a t t h e b a c k g r o u n d l e a d s t o a s i g -
n i c a n t n u m b e r o f f a l s e c l a s s i c a t i o n s i f t h e f a c e r e -
g i o n i s r e l a t i v e l y s m a l l .
F o r t h e d e t e c t i o n o f f a c i a l r e g i o n s i n c o l o r i m a g e s ,
s e v e r a l t e c h n i q u e s h a v e b e e n p r o p o s e d s o f a r , u s i n g
t e x t u r e , s h a p e a n d c o l o r i n f o r m a t i o n , e . g . S o b o t t k a
a n d P i t a s 6 ] , S a b e r a n d T e k a l p 5 ] , W a n g a n d
C h a n g 9 ] . D u e t o t h e f a c t t h a t c o l o r i s t h e
m o s t d i s c r i m i n a t i n g f e a t u r e o f a f a c i a l r e g i o n , t h e
r s t s t e p o f m a n y f a c e d e t e c t i o n a l g o r i t h m s i s a
p i x e l - b a s e d c o l o r s e g m e n t a t i o n t o d e t e c t s k i n - c o l o r e d
r e g i o n s . T h e p e r f o r m a n c e o f s u c h a h i e r a r c h i c a l
s y s t e m i s h i g h l y d e p e n d e n t o n t h e r e s u l t s o f t h i s
i n i t i a l s e g m e n t a t i o n . T h e s u b s e q u e n t c l a s s i c a t i o n
b a s e d o n s h a p e m a y f a i l i f o n l y p a r t s o f t h e f a c e
a r e d e t e c t e d o r t h e f a c e r e g i o n i s m e r g e d w i t h s k i n -
c o l o r e d b a c k g r o u n d .
I n t h i s p a p e r w e i n c o r p o r a t e c o l o r i n f o r m a t i o n
i n t o a f a c e d e t e c t i o n s c h e m e b a s e d o n p r i n c i p a l
c o m p o n e n t s a n a l y s i s . I n s t e a d o f p e r f o r m i n g a
p i x e l - b a s e d c o l o r s e g m e n t a t i o n , w e c r e a t e a n e w
i m a g e w h i c h i n d i c a t e s t h e p r o b a b i l i t y o f e a c h i m a g e
p i x e l b e l o n g i n g t o a s k i n r e g i o n ( s k i n p r o b a b i l i t y
i m a g e ) . U s i n g t h e f a c t t h a t t h e o r i g i n a l l u m i n a n c e
i m a g e a n d t h e p r o b a b i l i t y i m a g e h a v e s i m i l a r g r e y -
l e v e l d i s t r i b u t i o n s i n f a c i a l r e g i o n s , w e e m p l o y a
p r i n c i p a l c o m p o n e n t s a n a l y s i s t o d e t e c t f a c i a l r e g i o n s
i n t h e p r o b a b i l i t y i m a g e . T h e u t i l i z a t i o n o f c o l o r
i n f o r m a t i o n i n a P C A f r a m e w o r k r e s u l t s i n a r o b u s t
f a c e d e t e c t i o n e v e n i n t h e p r e s e n c e o f c o m p l e x a n d
s k i n c o l o r e d b a c k g r o u n d . O u r d e t e c t i o n a l g o r i t h m
n d s f r o n t a l v i e w s o f h u m a n f a c e s i n c o l o r i m a g e s
o v e r a r a n g e o f s c a l e s .
C O L O R A N A L Y S I S
T h e c o l o r o f h u m a n s k i n i s d i s t i n c t i v e f r o m t h e
c o l o r o f m a n y o t h e r n a t u r a l o b j e c t s , h e n c e c o l o r i s
a v e r y i m p o r t a n t f e a t u r e t h a t c a n b e u s e d f o r f a c e
d e t e c t i o n . A n a l y z i n g t h e s k i n - t o n e c o l o r s t a t i s t i c s ,
o n e o b s e r v e s t h a t s k i n c o l o r s a r e d i s t r i b u t e d o v e r a
s m a l l a r e a i n t h e c h r o m i n a n c e p l a n e a n d t h e m a j o r
d i e r e n c e b e t w e e n s k i n t o n e s i s i n t e n s i t y . T h u s , t h e
i m a g e i s r s t c o n v e r t e d i n t o a c o l o r s p a c e w h i c h
p r o v i d e s a s e p a r a t i o n i n t o a l u m i n a n c e c h a n n e l a n d
t w o c h r o m i n a n c e c o m p o n e n t s l i k e t h e Y C b C r c o l o r
s p a c e .
L e t w
i j
d e n o t e t h e v e c t o r w h i c h i s f o r m e d b y
t h e c h r o m i n a n c e c o m p o n e n t s o f t h e p i x e l a t s i t e
( i j ) . T h e c o n d i t i o n a l p r o b a b i l i t y f u n c t i o n o f w
i j
b e l o n g i n g t o t h e s k i n c l a s s S i s m o d e l e d b y a t w o -
d i m e n s i o n a l G a u s s i a n
p ( w
i j
j S ) =
e x p ;
1
2
( w
i j
;
S
)
T
; 1
S
( w
i j
;
S
) ]
2 j
S
j
1
2
( 1 )
T h e m e a n
S
a n d t h e c o v a r i a n c e m a t r i x
S
o f t h e
d i s t r i b u t i o n a r e e s t i m a t e d f r o m a t r a i n i n g s e t . T h e
g a u s s i a n a p p r o a c h c a n b e v e r i e d b y a n o n p a r a m e t -
r i c d e n s i t y e s t i m a t i o n ( p a r z e n e s t i m a t e ) .
U s u a l l y , t h e c o n d i t i o n a l p d f i s u s e d f o r a c l a s s i c a -
t i o n o f t h e i m a g e p i x e l s . I n 5 ] a t h r e s h o l d i s s e -
8/14/2019 Face Detection in Color Images Using PCA
2/5
F i g u r e 1 : L u m i n a c e i m a g e ( s a l e s m a n # 1 )
l e c t e d t o d e c i d e w h e t h e r a p i x e l b e l o n g s t o t h e s k i n
c l a s s o r n o t . I n 6 ] a n d 9 ] a p i x e l i s c l a s s i e d a s a
s k i n - t o n e p i x e l i f i t s c h r o m a t i c i t y f a l l s w i t h i n a p r e d e -
n e d r e g i o n o f t h e c o l o r s p a c e . T h e s u b s e q u e n t a n a l -
y s i s o f t h e f a c e c a n d i d a t e s i s r e g i o n - b a s e d a n d m a y
f a i l i f a f a c e i s n o t c o r r e c t l y e x t r a c t e d i n t o o n e s i n -
g l e r e g i o n .
I n s t e a d o f d o i n g a b i n a r y s e g m e n t a t i o n , w e p r e s e r v e
t h e c o n t i n u o u s i n f o r m a t i o n g i v e n b y p ( w
i j
j S ) . W e
c r e a t e a s o c a l l e d s k i n p r o b a b i l i t y i m a g e w h i c h i n -
d i c a t e s t h e p r o b a b i l i t y o f e a c h i m a g e p i x e l b e l o n g -
i n g t o t h e s k i n c l a s s S :
( i j ) p ( w
i j
j S ) ( 2 )
F i g . 1 a n d 2 s h o w s t h e l u m i n a n c e c o m p o n e n t o f t h e
i m a g e s a l e s m a n # 1 a n d t h e s k i n p r o b a b i l i t y i m a g e ,
r e s p e c t i v e l y .
T h e t e s t i m a g e h a s c o m p l e x b a c k g r o u n d w i t h o b j e c t s
c o l o r e d s i m i l a r t o h u m a n s k i n . T h e e x a m p l e s h o w s
t h a t i t i s d i c u l t t o n d a t h r e s h o l d s u c h t h a t t h e
w h o l e f a c e i s r e p r e s e n t e d b y a s i n g l e r e g i o n w h i c h i s
n o t c o n n e c t e d w i t h b a c k g r o u n d o b j e c t s .
A n i m p o r t a n t o b s e r v a t i o n i s t h a t t h e p r o b a b i l i t y
i m a g e r e s e m b l e s t h e o r i g i n a l l u m i n a n c e i m a g e i n
f a c i a l r e g i o n s . F o r e x a m p l e , p a r t s o f t h e f a c e w h i c h
d o n o t h a v e s k i n c o l o r l i k e t h e e y e s a p p e a r a s d a r k
h o l e s i n b o t h l u m i n a n c e i m a g e a n d s k i n p r o b a b i l i t y
i m a g e . O n t h e o t h e r h a n d , i m a g e r e g i o n s w i t h
d i e r e n t c o l o r ( b a c k g r o u n d ) a r e s u p p r e s s e d i n t h e
s k i n p r o b a b i l i t y i m a g e . G e n e r a l l y s p e a k i n g , t h e g r e y -
l e v e l d i s t r i b u t i o n o f a f a c e r e g i o n i s v e r y s i m i l a r i n
t h e o r i g i n a l l u m i n a n c e i m a g e a n d t h e s k i n p r o b a b i l i t y
i m a g e . S i n c e t h e i m p o r t a n t g l o b a l f e a t u r e s o f
a f a c e ( e . g . s h a p e , e y e s , m o u t h ) a r e p r e s e r v e d ,
w e s u g g e s t t o a p p l y a f a c e d e t e c t i o n a l g o r i t h m
b a s e d o n p r i n c i p a l c o m p o n e n t s a n a l y s i s t o t h e s k i n
p r o b a b i l i t y i m a g e i n s t e a d o f t h e l u m i n a n c e i m a g e .
T h e m a j o r b e n e t o f u s i n g t h e s k i n p r o b a b i l i t y i m a g e
i s t h a t a f a c i a l r e g i o n i s e n h a n c e d c o m p a r e d t o t h e
F i g u r e 2 : S k i n t o n e p r o b a b i l i t y i m a g e
b a c k g r o u n d . F u r t h e r m o r e , t h e i n u e n c e o f d i e r e n t
l i g h t i n g c o n d i t i o n s i s d r a s t i c a l l y r e d u c e d s i n c e t h e
s k i n p r o b a b i l i t y d e p e n d s n o t o n t h e l u m i n a n c e .
A s i m i l a r a p p r o a c h h a s b e e n p r e s e n t e d b y D a i a n d
N a k a n o 2 ] , w h e r e a f a c e t e x t u r e m o d e l o r i g i n a l l y
d e v e l o p e d f o r g r e y - l e v e l i m a g e s i s a p p l i e d t o t h e I -
c o m p o n e n t o f a n i m a g e i n t h e Y I Q c o l o r s p a c e .
P R I N C I P A L C O M P O N E N T A N A L Y S I S
M o s t f a c e d e t e c t i o n s c h e m e s c a n b e d i v i d e d i n t o t w o
d i e r e n t s t r a t e g i e s . T h e r s t m e t h o d i s b a s e d o n t h e
d e t e c t i o n o f f a c i a l f e a t u r e s ( e . g . Y o w a n d C i p p o l a
1 0 ] ) , w h e r e a s t h e s e c o n d a p p r o a c h t r i e s t o d e t e c t a
f a c e p a t t e r n a s a w h o l e u n i t ( e . g . S u n g a n d P o g g i o
7 ] , M o g h a d d a m a n d P e n t l a n d 4 ] ) . F o l l o w i n g t h e
s e c o n d a p p r o a c h , e a c h i m a g e p a t t e r n o f d i m e n s i o n
I b y J c a n b e c o n s i d e r e d a s a v e c t o r x i n a
N = I J d i m e n s i o n a l s p a c e . O b v i o u s l y , i m a g e s o f
f a c e s w i l l n o t b e r a n d o m l y d i s t r i b u t e d i n t h i s h i g h
d i m e n s i o n a l i m a g e s p a c e . A s u i t a b l e m e a n t o r e d u c e
t h e d i m e n s i o n a l i t y o f t h e d a t a s e t i s t h e p r i n c i p a l
c o m p o n e n t s a n a l y s i s ( P C A ) .
T h e c e n t r a l i d e a o f p r i n c i p a l c o m p o n e n t s a n a l y s i s
i s t o n d a l o w d i m e n s i o n a l s u b s p a c e ( t h e f e a t u r e
s p a c e ) w h i c h c a p t u r e s m o s t o f t h e v a r i a t i o n w i t h i n
t h e d a t a s e t a n d t h e r e f o r e a l l o w s t h e b e s t l e a s t -
s q u a r e a p p r o x i m a t i o n ( J o l l i e 3 ] ) . W h e n u s e d
f o r f a c e d e t e c t i o n a n d r e c o g n i t i o n , t h i s p r i n c i p a l
s u b s p a c e i s o f t e n c a l l e d t h e \ f a c e s p a c e " w h i c h i s
s p a n n e d b y t h e \ e i g e n f a c e s " 8 ] .
G i v e n a s e t o f t r a i n i n g v e c t o r s f x g ( f a c e s a m p l e s )
w i t h s a m p l e c o v a r i a n c e m a t r i x , t h e K L T b a s i s c a n
b e c o m p u t e d b y s o l v i n g t h e e i g e n v a l u e p r o b l e m
= P
T
P ( 3 )
w h e r e P i s t h e e i g e n v e c t o r m a t r i x o f a n d t h e
d i a g o n a l m a t r i x o f t h e e i g e n v a l u e s .
8/14/2019 Face Detection in Color Images Using PCA
3/5
T h e o r t h o g o n a l p r o j e c t i o n m a t r i x P
M
i n t o t h e M -
d i m e n s i o n a l p r i n c i p a l s u b s p a c e ( M N ) i s g i v e n
b y t h e M e i g e n v e c t o r s c o r r e s p o n d i n g t o t h e l a r g e s t
e i g e n v a l u e s . T h e s e e i g e n v e c t o r s ( \ e i g e n f a c e s " ) f o r m
t h e c o l u m n s o f t h e p r o j e c t i o n m a t r i x P
M
T h e p r i n c i p a l c o m p o n e n t s v e c t o r y i s o b t a i n e d b y
p r o j e c t i n g t h e i m a g e x i n t o t h e f a c e s p a c e :
y = P
T
M
( x ;
x ) ( 4 )
w h e r e
x d e n o t e s t h e m e a n f a c e i m a g e .
T h e c l a s s i c a t i o n o f t h e i m a g e p a t t e r n c o n t a i n i n g N
p i x e l s a s \ f a c e " o r \ n o n - f a c e " i s o n l y b a s e d o n i t s M
p r i n c i p a l c o m p o n e n t s y
i
T h e a p p r o x i m a t i o n o f a f a c e u s i n g M \ e i g e n f a c e s " i s
g i v e n b y
x = P
M
y +
x . T h e r e s i d u a l r e c o n s t r u c t i o n
e r r o r
2
2
= j j ( x ;
x ) j j
2
= j j ( x ;
x ) ; P
M
y j j
2
= j j x ;
x j j
2
;
M
X
i = 1
y
2
i
( 5 )
i n d i c a t e s h o w w e l l t h e t e s t p a t t e r n c a n b e a p p r o x i -
m a t e d i n t h e f a c e s p a c e . T h u s , t h e \ d i s t a n c e f r o m
f a c e s p a c e " ( D F F S ) d e n e d b y e q u a t i o n ( 5 ) c a n
b e u s e d t o d e t e r m i n e i f t h e i m a g e p a t t e r n r e p r e -
s e n t s a f a c e 8 ] .
T h e d i s t a n c e b e t w e e n t h e p r o j e c t e d i m a g e a n d t h e
m e a n f a c e i m a g e i n t h e f e a t u r e s p a c e i s g i v e n b y t h e
n o r m o f t h e p r i n c i p a l c o m p o n e n t v e c t o r . S i n c e t h e
v a r i a n c e o f a p r i n c i p a l c o m p o n e n t y
i
i s g i v e n b y t h e
a s s o c i a t e d e i g e n v a l u e
i
, t h e s q u a r e d M a h a l a n o b i s
d i s t a n c e d
2
p r o v i d e s a s u i t a b l e m e a s u r e o f t h e
d i e r e n c e b e t w e e n t h e p r o j e c t i o n o f t h e t e s t i m a g e
a n d t h e m e a n f a c e :
d
2
= y
T
; 1
y =
M
X
i = 1
y
2
i
i
( 6 )
F o r t h e d e t e c t i o n t a s k , i t i s c u s t o m a r y t o u s e o n l y t h e
D F F S f o r t h e d e c i s i o n c r i t e r i o n 8 ] . A s s h o w n i n t h e
n e x t s e c t i o n , t h e i n c o r p o r a t i o n o f t h e \ d i s t a n c e i n
f a c e s p a c e " ( D I F S ) d e n e d b y e q u a t i o n ( 6 ) i m p r o v e s
t h e r o b u s t n e s s o f t h e d e t e c t i o n s i g n i c a n t l y i f t h e
d e t e c t i o n i s p e r f o r m e d o n t h e s k i n p r o b a b i l i t y i m a g e .
F A C E D E T E C T I O N U S I N G P C A
I n o u r e x p e r i m e n t s w e u s e a 1 0 - d i m e n s i o n a l p r i n -
c i p a l s u b s p a c e ( M = 1 0 ) . T h e p r o j e c t i o n m a -
t r i x P
M
i s c a l c u l a t e d b y a n e i g e n s p a c e d e c o m p o s i -
t i o n u s i n g a s e t o f l u m i n a n c e f a c e t e s t i m a g e s . T o l o -
c a l i z e a f a c i a l r e g i o n i n a n e w i m a g e , t h e e r r o r c r i -
t e r i o n m u s t b e c o m p u t e d f o r e a c h p i x e l p o s i t i o n , r e -
s u l t i n g i n a d i s t a n c e m a p . F o r t h e m o m e n t , w e u s e
a s i m p l e d e t e c t o r w h i c h i s b a s e d o n l y o n t h e \ d i s -
t a n c e f r o m f a c e s p a c e " ( D F F S ) . T h e g l o b a l m i n i -
m u m o f t h e d i s t a n c e m a p i s t h e n s e l e c t e d a s t h e b e s t
m a t c h . W h e n u s i n g M e i g e n v e c t o r s , t h e c o m p u t a -
t i o n o f t h e D F F S r e q u i r e s M + 1 c o r r e l a t i o n s ( w i t h
t h e M \ e i g e n f a c e s " a n d t h e m e a n i m a g e ) a n d a n a d -
d i t i o n a l e n e r g y c a l c u l a t i o n . T h e c o r r e l a t i o n s c a n b e
e c i e n t l y c o m p u t e d u s i n g t h e F F T .
F i r s t w e a n a l y z e t h e P C A - b a s e d f a c e d e t e c t i o n o n
g r e y l e v e l i m a g e s a n d p o i n t o u t t h e p r o b l e m s c a u s e d
b y t h e i m a g e b a c k g r o u n d .
F i g u r e 3 : D i s t a n c e m a p f o r t h e l u m i n a n c e c o m p o -
n e n t u s i n g D F F S ( s a l e s m a n # 1 )
F i g . 3 s h o w s t h e D F F S m a p f o r t h e l u m i n a n c e i m a g e
s a l e s m a n # 1 . T h e g l o b a l m i n i m u m i s m a r k e d b y
t h e w h i t e c i r c l e . T h o u g h t h e r e i s a l o c a l m i n i m u m
a t t h e t r u e f a c e p o s i t i o n , t h e b e s t m a t c h i s i n t h e
b a c k g r o u n d r e g i o n l e a d i n g t o a f a l s e d e t e c t i o n . T h e
D F F S i s h i g h f o r n o n - f a c i a l i m a g e r e g i o n s w i t h a
h i g h c h a n g i n g i n t h e i n t e n s i t y ( e . g . t h e a r e a t h a t
i n c l u d e s p a r t s o f t h e l i g h t - c o l o r e d s h i r t a n d t h e
d a r k b a c k g r o u n d ) . O n t h e o t h e r h a n d , t h e D F F S
b e c o m e s r e l a t i v e s m a l l i n n o n - f a c i a l r e g i o n s w i t h
l i t t l e v a r i a n c e i n t h e i n t e n s i t y l i k e p a r t s o f t h e
b a c k g r o u n d a t t h e r i g h t s i d e o f t h e t e s t i m a g e . T h i s
i s d u e t o t h e f a c t t h a t a n i m a g e p a t t e r n t h a t c a n b e
m o d e l e d b y n o i s e c a n b e b e t t e r r e p r e s e n t e d b y t h e
e i g e n f a c e s t h a n a n o n - f a c i a l i m a g e p a t t e r n c o n t a i n i n g
a s t r o n g e d g e . T h e r e f o r e , d e t e c t i o n b a s e d o n t h e
D F F S b e c o m e s d i c u l t e v e n i n i m a g e s w i t h a s i m p l e
b a c k g r o u n d i f t h e f a c e r e g i o n d o e s n o t c o v e r t h e m a i n
p a r t o f t h e t e s t i m a g e .
W e n o w a p p l y a p r i n c i p a l c o m p o n e n t a n a l y s i s t o t h e
s k i n p r o b a b i l i t y i m a g e d e n e d b y e q u a t i o n ( 2 ) u s i n g
t h e s a m e p r o j e c t i o n m a t r i x . T h e D F F S m a p f o r t h e
s k i n p r o b a b i l i t y i m a g e s h o w n i n g . 2 i s d i s p l a y e d
i n g . 4 a . T h e t r u e f a c e r e g i o n i s c h a r a c t e r i z e d b y
a l o c a l m i n i m u m . S i m i l a r t o t h e l u m i n a n c e c a s e ,
t h e e r r o r c r i t e r i o n i s a l s o l o w i n b a c k g r o u n d r e g i o n s
w i t h l i t t l e v a r i a n c e . T h e s e r e g i o n s r e p r e s e n t n o n -
s k i n - c o l o r e d b a c k g r o u n d , s o t h e p r o b a b i l i t y i m a g e i s
n e a r z e r o i n t h e s e a r e a s .
F i g . 4 b s h o w s t h e \ d i s t a n c e i n f a c e s p a c e " f o r e a c h
8/14/2019 Face Detection in Color Images Using PCA
4/5
a ) D F F S
b ) D I F S
F i g u r e 4 : D i s t a n c e m a p s f o r t h e s k i n p r o b a b i l i t y
i m a g e ( s a l e s m a n # 1 )
s p a t i a l p o s i t i o n w h i c h i s d e n e d b y t h e w e i g h t e d
L S - n o r m o f t h e p r i n c i p a l c o m p o n e n t v e c t o r . T h e
p r o j e c t i o n o f a n i m a g e r e g i o n w i t h v a l u e s n e a r
z e r o i n t o t h e f a c e s p a c e r e s u l t s i n l a r g e p r i n c i p a l
c o m p o n e n t s . T h u s , t h e D I F S c a n b e e m p l o y e d
t o e l i m i n a t e t h e i n u e n c e o f t h e n o n - s k i n - c o l o r e d
b a c k g r o u n d . S i n c e n o a d d i t i o n a l c o r r e l a t i o n i s
n e c e s s a r y f o r t h e c a l c u l a t i o n o f t h e D I F S , t h e
c o m p u t a t i o n a l l o a d i n c r e a s e s o n l y s l i g h t l y . W e d e n e
a n e w e r r o r c r i t e r i o n w h i c h i s a w e i g h t e d s u m o f t h e
D F F S a n d t h e D I F S :
e = d
2
+ c
2
( 7 )
S i n c e t h e p r i n c i p a l c o m p o n e n t s a r e s c a l e d b y t h e
c o r r e s p o n d i n g e i g e n v a l u e s f o r t h e c a l c u l a t i o n o f t h e
D I F S , a s i m i l a r s c a l i n g i s n e c e s s a r y f o r t h e D F F S .
T h u s , w e s e t t h e s c a l i n g f a c t o r t o c =
1
k
M
w h e r e
M
d e n o t e s t h e s m a l l e s t c a l c u l a t e d e i g e n v a l u e a n d
k i s a s m a l l c o n s t a n t ( k = 1 5 ) d e t e r m i n e d b y
a ) C o m b i n e d e r r o r c r i t e r i o n
b ) D e t e c t e d f a c e r e g i o n
F i g u r e 5 : F a c e d e t e c t i o n u s i n g D F F S a n d D I F S
e x p e r i m e n t s .
I n 4 ] t h e e i g e n s p a c e d e c o m p o s i t i o n i s u s e d t o e s t i -
m a t e t h e c o m p l e t e p r o b a b i l i t y d e n s i t y f o r a c e r t a i n
o b j e c t c l a s s ( e . g . t h e f a c e c l a s s ) . A s s u m i n g a n o r m a l
d i s t r i b u t i o n , t h e e s t i m a t e f o r t h e M a h a l a n o b i s d i s -
t a n c e i s a l s o a w e i g h t e d s u m o f t h e D F F S a n d t h e
D I F S s i m i l a r t o e q u a t i o n ( 7 ) . A m a i n d i e r e n c e i s
t h a t o u r s c a l i n g f a c t o r c i s m u c h s m a l l e r t h a n t h e
o n e u s e d i n 4 ] b e c a u s e t h e D I F S p r o v i d e s m o r e i n -
f o r m a t i o n w h e n u s i n g t h e s k i n p r o b a b i l i t y i m a g e i n -
s t e a d o f t h e l u m i n a n c e i m a g e . T h e d i s t a n c e m a p u s -
i n g t h e c o m b i n e d e r r o r c r i t e r i o n i s s h o w n i n g . 5 a .
T h e g l o b a l m i n i m u m ( m a r k e d b y t h e w h i t e c i r c l e ) l i e s
i n t h e t r u e f a c e r e g i o n a n d t h e f a c e i s d e t e c t e d c o r -
r e c t l y . F i g . 5 b s h o w s t h e d e t e c t e d f a c e r e g i o n s u p e r -
i m p o s e d o n t h e l u m i n a n c e c o m p o n e n t .
T o d e t e c t f a c e s a t m u l t i p l e s c a l e s , t h e d e t e c t i o n
a l g o r i t h m i s p e r f o r m e d o n s e v e r a l s c a l e d v e r s i o n s o f
t h e s k i n p r o b a b i l i t y i m a g e a n d t h e g l o b a l m i n i m u m
o f t h e r e s u l t i n g m u l t i - s c a l e d i s t a n c e m a p s i s s e l e c t e d
8/14/2019 Face Detection in Color Images Using PCA
5/5
F i g u r e 6 : M u l t i p l e s c a l e f a c e d e t e c t i o n
a s t h e f a c e p o s i t i o n . D e t e c t i o n r e s u l t s f o r s e v e r a l
i m a g e s o f M P E G t e s t s e q u e n c e s a r e s h o w n i n g . 6 .
T h e g l o b a l m i n i m u m d e t e c t i o n b a s e d o n t h e a s s u m p -
t i o n t h a t t h e i m a g e c o n t a i n s e x a c t l y o n e f a c e . T o d e -
t e c t s e v e r a l f a c e s a n d r e j e c t n o n - f a c i a l i m a g e s , a
t h r e s h o l d c a n b e i n t r o d u c e d w h i c h a l l o w s a t r a d e -
o b e t w e e n f a l s e d e t e c t i o n a n d f a l s e r e j e c t i o n . I f
t h e e r r o r c r i t e r i o n a t a c e r t a i n s p a t i a l p o s i t i o n i s
l e s s t h a n t h i s p r e d e n e d t h r e s h o l d , t h e s u b i m a g e l o -
c a t e d a t t h i s p o s i t i o n i s c l a s s i e d a s a f a c e . T o p r e -
v e n t o v e r l a p p i n g r e g i o n s , o n l y t h e g l o b a l m i n i m u m
i s s e l e c t e d i n t h e r s t s t e p . F o r t h e s e a r c h o f t h e s e c -
o n d ( l o c a l ) m i n i m u m , a l l s p a t i a l p o s i t i o n s w h i c h l e a d
t o o v e r l a p p i n g r e g i o n s a r e d i s c a r d e d . T h i s p r o c e -
d u r e i s r e p e a t e d u n t i l n o p o s i t i o n w i t h e r r o r l e s s t h a n
t h e t h r e s h o l d c a n b e f o u n d w h i c h i s n o t a l r e a d y c o v -
e r e d b y a n o t h e r d e t e c t e d r e g i o n . T h e r e s u l t o f a m u l -
t i p l e f a c e d e t e c t i o n i s g i v e n i n g . 7 .
F i g u r e 7 : D e t e c t i o n o f m o r e t h a n o n e f a c e
C O N C L U S I O N
T h e p r e s e n t e d f a c e d e t e c t i o n a l g o r i t h m c o m b i n e s
a s k i n c o l o r a n a l y s i s w i t h a n e i g e n s p a c e a p p r o a c h .
T h e i n c o r p o r a t i o n o f c o l o r i n f o r m a t i o n r e d u c e s t h e
i n u e n c e o f t h e i m a g e b a c k g r o u n d a n d i m p r o v e s t h e
d e t e c t i o n p e r f o r m a n c e e s p e c i a l l y i n i m a g e s w h e r e t h e
s i z e o f t h e f a c i a l a r e a i s r e l a t i v e l y s m a l l . O u r c u r r e n t
w o r k i s f o c u s e d o n t h e a d j u s t m e n t o f t h e e r r o r
c r i t e r i o n a n d t h e a u t o m a t i c a d a p t i o n o f t h e g l o b a l
d e t e c t i o n t h r e s h o l d . F u r t h e r m o r e , t h e a l g o r i t h m w i l l
b e e x t e n d e d t o f a c e t r a c k i n g i n i m a g e s e q u e n c e s .
R E F E R E N C E S
1 ] C h e l l a p a R . , W i l s o n C . L . a n d S i r o h e y S . , 1 9 9 5 ,
\ H u m a n a n d m a c h i n e r e c o g n i t i o n o f f a c e s : A
s u r v e y " , P r o c . I E E E , 8 3 ( 5 ) , 7 0 5 { 7 4 0
2 ] D a i Y . a n d N a k a n o Y . , 1 9 9 6 ,
\ F a c e - t e x t u r e m o d e l b a s e d o n S G L D a n d i t s
a p p l i c a t i o n i n f a c e d e t e c t i o n i n a c o l o r s c e n e " ,
P a t t e r n R e c o g n i t i o n , 2 9 ( 6 ) , 1 0 0 7 { 1 0 1 7
3 ] J o l l i e I . T . , 1 9 8 6 ,
\ P r i n c i p a l C o m p o n e n t A n a l y s i s " ,
S p r i n g e r , N e w Y o r k , B e r l i n , H e i d e l b e r g , T o k y o
4 ] M o g h a d d a m B . a n d P e n t l a n d A . , 1 9 9 7
\ P r o b a b i l i s t i c v i s u a l l e a r n i n g f o r o b j e c t r e p r e -
s e n t a t i o n " ,
I E E E T r a n s . P A M I , 1 9 ( 7 ) , 6 9 6 { 7 1 0
5 ] S a b e r A . a n d T e k a l p A . M . , 1 9 9 8 ,
\ F r o n t a l - v i e w f a c e d e t e c t i o n a n d f a c i a l f e a t u r e
e x t r a c t i o n u s i n g c o l o r , s h a p e a n d s y m m e t r y
b a s e d c o s t f u n c t i o n s " ,
P a t t e r n R e c o g n i t i o n L e t t e r s , 1 9 ( 8 ) , 6 6 9 { 6 8 0
6 ] S o b o t t k a K . a n d P i t a s I . , 1 9 9 8
\ A n o v e l m e t h o d f o r a u t o m a t i c f a c e s e g m e n t a -
t i o n , f a c i a l f e a t u r e e x t r a c t i o n a n d t r a c k i n g " ,
S i g n a l P r o c e s s i n g : I m a g e C o m . , 1 2 ( 3 ) , 2 6 3 { 2 8 1
7 ] S u n g K . K . a n d P o g g i o T . , 1 9 9 8 ,
\ E x a m p l e - b a s e d l e a r n i n g f o r v i e w - b a s e d h u m a n
f a c e d e t e c t i o n " ,
I E E E T r a n s . P A M I , 2 0 ( 1 ) , 3 9 { 5 1
8 ] T u r k M . a n d P e n t l a n d A . , 1 9 9 1 ,
\ E i g e n s p a c e s f o r r e c o g n i t i o n " ,
J o u r n a l o f C o g n i t i v e N e u r o s c i e n c e , 3 ( 1 ) , 7 1 { 8 6
9 ] W a n g H . a n d C h a n g S . F . , 1 9 9 7 ,
\ A h i g h l y e c i e n t s y s t e m f o r a u t o m a t i c f a c e
r e g i o n d e t e c t i o n i n M P E G v i d e o " ,
I E E E T r a n s . C i r c . S y s t . V i d e o T e c h . ,
7 ( 4 ) , 6 1 5 { 6 2 8
1 0 ] Y o w K . C . a n d C i p o l l a R . , 1 9 9 7 ,
\ F e a t u r e - b a s e d h u m a n f a c e d e t e c t i o n " ,
I m a g e a n d V i s i o n C o m p u t i n g , 1 5 ( 2 ) , 7 1 3 { 7 3 5
Top Related