8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 1/21
S e l e c t i n g t h e O p t i m a l F o c u s M e a s u r e f o r A u t o f o c u s i n g a n d
D e p t h - f r o m - F o c u s
M u r a l i S u b b a r a o a n d J e n n - K w e i T y a n
D e p a r t m e n t o f E l e c t r i c a l E n g i n e e r i n g , S t a t e U n i v e r s i t y o f N e w Y o r k
S t o n y B r o o k , N Y 1 1 7 9 4 - 2 3 5 0
A b s t r a c t
A m e t h o d i s d e s c r i b e d f o r s e l e c t i n g t h e o p t i m a l f o c u s m e a s u r e w i t h r e s p e c t t o
g r e y - l e v e l n o i s e f r o m a g i v e n s e t o f f o c u s m e a s u r e s i n p a s s i v e a u t o f o c u s i n g a n d d e p t h -
f r o m - f o c u s a p p l i c a t i o n s . T h e m e t h o d i s b a s e d o n t w o n e w m e t r i c s t h a t h a v e b e e n
d e n e d f o r e s t i m a t i n g t h e n o i s e - s e n s i t i v i t y o f d i e r e n t f o c u s m e a s u r e s . T h e r s t m e t -
r i c { t h e A u t o f o c u s i n g U n c e r t a i n t y M e a s u r e ( A U M ) { i s u s e f u l i n u n d e r s t a n d i n g t h e
r e l a t i o n b e t w e e n g r e y - l e v e l n o i s e a n d t h e r e s u l t i n g e r r o r i n l e n s p o s i t i o n f o r a u t o f o -
c u s i n g . T h e s e c o n d m e t r i c { A u t o f o c u s i n g R o o t - M e a n - S q u a r e E r r o r ( A R M S e r r o r ) { i s
a n i m p r o v e d m e t r i c c l o s e l y r e l a t e d t o A U M . A U M a n d A R M S e r r o r m e t r i c s a r e b a s e d
o n a t h e o r e t i c a l n o i s e s e n s i t i v i t y a n a l y s i s o f f o c u s m e a s u r e s , a n d t h e y a r e r e l a t e d b y a
m o n o t o n i c e x p r e s s i o n . T h e t h e o r e t i c a l r e s u l t s a r e v a l i d a t e d b y a c t u a l a n d s i m u l a t i o n
e x p e r i m e n t s . F o r a g i v e n c a m e r a , t h e o p t i m a l l y a c c u r a t e f o c u s m e a s u r e m a y c h a n g e
f r o m o n e o b j e c t t o t h e o t h e r d e p e n d i n g o n t h e i r f o c u s e d i m a g e s . T h e r e f o r e s e l e c t i n g
t h e o p t i m a l f o c u s m e a s u r e f r o m a g i v e n s e t i n v o l v e s c o m p u t i n g a l l f o c u s m e a s u r e s i n
t h e s e t .
K e y w o r d s : f o c u s m e a s u r e , f o c u s i n g , a u t o f o c u s i n g , d e p t h - f r o m - f o c u s , f o c u s a n a l y s i s .
1
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 2/21
1 I n t r o d u c t i o n
E l e c t r o n i c c a m e r a s c a n b e a u t o f o c u s e d b y s e a r c h i n g f o r t h e l e n s p o s i t i o n t h a t g i v e s t h e b e s t
f o c u s e d i m a g e 4 , 5 , 6 ] . I n t h i s a p p r o a c h , t y p i c a l l y , a f o c u s m e a s u r e i s c o m p u t e d f o r i m a g e s
a c q u i r e d a t s e v e r a l d i e r e n t l e n s p o s i t i o n s , a n d t h e l e n s i s m o v e d t o t h a t p o s i t i o n w h e r e t h e
f o c u s m e a s u r e o f t h e i m a g e i s a m a x i m u m . T h e f o c u s e d l e n s p o s i t i o n v ( s e e F i g . 1 ) d e p e n d s
o n t h e d i s t a n c e u o f t h e o b j e c t t o b e f o c u s e d a n d t h e f o c a l l e n g t h f o f t h e l e n s . T h e y a r e
r e l a t e d b y t h e l e n s f o r m u l a
1
f
=
1
u
+
1
v
( 1 )
T h i s s a m e r e l a t i o n i s u s e d i n d e p t h - f r o m - f o c u s ( D F F ) m e t h o d s t o c o m p u t e t h e o b j e c t d i s -
t a n c e u f r o m t h e f o c u s e d l e n s p o s i t i o n v 4 , 5 , 6 ] .
E x p e r i m e n t a l e v a l u a t i o n s o f d i e r e n t f o c u s m e a s u r e s h a v e b e e n r e p o r t e d i n 1 , 2 , 3 ] . S o
f a r t h e r e h a s n o t b e e n a n y t h e o r e t i c a l t r e a t m e n t o f t h e n o i s e s e n s i t i v i t y o f f o c u s m e a s u r e s . I n
t h e e x i s t i n g l i t e r a t u r e , a l l k n o w n w o r k h a v e b e e n a c o m b i n a t i o n o f e x p e r i m e n t a l o b s e r v a t i o n s
a n d s u b j e c t i v e j u d g e m e n t . T h e n o i s e s e n s i t i v i t y o f a f o c u s m e a s u r e d e p e n d s n o t o n l y o n t h e
n o i s e c h a r a c t e r i s t i c s b u t a l s o o n t h e i m a g e i t s e l f . T h e o p t i m a l l y a c c u r a t e f o c u s m e a s u r e f o r a
g i v e n n o i s e c h a r a c t e r i s t i c s m a y c h a n g e f r o m o n e o b j e c t t o t h e o t h e r d e p e n d i n g o n i t s i m a g e .
T h i s m a k e s i t d i c u l t t o a r r i v e a t g e n e r a l c o n c l u s i o n s f r o m e x p e r i m e n t s a l o n e .
F o r a g i v e n c a m e r a a n d o b j e c t , t h e m o s t a c c u r a t e f o c u s m e a s u r e c a n b e s e l e c t e d f r o m a
g i v e n s e t t h r o u g h e x p e r i m e n t s a s f o l l o w s . F o r e a c h f o c u s m e a s u r e , t h e o b j e c t i s a u t o f o c u s e d
s e v e r a l t i m e s , s a y 1 0 , s t a r t i n g w i t h a n a r b i t r a r y d e f a u l t l e n s p o s i t i o n . T h e m e a n o f t h e 1 0
f o c u s e d p o s i t i o n s a n d t h e i r s t a n d a r d d e v i a t i o n a r e a n e s t i m a t e o f t h e c o r r e c t f o c u s e d p o s i t i o n
a n d r o o t - m e a n - s q u a r e ( R M S ) e r r o r r e s p e c t i v e l y . T h e f o c u s m e a s u r e w i t h t h e m i n i m u m
2
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 3/21
e s t i m a t e o f R M S e r r o r i s t a k e n t o b e t h e o p t i m a l . I n p r a c t i c a l a p p l i c a t i o n s s u c h a s c o n s u m e r
v i d e o c a m e r a s o r d i g i t a l s t i l l c a m e r a s , i t i s d e s i r a b l e t o n d t h e b e s t f o c u s m e a s u r e f r o m a
g i v e n s e t b y a u t o f o c u s i n g o n l y o n c e . I t i s q u i t e u n d e s i r a b l e t o r e p e a t 1 0 o r s e v e r a l t r i a l s .
I f o n e h a s a d e t a i l e d a n d a c c u r a t e i n f o r m a t i o n o n t h e f o c u s e d i m a g e o f t h e o b j e c t t o
b e f o c u s e d a n d t h e c a m e r a c h a r a c t e r i s t i c s s u c h a s i t s O T F , n o i s e b e h a v i o u r , a n d c a m e r a
p a r a m e t e r s , t h e n i t w o u l d b e p o s s i b l e t o e s t i m a t e t h e R M S e r r o r t h e o r e t i c a l l y w i t h o n l y o n e
t r i a l . H o w e v e r s u c h i n f o r m a t i o n i s r a r e l y a v a i l a b l e i n p r a c t i c a l a p p l i c a t i o n s .
I n t h e a b s e n c e o f s u c h d e t a i l e d a n d a c c u r a t e i n f o r m a t i o n , w e p r o p o s e t w o n e w m e t r i c s
n a m e d A u t o f o c u s i n g U n c e r t a i n t y M e a s u r e ( A U M ) a n d A u t o f o c u s i n g R o o t - M e a n - S q u a r e E r r o r
( A R M S e r r o r ) b o t h o f w h i c h c a n b e c o m p u t e d w i t h o n l y o n e t r i a l o f a u t o f o c u s i n g . I n D F F
a p p l i c a t i o n s , A U M a n d A R M S e r r o r c a n b o t h b e e a s i l y t r a n s l a t e d i n t o u n c e r t a i n t i e s i n d e p t h
u s i n g E q . ( 1 ) . T h e k e y a s s u m p t i o n u n d e r l y i n g t h e d e n i t i o n o f A U M a n d A R M S e r r o r i s
t h a t t h e m e a n v a l u e o f f o c u s m e a s u r e s a r e l o c a l l y s m o o t h w i t h r e s p e c t t o l e n s p o s i t i o n
( e . g . q u a d r a t i c n e a r t h e p e a k ) . A U M a n d A R M S e r r o r m e t r i c s a r e g e n e r a l a n d a p p l i c a b l e
t o a n y f o c u s m e a s u r e s a t i s f y i n g t h e l o c a l s m o o t h n e s s a s s u m p t i o n . T h e a n a l y s i s h e r e d e a l s
w i t h f o c u s i n g e r r o r s c a u s e d o n l y b y g r e y - l e v e l n o i s e a n d n o t o t h e r f a c t o r s s u c h a s n o n - f r o n t
p a r a l l e l s u r f a c e s . T h e a n a l y s i s h e r e s h o w s t h a t t h e a u t o f o c u s i n g n o i s e s e n s i t i v i t y o f a f o c u s
m e a s u r e d e p e n d s o n t h e i m a g e o f t h e o b j e c t t o b e a u t o f o c u s e d i n a d d i t i o n t o t h e c a m e r a
c h a r a c t e r i s t i c s . F o r a n o b j e c t w i t h u n k n o w n f o c u s e d i m a g e , n d i n g t h e o p t i m a l l y a c c u r a t e
f o c u s m e a s u r e i n v o l v e s c o m p u t i n g a l l t h e c a n d i d a t e f o c u s m e a s u r e s a t a s e t o f l e n s p o s i t i o n s
a n d c o m p u t i n g A U M / A R M S e r r o r f o r e a c h o f t h e l e n s p o s i t i o n s .
3
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 4/21
2 M o d e l o f f o c u s m e a s u r e s
A d e t a i l e d d i s c u s s i o n o f t h i s t o p i c c a n b e f o u n d i n s e v e r a l p a p e r s i n c l u d i n g 3 ] . H e r e w e
s u m m a r i z e s o m e r e l e v a n t r e s u l t s b a s e d o n g e o m e t r i c o p t i c s .
W h e n a p o i n t o b j e c t P i s b l u r r e d o n t h e i m a g e d e t e c t o r I D ( s e e F i g . 1 ) i t i s i m a g e d a s
a b l u r c i r c l e P " o f r a d i u s R . T h i s i m a g e h ( x ; y ) i s t h e p o i n t s p r e a d f u n c t i o n ( P S F ) o f t h e
c a m e r a . I n a s m a l l i m a g e r e g i o n i f t h e i m a g e d o b j e c t s u r f a c e i s ( a p p r o x i m a t e l y ) a p l a n e
n o r m a l t o t h e o p t i c a l a x i s , t h e n t h e P S F i s t h e s a m e f o r a l l p o i n t s o n t h e p l a n e . T h e n t h e
b l u r r e d i m a g e g ( x ; y ) i n t h e s m a l l i m a g e r e g i o n o n t h e i m a g e d e t e c t o r I D i s e q u a l t o t h e
c o n v o l u t i o n o f t h e f o c u s e d i m a g e f ( x ; y ) a n d t h e P S F h ( x ; y ) . T h e r e f o r e , i f G ; F ; a n d H
a r e t h e F o u r i e r t r a n s f o r m s o f g ; f ; a n d h , r e s p e c t i v e l y , t h e n G = H F . T h e O T F H ( ! ; )
h a s c h a r a c t e r i s t i c s o f a l o w - p a s s l t e r . A s t h e b l u r i n c r e a s e s , t h e h i g h e r f r e q u e n c i e s a r e
a t t e n u a t e d e v e n m o r e .
A g e n e r a l f o c u s m e a s u r e i s m o d e l e d a s f o l l o w s . F i r s t t h e i m a g e f o r w h i c h t h e f o c u s
m e a s u r e n e e d s t o b e c o m p u t e d i s n o r m a l i z e d f o r b r i g h t n e s s b y d i v i d i n g t h e i m a g e b y i t s
m e a n b r i g h t n e s s . T h e n i t i s c o n v o l v e d w i t h a f o c u s m e a s u r e l t e r ( F M F ) . T h e n t h e e n e r g y
( s u m o f s q u a r e d v a l u e s ) o f t h e l t e r e d i m a g e i s c o m p u t e d . T h i s e n e r g y i s t h e f o c u s m e a s u r e
( s e e s e c t i o n 6 f o r m o r e d e t a i l s ) . M o s t F M F s c o r r e s p o n d t o l t e r s t h a t e m p h a s i z e ( o r a m p l i f y )
h i g h f r e q u e n c i e s . T h i s s e e m s a p p r o p r i a t e s i n c e b l u r r i n g h a s t h e o p p o s i t e e e c t , i . e . h i g h
f r e q u e n c y a t t e n u a t i o n .
T h e f o c u s m e a s u r e s m o d e l e d h e r e c o v e r m o s t o f t h e f o c u s m e a s u r e s t h a t h a v e b e e n u s e d
b y r e s e a r c h e r s s o f a r 3 ] e x c e p t t h o s e b a s e d o n s u m o f a b s o l u t e v a l u e s o f i m a g e d e r i v a t i v e s
1 , 2 ] . A l t h o u g h A U M a n d A R M S e r r o r m e t r i c s a r e a p p l i c a b l e t o t h e s e f o c u s m e a s u r e s a l s o
4
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 5/21
( w h i c h a r e b a s e d o n s u m o f a b s o l u t e v a l u e s o f i m a g e d e r i v a t i v e s ) , w e h a v e n o t c a r r i e d o u t a
c o m p l e t e a n a l y s i s o f t h e m h e r e s i n c e t h e y h a v e b e e n p r o v e d t o b e u n s o u n d 4 , 5 , 6 ] b a s e d o n
t h e e e c t o f t h e O T F m a i n l o b e . T h e s e u n s o u n d f o c u s m e a s u r e s m a y b e o p t i m a l f o r s o m e
s c e n e s , b u t f o r s o m e o t h e r s c e n e s t h e y c a n g i v e i n c o r r e c t r e s u l t s e v e n i n t h e a b s e n c e o f a l l
n o i s e .
3 A u t o f o c u s i n g a l g o r i t h m
F i g . 2 s h o w s a t y p i c a l p l o t o f a f o c u s m e a s u r e a s a f u n c t i o n o f l e n s p o s i t i o n . T h e p r o b l e m
i s t o n d p o s i t i o n s
f
w h e r e t h e f o c u s m e a s u r e i s m a x i m u m . D u e t o l i m i t e d d e p t h o f e l d o f
t h e c a m e r a , w e a s s u m e t h a t t h e c h a n g e i n t h e b e s t f o c u s e d i m a g e i s i n d i s t i n g u i s h a b l e b y t h e
i m a g e d e t e c t o r w h e n t h e l e n s i s m o v e d b y a n a m o u n t o f u p t o = 2 f r o m s
f
W e p r o p o s e t h e f o l l o w i n g a l g o r i t h m f o r a u t o f o c u s i n g . F i r s t t h e f o c u s m e a s u r e i s c o m p u t e d
a t t h e c u r r e n t l e n s p o s i t i o n a n d t h e l e n s i s m o v e d b y a b o u t 1 0 t o a n o t h e r p o s i t i o n . T h e
f o c u s m e a s u r e i s a g a i n c o m p u t e d . T h e s i g n o f t h e c h a n g e i n t h e t w o f o c u s m e a s u r e s i s u s e d
t o d e t e r m i n e t h e d i r e c t i o n i n w h i c h t h e l e n s s h o u l d b e m o v e d . T h e n a c o a r s e s e a r c h i s u s e d
t o n a r r o w t h e s e a r c h i n t e r v a l t o a b o u t 1 0 . T h e c o a r s e s e a r c h m a y u s e a b i n a r y o r F i b o n a c c i
o r a s e q u e n t i a l s e a r c h . S e e 4 , 5 , 6 ] f o r d e t a i l s . I n t h i s i n t e r v a l o f s i z e 1 0 c o n t a i n i n g s
f
, a
f o c u s m e a s u r e i s c o m p u t e d a t t h r e e p o s i t i o n s w h i c h a r e a b o u t 5 a p a r t . T h e n a q u a d r a t i c
o r a G a u s s i a n i s t t e d t o t h e s e t h r e e ( o r m o r e i f d e s i r e d ) p o i n t s . T h e p o s i t i o n w h e r e t h e
t t e d c u r v e h a s a m a x i m u m i s t a k e n t o b e t h e f o c u s e d p o s i t i o n s
f
. N o t e t h a t , a c c o r d i n g
t o g e o m e t r i c o p t i c s , t h e f o c u s m e a s u r e c u r v e w i l l b e s y m m e t r i c a b o u t t h e f o c u s p o s i t i o n s
f
A l s o , s h i f t i n g t h e f o c u s p o s i t i o n s
f
w i l l s h i f t t h e c u r v e b y t h e s a m e a m o u n t w i t h o n l y s m a l l
5
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 6/21
c h a n g e i n i t s s h a p e .
4 A u t o f o c u s i n g U n c e r t a i n t y M e a s u r e ( A U M )
F i r s t w e i n t r o d u c e A U M a s a m e t r i c f o r f o c u s m e a s u r e s t o i l l u s t r a t e s o m e u n d e r l y i n g c o n -
c e p t s . L a t e r w e i n t r o d u c e t h e A R M S e r r o r w h i c h i s b a s e d o n w e a k e r a s s u m p t i o n s t h a n A U M .
A t a n y l e n s p o s i t i o n s
0
( s e e F i g . 3 ) , e a c h f o c u s m e a s u r e i s a s s o c i a t e d w i t h a p r o b a b i l i t y
d e n s i t y f u n c t i o n p ( ( s
0
) ) , a n e x p e c t e d v a l u e ( m e a n ) E f ( s
0
) g , a n d a s t a n d a r d d e v i a t i o n
s t d f ( s
0
) g . H o w e v e r , t h e f o c u s m e a s u r e w i t h t h e m i n i m u m s t a n d a r d d e v i a t i o n i s n o t n e c e s -
s a r i l y t h e b e s t b e c a u s e w e a r e n o t i n t e r e s t e d i n t h e a c c u r a c y o f t h e f o c u s m e a s u r e i t s e l f , b u t
i n t h e c o r r e s p o n d i n g m e a n l e n s p o s i t i o n a n d i t s s t a n d a r d d e v i a t i o n . E s t i m a t i n g t h e s t a n d a r d
d e v i a t i o n o f t h e l e n s p o s i t i o n r e q u i r e s a k n o w l e d g e o f t h e f u n c t i o n t h a t r e l a t e s t h e e x p e c t e d
v a l u e o f t h e f o c u s m e a s u r e t o t h e l e n s p o s i t i o n ( s e e F i g . 3 ) . T h i s f u n c t i o n d e p e n d s o n t h e
c a m e r a P S F a s a f u n c t i o n o f c a m e r a p a r a m e t e r s a n d t h e f o c u s e d i m a g e o f t h e o b j e c t . I n
t h e a b s e n c e o f a c c u r a t e i n f o r m a t i o n a b o u t t h e c a m e r a P S F a n d t h e o b j e c t , t h e f u n c t i o n i s
e s t i m a t e d i n a d e s i r e d i n t e r v a l t h r o u g h s a m p l i n g a n d i n t e r p o l a t i o n . F o r e x a m p l e , n e a r t h e
m a x i m u m , t h e f o c u s m e a s u r e m a y b e c o m p u t e d a t 3 t o 5 n e a r b y l e n s p o s i t i o n s a n d a s m o o t h
f u n c t i o n s u c h a s a q u a d r a t i c p o l y n o m i a l o r a G a u s s i a n i s t t e d . T h e a s s u m p t i o n i s t h a t t h e
c o m p u t e d v a l u e s o f t h e f o c u s m e a s u r e a r e ( n e a r l y ) t h e e x p e c t e d v a l u e s o f t h e f o c u s m e a s u r e .
T h i s a s s u m p t i o n w i l l b e r e m o v e d l a t e r i n d e n i n g t h e A R M S e r r o r .
R e f e r r i n g t o F i g . 3 , t h e A U M a t t h e m a x i m u m o f t h e f o c u s m e a s u r e ( s
f
) i s d e n e d a s
f o l l o w s :
A U M = s
2
? s
1
w h e r e s
1
< s
f
< s
2
; ( s
f
) ? ( s
1
) = ( s
f
) ? ( s
2
) = ( 2 )
6
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 7/21
w h e r e i s t h e s t a n d a r d d e v i a t i o n o f t h e f o c u s m e a s u r e . I n o r d e r t o c o m p u t e A U M , w e n e e d
t o k n o w . I n S e c t i o n 6 w e d e r i v e a g e n e r a l f o r m u l a t h a t c a n b e u s e d t o e s t i m a t e a s a
f u n c t i o n o f t h e i m a g e a n d i t s n o i s e l e v e l . F u r t h e r w e n e e d t o k n o w t h e s h a p e o f t h e c u r v e
( s ) n e a r t h e p e a k . A s d i s c u s s e d e a r l i e r , t h e p o s i t i o n o f
f
a n d t h e f u n c t i o n ( s ) n e a r
f
a r e e s t i m a t e d b y t t i n g a c u r v e ( q u a d r a t i c o r G a u s s i a n ) t o a f e w p o i n t s ( a t l e a s t 3 ) n e a r t h e
m a x i m u m . I n t u i t i v e l y , A U M i s a m e a s u r e s i m i l a r t o t h e R M S e r r o r i n l e n s p o s i t i o n t h a t c a n
b e d e t e r m i n e d t h r o u g h r e p e a t e d t r i a l s .
F i g . 4 s h o w s a t y p i c a l c o m p a r i s o n o f t w o f o c u s m e a s u r e s . T h e m a x i m u m v a l u e s o f t h e
t w o f o c u s m e a s u r e s h a v e b e e n n o r m a l i z e d t o b e t h e s a m e . W e s e e t h a t a l t h o u g h
2
>
1
,
A U M
2
< A U M
1
, i m p l y i n g t h a t
2
i s b e t t e r t h a n
1
F o r a p o s i t i o n f a r a w a y f r o m t h e f o c u s e d l e n s p o s i t i o n s
f
s e e 4 , 5 , 6 ] f o r a d e n i t i o n o f
A U M .
5 A R M S E r r o r
N o w w e d e r i v e a n e x p l i c i t e x p r e s s i o n f o r t h e A u t o f o c u s i n g R o o t - M e a n S q u a r e E r r o r ( A R M S
e r r o r ) . A n e x a c t e x p r e s s i o n f o r t h e R M S e r r o r d e p e n d s o n t h e O p t i c a l T r a n s f e r F u n c t i o n
( O T F ) o f t h e c a m e r a a n d t h e F o u r i e r s p e c t r u m o f t h e f o c u s e d i m a g e . D e r i v i n g s u c h a n e x a c t
e x p r e s s i o n i s c o m p l i c a t e d b e c a u s e o f t h e n a t u r e o f t h e c a m e r a ' s O T F a n d t h e v a r i a b i l i t y
o f t h e F o u r i e r s p e c t r u m o f t h e f o c u s e d i m a g e f o r d i e r e n t o b j e c t s . F u r t h e r , u s e f u l n e s s o f
s u c h a n e x p r e s s i o n i n p r a c t i c a l a p p l i c a t i o n s i s l i m i t e d s i n c e a l l t h e i n f o r m a t i o n n e c e s s a r y t o
e v a l u a t e t h e e x p r e s s i o n ( e . g . O T F a n d c a m e r a p a r a m e t e r s ) m a y n o t b e a v a i l a b l e . H o w e v e r ,
a n a p p r o x i m a t e e x p r e s s i o n t h a t i s v e r y u s e f u l i n p r a c t i c a l a p p l i c a t i o n s c a n b e d e r i v e d u n d e r
7
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 8/21
s o m e w e a k a s s u m p t i o n s . T h e a s s u m p t i o n w e u s e i s t h a t t h e e x p e c t e d v a l u e o f t h e f o c u s
m e a s u r e i s l o c a l l y s m o o t h w i t h r e s p e c t t o l e n s p o s i t i o n . W e m o d e l t h i s l o c a l s m o o t h n e s s b y a
q u a d r a t i c p o l y n o m i a l , b u t t h e a n a l y s i s h e r e c a n b e e x t e n d e d t o o t h e r m o d e l s ( e . g . c u b i c o r
G a u s s i a n ) . H o w e v e r s u c h e x t e n s i o n s d o n o t a p p e a r t o o e r s i g n i c a n t a d v a n t a g e s c o m p a r e d
t o t h e q u a d r a t i c m o d e l i n p r a c t i c a l a p p l i c a t i o n s .
R e f e r r i n g t o F i g . 5 , f o c u s m e a s u r e i s m o d e l e d t o b e l o c a l l y q u a d r a t i c i n a s m a l l i n t e r v a l
o f s i z e 2 w i t h r e s p e c t t o l e n s p o s i t i o n n e a r t h e f o c u s e d p o s i t i o n :
( s ) = a s
2
+ b s + c ( 3 )
L e t t h e f o c u s m e a s u r e b e g i v e n a t t h r e e a r b i t r a r y p o s i t i o n s w h i c h a r e a p a r t . W i t h o u t l o s s
o f g e n e r a l i t y , l e t t h e t h r e e p o s i t i o n s b e s
?
= ? , s
0
= 0 , a n d s
+
= + . L e t ?
?
= ( s
?
) ,
?
0
= ( s
0
) a n d ?
+
= ( s
+
) . N e a r t h e f o c u s e d p o s i t i o n , ?
0
> ?
?
a n d ?
0
> ?
+
. S o l v i n g f o r
t h e c o e c i e n t s o f t h e q u a d r a t i c e x p r e s s i o n , w e o b t a i n
a =
?
+
+ ?
?
? 2 ?
0
2
2
; b =
?
+
? ?
?
2
; c = ?
0
( 4 )
L e t s
f
b e t h e l e n s p o s i t i o n w h e r e t h e f o c u s m e a s u r e b e c o m e s t h e m a x i m u m a n d ?
f
=
( s
f
) . A t s
f
, t h e d e r i v a t i v e o f ? v a n i s h e s . T h e r e f o r e w e o b t a i n
s
f
=
? b
2 a
=
2
( ?
+
? ?
?
)
( 2 ?
0
? ?
+
? ?
?
)
( 5 )
S u b s t i t u t i n g t h e a b o v e e q u a t i o n i n ( 3 ) w e o b t a i n
?
f
= ?
b
2
? 4 a c
4 a
( 6 )
W e a r e i n t e r e s t e d i n t h e R M S v a l u e o f s
f
. F o r t h i s r e a s o n , t h e f o c u s m e a s u r e ?
i
w i l l b e
e x p r e s s e d a s t h e s u m m a t i o n o f t h e i r e x p e c t e d v a l u e ?
i
a n d t h e i r n o i s e c o m p o n e n t n
i
:
?
i
= ?
i
+ n
i
f o r i = ? ; 0 ; + ( 7 )
8
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 9/21
T h e r e f o r e , E q . ( 5 ) i s e x p a n d e d a s
s
f
=
2
?
+
? ?
?
2 ?
0
? ?
+
? ?
?
!
1 +
n
+
? n
?
?
+
? ?
?
!
1 +
2 n
0
? n
+
? n
?
2 ?
0
? ?
+
? ?
?
!
? 1
( 8 )
N e a r t h e f o c u s e d p o s i t i o n w e h a v e ?
0
> ?
+
a n d ?
0
> ?
?
. T h e r e f o r e , i f t h e s i g n a l t o n o i s e
r a t i o i s s u c i e n t l y l a r g e , w e h a v e
2 ?
0
? ?
+
? ?
?
2 n
0
? n
+
? n
?
( 9 )
W e o b t a i n s
f
s
0
f
w h e r e
s
0
f
= s
f
1 +
n
+
? n
?
?
+
? ?
?
!
( 1 0 )
N o t e : w e c a n n o t a s s u m e t h a t ?
+
? ?
?
n
+
? n
?
b e c a u s e , n e a r t h e f o c u s e d p o s i t i o n ,
?
+
a n d ?
?
m a y b e n e a r l y e q u a l . S i m p l i f y i n g t h e e x p r e s s i o n f o r s
0
f
w e o b t a i n
s
0
f
= s
f
+
2
n
+
? n
?
2 ?
0
? ?
+
? ?
?
!
( 1 1 )
N o w t h e A R M S e r r o r i s d e n e d a s t h e s t a n d a r d d e v i a t i o n o f s
0
f
, i . e .
A R M S e r r o r =
2
q
2
+
+
2
?
2 ?
0
? ?
+
? ?
?
( 1 2 )
w h e r e
+
a n d
?
a r e t h e s t a n d a r d d e v i a t i o n s o f t h e f o c u s m e a s u r e s ?
+
a n d ?
?
r e s p e c t i v e l y .
F o r a l e n s p o s i t i o n a w a y f r o m t h e m a x i m u m f o c u s e d p o s i t i o n , w e n d t h a t ?
?
< ?
0
< ?
+
I n t h i s c a s e , t h e l o c a l l i n e a r m o d e l f o r t h e f o c u s m e a s u r e w i l l b e b e t t e r t h a n t h e l o c a l
q u a d r a t i c m o d e l . T h e A R M S e r r o r f o r t h i s c a s e i s d e n e d b a s e d o n f o c u s m e a s u r e s a t o n l y
t w o l e n s p o s i t i o n s ( r a t h e r t h a n t h r e e ) t h a t a r e a p a r t . W i t h o u t l o s s o f g e n e r a l i t y , l e t t h e
t w o p o s i t i o n s b e s
?
= ? = 2 a n d s
+
= + = 2 a n d t h e f o c u s m e a s u r e s a t t h e s e p o i n t s b e ?
?
a n d ?
+
r e s p e c t i v e l y ( s i m i l a r t o F i g . 6 ) . T h e l i n e a r m o d e l y i e l d s t h e e x p r e s s i o n
s ? s
?
s
+
? s
?
=
? ? ?
?
?
+
? ?
?
( 1 3 )
9
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 10/21
T h e a b o v e e q u a t i o n c a n b e r e w r i t t e n a s :
s =
? ? ?
?
?
+
? ?
?
!
?
2
( 1 4 )
O n c e a g a i n , w e e x p r e s s ?
+
a n d ?
?
a s ?
+
= ?
+
+ n
+
a n d ?
?
= ?
?
+ n
?
w h e r e ?
+
a n d ?
?
a r e t h e e x p e c t e d v a l u e s a n d n
+
a n d n
?
a r e t h e n o i s e c o m p o n e n t s .
N o w t h e A R M S e r r o r i s d e n e d a s t h e s t a n d a r d d e v i a t i o n o f s
0
w h e r e s
0
i s t h e s o l u t i o n o f
? ( s ) =
?
+
+ ?
2
. S o l v i n g t h i s e q u a t i o n a n d a s s u m i n g ?
+
? ?
?
n
+
? n
?
a n d ?
+
? ?
?
2 n
?
, w e o b t a i n :
s
0
2
n
+
+ n
?
?
?
? ?
+
!
( 1 5 )
H e n c e , t h e A R M S e r r o r w o u l d b e
A R M S e r r o r = s t d ( s
0
) =
q
2
+
+
2
?
2 ?
+
? ?
?
( 1 6 )
I t i s s h o w n i n 4 , 5 ] t h a t f o r p o i n t s n e a r t h e f o c u s e d p o s i t i o n , s q u a r e o f A U M i s p r o p o r -
t i o n a l t o A R M S e r r o r ( A U M
2
= ( 8
p
2 ) A R M S ) , a n d f o r p o i n t s a w a y f r o m t h e f o c u s e d
p o s i t i o n , A U M a n d A R M S e r r o r a r e p r o p o r t i o n a l ( A U M = 2
p
2 A R M S )
6 M e a n a n d V a r i a n c e o f f o c u s m e a s u r e s
I n t h i s s e c t i o n w e d e r i v e e x p r e s s i o n s f o r t h e e x p e c t e d v a l u e ( m e a n ) a n d v a r i a n c e o f t h e f o c u s
m e a s u r e s m o d e l e d i n S e c t i o n 2 . T h e s e a r e u s e f u l i n c o m p u t i n g t h e s t a n d a r d d e v i a t i o n o f
t h e f o c u s m e a s u r e a n d i t s A U M / A R M S e r r o r .
L e t f ( m ; n ) b e t h e b l u r r e d n o i s e f r e e d i s c r e t e i m a g e a n d ( m ; n ) b e t h e a d d i t i v e n o i s e .
T h e n o i s y b l u r r e d d i g i t a l i m a g e r e c o r d e d b y t h e c a m e r a i s
f
( m ; n ) = f ( m ; n ) + ( m ; n ) ( 1 7 )
1 0
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 11/21
T h e n o i s e ( m ; n ) a t d i e r e n t p i x e l s a r e a s s u m e d t o b e i n d e p e n d e n t , i d e n t i c a l l y d i s t r i b u t e d
r a n d o m v a r i a b l e s w i t h z e r o m e a n a n d s t a n d a r d d e v i a t i o n
n
. T h i s
n
c a n b e e a s i l y e s t i m a t e d
f o r a c a m e r a b y i m a g i n g a u n i f o r m l y b r i g h t o b j e c t a n d c o m p u t i n g t h e s t a n d a r d d e v i a t i o n o f
t h e g r e y l e v e l d i s t r i b u t i o n . T h e i m a g e s a r e a s s u m e d t o b e o f s i z e ( 2 N + 1 ) ( 2 N + 1 ) a n d
f o c u s m e a s u r e l t e r ( F M F ) a ( i ; j ) o f s i z e ( 2 M + 1 ) ( 2 M + 1 ) . W i t h o u t l o s s o f g e n e r a l i t y , t h e
l t e r i n g o p e r a t i o n w i l l b e r e p r e s e n t e d b y t h e m o v i n g w e i g h t e d s u m ( M W S ) o p e r a t o r i n s t e a d
o f t h e u s u a l c o n v o l u t i o n o p e r a t o r . M W S i s c o r r e l a t i o n a n d i s e q u i v a l e n t t o c o n v o l u t i o n i f ,
f o r e x a m p l e , t h e F M F i s r o t a t e d b y 1 8 0 d e g r e e s a b o u t i t s c e n t e r b y a s s i g n i n g a ( ? i ; ? j ) t o
a ( i ; j ) . D e n o t i n g t h e M W S o p e r a t o r b y ? i t i s d e n e d b y
a ( i ; j ) ? f
( m ; n ) =
M
X
i j
a ( i ; j ) f
( m + i ; n + j ) ( 1 8 )
w h e r e a d o u b l e s u m m a t i o n i s a b b r e v i a t e d w i t h a s i n g l e s u m m a t i o n t o s i m p l i f y n o t a t i o n .
L e t g ( m ; n ) b e t h e i m a g e o b t a i n e d b y l t e r i n g t h e n o i s y b l u r r e d i m a g e f
( m ; n ) w i t h t h e
F M F a ( i ; j ) :
g ( m ; n ) = a ( i ; j ) ? f
( m ; n ) = F ( m ; n ) + N ( m ; n ) ( 1 9 )
w h e r e
F ( m ; n ) = a ( i ; j ) ? f ( m ; n ) ; N ( m ; n ) = a ( i ; j ) ? ( m ; n ) ( 2 0 )
T h e f o c u s m e a s u r e i s d e n e d a s
=
1
( 2 N + 1 )
2
N
X
m n
g
2
( m ; n )
=
s i g n a l
+
n o i s e
+
2
( 2 N + 1 )
2
N
X
m n
F ( m ; n ) N ( m ; n ) ( 2 1 )
w h e r e
s i g n a l
a n d
n o i s e
a r e d e n e d b y :
s i g n a l
=
1
( 2 N + 1 )
2
N
X
m n
F
2
( m ; n ) ;
n o i s e
=
1
( 2 N + 1 )
2
N
X
m n
N
2
( m ; n ) ( 2 2 )
1 1
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 12/21
N o w t h e e x p e c t e d v a l u e o f t h e f o c u s m e a s u r e E f g i s ( n o t e t h a t t h e e x p e c t a t i o n o p e r a t o r
E i s l i n e a r a n d c o m m u t e s w i t h s u m m a t i o n ) :
E f g =
s i g n a l
+ E f
n o i s e
g +
2
( 2 N + 1 )
2
N
X
m n
F ( m ; n ) E f N ( m ; n ) g
=
s i g n a l
+ A
n
2
n
( 2 3 )
w h e r e
A
n
=
M
X
i j
a
2
( i ; j ) ( 2 4 )
T h e a b o v e e q u a t i o n i s a f u n d a m e n t a l r e s u l t . I t s h o w s t h a t t h e e x p e c t e d v a l u e o f t h e
f o c u s m e a s u r e i s a s u m o f t w o c o m p o n e n t s { o n e d u e t o s i g n a l a l o n e a n d a n o t h e r d u e t o n o i s e
a l o n e . T h e r e f o r e , i f a f o c u s m e a s u r e i s c o m p u t e d o n a s e t o f i m a g e s f o r a u t o f o c u s i n g , t h e
e e c t o f n o i s e i s t o i n c r e a s e t h e c o m p u t e d f o c u s m e a s u r e b y t h e s a m e v a l u e o n a v e r a g e f o r
a l l i m a g e s . T h e r e a s o n f o r t h i s i s t h a t w h i l e t h e i m a g e s i g n a l c h a n g e s i n b l u r l e v e l w i t h l e n s
p o s i t i o n , t h e n o i s e c h a r a c t e r i s t i c s o f t h e c a m e r a r e m a i n s t h e s a m e . T h e r e f o r e , t h e a v e r a g e
i n c r e a s e i n f o c u s m e a s u r e d u e t o n o i s e d o e s n o t c h a n g e t h e l o c a t i o n o f t h e f o c u s m e a s u r e
p e a k . I t i s t h e v a r i a n c e o f t h e f o c u s m e a s u r e t h a t c h a n g e s t h e l o c a t i o n o f t h e f o c u s m e a s u r e
p e a k a n d t h e r e f o r e i n t r o d u c e s e r r o r i n a u t o f o c u s i n g .
N o w c o n s i d e r t h e v a r i a n c e o f t h e f o c u s m e a s u r e :
V a r f g = E f
2
g ? ( E f g )
2
( 2 5 )
w e o b t a i n :
V a r f g =
A
2
n
E f
4
g
( 2 N + 1 )
2
?
A
2
n
4
n
( 2 N + 1 )
2
+
4
n
( 2 N + 1 )
2
M
X
i
1
j
1
M
X
i
2
j
2
M
X
i
3
j
3
M
X
i
4
j
4
Q
4
Y
k = 1
a ( i
k
; j
k
)
!
+
4
2
n
( 2 N + 1 )
2
0
s i g n a l
( 2 6 )
1 2
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 13/21
w h e r e
A ( i ; j ) = a ( i ; j ) a ( ? i ; ? j ) ; F
0
( m ; n ) = A ( i ; j ) f ( m ; n ) ( 2 7 )
0
s i g n a l
=
1
( 2 N + 1 )
2
P
M + N
m n
F
0 2
( m ; n ) ( 2 8 )
a n d Q a b o o l e a n v a r i a b l e w i t h v a l u e 1 i f t h e f o l l o w i n g c o n d i t i o n i s t r u e a n d z e r o o t h e r w i s e :
Q : : ( C
5
O R C
6
) & N O T C
1
( 2 9 )
w h e r e
C
1
: ( i
1
= i
2
) & ( j
1
= j
2
) & ( i
3
= i
4
) & ( j
3
= j
4
) ( 3 0 )
C
5
: ( i
1
? i
3
= i
2
? i
4
) & ( j
1
? j
3
= j
2
? j
4
) ( 3 1 )
C
6
: ( i
1
? i
4
= i
2
? i
3
) & ( j
1
? j
4
= j
2
? j
3
) ( 3 2 )
T h e e q u a t i o n a b o v e s h o w s t h a t t h e v a r i a n c e o f a f o c u s m e a s u r e d e p e n d s o n t h e i m a g e s i g n a l
i n a d d i t i o n t o n o i s e l e v e l . T h e r s t t h r e e t e r m s d o n o t d e p e n d o n t h e i m a g e s i g n a l . T h e y
c a n b e c o m p u t e d a n d p r e s t o r e d . A m o n g t h e s e t h r e e t e r m s , t h e r s t t w o c a n b e c o m p u t e d
m a n u a l l y , b u t t h e t h i r d t e r m m a y n e e d a s m a l l c o m p u t e r p r o g r a m t o e v a l u a t e . T h e l a s t
t e r m i n t h e a b o v e e q u a t i o n d e p e n d s o n t h e i m a g e b e i n g p r o c e s s e d . E x a c t c o m p u t a t i o n o f
t h i s t e r m r e q u i r e s k n o w l e d g e o f t h e n o i s e - f r e e i m a g e w h i c h i s n o t p o s s i b l e . H o w e v e r t h e v a l u e
o f t h e t e r m c a n b e a p p r o x i m a t e d u s i n g t h e n o i s y i m a g e g ( m ; n ) i n p l a c e o f f ( m ; n ) . T h e
a p p r o x i m a t i o n i s v a l i d f o r h i g h s i g n a l t o n o i s e r a t i o 4 , 5 , 6 ] .
T h e f o r m u l a p r e s e n t e d a b o v e c a n b e a p p l i e d d i r e c t l y i n p r a c t i c a l a p p l i c a t i o n s . N o w w e
c o n s i d e r t h r e e e x a m p l e s t o i l l u s t r a t e t h e a p p l i c a t i o n o f t h e f o r m u l a . I n t h e s e e x a m p l e s ,
t h e n o i s e w i l l b e m o d e l e d a s G a u s s i a n . F o r a z e r o m e a n G a u s s i a n r a n d o m v a r i a b l e w i t h
1 3
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 14/21
s t a n d a r d d e v i a t i o n
n
w e h a v e E f
4
g = 3
4
n
. T h i s r e s u l t w i l l b e u s e d i n t h e f o l l o w i n g
e x a m p l e s .
1 . G r a y L e v e l V a r i a n c e
T h e i m a g e i s n o r m a l i z e d b y s u b t r a c t i n g t h e m e a n g r e y v a l u e f r o m t h e g r e y l e v e l o f e a c h
p i x e l . T h e f o c u s m e a s u r e l t e r i n t h i s c a s e i s
a ( i ; j ) =
8
>
>
>
<
>
>
>
:
1 i f i = j = 0
0 o t h e r w i s e
( 3 3 )
U s i n g t h e f o r m u l a ( 2 6 ) f o r v a r i a n c e w e o b t a i n
V a r f g =
2
4
n
( 2 N + 1 )
2
+
4
2
n
( 2 N + 1 )
4
N
X
m n
f
2
( m ; n ) ( 3 4 )
2 . G r a d i e n t M a g n i t u d e S q u a r e d
F o r g r a d i e n t s q u a r e d a l o n g x - a x i s a n d y - a x i s , r e s p e c t i v e l y
a
x
( i ; j ) = ? 1 1 ; a
y
( i ; j ) = ? 1 1
T
( 3 5 )
S u b s t i t u t i n g a
x
( i ; j ) a n d a
y
( i ; j ) a b o v e i n E q . ( 2 6 ) f o r v a r i a n c e , w e o b t a i n :
V a r f g =
2 4
4
n
( 2 N + 1 )
2
+
4
2
n
( 2 N + 1 )
4
M + N
X
m n
A
x
( i ; j ) f ( m ; n ) + A
y
( i ; j ) f ( m ; n )
2
( 3 6 )
w h e r e
A
x
( i ; j ) = ? 1 2 ? 1 ; A
y
( i ; j ) = ? 1 2 ? 1
T
( 3 7 )
3 . L a p l a c i a n
T h e d i s c r e t e L a p l a c i a n i s a p p r o x i m a t e d b y
a ( i ; j ) =
2
6
6
6
6
6
4
0 1 0
1 ? 4 1
0 1 0
3
7
7
7
7
7
5
( 3 8 )
1 4
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 15/21
S u b s t i t u t i n g t h i s a ( i ; j ) i n t o t h e f o r m u l a ( 2 6 ) f o r v a r i a n c e w e o b t a i n
V a r f g =
1 3 5 2
4
n
( 2 N + 1 )
2
+
4
2
n
( 2 N + 1 )
4
M + N
X
m n
A ( i ; j ) f ( m ; n )
2
( 3 9 )
w h e r e
A ( i ; j ) =
2
6
6
6
6
6
6
6
6
6
6
6
4
0 0 1 0 0
0 2 ? 8 2 0
1 ? 8 2 0 ? 8 1
0 2 ? 8 2 0
0 0 1 0 0
3
7
7
7
7
7
7
7
7
7
7
7
5
( 4 0 )
7 E x p e r i m e n t s
I n t h e r s t s e t o f e x p e r i m e n t s , E q . ( 2 6 ) f o r t h e v a r i a n c e o f f o c u s m e a s u r e s w a s v e r i e d a s
f o l l o w s . T h e a u t o f o c u s i n g a l g o r i t h m d e s c r i b e d e a r l i e r w a s i m p l e m e n t e d o n a s y s t e m n a m e d
S t o n y B r o o k P a s s i v e A u t o f o c u s i n g a n d R a n g i n g C a m e r a S y s t e m ( S P A R C S ) 3 ] . I n S P A R C S ,
a 3 5 m m f o c a l l e n g t h l e n s i s u s e d . T h e l e n s i s d r i v e n b y a s t e p p e r m o t o r t h a t c a n m o v e t h e
l e n s t o 9 7 d i e r e n t s t e p p o s i t i o n s . T h e s t a n d a r d d e v i a t i o n o f t h e c a m e r a n o i s e w a s e s t i m a t e d
b y i m a g i n g a a t a n d u n i f o r m l y b r i g h t o b j e c t a n d t h e n c o m p u t i n g t h e g r e y l e v e l v a r i a n c e
o f t h e r e c o r d e d i m a g e . T h r e e o b j e c t s l a b e l e d A , B , a n d C ( s e e F i g . 7 ) w e r e u s e d i n t h e
e x p e r i m e n t s .
A n o b j e c t w a s p l a c e d i n f r o n t o f t h e c a m e r a , a n d f o r s o m e x e d l e n s p o s i t i o n , 1 0 i m a g e s
o f s i z e 3 2 x 3 2 o f t h e o b j e c t w e r e r e c o r d e d . T h e s e i m a g e s s l i g h t l y d i e r e d f r o m e a c h o t h e r
d u e t o e l e c t r o n i c n o i s e . A g i v e n f o c u s m e a s u r e w a s c o m p u t e d f o r e a c h o f t h e 1 0 i m a g e s .
T h e s t a n d a r d d e v i a t i o n o f t h e r e s u l t i n g 1 0 f o c u s m e a s u r e s w a s t h e n c o m p u t e d . T h i s w a s
t h e e x p e r i m e n t a l l y d e t e r m i n e d s t a n d a r d d e v i a t i o n o f t h e f o c u s m e a s u r e . T h e t h e o r e t i c a l
e s t i m a t i o n o f t h e s t a n d a r d d e v i a t i o n o f t h e f o c u s m e a s u r e w a s c o m p u t e d u s i n g e q u a t i o n
1 5
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 16/21
( 2 6 ) . F o r t h i s p u r p o s e , t h e s t a n d a r d d e v i a t i o n o f t h e n o i s e w a s o b t a i n e d a s m e n t i o n e d
e a r l i e r u s i n g a a t u n i f o r m l y b r i g h t o b j e c t . T h e n o i s e - f r e e i m a g e n e e d e d i n e q u a t i o n ( 2 6 )
w a s o b t a i n e d b y a v e r a g i n g 4 n o i s y i m a g e s o f t h e o b j e c t . T a b l e 1 s h o w s t h e e x p e r i m e n t a l l y
c o m p u t e d a n d t h e o r e t i c a l l y e s t i m a t e d s t a n d a r d d e v i a t i o n s o f d i e r e n t f o c u s m e a s u r e s . W e
s e e t h a t t h e t w o v a l u e s a r e c l o s e t h u s v e r i f y i n g E q u a t i o n ( 2 6 ) .
I n t h e n e x t e x p e r i m e n t , t h e o b j e c t s A , B , a n d C , w e r e a u t o f o c u s e d u s i n g t h e a l g o r i t h m
d e s c r i b e d i n S e c t i o n 3 . I n e a c h c a s e , t h e e x p e r i m e n t a l a n d t h e o r e t i c a l A R M S e r r o r w e r e
c o m p u t e d ( t h e u n i t i s l e n s s t e p s ) . N e a r t h e f o c u s p o s i t i o n , i m a g e s w e r e r e c o r d e d a t 3 p o s i t i o n s
s
?
, s
0
a n d s
+
w h i c h w e r e 5 s t e p s a p a r t . A t e a c h p o s i t i o n , 1 0 i m a g e s w e r e r e c o r d e d , a n d
u s i n g t h e s e t h e m e a n a n d t h e s t a n d a r d d e v i a t i o n o f t h e f o c u s m e a s u r e t h e r e w e r e c o m p u t e d .
T h e n t h e t h e o r e t i c a l l y e s t i m a t e d A R M S e r r o r w a s c o m p u t e d u s i n g E q . ( 1 2 ) . T h e s a m e
d a t a w a s u s e d t o c o m p u t e 1 0 e x p e r i m e n t a l f o c u s p o s i t i o n s u s i n g E q . ( 5 ) . T h e s t a n d a r d
d e v i a t i o n o f t h e s e 1 0 p o s i t i o n s w a s t h e e x p e r i m e n t a l A R M S e r r o r . T h e r e s u l t i n g v a l u e s a r e
s h o w n i n t h e l a s t t w o c o l u m n s o f T a b l e 1 . W e s e e t h a t t h e y a r e v e r y c l o s e . T h e s e v a l u e s
a l s o i n d i c a t e t h e r e l a t i v e a u t o f o c u s i n g a c c u r a c y o f t h e t h r e e f o c u s m e a s u r e l t e r s { g r e y l e v e l
v a r i a n c e , g r a d i e n t m a g n i t u d e s q u a r e d , a n d L a p l a c i a n s q u a r e d . T h e m e a s u r e d n o i s e s t a n d a r d
d e v i a t i o n w a s 0 . 9 5 ( g r e y l e v e l u n i t s ) f o r t h e c a m e r a , a n d t h e S N R f o r t h e t h r e e o b j e c t s w e r e
3 5 d B , 2 8 d B a n d 2 0 d B r e s p e c t i v e l y .
T h r e e m a i n c o n c l u s i o n s c a n b e d r a w n f r o m t h e e x p e r i m e n t a l r e s u l t s . F i r s t , f o r a g i v e n
o b j e c t ( i . e . x e d i m a g e c o n t e n t ) , A R M S e r r o r d e c r e a s e s w i t h i n c r e a s i n g s i g n a l - t o - n o i s e r a t i o
( S N R ) . T h i s i m p l i e s t h a t l o w c o n t r a s t o b j e c t s a n d n o i s y c a m e r a s h a v e m o r e a u t o f o c u s i n g
e r r o r . S e c o n d , t h e f o c u s m e a s u r e w i t h m i n i m u m s t a n d a r d d e v i a t i o n i s n o t n e c e s s a r i l y t h e
f o c u s m e a s u r e t h a t g i v e s m i n i m u m e r r o r i n a u t o f o c u s i n g . T h i r d , t h e b e s t f o c u s m e a s u r e c o u l d
1 6
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 17/21
b e d i e r e n t f o r d i e r e n t o b j e c t s d e p e n d i n g o n b o t h i m a g e c o n t e n t a n d n o i s e c h a r a c t e r i s t i c s ;
S N R a l o n e c a n n o t b e u s e d t o d e t e r m i n e t h e b e s t f o c u s m e a s u r e . F o r e x a m p l e , t h e b e s t
f o c u s m e a s u r e f o r t h e o b j e c t s w i t h S N R 3 5 d B a n d S N R 2 8 d B a r e t h e L a p l a c i a n s q u a r e d ,
b u t f o r t h e o b j e c t w i t h S N R 2 0 d B , t h e b e s t f o c u s m e a s u r e i s g r a d i e n t m a g n i t u d e s q u a r e d .
A u t o f o c u s i n g o f o b j e c t C w a s n o t p o s s i b l e u s i n g g r e y l e v e l v a r i a n c e d u e t o t h e a b s e n c e o f a
w e l l d e n e d p e a k . E x p e r i m e n t s s i m i l a r t o t h e o n e s a b o v e w e r e a l s o c a r r i e d o u t o n s i m u l a t e d
i m a g e d a t a ( s e e 4 , 5 , 6 ] ) .
8 C o n c l u s i o n
A R M S e r r o r h a s b e e n d e n e d a s a m e t r i c f o r s e l e c t i n g t h e o p t i m a l f o c u s m e a s u r e f o r a u t o -
f o c u s i n g w i t h r e s p e c t t o g r e y - l e v e l n o i s e f r o m a g i v e n s e t o f f o c u s m e a s u r e s . I t i s b a s e d o n
t h e a s s u m p t i o n o f l o c a l s m o o t h n e s s o f f o c u s m e a s u r e s w i t h r e s p e c t t o l e n s p o s i t i o n . A R M S
e r r o r c a n b e a p p l i e d t o a n y f o c u s m e a s u r e w h o s e v a r i a n c e c a n b e e x p r e s s e d e x p l i c i t l y a s a
f u n c t i o n o f g r e y - l e v e l n o i s e v a r i a n c e . S u c h a n e x p r e s s i o n h a s b e e n d e r i v e d f o r a l a r g e c l a s s o f
f o c u s m e a s u r e s t h a t c a n b e m o d e l e d a s t h e e n e r g y o f l t e r e d i m a g e s . E q u a t i o n s 2 3 a n d 2 6
f o r t h e m e a n a n d v a r i a n c e r e s p e c t i v e l y o f a f o c u s m e a s u r e a l o n g w i t h E q u a t i o n s 1 2 a n d 1 6
f o r A R M S e r r o r c o m p l e t e l y s p e c i f y t h e d e p e n d e n c e o f a u t o f o c u s i n g e r r o r o n b o t h g r e y - l e v e l
n o i s e a n d i m a g e c o n t e n t . T h e s e e q u a t i o n s c a n b e u s e d t o e s t i m a t e t h e a u t o f o c u s i n g a c c u r a c y
o f d i e r e n t f o c u s m e a s u r e s , a n d t h e o n e w i t h m i n i m u m e r r o r c a n b e s e l e c t e d f o r a p p l i c a -
t i o n . I n a p p l i c a t i o n s w h e r e c o m p u t a t i o n n e e d s t o b e m i n i m i z e d b y c o m p u t i n g o n l y o n e f o c u s
m e a s u r e , w e r e c o m m e n d t h e u s e o f t h e L a p l a c i a n a s t h e f o c u s m e a s u r e l t e r . L a p l a c i a n h a s
s o m e d e s i r a b l e p r o p e r t i e s s u c h a s s i m p l i c i t y , r o t a t i o n a l s y m m e t r y , e l i m i n a t i o n o f u n n e c e s s a r y
1 7
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 18/21
i n f o r m a t i o n a n d r e t a i n i n g o f n e c e s s a r y i n f o r m a t i o n 4 , 5 , 6 ] .
T h i s w o r k c a n b e e x t e n d e d i n s e v e r a l w a y s . F i r s t , e x p l i c i t e x p r e s s i o n s f o r t h e v a r i a n c e o f
o t h e r f o c u s m e a s u r e s s u c h a s s u m o f a b s o l u t e v a l u e s o f i m a g e d e r i v a t i v e s c o u l d b e d e r i v e d s o
t h a t A R M S e r r o r c a n b e u s e d t o e s t i m a t e t h e i r a u t o f o c u s i n g a c c u r a c y . S e c o n d , i n t h e d e -
n i t i o n o f A R M S e r r o r , t h e l o c a l s m o o t h n e s s o f f o c u s m e a s u r e s c o u l d b e m o d e l e d d i e r e n t l y
t h a n h e r e . T h i r d , d e r i v i n g a n o p t i m a l f o c u s m e a s u r e l t e r f o r a g i v e n i m a g e a n d n o i s e l e v e l
r e m a i n s t o b e i n v e s t i g a t e d .
R e f e r e n c e s
1 ] E . K r o t k o v , \ F o c u s i n g " , I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , 1 , 2 2 3 - 2 3 7 , 1 9 8 7 .
2 ] N a y a r , S . K . , \ S h a p e f r o m F o c u s S y s t e m " P r o c e e d i n g s o f t h e I E E E C o m p u t e r S o c i e t y
C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , C h a m p a i g n , I l l i n o i s , p p . 3 0 2 -
3 0 8 ( J u n e 1 9 9 2 ) .
3 ] M . S u b b a r a o , T . C h o i , a n d A . N i k z a d , \ F o c u s i n g T e c h n i q u e s " , J o u r n a l o f O p t i c a l E n g i -
n e e r i n g , V o l . 3 2 N o . 1 1 , p p . 2 8 2 4 - 2 8 3 6 , N o v e m b e r 1 9 9 3 .
4 ] M . S u b b a r a o , a n d J . K . T y a n , \ T h e O p t i m a l F o c u s M e a s u r e f o r P a s s i v e A u t o f o c u s i n g
a n d D e p t h - f r o m - F o c u s " , P r o c e e d i n g s o f S P I E c o n f e r e n c e o n V i e d o m e t r i c s I V , V o l . 2 5 9 8 ,
P h i l a d e l p h i a , O c t 1 9 9 5 , p p . 8 9 - 9 9 .
5 ] M . S u b b a r a o , a n d J . K . T y a n , \ R o o t - M e a n S q u a r e E r r o r i n P a s s i v e A u t o f o c u s i n g a n d
3 D S h a p e R e c o v e r y " , P r o c e e d i n g s o f S P I E c o n f e r e n c e , V o l . 2 9 0 9 , T h r e e - D i m e n s i o n a l
1 8
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 19/21
I m a g i n g a n d L a s e r - B a s e d S y s t e m s f o r M e t r o l o g y a n d I n s p e c t i o n I I , B o s t o n , N o v . 1 9 9 6 ,
p p . 1 6 2 - 1 7 7 .
6 ] J . K . T y a n , \ A n a l y s i s a n d A p p l i c a t i o n o f A u t o f o c u s i n g a n d T h r e e - D i m e n s i o n a l S h a p e R e -
c o v e r y T e c h n i q u e s b a s e d o n I m a g e F o c u s a n d D e f o c u s " , P h . D . T h e s i s , D e p t . o f E l e c t r i c a l
E n g g . , S U N Y a t S t o n y B r o o k , 1 9 9 7 .
1 9
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 20/21
ImageObject ID
D/2
Optical Axis
P
L
u
f Q
s-vv
P’
P’’2R
s
R Blur Circle Radius
D Aperture Diameter
ID Image Detector
P Object
L Lens
f Focal Length
p’ Focused Point
Q Optical Center
p’’ Blur Circle
F i g u r e 1 : I m a g e F o r m a t i o n i n a C o n v e x L e n s
Focus Measure
Lens Position S
w NOISE
w/t NOISE
Lens Search Space
Smin SmaxSf
I1 I2 Inε
F i g u r e 2 : A u t o f o c u s i n g A l g o r i t h m
Ε{γ}S0
pγ
S0Ε{γ ( )}
S f S 2S 1S 0
Focus Measure
LensPosition S
AUM
σ
F i g u r e 3 : D e n i t i o n o f A U M a t t h e f o c u s e d p o s i t i o n
S
f
σ1σ2
Ε{γ ( )}1
S
Ε{γ ( )}2 S
1.0
LensPosition S AUM 2
AUM 1
Focus Measure
F i g u r e 4 : C o m p a r i s o n o f t w o f o c u s m e a s u r e s
1
a n d
2
a t t h e f o c u s e d p o s i t i o n
γ ( S )
γ ( S )
γ ( S )
Focus Measure
Lens
Position S S S+
δ δ
-
S o-
+
o
F i g u r e 5 : q u a d r a t i c p o l y n o m i a l i n t e r p o l a t i o n
S-γ( )
S+γ( )
δ δ2 2
SS +oS-
Focus Measure
Lens Position S
F i g u r e 6 : l i n e a r i n t e r p o l a t i o n
2 0
8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp
http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 21/21
O b j e c t A O b j e c t B O b j e c t C
F i g u r e 7 : T e x t u r e i m a g e
ExperimentalTheoreticalExperimentalTheoretical
std of FMF ARMS
OBJFMF SNR(dB)
VAR
LAP
GRD
C
B
A
C 20
35A
28B
20
0.02018.92 17.27
4.053.71
1.67 1.37
0.044
0.090
0.018
0.043
0.100
0.0240.023
0.048 0.049
0.070
0.028
0.110
A 35 5.87 6.31
B 28 1.06 1.25
C 20 0.32 0.46 0.060
35
28
1.82
0.85
2.13 0.025
1.02 0.100
N/A N/A N/A N/A
T a b l e 1 : L A P : L a p l a c i a n , G R D : G r a d i e n t M a g n i t u d e S q u a r e d , V A R : V a r i a n c e , O B J : O b j e c t .
Top Related