Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp

8/3/2019 Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp

http://slidepdf.com/reader/full/selecting-the-optimal-focus-measure-for-auto-focusing-and-depth-frp 1/21

S e l e c t i n g t h e O p t i m a l F o c u s M e a s u r e f o r A u t o f o c u s i n g a n d

D e p t h - f r o m - F o c u s

M u r a l i S u b b a r a o a n d J e n n - K w e i T y a n

D e p a r t m e n t o f E l e c t r i c a l E n g i n e e r i n g , S t a t e U n i v e r s i t y o f N e w Y o r k

S t o n y B r o o k , N Y 1 1 7 9 4 - 2 3 5 0

A b s t r a c t

A m e t h o d i s d e s c r i b e d f o r s e l e c t i n g t h e o p t i m a l f o c u s m e a s u r e w i t h r e s p e c t t o

g r e y - l e v e l n o i s e f r o m a g i v e n s e t o f f o c u s m e a s u r e s i n p a s s i v e a u t o f o c u s i n g a n d d e p t h -

f r o m - f o c u s a p p l i c a t i o n s . T h e m e t h o d i s b a s e d o n t w o n e w m e t r i c s t h a t h a v e b e e n

d e n e d f o r e s t i m a t i n g t h e n o i s e - s e n s i t i v i t y o f d i e r e n t f o c u s m e a s u r e s . T h e r s t m e t -

r i c { t h e A u t o f o c u s i n g U n c e r t a i n t y M e a s u r e ( A U M ) { i s u s e f u l i n u n d e r s t a n d i n g t h e

r e l a t i o n b e t w e e n g r e y - l e v e l n o i s e a n d t h e r e s u l t i n g e r r o r i n l e n s p o s i t i o n f o r a u t o f o -

c u s i n g . T h e s e c o n d m e t r i c { A u t o f o c u s i n g R o o t - M e a n - S q u a r e E r r o r ( A R M S e r r o r ) { i s

a n i m p r o v e d m e t r i c c l o s e l y r e l a t e d t o A U M . A U M a n d A R M S e r r o r m e t r i c s a r e b a s e d

o n a t h e o r e t i c a l n o i s e s e n s i t i v i t y a n a l y s i s o f f o c u s m e a s u r e s , a n d t h e y a r e r e l a t e d b y a

m o n o t o n i c e x p r e s s i o n . T h e t h e o r e t i c a l r e s u l t s a r e v a l i d a t e d b y a c t u a l a n d s i m u l a t i o n

e x p e r i m e n t s . F o r a g i v e n c a m e r a , t h e o p t i m a l l y a c c u r a t e f o c u s m e a s u r e m a y c h a n g e

f r o m o n e o b j e c t t o t h e o t h e r d e p e n d i n g o n t h e i r f o c u s e d i m a g e s . T h e r e f o r e s e l e c t i n g

t h e o p t i m a l f o c u s m e a s u r e f r o m a g i v e n s e t i n v o l v e s c o m p u t i n g a l l f o c u s m e a s u r e s i n

t h e s e t .

K e y w o r d s : f o c u s m e a s u r e , f o c u s i n g , a u t o f o c u s i n g , d e p t h - f r o m - f o c u s , f o c u s a n a l y s i s .

1



1 I n t r o d u c t i o n

E l e c t r o n i c c a m e r a s c a n b e a u t o f o c u s e d b y s e a r c h i n g f o r t h e l e n s p o s i t i o n t h a t g i v e s t h e b e s t

f o c u s e d i m a g e 4 , 5 , 6 ] . I n t h i s a p p r o a c h , t y p i c a l l y , a f o c u s m e a s u r e i s c o m p u t e d f o r i m a g e s

a c q u i r e d a t s e v e r a l d i e r e n t l e n s p o s i t i o n s , a n d t h e l e n s i s m o v e d t o t h a t p o s i t i o n w h e r e t h e

f o c u s m e a s u r e o f t h e i m a g e i s a m a x i m u m . T h e f o c u s e d l e n s p o s i t i o n v ( s e e F i g . 1 ) d e p e n d s

o n t h e d i s t a n c e u o f t h e o b j e c t t o b e f o c u s e d a n d t h e f o c a l l e n g t h f o f t h e l e n s . T h e y a r e

r e l a t e d b y t h e l e n s f o r m u l a

1

f

=

1

u

+

1

v

( 1 )

T h i s s a m e r e l a t i o n i s u s e d i n d e p t h - f r o m - f o c u s ( D F F ) m e t h o d s t o c o m p u t e t h e o b j e c t d i s -

t a n c e u f r o m t h e f o c u s e d l e n s p o s i t i o n v 4 , 5 , 6 ] .

E x p e r i m e n t a l e v a l u a t i o n s o f d i e r e n t f o c u s m e a s u r e s h a v e b e e n r e p o r t e d i n 1 , 2 , 3 ] . S o

f a r t h e r e h a s n o t b e e n a n y t h e o r e t i c a l t r e a t m e n t o f t h e n o i s e s e n s i t i v i t y o f f o c u s m e a s u r e s . I n

t h e e x i s t i n g l i t e r a t u r e , a l l k n o w n w o r k h a v e b e e n a c o m b i n a t i o n o f e x p e r i m e n t a l o b s e r v a t i o n s

a n d s u b j e c t i v e j u d g e m e n t . T h e n o i s e s e n s i t i v i t y o f a f o c u s m e a s u r e d e p e n d s n o t o n l y o n t h e

n o i s e c h a r a c t e r i s t i c s b u t a l s o o n t h e i m a g e i t s e l f . T h e o p t i m a l l y a c c u r a t e f o c u s m e a s u r e f o r a

g i v e n n o i s e c h a r a c t e r i s t i c s m a y c h a n g e f r o m o n e o b j e c t t o t h e o t h e r d e p e n d i n g o n i t s i m a g e .

T h i s m a k e s i t d i c u l t t o a r r i v e a t g e n e r a l c o n c l u s i o n s f r o m e x p e r i m e n t s a l o n e .

F o r a g i v e n c a m e r a a n d o b j e c t , t h e m o s t a c c u r a t e f o c u s m e a s u r e c a n b e s e l e c t e d f r o m a

g i v e n s e t t h r o u g h e x p e r i m e n t s a s f o l l o w s . F o r e a c h f o c u s m e a s u r e , t h e o b j e c t i s a u t o f o c u s e d

s e v e r a l t i m e s , s a y 1 0 , s t a r t i n g w i t h a n a r b i t r a r y d e f a u l t l e n s p o s i t i o n . T h e m e a n o f t h e 1 0

f o c u s e d p o s i t i o n s a n d t h e i r s t a n d a r d d e v i a t i o n a r e a n e s t i m a t e o f t h e c o r r e c t f o c u s e d p o s i t i o n

a n d r o o t - m e a n - s q u a r e ( R M S ) e r r o r r e s p e c t i v e l y . T h e f o c u s m e a s u r e w i t h t h e m i n i m u m

2



e s t i m a t e o f R M S e r r o r i s t a k e n t o b e t h e o p t i m a l . I n p r a c t i c a l a p p l i c a t i o n s s u c h a s c o n s u m e r

v i d e o c a m e r a s o r d i g i t a l s t i l l c a m e r a s , i t i s d e s i r a b l e t o n d t h e b e s t f o c u s m e a s u r e f r o m a

g i v e n s e t b y a u t o f o c u s i n g o n l y o n c e . I t i s q u i t e u n d e s i r a b l e t o r e p e a t 1 0 o r s e v e r a l t r i a l s .

I f o n e h a s a d e t a i l e d a n d a c c u r a t e i n f o r m a t i o n o n t h e f o c u s e d i m a g e o f t h e o b j e c t t o

b e f o c u s e d a n d t h e c a m e r a c h a r a c t e r i s t i c s s u c h a s i t s O T F , n o i s e b e h a v i o u r , a n d c a m e r a

p a r a m e t e r s , t h e n i t w o u l d b e p o s s i b l e t o e s t i m a t e t h e R M S e r r o r t h e o r e t i c a l l y w i t h o n l y o n e

t r i a l . H o w e v e r s u c h i n f o r m a t i o n i s r a r e l y a v a i l a b l e i n p r a c t i c a l a p p l i c a t i o n s .

I n t h e a b s e n c e o f s u c h d e t a i l e d a n d a c c u r a t e i n f o r m a t i o n , w e p r o p o s e t w o n e w m e t r i c s

n a m e d A u t o f o c u s i n g U n c e r t a i n t y M e a s u r e ( A U M ) a n d A u t o f o c u s i n g R o o t - M e a n - S q u a r e E r r o r

( A R M S e r r o r ) b o t h o f w h i c h c a n b e c o m p u t e d w i t h o n l y o n e t r i a l o f a u t o f o c u s i n g . I n D F F

a p p l i c a t i o n s , A U M a n d A R M S e r r o r c a n b o t h b e e a s i l y t r a n s l a t e d i n t o u n c e r t a i n t i e s i n d e p t h

u s i n g E q . ( 1 ) . T h e k e y a s s u m p t i o n u n d e r l y i n g t h e d e n i t i o n o f A U M a n d A R M S e r r o r i s

t h a t t h e m e a n v a l u e o f f o c u s m e a s u r e s a r e l o c a l l y s m o o t h w i t h r e s p e c t t o l e n s p o s i t i o n

( e . g . q u a d r a t i c n e a r t h e p e a k ) . A U M a n d A R M S e r r o r m e t r i c s a r e g e n e r a l a n d a p p l i c a b l e

t o a n y f o c u s m e a s u r e s a t i s f y i n g t h e l o c a l s m o o t h n e s s a s s u m p t i o n . T h e a n a l y s i s h e r e d e a l s

w i t h f o c u s i n g e r r o r s c a u s e d o n l y b y g r e y - l e v e l n o i s e a n d n o t o t h e r f a c t o r s s u c h a s n o n - f r o n t

p a r a l l e l s u r f a c e s . T h e a n a l y s i s h e r e s h o w s t h a t t h e a u t o f o c u s i n g n o i s e s e n s i t i v i t y o f a f o c u s

m e a s u r e d e p e n d s o n t h e i m a g e o f t h e o b j e c t t o b e a u t o f o c u s e d i n a d d i t i o n t o t h e c a m e r a

c h a r a c t e r i s t i c s . F o r a n o b j e c t w i t h u n k n o w n f o c u s e d i m a g e , n d i n g t h e o p t i m a l l y a c c u r a t e

f o c u s m e a s u r e i n v o l v e s c o m p u t i n g a l l t h e c a n d i d a t e f o c u s m e a s u r e s a t a s e t o f l e n s p o s i t i o n s

a n d c o m p u t i n g A U M / A R M S e r r o r f o r e a c h o f t h e l e n s p o s i t i o n s .

3



2 M o d e l o f f o c u s m e a s u r e s

A d e t a i l e d d i s c u s s i o n o f t h i s t o p i c c a n b e f o u n d i n s e v e r a l p a p e r s i n c l u d i n g 3 ] . H e r e w e

s u m m a r i z e s o m e r e l e v a n t r e s u l t s b a s e d o n g e o m e t r i c o p t i c s .

W h e n a p o i n t o b j e c t P i s b l u r r e d o n t h e i m a g e d e t e c t o r I D ( s e e F i g . 1 ) i t i s i m a g e d a s

a b l u r c i r c l e P " o f r a d i u s R . T h i s i m a g e h ( x ; y ) i s t h e p o i n t s p r e a d f u n c t i o n ( P S F ) o f t h e

c a m e r a . I n a s m a l l i m a g e r e g i o n i f t h e i m a g e d o b j e c t s u r f a c e i s ( a p p r o x i m a t e l y ) a p l a n e

n o r m a l t o t h e o p t i c a l a x i s , t h e n t h e P S F i s t h e s a m e f o r a l l p o i n t s o n t h e p l a n e . T h e n t h e

b l u r r e d i m a g e g ( x ; y ) i n t h e s m a l l i m a g e r e g i o n o n t h e i m a g e d e t e c t o r I D i s e q u a l t o t h e

c o n v o l u t i o n o f t h e f o c u s e d i m a g e f ( x ; y ) a n d t h e P S F h ( x ; y ) . T h e r e f o r e , i f G ; F ; a n d H

a r e t h e F o u r i e r t r a n s f o r m s o f g ; f ; a n d h , r e s p e c t i v e l y , t h e n G = H F . T h e O T F H ( ! ; )

h a s c h a r a c t e r i s t i c s o f a l o w - p a s s l t e r . A s t h e b l u r i n c r e a s e s , t h e h i g h e r f r e q u e n c i e s a r e

a t t e n u a t e d e v e n m o r e .

A g e n e r a l f o c u s m e a s u r e i s m o d e l e d a s f o l l o w s . F i r s t t h e i m a g e f o r w h i c h t h e f o c u s

m e a s u r e n e e d s t o b e c o m p u t e d i s n o r m a l i z e d f o r b r i g h t n e s s b y d i v i d i n g t h e i m a g e b y i t s

m e a n b r i g h t n e s s . T h e n i t i s c o n v o l v e d w i t h a f o c u s m e a s u r e l t e r ( F M F ) . T h e n t h e e n e r g y

( s u m o f s q u a r e d v a l u e s ) o f t h e l t e r e d i m a g e i s c o m p u t e d . T h i s e n e r g y i s t h e f o c u s m e a s u r e

( s e e s e c t i o n 6 f o r m o r e d e t a i l s ) . M o s t F M F s c o r r e s p o n d t o l t e r s t h a t e m p h a s i z e ( o r a m p l i f y )

h i g h f r e q u e n c i e s . T h i s s e e m s a p p r o p r i a t e s i n c e b l u r r i n g h a s t h e o p p o s i t e e e c t , i . e . h i g h

f r e q u e n c y a t t e n u a t i o n .

T h e f o c u s m e a s u r e s m o d e l e d h e r e c o v e r m o s t o f t h e f o c u s m e a s u r e s t h a t h a v e b e e n u s e d

b y r e s e a r c h e r s s o f a r 3 ] e x c e p t t h o s e b a s e d o n s u m o f a b s o l u t e v a l u e s o f i m a g e d e r i v a t i v e s

1 , 2 ] . A l t h o u g h A U M a n d A R M S e r r o r m e t r i c s a r e a p p l i c a b l e t o t h e s e f o c u s m e a s u r e s a l s o

4



( w h i c h a r e b a s e d o n s u m o f a b s o l u t e v a l u e s o f i m a g e d e r i v a t i v e s ) , w e h a v e n o t c a r r i e d o u t a

c o m p l e t e a n a l y s i s o f t h e m h e r e s i n c e t h e y h a v e b e e n p r o v e d t o b e u n s o u n d 4 , 5 , 6 ] b a s e d o n

t h e e e c t o f t h e O T F m a i n l o b e . T h e s e u n s o u n d f o c u s m e a s u r e s m a y b e o p t i m a l f o r s o m e

s c e n e s , b u t f o r s o m e o t h e r s c e n e s t h e y c a n g i v e i n c o r r e c t r e s u l t s e v e n i n t h e a b s e n c e o f a l l

n o i s e .

3 A u t o f o c u s i n g a l g o r i t h m

F i g . 2 s h o w s a t y p i c a l p l o t o f a f o c u s m e a s u r e a s a f u n c t i o n o f l e n s p o s i t i o n . T h e p r o b l e m

i s t o n d p o s i t i o n s

f

w h e r e t h e f o c u s m e a s u r e i s m a x i m u m . D u e t o l i m i t e d d e p t h o f e l d o f

t h e c a m e r a , w e a s s u m e t h a t t h e c h a n g e i n t h e b e s t f o c u s e d i m a g e i s i n d i s t i n g u i s h a b l e b y t h e

i m a g e d e t e c t o r w h e n t h e l e n s i s m o v e d b y a n a m o u n t o f u p t o = 2 f r o m s

f

W e p r o p o s e t h e f o l l o w i n g a l g o r i t h m f o r a u t o f o c u s i n g . F i r s t t h e f o c u s m e a s u r e i s c o m p u t e d

a t t h e c u r r e n t l e n s p o s i t i o n a n d t h e l e n s i s m o v e d b y a b o u t 1 0 t o a n o t h e r p o s i t i o n . T h e

f o c u s m e a s u r e i s a g a i n c o m p u t e d . T h e s i g n o f t h e c h a n g e i n t h e t w o f o c u s m e a s u r e s i s u s e d

t o d e t e r m i n e t h e d i r e c t i o n i n w h i c h t h e l e n s s h o u l d b e m o v e d . T h e n a c o a r s e s e a r c h i s u s e d

t o n a r r o w t h e s e a r c h i n t e r v a l t o a b o u t 1 0 . T h e c o a r s e s e a r c h m a y u s e a b i n a r y o r F i b o n a c c i

o r a s e q u e n t i a l s e a r c h . S e e 4 , 5 , 6 ] f o r d e t a i l s . I n t h i s i n t e r v a l o f s i z e 1 0 c o n t a i n i n g s

f

, a

f o c u s m e a s u r e i s c o m p u t e d a t t h r e e p o s i t i o n s w h i c h a r e a b o u t 5 a p a r t . T h e n a q u a d r a t i c

o r a G a u s s i a n i s t t e d t o t h e s e t h r e e ( o r m o r e i f d e s i r e d ) p o i n t s . T h e p o s i t i o n w h e r e t h e

t t e d c u r v e h a s a m a x i m u m i s t a k e n t o b e t h e f o c u s e d p o s i t i o n s

f

. N o t e t h a t , a c c o r d i n g

t o g e o m e t r i c o p t i c s , t h e f o c u s m e a s u r e c u r v e w i l l b e s y m m e t r i c a b o u t t h e f o c u s p o s i t i o n s

f

A l s o , s h i f t i n g t h e f o c u s p o s i t i o n s

f

w i l l s h i f t t h e c u r v e b y t h e s a m e a m o u n t w i t h o n l y s m a l l

5



c h a n g e i n i t s s h a p e .

4 A u t o f o c u s i n g U n c e r t a i n t y M e a s u r e ( A U M )

F i r s t w e i n t r o d u c e A U M a s a m e t r i c f o r f o c u s m e a s u r e s t o i l l u s t r a t e s o m e u n d e r l y i n g c o n -

c e p t s . L a t e r w e i n t r o d u c e t h e A R M S e r r o r w h i c h i s b a s e d o n w e a k e r a s s u m p t i o n s t h a n A U M .

A t a n y l e n s p o s i t i o n s

0

( s e e F i g . 3 ) , e a c h f o c u s m e a s u r e i s a s s o c i a t e d w i t h a p r o b a b i l i t y

d e n s i t y f u n c t i o n p ( ( s

0

) ) , a n e x p e c t e d v a l u e ( m e a n ) E f ( s

0

) g , a n d a s t a n d a r d d e v i a t i o n

s t d f ( s

0

) g . H o w e v e r , t h e f o c u s m e a s u r e w i t h t h e m i n i m u m s t a n d a r d d e v i a t i o n i s n o t n e c e s -

s a r i l y t h e b e s t b e c a u s e w e a r e n o t i n t e r e s t e d i n t h e a c c u r a c y o f t h e f o c u s m e a s u r e i t s e l f , b u t

i n t h e c o r r e s p o n d i n g m e a n l e n s p o s i t i o n a n d i t s s t a n d a r d d e v i a t i o n . E s t i m a t i n g t h e s t a n d a r d

d e v i a t i o n o f t h e l e n s p o s i t i o n r e q u i r e s a k n o w l e d g e o f t h e f u n c t i o n t h a t r e l a t e s t h e e x p e c t e d

v a l u e o f t h e f o c u s m e a s u r e t o t h e l e n s p o s i t i o n ( s e e F i g . 3 ) . T h i s f u n c t i o n d e p e n d s o n t h e

c a m e r a P S F a s a f u n c t i o n o f c a m e r a p a r a m e t e r s a n d t h e f o c u s e d i m a g e o f t h e o b j e c t . I n

t h e a b s e n c e o f a c c u r a t e i n f o r m a t i o n a b o u t t h e c a m e r a P S F a n d t h e o b j e c t , t h e f u n c t i o n i s

e s t i m a t e d i n a d e s i r e d i n t e r v a l t h r o u g h s a m p l i n g a n d i n t e r p o l a t i o n . F o r e x a m p l e , n e a r t h e

m a x i m u m , t h e f o c u s m e a s u r e m a y b e c o m p u t e d a t 3 t o 5 n e a r b y l e n s p o s i t i o n s a n d a s m o o t h

f u n c t i o n s u c h a s a q u a d r a t i c p o l y n o m i a l o r a G a u s s i a n i s t t e d . T h e a s s u m p t i o n i s t h a t t h e

c o m p u t e d v a l u e s o f t h e f o c u s m e a s u r e a r e ( n e a r l y ) t h e e x p e c t e d v a l u e s o f t h e f o c u s m e a s u r e .

T h i s a s s u m p t i o n w i l l b e r e m o v e d l a t e r i n d e n i n g t h e A R M S e r r o r .

R e f e r r i n g t o F i g . 3 , t h e A U M a t t h e m a x i m u m o f t h e f o c u s m e a s u r e ( s

f

) i s d e n e d a s

f o l l o w s :

A U M = s

2

? s

1

w h e r e s

1

< s

f

< s

2

; ( s

f

) ? ( s

1

) = ( s

f

) ? ( s

2

) = ( 2 )

6



w h e r e i s t h e s t a n d a r d d e v i a t i o n o f t h e f o c u s m e a s u r e . I n o r d e r t o c o m p u t e A U M , w e n e e d

t o k n o w . I n S e c t i o n 6 w e d e r i v e a g e n e r a l f o r m u l a t h a t c a n b e u s e d t o e s t i m a t e a s a

f u n c t i o n o f t h e i m a g e a n d i t s n o i s e l e v e l . F u r t h e r w e n e e d t o k n o w t h e s h a p e o f t h e c u r v e

( s ) n e a r t h e p e a k . A s d i s c u s s e d e a r l i e r , t h e p o s i t i o n o f

f

a n d t h e f u n c t i o n ( s ) n e a r

f

a r e e s t i m a t e d b y t t i n g a c u r v e ( q u a d r a t i c o r G a u s s i a n ) t o a f e w p o i n t s ( a t l e a s t 3 ) n e a r t h e

m a x i m u m . I n t u i t i v e l y , A U M i s a m e a s u r e s i m i l a r t o t h e R M S e r r o r i n l e n s p o s i t i o n t h a t c a n

b e d e t e r m i n e d t h r o u g h r e p e a t e d t r i a l s .

F i g . 4 s h o w s a t y p i c a l c o m p a r i s o n o f t w o f o c u s m e a s u r e s . T h e m a x i m u m v a l u e s o f t h e

t w o f o c u s m e a s u r e s h a v e b e e n n o r m a l i z e d t o b e t h e s a m e . W e s e e t h a t a l t h o u g h

2

>

1

,

A U M

2

< A U M

1

, i m p l y i n g t h a t

2

i s b e t t e r t h a n

1

F o r a p o s i t i o n f a r a w a y f r o m t h e f o c u s e d l e n s p o s i t i o n s

f

s e e 4 , 5 , 6 ] f o r a d e n i t i o n o f

A U M .

5 A R M S E r r o r

N o w w e d e r i v e a n e x p l i c i t e x p r e s s i o n f o r t h e A u t o f o c u s i n g R o o t - M e a n S q u a r e E r r o r ( A R M S

e r r o r ) . A n e x a c t e x p r e s s i o n f o r t h e R M S e r r o r d e p e n d s o n t h e O p t i c a l T r a n s f e r F u n c t i o n

( O T F ) o f t h e c a m e r a a n d t h e F o u r i e r s p e c t r u m o f t h e f o c u s e d i m a g e . D e r i v i n g s u c h a n e x a c t

e x p r e s s i o n i s c o m p l i c a t e d b e c a u s e o f t h e n a t u r e o f t h e c a m e r a ' s O T F a n d t h e v a r i a b i l i t y

o f t h e F o u r i e r s p e c t r u m o f t h e f o c u s e d i m a g e f o r d i e r e n t o b j e c t s . F u r t h e r , u s e f u l n e s s o f

s u c h a n e x p r e s s i o n i n p r a c t i c a l a p p l i c a t i o n s i s l i m i t e d s i n c e a l l t h e i n f o r m a t i o n n e c e s s a r y t o

e v a l u a t e t h e e x p r e s s i o n ( e . g . O T F a n d c a m e r a p a r a m e t e r s ) m a y n o t b e a v a i l a b l e . H o w e v e r ,

a n a p p r o x i m a t e e x p r e s s i o n t h a t i s v e r y u s e f u l i n p r a c t i c a l a p p l i c a t i o n s c a n b e d e r i v e d u n d e r

7



s o m e w e a k a s s u m p t i o n s . T h e a s s u m p t i o n w e u s e i s t h a t t h e e x p e c t e d v a l u e o f t h e f o c u s

m e a s u r e i s l o c a l l y s m o o t h w i t h r e s p e c t t o l e n s p o s i t i o n . W e m o d e l t h i s l o c a l s m o o t h n e s s b y a

q u a d r a t i c p o l y n o m i a l , b u t t h e a n a l y s i s h e r e c a n b e e x t e n d e d t o o t h e r m o d e l s ( e . g . c u b i c o r

G a u s s i a n ) . H o w e v e r s u c h e x t e n s i o n s d o n o t a p p e a r t o o e r s i g n i c a n t a d v a n t a g e s c o m p a r e d

t o t h e q u a d r a t i c m o d e l i n p r a c t i c a l a p p l i c a t i o n s .

R e f e r r i n g t o F i g . 5 , f o c u s m e a s u r e i s m o d e l e d t o b e l o c a l l y q u a d r a t i c i n a s m a l l i n t e r v a l

o f s i z e 2 w i t h r e s p e c t t o l e n s p o s i t i o n n e a r t h e f o c u s e d p o s i t i o n :

( s ) = a s

2

+ b s + c ( 3 )

L e t t h e f o c u s m e a s u r e b e g i v e n a t t h r e e a r b i t r a r y p o s i t i o n s w h i c h a r e a p a r t . W i t h o u t l o s s

o f g e n e r a l i t y , l e t t h e t h r e e p o s i t i o n s b e s

?

= ? , s

0

= 0 , a n d s

+

= + . L e t ?

?

= ( s

?

) ,

?

0

= ( s

0

) a n d ?

+

= ( s

+

) . N e a r t h e f o c u s e d p o s i t i o n , ?

0

> ?

?

a n d ?

0

> ?

+

. S o l v i n g f o r

t h e c o e c i e n t s o f t h e q u a d r a t i c e x p r e s s i o n , w e o b t a i n

a =

?

+

+ ?

?

? 2 ?

0

2

2

; b =

?

+

? ?

?

2

; c = ?

0

( 4 )

L e t s

f

b e t h e l e n s p o s i t i o n w h e r e t h e f o c u s m e a s u r e b e c o m e s t h e m a x i m u m a n d ?

f

=

( s

f

) . A t s

f

, t h e d e r i v a t i v e o f ? v a n i s h e s . T h e r e f o r e w e o b t a i n

s

f

=

? b

2 a

=

2

( ?

+

? ?

?

)

( 2 ?

0

? ?

+

? ?

?

)

( 5 )

S u b s t i t u t i n g t h e a b o v e e q u a t i o n i n ( 3 ) w e o b t a i n

?

f

= ?

b

2

? 4 a c

4 a

( 6 )

W e a r e i n t e r e s t e d i n t h e R M S v a l u e o f s

f

. F o r t h i s r e a s o n , t h e f o c u s m e a s u r e ?

i

w i l l b e

e x p r e s s e d a s t h e s u m m a t i o n o f t h e i r e x p e c t e d v a l u e ?

i

a n d t h e i r n o i s e c o m p o n e n t n

i

:

?

i

= ?

i

+ n

i

f o r i = ? ; 0 ; + ( 7 )

8



T h e r e f o r e , E q . ( 5 ) i s e x p a n d e d a s

s

f

=

2

?

+

? ?

?

2 ?

0

? ?

+

? ?

?

!

1 +

n

+

? n

?

?

+

? ?

?

!

1 +

2 n

0

? n

+

? n

?

2 ?

0

? ?

+

? ?

?

!

? 1

( 8 )

N e a r t h e f o c u s e d p o s i t i o n w e h a v e ?

0

> ?

+

a n d ?

0

> ?

?

. T h e r e f o r e , i f t h e s i g n a l t o n o i s e

r a t i o i s s u c i e n t l y l a r g e , w e h a v e

2 ?

0

? ?

+

? ?

?

2 n

0

? n

+

? n

?

( 9 )

W e o b t a i n s

f

s

0

f

w h e r e

s

0

f

= s

f

1 +

n

+

? n

?

?

+

? ?

?

!

( 1 0 )

N o t e : w e c a n n o t a s s u m e t h a t ?

+

? ?

?

n

+

? n

?

b e c a u s e , n e a r t h e f o c u s e d p o s i t i o n ,

?

+

a n d ?

?

m a y b e n e a r l y e q u a l . S i m p l i f y i n g t h e e x p r e s s i o n f o r s

0

f

w e o b t a i n

s

0

f

= s

f

+

2

n

+

? n

?

2 ?

0

? ?

+

? ?

?

!

( 1 1 )

N o w t h e A R M S e r r o r i s d e n e d a s t h e s t a n d a r d d e v i a t i o n o f s

0

f

, i . e .

A R M S e r r o r =

2

q

2

+

+

2

?

2 ?

0

? ?

+

? ?

?

( 1 2 )

w h e r e

+

a n d

?

a r e t h e s t a n d a r d d e v i a t i o n s o f t h e f o c u s m e a s u r e s ?

+

a n d ?

?

r e s p e c t i v e l y .

F o r a l e n s p o s i t i o n a w a y f r o m t h e m a x i m u m f o c u s e d p o s i t i o n , w e n d t h a t ?

?

< ?

0

< ?

+

I n t h i s c a s e , t h e l o c a l l i n e a r m o d e l f o r t h e f o c u s m e a s u r e w i l l b e b e t t e r t h a n t h e l o c a l

q u a d r a t i c m o d e l . T h e A R M S e r r o r f o r t h i s c a s e i s d e n e d b a s e d o n f o c u s m e a s u r e s a t o n l y

t w o l e n s p o s i t i o n s ( r a t h e r t h a n t h r e e ) t h a t a r e a p a r t . W i t h o u t l o s s o f g e n e r a l i t y , l e t t h e

t w o p o s i t i o n s b e s

?

= ? = 2 a n d s

+

= + = 2 a n d t h e f o c u s m e a s u r e s a t t h e s e p o i n t s b e ?

?

a n d ?

+

r e s p e c t i v e l y ( s i m i l a r t o F i g . 6 ) . T h e l i n e a r m o d e l y i e l d s t h e e x p r e s s i o n

s ? s

?

s

+

? s

?

=

? ? ?

?

?

+

? ?

?

( 1 3 )

9



T h e a b o v e e q u a t i o n c a n b e r e w r i t t e n a s :

s =

? ? ?

?

?

+

? ?

?

!

?

2

( 1 4 )

O n c e a g a i n , w e e x p r e s s ?

+

a n d ?

?

a s ?

+

= ?

+

+ n

+

a n d ?

?

= ?

?

+ n

?

w h e r e ?

+

a n d ?

?

a r e t h e e x p e c t e d v a l u e s a n d n

+

a n d n

?

a r e t h e n o i s e c o m p o n e n t s .

N o w t h e A R M S e r r o r i s d e n e d a s t h e s t a n d a r d d e v i a t i o n o f s

0

w h e r e s

0

i s t h e s o l u t i o n o f

? ( s ) =

?

+

+ ?

2

. S o l v i n g t h i s e q u a t i o n a n d a s s u m i n g ?

+

? ?

?

n

+

? n

?

a n d ?

+

? ?

?

2 n

?

, w e o b t a i n :

s

0

2

n

+

+ n

?

?

?

? ?

+

!

( 1 5 )

H e n c e , t h e A R M S e r r o r w o u l d b e

A R M S e r r o r = s t d ( s

0

) =

q

2

+

+

2

?

2 ?

+

? ?

?

( 1 6 )

I t i s s h o w n i n 4 , 5 ] t h a t f o r p o i n t s n e a r t h e f o c u s e d p o s i t i o n , s q u a r e o f A U M i s p r o p o r -

t i o n a l t o A R M S e r r o r ( A U M

2

= ( 8

p

2 ) A R M S ) , a n d f o r p o i n t s a w a y f r o m t h e f o c u s e d

p o s i t i o n , A U M a n d A R M S e r r o r a r e p r o p o r t i o n a l ( A U M = 2

p

2 A R M S )

6 M e a n a n d V a r i a n c e o f f o c u s m e a s u r e s

I n t h i s s e c t i o n w e d e r i v e e x p r e s s i o n s f o r t h e e x p e c t e d v a l u e ( m e a n ) a n d v a r i a n c e o f t h e f o c u s

m e a s u r e s m o d e l e d i n S e c t i o n 2 . T h e s e a r e u s e f u l i n c o m p u t i n g t h e s t a n d a r d d e v i a t i o n o f

t h e f o c u s m e a s u r e a n d i t s A U M / A R M S e r r o r .

L e t f ( m ; n ) b e t h e b l u r r e d n o i s e f r e e d i s c r e t e i m a g e a n d ( m ; n ) b e t h e a d d i t i v e n o i s e .

T h e n o i s y b l u r r e d d i g i t a l i m a g e r e c o r d e d b y t h e c a m e r a i s

f

( m ; n ) = f ( m ; n ) + ( m ; n ) ( 1 7 )

1 0



T h e n o i s e ( m ; n ) a t d i e r e n t p i x e l s a r e a s s u m e d t o b e i n d e p e n d e n t , i d e n t i c a l l y d i s t r i b u t e d

r a n d o m v a r i a b l e s w i t h z e r o m e a n a n d s t a n d a r d d e v i a t i o n

n

. T h i s

n

c a n b e e a s i l y e s t i m a t e d

f o r a c a m e r a b y i m a g i n g a u n i f o r m l y b r i g h t o b j e c t a n d c o m p u t i n g t h e s t a n d a r d d e v i a t i o n o f

t h e g r e y l e v e l d i s t r i b u t i o n . T h e i m a g e s a r e a s s u m e d t o b e o f s i z e ( 2 N + 1 ) ( 2 N + 1 ) a n d

f o c u s m e a s u r e l t e r ( F M F ) a ( i ; j ) o f s i z e ( 2 M + 1 ) ( 2 M + 1 ) . W i t h o u t l o s s o f g e n e r a l i t y , t h e

l t e r i n g o p e r a t i o n w i l l b e r e p r e s e n t e d b y t h e m o v i n g w e i g h t e d s u m ( M W S ) o p e r a t o r i n s t e a d

o f t h e u s u a l c o n v o l u t i o n o p e r a t o r . M W S i s c o r r e l a t i o n a n d i s e q u i v a l e n t t o c o n v o l u t i o n i f ,

f o r e x a m p l e , t h e F M F i s r o t a t e d b y 1 8 0 d e g r e e s a b o u t i t s c e n t e r b y a s s i g n i n g a ( ? i ; ? j ) t o

a ( i ; j ) . D e n o t i n g t h e M W S o p e r a t o r b y ? i t i s d e n e d b y

a ( i ; j ) ? f

( m ; n ) =

M

X

i j

a ( i ; j ) f

( m + i ; n + j ) ( 1 8 )

w h e r e a d o u b l e s u m m a t i o n i s a b b r e v i a t e d w i t h a s i n g l e s u m m a t i o n t o s i m p l i f y n o t a t i o n .

L e t g ( m ; n ) b e t h e i m a g e o b t a i n e d b y l t e r i n g t h e n o i s y b l u r r e d i m a g e f

( m ; n ) w i t h t h e

F M F a ( i ; j ) :

g ( m ; n ) = a ( i ; j ) ? f

( m ; n ) = F ( m ; n ) + N ( m ; n ) ( 1 9 )

w h e r e

F ( m ; n ) = a ( i ; j ) ? f ( m ; n ) ; N ( m ; n ) = a ( i ; j ) ? ( m ; n ) ( 2 0 )

T h e f o c u s m e a s u r e i s d e n e d a s

=

1

( 2 N + 1 )

2

N

X

m n

g

2

( m ; n )

=

s i g n a l

+

n o i s e

+

2

( 2 N + 1 )

2

N

X

m n

F ( m ; n ) N ( m ; n ) ( 2 1 )

w h e r e

s i g n a l

a n d

n o i s e

a r e d e n e d b y :

s i g n a l

=

1

( 2 N + 1 )

2

N

X

m n

F

2

( m ; n ) ;

n o i s e

=

1

( 2 N + 1 )

2

N

X

m n

N

2

( m ; n ) ( 2 2 )

1 1



N o w t h e e x p e c t e d v a l u e o f t h e f o c u s m e a s u r e E f g i s ( n o t e t h a t t h e e x p e c t a t i o n o p e r a t o r

E i s l i n e a r a n d c o m m u t e s w i t h s u m m a t i o n ) :

E f g =

s i g n a l

+ E f

n o i s e

g +

2

( 2 N + 1 )

2

N

X

m n

F ( m ; n ) E f N ( m ; n ) g

=

s i g n a l

+ A

n

2

n

( 2 3 )

w h e r e

A

n

=

M

X

i j

a

2

( i ; j ) ( 2 4 )

T h e a b o v e e q u a t i o n i s a f u n d a m e n t a l r e s u l t . I t s h o w s t h a t t h e e x p e c t e d v a l u e o f t h e

f o c u s m e a s u r e i s a s u m o f t w o c o m p o n e n t s { o n e d u e t o s i g n a l a l o n e a n d a n o t h e r d u e t o n o i s e

a l o n e . T h e r e f o r e , i f a f o c u s m e a s u r e i s c o m p u t e d o n a s e t o f i m a g e s f o r a u t o f o c u s i n g , t h e

e e c t o f n o i s e i s t o i n c r e a s e t h e c o m p u t e d f o c u s m e a s u r e b y t h e s a m e v a l u e o n a v e r a g e f o r

a l l i m a g e s . T h e r e a s o n f o r t h i s i s t h a t w h i l e t h e i m a g e s i g n a l c h a n g e s i n b l u r l e v e l w i t h l e n s

p o s i t i o n , t h e n o i s e c h a r a c t e r i s t i c s o f t h e c a m e r a r e m a i n s t h e s a m e . T h e r e f o r e , t h e a v e r a g e

i n c r e a s e i n f o c u s m e a s u r e d u e t o n o i s e d o e s n o t c h a n g e t h e l o c a t i o n o f t h e f o c u s m e a s u r e

p e a k . I t i s t h e v a r i a n c e o f t h e f o c u s m e a s u r e t h a t c h a n g e s t h e l o c a t i o n o f t h e f o c u s m e a s u r e

p e a k a n d t h e r e f o r e i n t r o d u c e s e r r o r i n a u t o f o c u s i n g .

N o w c o n s i d e r t h e v a r i a n c e o f t h e f o c u s m e a s u r e :

V a r f g = E f

2

g ? ( E f g )

2

( 2 5 )

w e o b t a i n :

V a r f g =

A

2

n

E f

4

g

( 2 N + 1 )

2

?

A

2

n

4

n

( 2 N + 1 )

2

+

4

n

( 2 N + 1 )

2

M

X

i

1

j

1

M

X

i

2

j

2

M

X

i

3

j

3

M

X

i

4

j

4

Q

4

Y

k = 1

a ( i

k

; j

k

)

!

+

4

2

n

( 2 N + 1 )

2

0

s i g n a l

( 2 6 )

1 2



w h e r e

A ( i ; j ) = a ( i ; j ) a ( ? i ; ? j ) ; F

0

( m ; n ) = A ( i ; j ) f ( m ; n ) ( 2 7 )

0

s i g n a l

=

1

( 2 N + 1 )

2

P

M + N

m n

F

0 2

( m ; n ) ( 2 8 )

a n d Q a b o o l e a n v a r i a b l e w i t h v a l u e 1 i f t h e f o l l o w i n g c o n d i t i o n i s t r u e a n d z e r o o t h e r w i s e :

Q : : ( C

5

O R C

6

) & N O T C

1

( 2 9 )

w h e r e

C

1

: ( i

1

= i

2

) & ( j

1

= j

2

) & ( i

3

= i

4

) & ( j

3

= j

4

) ( 3 0 )

C

5

: ( i

1

? i

3

= i

2

? i

4

) & ( j

1

? j

3

= j

2

? j

4

) ( 3 1 )

C

6

: ( i

1

? i

4

= i

2

? i

3

) & ( j

1

? j

4

= j

2

? j

3

) ( 3 2 )

T h e e q u a t i o n a b o v e s h o w s t h a t t h e v a r i a n c e o f a f o c u s m e a s u r e d e p e n d s o n t h e i m a g e s i g n a l

i n a d d i t i o n t o n o i s e l e v e l . T h e r s t t h r e e t e r m s d o n o t d e p e n d o n t h e i m a g e s i g n a l . T h e y

c a n b e c o m p u t e d a n d p r e s t o r e d . A m o n g t h e s e t h r e e t e r m s , t h e r s t t w o c a n b e c o m p u t e d

m a n u a l l y , b u t t h e t h i r d t e r m m a y n e e d a s m a l l c o m p u t e r p r o g r a m t o e v a l u a t e . T h e l a s t

t e r m i n t h e a b o v e e q u a t i o n d e p e n d s o n t h e i m a g e b e i n g p r o c e s s e d . E x a c t c o m p u t a t i o n o f

t h i s t e r m r e q u i r e s k n o w l e d g e o f t h e n o i s e - f r e e i m a g e w h i c h i s n o t p o s s i b l e . H o w e v e r t h e v a l u e

o f t h e t e r m c a n b e a p p r o x i m a t e d u s i n g t h e n o i s y i m a g e g ( m ; n ) i n p l a c e o f f ( m ; n ) . T h e

a p p r o x i m a t i o n i s v a l i d f o r h i g h s i g n a l t o n o i s e r a t i o 4 , 5 , 6 ] .

T h e f o r m u l a p r e s e n t e d a b o v e c a n b e a p p l i e d d i r e c t l y i n p r a c t i c a l a p p l i c a t i o n s . N o w w e

c o n s i d e r t h r e e e x a m p l e s t o i l l u s t r a t e t h e a p p l i c a t i o n o f t h e f o r m u l a . I n t h e s e e x a m p l e s ,

t h e n o i s e w i l l b e m o d e l e d a s G a u s s i a n . F o r a z e r o m e a n G a u s s i a n r a n d o m v a r i a b l e w i t h

1 3



s t a n d a r d d e v i a t i o n

n

w e h a v e E f

4

g = 3

4

n

. T h i s r e s u l t w i l l b e u s e d i n t h e f o l l o w i n g

e x a m p l e s .

1 . G r a y L e v e l V a r i a n c e

T h e i m a g e i s n o r m a l i z e d b y s u b t r a c t i n g t h e m e a n g r e y v a l u e f r o m t h e g r e y l e v e l o f e a c h

p i x e l . T h e f o c u s m e a s u r e l t e r i n t h i s c a s e i s

a ( i ; j ) =

8

>

>

>

<

>

>

>

:

1 i f i = j = 0

0 o t h e r w i s e

( 3 3 )

U s i n g t h e f o r m u l a ( 2 6 ) f o r v a r i a n c e w e o b t a i n

V a r f g =

2

4

n

( 2 N + 1 )

2

+

4

2

n

( 2 N + 1 )

4

N

X

m n

f

2

( m ; n ) ( 3 4 )

2 . G r a d i e n t M a g n i t u d e S q u a r e d

F o r g r a d i e n t s q u a r e d a l o n g x - a x i s a n d y - a x i s , r e s p e c t i v e l y

a

x

( i ; j ) = ? 1 1 ; a

y

( i ; j ) = ? 1 1

T

( 3 5 )

S u b s t i t u t i n g a

x

( i ; j ) a n d a

y

( i ; j ) a b o v e i n E q . ( 2 6 ) f o r v a r i a n c e , w e o b t a i n :

V a r f g =

2 4

4

n

( 2 N + 1 )

2

+

4

2

n

( 2 N + 1 )

4

M + N

X

m n

A

x

( i ; j ) f ( m ; n ) + A

y

( i ; j ) f ( m ; n )

2

( 3 6 )

w h e r e

A

x

( i ; j ) = ? 1 2 ? 1 ; A

y

( i ; j ) = ? 1 2 ? 1

T

( 3 7 )

3 . L a p l a c i a n

T h e d i s c r e t e L a p l a c i a n i s a p p r o x i m a t e d b y

a ( i ; j ) =

2

6

6

6

6

6

4

0 1 0

1 ? 4 1

0 1 0

3

7

7

7

7

7

5

( 3 8 )

1 4



S u b s t i t u t i n g t h i s a ( i ; j ) i n t o t h e f o r m u l a ( 2 6 ) f o r v a r i a n c e w e o b t a i n

V a r f g =

1 3 5 2

4

n

( 2 N + 1 )

2

+

4

2

n

( 2 N + 1 )

4

M + N

X

m n

A ( i ; j ) f ( m ; n )

2

( 3 9 )

w h e r e

A ( i ; j ) =

2

6

6

6

6

6

6

6

6

6

6

6

4

0 0 1 0 0

0 2 ? 8 2 0

1 ? 8 2 0 ? 8 1

0 2 ? 8 2 0

0 0 1 0 0

3

7

7

7

7

7

7

7

7

7

7

7

5

( 4 0 )

7 E x p e r i m e n t s

I n t h e r s t s e t o f e x p e r i m e n t s , E q . ( 2 6 ) f o r t h e v a r i a n c e o f f o c u s m e a s u r e s w a s v e r i e d a s

f o l l o w s . T h e a u t o f o c u s i n g a l g o r i t h m d e s c r i b e d e a r l i e r w a s i m p l e m e n t e d o n a s y s t e m n a m e d

S t o n y B r o o k P a s s i v e A u t o f o c u s i n g a n d R a n g i n g C a m e r a S y s t e m ( S P A R C S ) 3 ] . I n S P A R C S ,

a 3 5 m m f o c a l l e n g t h l e n s i s u s e d . T h e l e n s i s d r i v e n b y a s t e p p e r m o t o r t h a t c a n m o v e t h e

l e n s t o 9 7 d i e r e n t s t e p p o s i t i o n s . T h e s t a n d a r d d e v i a t i o n o f t h e c a m e r a n o i s e w a s e s t i m a t e d

b y i m a g i n g a a t a n d u n i f o r m l y b r i g h t o b j e c t a n d t h e n c o m p u t i n g t h e g r e y l e v e l v a r i a n c e

o f t h e r e c o r d e d i m a g e . T h r e e o b j e c t s l a b e l e d A , B , a n d C ( s e e F i g . 7 ) w e r e u s e d i n t h e

e x p e r i m e n t s .

A n o b j e c t w a s p l a c e d i n f r o n t o f t h e c a m e r a , a n d f o r s o m e x e d l e n s p o s i t i o n , 1 0 i m a g e s

o f s i z e 3 2 x 3 2 o f t h e o b j e c t w e r e r e c o r d e d . T h e s e i m a g e s s l i g h t l y d i e r e d f r o m e a c h o t h e r

d u e t o e l e c t r o n i c n o i s e . A g i v e n f o c u s m e a s u r e w a s c o m p u t e d f o r e a c h o f t h e 1 0 i m a g e s .

T h e s t a n d a r d d e v i a t i o n o f t h e r e s u l t i n g 1 0 f o c u s m e a s u r e s w a s t h e n c o m p u t e d . T h i s w a s

t h e e x p e r i m e n t a l l y d e t e r m i n e d s t a n d a r d d e v i a t i o n o f t h e f o c u s m e a s u r e . T h e t h e o r e t i c a l

e s t i m a t i o n o f t h e s t a n d a r d d e v i a t i o n o f t h e f o c u s m e a s u r e w a s c o m p u t e d u s i n g e q u a t i o n

1 5



( 2 6 ) . F o r t h i s p u r p o s e , t h e s t a n d a r d d e v i a t i o n o f t h e n o i s e w a s o b t a i n e d a s m e n t i o n e d

e a r l i e r u s i n g a a t u n i f o r m l y b r i g h t o b j e c t . T h e n o i s e - f r e e i m a g e n e e d e d i n e q u a t i o n ( 2 6 )

w a s o b t a i n e d b y a v e r a g i n g 4 n o i s y i m a g e s o f t h e o b j e c t . T a b l e 1 s h o w s t h e e x p e r i m e n t a l l y

c o m p u t e d a n d t h e o r e t i c a l l y e s t i m a t e d s t a n d a r d d e v i a t i o n s o f d i e r e n t f o c u s m e a s u r e s . W e

s e e t h a t t h e t w o v a l u e s a r e c l o s e t h u s v e r i f y i n g E q u a t i o n ( 2 6 ) .

I n t h e n e x t e x p e r i m e n t , t h e o b j e c t s A , B , a n d C , w e r e a u t o f o c u s e d u s i n g t h e a l g o r i t h m

d e s c r i b e d i n S e c t i o n 3 . I n e a c h c a s e , t h e e x p e r i m e n t a l a n d t h e o r e t i c a l A R M S e r r o r w e r e

c o m p u t e d ( t h e u n i t i s l e n s s t e p s ) . N e a r t h e f o c u s p o s i t i o n , i m a g e s w e r e r e c o r d e d a t 3 p o s i t i o n s

s

?

, s

0

a n d s

+

w h i c h w e r e 5 s t e p s a p a r t . A t e a c h p o s i t i o n , 1 0 i m a g e s w e r e r e c o r d e d , a n d

u s i n g t h e s e t h e m e a n a n d t h e s t a n d a r d d e v i a t i o n o f t h e f o c u s m e a s u r e t h e r e w e r e c o m p u t e d .

T h e n t h e t h e o r e t i c a l l y e s t i m a t e d A R M S e r r o r w a s c o m p u t e d u s i n g E q . ( 1 2 ) . T h e s a m e

d a t a w a s u s e d t o c o m p u t e 1 0 e x p e r i m e n t a l f o c u s p o s i t i o n s u s i n g E q . ( 5 ) . T h e s t a n d a r d

d e v i a t i o n o f t h e s e 1 0 p o s i t i o n s w a s t h e e x p e r i m e n t a l A R M S e r r o r . T h e r e s u l t i n g v a l u e s a r e

s h o w n i n t h e l a s t t w o c o l u m n s o f T a b l e 1 . W e s e e t h a t t h e y a r e v e r y c l o s e . T h e s e v a l u e s

a l s o i n d i c a t e t h e r e l a t i v e a u t o f o c u s i n g a c c u r a c y o f t h e t h r e e f o c u s m e a s u r e l t e r s { g r e y l e v e l

v a r i a n c e , g r a d i e n t m a g n i t u d e s q u a r e d , a n d L a p l a c i a n s q u a r e d . T h e m e a s u r e d n o i s e s t a n d a r d

d e v i a t i o n w a s 0 . 9 5 ( g r e y l e v e l u n i t s ) f o r t h e c a m e r a , a n d t h e S N R f o r t h e t h r e e o b j e c t s w e r e

3 5 d B , 2 8 d B a n d 2 0 d B r e s p e c t i v e l y .

T h r e e m a i n c o n c l u s i o n s c a n b e d r a w n f r o m t h e e x p e r i m e n t a l r e s u l t s . F i r s t , f o r a g i v e n

o b j e c t ( i . e . x e d i m a g e c o n t e n t ) , A R M S e r r o r d e c r e a s e s w i t h i n c r e a s i n g s i g n a l - t o - n o i s e r a t i o

( S N R ) . T h i s i m p l i e s t h a t l o w c o n t r a s t o b j e c t s a n d n o i s y c a m e r a s h a v e m o r e a u t o f o c u s i n g

e r r o r . S e c o n d , t h e f o c u s m e a s u r e w i t h m i n i m u m s t a n d a r d d e v i a t i o n i s n o t n e c e s s a r i l y t h e

f o c u s m e a s u r e t h a t g i v e s m i n i m u m e r r o r i n a u t o f o c u s i n g . T h i r d , t h e b e s t f o c u s m e a s u r e c o u l d

1 6



b e d i e r e n t f o r d i e r e n t o b j e c t s d e p e n d i n g o n b o t h i m a g e c o n t e n t a n d n o i s e c h a r a c t e r i s t i c s ;

S N R a l o n e c a n n o t b e u s e d t o d e t e r m i n e t h e b e s t f o c u s m e a s u r e . F o r e x a m p l e , t h e b e s t

f o c u s m e a s u r e f o r t h e o b j e c t s w i t h S N R 3 5 d B a n d S N R 2 8 d B a r e t h e L a p l a c i a n s q u a r e d ,

b u t f o r t h e o b j e c t w i t h S N R 2 0 d B , t h e b e s t f o c u s m e a s u r e i s g r a d i e n t m a g n i t u d e s q u a r e d .

A u t o f o c u s i n g o f o b j e c t C w a s n o t p o s s i b l e u s i n g g r e y l e v e l v a r i a n c e d u e t o t h e a b s e n c e o f a

w e l l d e n e d p e a k . E x p e r i m e n t s s i m i l a r t o t h e o n e s a b o v e w e r e a l s o c a r r i e d o u t o n s i m u l a t e d

i m a g e d a t a ( s e e 4 , 5 , 6 ] ) .

8 C o n c l u s i o n

A R M S e r r o r h a s b e e n d e n e d a s a m e t r i c f o r s e l e c t i n g t h e o p t i m a l f o c u s m e a s u r e f o r a u t o -

f o c u s i n g w i t h r e s p e c t t o g r e y - l e v e l n o i s e f r o m a g i v e n s e t o f f o c u s m e a s u r e s . I t i s b a s e d o n

t h e a s s u m p t i o n o f l o c a l s m o o t h n e s s o f f o c u s m e a s u r e s w i t h r e s p e c t t o l e n s p o s i t i o n . A R M S

e r r o r c a n b e a p p l i e d t o a n y f o c u s m e a s u r e w h o s e v a r i a n c e c a n b e e x p r e s s e d e x p l i c i t l y a s a

f u n c t i o n o f g r e y - l e v e l n o i s e v a r i a n c e . S u c h a n e x p r e s s i o n h a s b e e n d e r i v e d f o r a l a r g e c l a s s o f

f o c u s m e a s u r e s t h a t c a n b e m o d e l e d a s t h e e n e r g y o f l t e r e d i m a g e s . E q u a t i o n s 2 3 a n d 2 6

f o r t h e m e a n a n d v a r i a n c e r e s p e c t i v e l y o f a f o c u s m e a s u r e a l o n g w i t h E q u a t i o n s 1 2 a n d 1 6

f o r A R M S e r r o r c o m p l e t e l y s p e c i f y t h e d e p e n d e n c e o f a u t o f o c u s i n g e r r o r o n b o t h g r e y - l e v e l

n o i s e a n d i m a g e c o n t e n t . T h e s e e q u a t i o n s c a n b e u s e d t o e s t i m a t e t h e a u t o f o c u s i n g a c c u r a c y

o f d i e r e n t f o c u s m e a s u r e s , a n d t h e o n e w i t h m i n i m u m e r r o r c a n b e s e l e c t e d f o r a p p l i c a -

t i o n . I n a p p l i c a t i o n s w h e r e c o m p u t a t i o n n e e d s t o b e m i n i m i z e d b y c o m p u t i n g o n l y o n e f o c u s

m e a s u r e , w e r e c o m m e n d t h e u s e o f t h e L a p l a c i a n a s t h e f o c u s m e a s u r e l t e r . L a p l a c i a n h a s

s o m e d e s i r a b l e p r o p e r t i e s s u c h a s s i m p l i c i t y , r o t a t i o n a l s y m m e t r y , e l i m i n a t i o n o f u n n e c e s s a r y

1 7



i n f o r m a t i o n a n d r e t a i n i n g o f n e c e s s a r y i n f o r m a t i o n 4 , 5 , 6 ] .

T h i s w o r k c a n b e e x t e n d e d i n s e v e r a l w a y s . F i r s t , e x p l i c i t e x p r e s s i o n s f o r t h e v a r i a n c e o f

o t h e r f o c u s m e a s u r e s s u c h a s s u m o f a b s o l u t e v a l u e s o f i m a g e d e r i v a t i v e s c o u l d b e d e r i v e d s o

t h a t A R M S e r r o r c a n b e u s e d t o e s t i m a t e t h e i r a u t o f o c u s i n g a c c u r a c y . S e c o n d , i n t h e d e -

n i t i o n o f A R M S e r r o r , t h e l o c a l s m o o t h n e s s o f f o c u s m e a s u r e s c o u l d b e m o d e l e d d i e r e n t l y

t h a n h e r e . T h i r d , d e r i v i n g a n o p t i m a l f o c u s m e a s u r e l t e r f o r a g i v e n i m a g e a n d n o i s e l e v e l

r e m a i n s t o b e i n v e s t i g a t e d .

R e f e r e n c e s

1 ] E . K r o t k o v , \ F o c u s i n g " , I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , 1 , 2 2 3 - 2 3 7 , 1 9 8 7 .

2 ] N a y a r , S . K . , \ S h a p e f r o m F o c u s S y s t e m " P r o c e e d i n g s o f t h e I E E E C o m p u t e r S o c i e t y

C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , C h a m p a i g n , I l l i n o i s , p p . 3 0 2 -

3 0 8 ( J u n e 1 9 9 2 ) .

3 ] M . S u b b a r a o , T . C h o i , a n d A . N i k z a d , \ F o c u s i n g T e c h n i q u e s " , J o u r n a l o f O p t i c a l E n g i -

n e e r i n g , V o l . 3 2 N o . 1 1 , p p . 2 8 2 4 - 2 8 3 6 , N o v e m b e r 1 9 9 3 .

4 ] M . S u b b a r a o , a n d J . K . T y a n , \ T h e O p t i m a l F o c u s M e a s u r e f o r P a s s i v e A u t o f o c u s i n g

a n d D e p t h - f r o m - F o c u s " , P r o c e e d i n g s o f S P I E c o n f e r e n c e o n V i e d o m e t r i c s I V , V o l . 2 5 9 8 ,

P h i l a d e l p h i a , O c t 1 9 9 5 , p p . 8 9 - 9 9 .

5 ] M . S u b b a r a o , a n d J . K . T y a n , \ R o o t - M e a n S q u a r e E r r o r i n P a s s i v e A u t o f o c u s i n g a n d

3 D S h a p e R e c o v e r y " , P r o c e e d i n g s o f S P I E c o n f e r e n c e , V o l . 2 9 0 9 , T h r e e - D i m e n s i o n a l

1 8



I m a g i n g a n d L a s e r - B a s e d S y s t e m s f o r M e t r o l o g y a n d I n s p e c t i o n I I , B o s t o n , N o v . 1 9 9 6 ,

p p . 1 6 2 - 1 7 7 .

6 ] J . K . T y a n , \ A n a l y s i s a n d A p p l i c a t i o n o f A u t o f o c u s i n g a n d T h r e e - D i m e n s i o n a l S h a p e R e -

c o v e r y T e c h n i q u e s b a s e d o n I m a g e F o c u s a n d D e f o c u s " , P h . D . T h e s i s , D e p t . o f E l e c t r i c a l

E n g g . , S U N Y a t S t o n y B r o o k , 1 9 9 7 .

1 9



ImageObject ID

D/2

Optical Axis

P

L

u

f Q

s-vv

P’

P’’2R

s

R Blur Circle Radius

D Aperture Diameter

ID Image Detector

P Object

L Lens

f Focal Length

p’ Focused Point

Q Optical Center

p’’ Blur Circle

F i g u r e 1 : I m a g e F o r m a t i o n i n a C o n v e x L e n s

Focus Measure

Lens Position S

w NOISE

w/t NOISE

Lens Search Space

Smin SmaxSf

I1 I2 Inε

F i g u r e 2 : A u t o f o c u s i n g A l g o r i t h m

Ε{γ}S0

pγ

S0Ε{γ ( )}

S f S 2S 1S 0

Focus Measure

LensPosition S

AUM

σ

F i g u r e 3 : D e n i t i o n o f A U M a t t h e f o c u s e d p o s i t i o n

S

f

σ1σ2

Ε{γ ( )}1

S

Ε{γ ( )}2 S

1.0

LensPosition S AUM 2

AUM 1

Focus Measure

F i g u r e 4 : C o m p a r i s o n o f t w o f o c u s m e a s u r e s

1

a n d

2

a t t h e f o c u s e d p o s i t i o n

γ ( S )

γ ( S )

γ ( S )

Focus Measure

Lens

Position S S S+

δ δ

-

S o-

+

o

F i g u r e 5 : q u a d r a t i c p o l y n o m i a l i n t e r p o l a t i o n

S-γ( )

S+γ( )

δ δ2 2

SS +oS-

Focus Measure

Lens Position S

F i g u r e 6 : l i n e a r i n t e r p o l a t i o n

2 0



O b j e c t A O b j e c t B O b j e c t C

F i g u r e 7 : T e x t u r e i m a g e

ExperimentalTheoreticalExperimentalTheoretical

std of FMF ARMS

OBJFMF SNR(dB)

VAR

LAP

GRD

C

B

A

C 20

35A

28B

20

0.02018.92 17.27

4.053.71

1.67 1.37

0.044

0.090

0.018

0.043

0.100

0.0240.023

0.048 0.049

0.070

0.028

0.110

A 35 5.87 6.31

B 28 1.06 1.25

C 20 0.32 0.46 0.060

35

28

1.82

0.85

2.13 0.025

1.02 0.100

N/A N/A N/A N/A

T a b l e 1 : L A P : L a p l a c i a n , G R D : G r a d i e n t M a g n i t u d e S q u a r e d , V A R : V a r i a n c e , O B J : O b j e c t .

Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp

Documents

Transcript of Selecting the Optimal Focus Measure for Auto Focusing and Depth Frp