Variational Framework

8/8/2019 Variational Framework

1/31

A Va r i a t io n a l F r a m e w o r k fo r R e t i n e x

Ron Kimm el, Doron Sha ked, Micha el Ela d, Renat o Keshet ,

Irwin Sobel

HP La bora tories Isra el

HPL-1999-151 (R.1)

J une 28 th , 2001*

Retinex,

variational

calculus,quadratic

programming

Retinex theory addr esses the pr oblem of separa ting t he

illuminat ion from th e reflecta nce in a given ima ge an d t hereby

compen sat ing for n on-uniform light ing. This is in gener al an ill-posed pr oblem. In t his pa per we p ropose a varia tional model for

th e Retinex problem th at un ifies previous meth ods. Similar to

previous a lgorith ms, it assu mes spa tial smooth ness of th e

illumin at ion field. In addition, knowledge of th e limit ed

dynamic ran ge of the reflecta nce is used a s a const ra int in th e

recovery process. A pena lty t erm is also included, exploiting a -

priori knowledge of the n at ur e of the r eflecta nce image. The

proposed form ulat ion a dopts a Ba yesian view point of the

estima tion problem, which leads t o an algebraic regularizat ion

ter m, th at cont ribut es to bett er condit ioning of th e

reconst ru ction pr oblem.

Based on t he proposed var iational model, we show t ha t t he

illum inat ion estim at ion pr oblem can be form ula ted as a

Quadratic Programming optimization problem. An

efficient mu lti-resolution a lgorith m is pr oposed. It exploits th e

spa tia l corr elation in the reflecta nce an d illumin at ion images.

Applicat ions of th e algorith m t o var ious color images yield

promising results.

* Int ern al Accession Date Only Approved for Extern al Pu blicat ion HP Labs Israel, Technion City, Haifa 32000, Israel

Copyright Hewlett-Packard Company 2001


2/31

A V a r i a t i o n a l F r a m e w o r k f o r R e t i n e x

R o n K i m m e l

z

, D o r o n S h a k e d , M i c h a e l E l a d ,

H e w l e t t - P a c k a r d L a b o r a t o r i e s { I s r a e l

a n d I r w i n S o b e l

H e w l e t t - P a c k a r d L a b o r a t o r i e s i n P a l o - A l t o .

A b s t r a c t

R e t i n e x t h e o r y a d d r e s s e s t h e p r o b l e m o f s e p a r a t i n g t h e i l l u m i n a t i o n f r o m t h e r e -

e c t a n c e i n a g i v e n i m a g e a n d t h e r e b y c o m p e n s a t i n g f o r n o n - u n i f o r m l i g h t i n g . T h i s

i s i n g e n e r a l a n i l l - p o s e d p r o b l e m . I n t h i s p a p e r w e p r o p o s e a v a r i a t i o n a l m o d e l f o r

t h e R e t i n e x p r o b l e m t h a t u n i e s p r e v i o u s m e t h o d s . S i m i l a r t o p r e v i o u s a l g o r i t h m s ,

i t a s s u m e s s p a t i a l s m o o t h n e s s o f t h e i l l u m i n a t i o n e l d . I n a d d i t i o n , k n o w l e d g e o f t h e

l i m i t e d d y n a m i c r a n g e o f t h e r e e c t a n c e i s u s e d a s a c o n s t r a i n t i n t h e r e c o v e r y p r o -

c e s s . A p e n a l t y t e r m i s a l s o i n c l u d e d , e x p l o i t i n g a - p r i o r i k n o w l e d g e o f t h e n a t u r e o f

t h e r e e c t a n c e i m a g e . T h e p r o p o s e d f o r m u l a t i o n a d o p t s a B a y e s i a n v i e w p o i n t o f t h e

e s t i m a t i o n p r o b l e m , w h i c h l e a d s t o a n a l g e b r a i c r e g u l a r i z a t i o n t e r m , t h a t c o n t r i b u t e s

t o b e t t e r c o n d i t i o n i n g o f t h e r e c o n s t r u c t i o n p r o b l e m .

B a s e d o n t h e p r o p o s e d v a r i a t i o n a l m o d e l , w e s h o w t h a t t h e i l l u m i n a t i o n e s t i m a t i o n

p r o b l e m c a n b e f o r m u l a t e d a s a Q u a d r a t i c P r o g r a m m i n g o p t i m i z a t i o n p r o b l e m . A n

e c i e n t m u l t i - r e s o l u t i o n a l g o r i t h m i s p r o p o s e d . I t e x p l o i t s t h e s p a t i a l c o r r e l a t i o n i n

t h e r e e c t a n c e a n d i l l u m i n a t i o n i m a g e s . A p p l i c a t i o n s o f t h e a l g o r i t h m t o v a r i o u s c o l o r

i m a g e s y i e l d p r o m i s i n g r e s u l t s .

z

R . K i m m e l i s a l s o a l i a t e d w i t h t h e C o m p u t e r S c i e n c e D e p t . , T e c h n i o n , H a i f a 3 2 0 0 0 , I s r a e l .

1


3/31

1 I n t r o d u c t i o n

R e t i n e x t h e o r y d e a l s w i t h c o m p e n s a t i o n f o r i l l u m i n a t i o n e e c t s i n i m a g e s . T h e p r i m a r y g o a l

i s t o d e c o m p o s e a g i v e n i m a g e S i n t o t w o d i e r e n t i m a g e s , t h e r e e c t a n c e i m a g e R , a n d

t h e i l l u m i n a t i o n i m a g e L , s u c h t h a t , a t e a c h p o i n t ( x y ) i n t h e i m a g e d o m a i n , S ( x y ) =

R ( x y ) L ( x y ) . T h e b e n e t s o f s u c h a d e c o m p o s i t i o n i n c l u d e t h e p o s s i b i l i t y o f r e m o v i n g

i l l u m i n a t i o n e e c t s o f b a c k / f r o n t l i g h t i n g , e n h a n c i n g s h o t s t h a t i n c l u d e s p a t i a l l y v a r y i n g

i l l u m i n a t i o n s u c h a s i m a g e s t h a t c o n t a i n i n d o o r a n d o u t d o o r z o n e s , a n d c o r r e c t i n g t h e c o l o r s

i n i m a g e s b y r e m o v i n g i l l u m i n a t i o n i n d u c e d c o l o r s h i f t s .

R e c o v e r i n g t h e i l l u m i n a t i o n f r o m a g i v e n i m a g e i s k n o w n t o b e a m a t h e m a t i c a l l y i l l - p o s e d

p r o b l e m , a n d a l g o r i t h m s p r o p o s e d i n t h e l i t e r a t u r e f o r i t s s o l u t i o n v a r y i n t h e i r w a y o f

o v e r c o m i n g t h i s l i m i t a t i o n . T h e R e t i n e x m e t h o d o l o g y w a s m o t i v a t e d b y L a n d ' s l a n d m a r k

r e s e a r c h o f t h e h u m a n v i s u a l s y s t e m 1 1 ] . T h r o u g h h i s e x p e r i m e n t s i t w a s s h o w n t h a t o u r

v i s u a l s y s t e m i s a b l e t o p r a c t i c a l l y r e c o g n i z e a n d m a t c h c o l o r s u n d e r a w i d e r a n g e o f d i e r e n t

i l l u m i n a t i o n s , a p r o p e r t y t h a t i s c o m m o n l y r e f e r r e d t o a s t h e C o l o r C o n s t a n c y P h e n o m e n o n .

A s a m a t t e r o f f a c t , L a n d ' s n d i n g s i n d i c a t e d t h a t e v e n w h e n r e t i n a l s e n s o r y s i g n a l s c o m i n g

f r o m d i e r e n t c o l o r p a t c h e s u n d e r d i e r e n t i l l u m i n a t i o n s a r e i d e n t i c a l , s u b j e c t s w e r e a b l e

t o n a m e t h e s u r f a c e r e e c t a n c e c o l o r 1 1 ] . T h e a b i l i t y t o e x t r a c t t h e i l l u m i n a t i o n i m a g e i s

s u c i e n t b u t n o t n e s s e c a r y t o a c h i e v e t h i s p r o p e r t y .

I n t h i s p a p e r w e d e n e t h e R e t i n e x r e c o n s t r u c t i o n p r o b l e m f o r g r a y - l e v e l i m a g e s t h r o u g h

p h y s i c a l l y m o t i v a t e d c o n s i d e r a t i o n s . T h e p r o p o s e d f o r m u l a t i o n i s s h o w n t o b e a m a t h e -

m a t i c a l l y w e l l - p o s e d p r o b l e m . A v a r i a t i o n a l e x p r e s s i o n i s o b t a i n e d b y d e n i n g t h e o p t i m a l

i l l u m i n a t i o n a s t h e s o l u t i o n o f a Q u a d r a t i c P r o g r a m m i n g ( Q P ) o p t i m i z a t i o n p r o b l e m . I t i s

s h o w n t h a t d i e r e n t p r e v i o u s a l g o r i t h m s a r e e s s e n t i a l l y s o l u t i o n s t o s i m i l a r v a r i a t i o n a l p r o b -

l e m s . W e i n t r o d u c e a n e c i e n t a l g o r i t h m t h a t e x p l o i t s k n o w l e d g e o n Q P s o l v e r s a n d t h e f a c t

t h a t t h e u n k n o w n i l l u m i n a t i o n i s s p a t i a l l y s m o o t h . O u r a l g o r i t h m u s e s a m u l t i - r e s o l u t i o n

r e c o n s t r u c t i o n o f t h e i l l u m i n a t i o n w i t h f e w r e l a x a t i o n i t e r a t i o n s a t e a c h r e s o l u t i o n l a y e r .

W e a p p l y a n d c o m p a r e t h e p r o p o s e d a l g o r i t h m i n t w o c o l o r s p a c e s . T h e r s t o p e r a t e s i n

t h e R G B s p a c e , i n w h i c h e a c h s p e c t r a l c h a n n e l i s p r o c e s s e d s e p a r a t e l y . T h e s e c o n d i s t h e

H S V c o l o r s p a c e i n w h i c h o n l y t h e V a l u e ( V ) c h a n n e l i s p r o c e s s e d . C o l o r c o r r e c t i o n s c a n

b e o b t a i n e d a s a b y - p r o d u c t o f t h e R e t i n e x a l g o r i t h m i n t h e R G B s p a c e . I n t h i s c a s e t h e

r e s u l t i n g r e e c t a n c e i m a g e u s u a l l y a p p e a r s t o b e o v e r - e n h a n c e d . A r e l a x a t i o n a l g o r i t h m f o r

t h i s e e c t i s p r o p o s e d . T e s t s o n v a r i o u s i m a g e s s u p p o r t t h e a s s u m p t i o n t h a t t h e r e s u l t s o f

t h e p r o p o s e d f o r m u l a t i o n a r e s i m i l a r t o t h o s e o f t h e h u m a n v i s u a l s y s t e m .

T h i s p a p e r i s o r g a n i z e d a s f o l l o w s : I n t h e n e x t s e c t i o n w e r e v i e w s e v e r a l d i e r e n t R e t i n e x

a l g o r i t h m s . S o m e o f t h o s e w e r e m o t i v a t e d b y a s s u m p t i o n s b a s e d o n t h e c o l o r c o n s t a n c y

p r o c e s s i n t h e h u m a n v i s u a l s y s t e m . S e c t i o n 3 p r e s e n t s t h e p r o p o s e d f o r m u l a t i o n a l o n g

w i t h a n e c i e n t n u m e r i c a l a l g o r i t h m f o r t h e i l l u m i n a t i o n r e c o n s t r u c t i o n . U n i q u e n e s s a n d

c o n v e r g e n c e o f t h e s o l u t i o n a r e a l s o d i s c u s s e d i n S e c t i o n 3 . S e c t i o n 4 e x t e n d s t h e p r o p o s e d

2


4/31

f o r m u l a t i o n t o c o l o r i m a g e s . I n S e c t i o n 5 w e a p p l y t h e m e t h o d t o d i e r e n t i m a g e s a n d

d e m o n s t r a t e t h e a l g o r i t h m ` s p e r f o r m a n c e s a n d t h e e e c t s o f i t s f r e e p a r a m e t e r s . S e c t i o n 6

s u m m a r i z e s t h e p a p e r a n d p r e s e n t s t o p i c s f o r f u t u r e r e s e a r c h .

2 P r e v i o u s W o r k

T h e r s t R e t i n e x a l g o r i t h m s p r o p o s e d b y L a n d e t a l . , w e r e o f r a n d o m w a l k t y p e 1 2 , 1 4 ] .

S u b s e q u e n t a l g o r i t h m s 8 , 9 , 1 3 ] u s e d H o m o m o r p h i c F i l t e r s 5 , 2 1 ] . Y e t a n o t h e r g r o u p o f

R e t i n e x a l g o r i t h m s i s b a s e d o n s o l v i n g a P o i s s o n e q u a t i o n 2 , 7 , 2 0 ] . A r e c e n t R e t i n e x

a l g o r i t h m b y M c C a n n a n d S o b e l 1 7 ] , i s a n i t e r a t i v e m u l t i - r e s o l u t i o n t y p e o f n o n - l i n e a r

l t e r .

A r s t s t e p t a k e n b y m o s t a l g o r i t h m s i s t h e c o n v e r s i o n t o t h e l o g a r i t h m i c d o m a i n b y

s = l o g S l = l o g L r = l o g R , a n d t h e r e b y s = l + r . T h i s s t e p i s m o t i v a t e d b o t h

m a t h e m a t i c a l l y , p r e f e r r i n g a d d i t i o n s o v e r m u l t i p l i c a t i o n s , a n d p h y s i o l o g i c a l l y , r e f e r r i n g t o

t h e s e n s i t i v i t y o f o u r v i s u a l s y s t e m 1 1 ] . T h e d i e r e n t R e t i n e x a l g o r i t h m s u s u a l l y h a v e t h e

s a m e o w c h a r t a s s h o w n i n F i g u r e 1 , a n d t h e d i e r e n c e b e t w e e n t h e m c o n c e n t r a t e s o n t h e

a c t u a l e s t i m a t i o n o f t h e i l l u m i n a t i o n i m a g e . L e t u s r e v i e w t h e s e d i e r e n t a l g o r i t h m s .

S Rrls

LogEstimate

theIllumination

ExpInputImage

F i g u r e 1 : T h e g e n e r a l o w c h a r t o f R e t i n e x a l g o r i t h m s

2 . 1 R a n d o m W a l k A l g o r i t h m s

A r a n d o m w a l k i s a d i s c r e t e t i m e r a n d o m - p r o c e s s i n w h i c h t h e ` n e x t p i x e l p o s i t i o n ' i s c h o s e n

r a n d o m l y f r o m t h e n e i g h b o r s o f t h e c u r r e n t p i x e l p o s i t i o n . R a n d o m w a l k t y p e R e t i n e x

a l g o r i t h m s a r e v a r i a n t s o f t h e f o l l o w i n g b a s i c f o r m u l a t i o n 4 ] : A l a r g e n u m b e r o f w a l k e r s a r e

i n i t i a t e d a t r a n d o m l o c a t i o n s o f a n i n p u t i m a g e s , a d o p t i n g t h e g r a y - v a l u e o f t h e i r i n i t i a l

p o s i t i o n . A n a c c u m u l a t o r i m a g e A t h a t h a s t h e s a m e s i z e a s s i s i n i t i a l i z e d t o z e r o . A s

t h e w a l k e r s w a l k a r o u n d , t h e y u p d a t e A b y a d d i n g t h e i r v a l u e s t o e a c h p o s i t i o n t h e y v i s i t .

F i n a l l y , t h e i l l u m i n a t i o n i m a g e i s o b t a i n e d b y n o r m a l i z i n g t h e a c c u m u l a t o r i m a g e , i . e . , i t s

v a l u e a t e a c h l o c a t i o n d i v i d e d b y t h e n u m b e r o f w a l k e r s v i s i t e d i t .

B y u s i n g m a n y w a l k e r s w i t h l o n g p a t h s , i t i s e a s i l y v e r i e d t h a t e a c h a c c u m u l a t o r v a l u e

3


5/31

a s s i m p t o t i c a l l y c o n v e r g e s t o a G a u s s i a n a v e r a g e o f i t s n e i g h b o r s , w h i c h i s a l o w - p a s s l t e r

o f t h e i m a g e s 1 9 ] . A l o w - p a s s l t e r f o r t h e r e c o n s t r u c t i o n o f l f r o m s w a s a l s o p r o p o s e d

u n d e r t h e n a m e o f H o m o m o r p h i c F i l t e r i n g .

2 . 2 H o m o m o r p h i c F i l t e r i n g

H o m o m o r p h i c F i l t e r i n g t y p e R e t i n e x a l g o r i t h m s 5 , 8 , 9 , 1 3 , 2 1 ] s h a r e t h e f o l l o w i n g b a s i c

m o t i v a t i o n : A s s u m e t h e r e e c t a n c e i m a g e c o r r e s p o n d s t o t h e s h a r p d e t a i l s i n t h e i m a g e

( i . e . e d g e s ) , w h e r e a s t h e i l l u m i n a t i o n i m a g e i s e x p e c t e d t o b e s p a t i a l l y s m o o t h , a r e a s o n a b l e

g u e s s f o r l i s

l = L P f s g , w h e r e L P i s u s u a l l y a c o n v o l u t i o n w i t h a w i d e G a u s s i a n k e r n e l .

T h i s w a y , o n e a c t u a l l y a p p l i e s t h e s a m e p r o c e s s a s t h e r a n d o m w a l k a l g o r i t h m s b y a s i n g l e

d i r e c t c o n v o l u t i o n .

2 . 3 P o i s s o n E q u a t i o n S o l u t i o n

F o l l o w i n g t h e a b o v e r e a s o n i n g , s i n c e t h e i l l u m i n a t i o n i s e x p e c t e d t o b e s p a t i a l l y s m o o t h , i t s

d e r i v a t i v e s h o u l d b e c l o s e t o z e r o e v e r y w h e r e . O n t h e o t h e r h a n d , b y t h e a s s u m p t i o n t h a t

t h e r e e c t a n c e i s p i e c e - w i s e c o n s t a n t , i t s d e r i v a t i v e i s e x p e c t e d t o v a n i s h a l m o s t e v e r y w h e r e ,

a n d g e t h i g h v a l u e s a l o n g t h e e d g e s . T h u s , i f w e t a k e t h e d e r i v a t i v e o f t h e s u m s = l + r

a n d c l i p o u t t h e h i g h d e r i v a t i v e p e a k s , w e c a n a s s u m e t h a t t h e c l i p p e d d e r i v a t i v e s i g n a l

c o r r e s p o n d s o n l y t o t h e i l l u m i n a t i o n .

P o i s s o n E q u a t i o n t y p e R e t i n e x a l g o r i t h m s 2 , 7 , 2 0 ] r e l y o n L a n d ' s M o n d r i a n w o r l d m o d e l .

T h e M o n d r i a n m o d e l b o i l s d o w n t o t h e a b o v e a s s u m p t i o n o n t h e r e e c t a n c e a s a p i e c e - w i s e

c o n s t a n t i m a g e . A p p l y i n g t h e L a p l a c i a n , a n d t h e f o l l o w i n g c l i p p i n g o p e r a t i o n

( s ) =

(

s w h e r e j s j < T

0 o t h e r w i s e ,

w e g e t t h e f o l l o w i n g P o i s o n e q u a t i o n

l = ( s ) :

A s t o t h e s o l u t i o n o f t h e r e s u l t i n g P o i s s o n e q u a t i o n , H o r n 7 ] s u g g e s t e d a n i t e r a t i v e p r o c e d u r e

w h i c h e e c t i v e l y i n v e r t s t h e L a p l a c i a n o p e r a t o r . S i m i l a r t o t h e p r e v i o u s m e t h o d s , a l o w - p a s s

l t e r i s a p p l i e d i n o r d e r t o s o l v e t h e a b o v e e q u a t i o n . B l a k e 2 ] i n t r o d u c e d a n i m p r o v e m e n t

t o H o r n ' s m e t h o d . H e p r o p o s e d t o e x t r a c t t h e d i s c o n t i n u i t i e s f r o m t h e i m a g e g r a d i e n t

m a g n i t u d e i n s t e a d o f t h e L a p l a c i a n a n d t h e r e b y c a m e u p w i t h b e t t e r b o u n d a r y c o n d i t i o n s

t h a t d e a l w i t h l e s s t r i v i a l s c e n a r i o s a l o n g t h e i m a g e b o u n d a r y .

2 . 4 M c C a n n ' s A l g o r i t h m

R e c e n t l y , M c C a n n a n d S o b e l 1 7 ] p r o p o s e d a n a l g o r i t h m t h a t c a n b e e q u i v a l e n t l y w r i t t e n a s

f o l l o w s : T h e i l l u m i n a t i o n i m a g e

l

0

i s i n i t i a l i z e d t o b e s , t h e o r i g i n a l i m a g e . T h e a l g o r i t h m

4


6/31


7/31

n e g l e c t . T h e p h y s i c a l n a t u r e o f r e e c t i n g o b j e c t s i s s u c h t h a t t h e y r e e c t o n l y p a r t o f t h e

i n c i d e n t l i g h t . T h u s , t h e r e e c t a n c e i s r e s t r i c t e d t o t h e r a n g e R 2 0 1 ] , a n d L S , w h i c h

i m p l i e s l s .

A m u l t i - r e s o l u t i o n v e r s i o n i s a l s o p r o p o s e d i n 1 7 ] . A G a u s s i a n p y r a m i d i s c o n s t r u c t e d f o r t h e

g i v e n i m a g e s . T h e a l g o r i t h m s t a r t s a t t h e c o a r s e s t l e v e l , a n d t h e s i z e o f t h e d i s p l a c e m e n t s

f o r D

n

a r e o n e p i x e l i n e a c h d i r e c t i o n f o r e a c h r e s o l u t i o n . T h e m u l t i - r e s o l u t i o n v e r s i o n i s

s i g n i c a n t l y f a s t e r , y e t p r o d u c e s l o w e r q u a l i t y r e s u l t s c o m p a r e d t o t h e o r i g i n a l v e r s i o n .

2 . 5 S u m m a r y o f P r e v i o u s W o r k

T h e d i s c u s s i o n i n t h i s s e c t i o n s u g g e s t s t h a t t h e p r e v i o u s s e e m i n g l y d i e r e n t a l g o r i t h m s a r e

a c t u a l l y v e r y s i m i l a r . T h e y a r e a l l b a s e d o n t h e s p a t i a l s m o o t h n e s s a s s u m p t i o n o f t h e

i l l u m i n a t i o n l . A l l t h e a b o v e a l g o r i t h m s a p p l y s o m e s o r t o f G a u s s i a n s m o o t h i n g t o s i n

o r d e r t o e x t r a c t

l . S o m e m e t h o d s a d d m o r e a s s u m p t i o n s a b o u t t h e r e e c t a n c e , s u c h a s i t s

l i m i t e d r a n g e , o r i t s M o n d r i a n f o r m . E v e n t u a l l y , ` s k i n n i n g ' t h e i l l u m i n a t i o n f r o m t h e g i v e n

i m a g e y i e l d s t h e r e e c t a n c e i m a g e , w h i c h i s e x p e c t e d t o b e f r e e o f n o n - u n i f o r m i l l u m i n a t i o n ,

h a v e a r e d u c e d d y n a m i c r a n g e , a n d p r e s e n t a s h a r p e r v i e w o f t h e s c e n e .

3 T h e V a r i a t i o n a l F r a m e w o r k

3 . 1 F u n c t i o n a l D e n i t i o n

W e s t a r t b y l i s t i n g t h e k n o w n i n f o r m a t i o n a b o u t t h e i l l u m i n a t i o n i m a g e .

1 . T h e r s t i m p o r t a n t a s s u m p t i o n a b o u t t h e i l l u m i n a t i o n i s i t s s p a t i a l s m o o t h n e s s .

2 . W e a l s o k n o w t h a t , s i n c e R i s r e s t r i c t e d t o t h e u n i t i n t e r v a l , w e c a n a d d t h e c o n s t r a i n t

L S . S i n c e t h e l o g f u n c t i o n i s m o n o t o n e , w e a l s o h a v e l s .

3 . B y s e t t i n g l = C o n s t , w h e r e C o n s t i s a n y c o n s t a n t a b o v e t h e m a x i m a l v a l u e o f s , w e

g e t a t r i v i a l s o l u t i o n t h a t s a t i s e s t h e t w o p r e v i o u s a s s u m p t i o n s . W e t h e r e f o r e a d d

t h e a s s u m p t i o n t h a t t h e i l l u m i n a t i o n i m a g e i s c l o s e t o t h e i n t e n s i t y i m a g e s , i . e . , i t

m i n i m i z e s a p e n a l t y t e r m o f t h e f o r m d i s t ( l s ) , e . g . , t h e L

2

n o r m ( l ; s )

2

.

4 . T h e r e e c t a n c e i m a g e r = s ; l c a n b e a s s u m e d t o h a v e a h i g h p r i o r p r o b a b i l i t y

3 , 6 , 1 0 , 1 6 ] . O n e o f t h e s i m p l e s t p r i o r f u n c t i o n s u s e d f o r n a t u r a l i m a g e s a s s i g n s h i g h

p r o b a b i l i t y t o s p a t i a l l y s m o o t h i m a g e s 1 0 ] .

5 . W e c a n a s s u m e t h a t t h e i l l u m i n a t i o n c o n t i n u e s s m o o t h l y a s a c o n s t a n t b e y o n d t h e

i m a g e b o u n d a r i e s . T h i s i s a n a r t i c i a l a s s u m p t i o n r e q u i r e d f o r b o u n d a r y c o n d i t i o n s

t h a t w o u l d h a v e m i n o r e e c t o n t h e n a l r e s u l t s .

6


8/31

C o l l e c t i n g a l l t h e a b o v e a s s u m p t i o n s i n t o o n e e x p r e s s i o n w e g e t t h e f o l l o w i n g p e n a l t y f u n c -

t i o n a l

M i n i m i z e : F l ] =

Z

j r l j

2

+ ( l ; s )

2

+ j r ( l ; s ) j

2

d x d y

S u b j e c t t o : l s a n d h r l ~ n i = 0 o n @ ( 1 )

w h e r e i s t h e s u p p o r t o f t h e i m a g e , @ i t s b o u n d a r y , a n d ~n i s t h e n o r m a l t o t h e b o u n d -

a r y . a n d a r e f r e e n o n - n e g a t i v e r e a l p a r a m e t e r s . I n t h e f u n c t i o n a l F l ] , t h e r s t p e n a l t y

t e r m ( j r l j

2

) f o r c e s s p a t i a l s m o o t h n e s s o n t h e i l l u m i n a t i o n i m a g e . T h i s c h o i c e o f s m o o t h n e s s

p e n a l t y i s n a t u r a l , i f w e k e e p i n m i n d t h a t m i n i m i z i n g

R

( j r l j

2

) d x d y t r a n s l a t e s i n t o t h e

E u l e r - L a g r a n g e ( E L ) e q u a t i o n l = 0 . I t s s t e e p e s t d e s c e n t s o l u t i o n i s a G a u s s i a n s m o o t h i n g

o p e r a t i o n w i t h i n c r e a s i n g v a r i a n c e o f t h e i n i t i a l c o n d i t i o n . A s m e n t i o n e d i n t h e p r e v i o u s s e c -

t i o n , s e v e r a l a u t h o r s p r o p o s e d G a u s s i a n s m o o t h i n g o f s f o r t h e i l l u m i n a t i o n r e c o n s t r u c t i o n .

T h e s e c o n d p e n a l t y t e r m ( l ; s )

2

f o r c e s a p r o x i m i t y b e t w e e n l a n d s . T h e d i e r e n c e b e t w e e n

t h e s e i m a g e s i s e x a c t l y r , w h i c h m e a n s t h a t t h e n o r m o f r s h o u l d b e s m a l l ( i . e . , R t e n d s t o

B l a c k ) . T h i s t e r m i s w e i g h t e d b y t h e f r e e p a r a m e t e r . T h e m a i n o b j e c t i v e o f t h i s t e r m i s a

r e g u l a r i z a t i o n o f t h e p r o b l e m t h a t m a k e s i t b e t t e r c o n d i t i o n e d . N o t i c e t h a t , i n a d d i t i o n , w e

f o r c e t h e s o l u t i o n l t o b e l s .

T h e t h i r d t e r m r e p r e s e n t s a B a y e s i a n p e n a l t y e x p r e s s i o n . I t f o r c e s t h e r e e c t a n c e i m a g e r t o

b e a ` v i s u a l l y p l e a s i n g ' i m a g e . T h i s t e r m f o r c e s r t o b e s p a t i a l l y s m o o t h , a n d i t i s w e i g h t e d

b y t h e f r e e p a r a m e t e r . N o t e t h a t m o r e c o m p l i c a t e d B a y e s i a n e x p r e s s i o n s m a y b e u s e d

a l l o w i n g s h a r p e d g e s , t e x t u r e s , 1 = f b e h a v i o r , e t c . 3 , 6 , 1 0 , 1 6 ] . A s l o n g a s t h i s e x p r e s s i o n

i s p u r e l y q u a d r a t i c , t h e a b o v e m i n i m i z a t i o n p r o b l e m r e m a i n s f a i r l y s i m p l e .

T h e p r o b l e m w e h a v e j u s t d e n e d h a s a Q u a d r a t i c P r o g r a m m i n g ( Q P ) f o r m 1 , 1 5 ] . T h e

n e c e s s a r y a n d s u c i e n t c o n d i t i o n s f o r i t s m i n i m i z a t i o n a r e o b t a i n e d v i a t h e E u l e r - L a g r a n g e

e q u a t i o n s

8 ( x y ) 2

8

>

>

>

>

>

>

>

>

>

>

>

:

@ F l ]

@ l

= 0 = ; l + ( l ; s ) ; ( l ; s ) a n d l > s

o r

l = s

9

>

>

>

>

>

>

=

>

>

>

>

>

>

( 2 )

N o t e t h a t t h e d i e r e n t i a l e q u a t i o n d o e s n o t h a v e t o h o l d w h e n l = s .

3 . 2 N u m e r i c a l S o l u t i o n

T h e m i n i m i z a t i o n p r o b l e m i s Q P w i t h r e s p e c t t o t h e u n k n o w n i m a g e l . M a n y a l g o r i t h m s

f o r s o l v i n g s u c h p r o b l e m s a r e k n o w n i n t h e l i t e r a t u r e 1 , 1 5 ] . I n t h i s p a p e r w e c h o s e t o

f o c u s o n t h e P r o j e c t e d N o r m a l i z e d S t e e p e s t D e s c e n t ( P N S D ) a l g o r i t h m , a c c e l e r a t e d b y a

m u l t i - r e s o l u t i o n t e c h n i q u e .

7


9/31

3 . 2 . 1 P r o j e c t e d N o r m a l i z e d S t e e p e s t D e s c e n t

T h e P N S D a l g o r i t h m r e q u i r e s t h e a p p l i c a t i o n o f a N o r m a l i z e d S t e e p e s t D e s c e n t ( N S D )

i t e r a t i o n t h a t m i n i m i z e s t h e f u n c t i o n a l F l ] , f o l l o w e d b y a p r o j e c t i o n o n t o t h e c o n s t r a i n t s .

A N S D i t e r a t i o n h a s t h e f o r m a t :

l

j

= l

j ; 1

;

N S D

G

w h e r e l

j

a n d l

j ; 1

a r e t h e i l l u m i n a t i o n i m a g e s a t s t e p j a n d j ; 1 , r e s p e c t i v e l y , G i s t h e

g r a d i e n t o f F l ] , a n d

N S D

i s t h e o p t i m a l l i n e - s e a r c h s t e p s i z e . I n o u r c a s e , E q u a t i o n ( 2 ) , t h e

g r a d i e n t o f F l ] i s g i v e n b y :

G = ; l

j ; 1

+ ( ; ) ( l

j ; 1

; s )

a n d

N S D

i s g i v e n b y :

N S D

=

R

j G j

2

R

( j G j

2

+ ( 1 + ) j r G j

2

)

O b s e r v e t h a t , b y i n t e g r a t i o n b y p a r t s ,

R

j r G j

2

= ;

R

G G u p t o b o u n d a r y c o n d i t i o n s .

A n a l t e r n a t i v e a p p r o a c h i s t h e S t e e p e s t D e s c e n t ( S D ) a l g o r i t h m , w h e r e

N S D

i s r e p l a c e d b y

a c o n s t a n t v a l u e

S D

, s u c h t h a t :

S D

2

0

2

m a x

f ; ( 1 + ) + I g

!

w h e r e

m a x

f A g r e f e r s t o t h e g r e a t e s t e i g e n v a l u e o f t h e l i n e a r o p e r a t o r A . T h i s a l t e r n a t i v e

m e t h o d s a v e s c o m p u t a t i o n s a t t h e e x p e n s e o f a s l i g h t l y s l o w e r c o n v e r g e n c e .

F i n a l l y , p r o j e c t i n g o n t o t h e c o n s t r a i n t l s i s d o n e b y l

j

= m a x ( l

j

s ) .

N o t i c e t h a t G c a n b e c a l c u l a t e d b y :

G = G

A

+ ( l

j ; 1

; s ) ; ( G

A

; G

B

)

w h e r e

G

A

4

= l

j ; 1

G

B

4

= s

k

:

S i m i l a r l y ,

N S D

i s g i v e n b y :

N S D

=

A

A

+ ( 1 + )

B

w h e r e

A

4

=

Z

j G j

2

B

4

=

Z

j r G j

2

:

8


10/31

W e a p p r o x i m a t e t h e L a p l a c i a n b y a l i n e a r c o n v o l u t i o n w i t h t h e k e r n e l

L A P

L A P

=

2

6

6

6

6

6

6

4

0 1 0

1 ; 4 1

0 1 0

3

7

7

7

7

7

7

5

a n d t h e i n t e g r a t i o n s a r e a p p r o x i m a t e d b y s u m m a t i o n s :

Z

j G j

2

X

n

X

m

G n m ]

2

Z

j r G j

2

= ;

Z

G G

;

X

n

X

m

G n m ] ( G

L A P

) n m ]

w h e r e G m n ] = G ( m x n y ) I n o r d e r t o a c c o m m o d a t e t h e b o u n d a r y c o n d i t i o n s , a s g i v e n

i n E q u a t i o n ( 1 ) , t h e a b o v e c o n v o l u t i o n i s a p p l i e d o n a n e x p a n d e d v e r s i o n o f t h e i m a g e G . T h s

e x t e n s i o n i s d o n e b y r e p l i c a t i n g t h e r s t a n d l a s t c o l u m n s a n d r o w s . A f t e r t h e c o n v o l u t i o n ,

t h e a d d i t i o n a l r o w s a n d c o l u m n s a r e r e m o v e d .

3 . 2 . 2 M u l t i - R e s o l u t i o n

A l t h o u g h s i m p l e , t h e P N S D a l g o r i t h m u s u a l l y c o n v e r g e s s l o w l y 1 , 1 5 ] . I n s t e a d o f g e n e r a l

a c c e l e r a t i o n s c h e m e s , w e u s e t h e f a c t t h a t t h e u n k n o w n i m a g e l i s a s s u m e d t o b e s m o o t h .

S p e c i c a l l y , w e a p p l y a m u l t i - r e s o l u t i o n a l g o r i t h m t h a t s t a r t s b y e s t i m a t i n g a c o a r s e r e s o l u -

t i o n i m a g e l , e x p a n d s i t b y i n t e r p o l a t i o n a n d u s e s t h e r e s u l t a s a n i n i t i a l i z a t i o n f o r t h e n e x t

r e s o l u t i o n l a y e r . T h i s w a y , f e w i t e r a t i o n s a t e a c h r e s o l u t i o n a r e e n o u g h f o r c o n v e r g e n c e .

3 . 2 . 3 T h e A l g o r i t h m

S u m m a r i z i n g t h e a b o v e , a p r o p o s e d a l g o r i t h m f o r t h e s o l u t i o n o f E q u a t i o n ( 1 ) i n v o l v e s t h e

f o l l o w i n g s t e p s ,

1 . I n p u t : T h e i n p u t t o t h e a l g o r i t h m i s a n i m a g e s o f s i z e N M ] , a n d t w o p a r a m e t e r s

a n d .

2 . I n i t i a l i z a t i o n : C o m p u t e a G a u s s i a n p y r a m i d o f t h e i m a g e s . T h i s p y r a m i d i s c o n -

s t r u c t e d b y s m o o t h i n g t h e i m a g e w i t h t h e k e r n e l

P Y R

:

9


11/31

P Y R

=

2

6

6

6

6

6

6

4

1

1 6

1

8

1

1 6

1

8

1

4

1

8

1

1 6

1

8

1

1 6

3

7

7

7

7

7

7

5

a n d d e c i m a t i n g b y 2 : 1 r a t i o . T h e p r o c e s s i s r e p e a t e d p t i m e s a n d p r o d u c e s a s e q u e n c e

o f i m a g e s f s

k

g

p

k = 1

. T h e i m a g e s

1

i s t h e o r i g i n a l i m a g e s , a n d s

p

i s t h e o n e w i t h t h e

c o a r s e s t r e s o l u t i o n i n t h i s p y r a m i d . D e n e t h e n u m e r i c a l i n n e r p r o d u c t

h G F i =

N

X

n = 1

M

X

m = 1

G n m ] F n m ]

a n d t h e n u m e r i c a l L a p l a c i a n a t t h e k

t h

r e s o l u t i o n a s

k

G = G k

L A P

2

; 2 ( k ; 1 )

.

S e t k = p , i . e . , s t a r t a t t h e c o a r s e s t r e s o l u t i o n l a y e r , a n d s e t t h e i n i t i a l c o n d i t i o n

l

0

= m a x f s

p

g .

3 . M a i n L o o p : F o r t h e k

t h

r e s o l u t i o n l a y e r ,

C a l c u l a t e G

B

4

=

k

s

k

.

F o r j = 1 : : T

k

D o :

( a ) C a l c u l a t e g r a d i e n t :

G

A

4

=

k

l

j ; 1

G G

A

+ ( l

j ; 1

; s

k

) ; ( G

A

; G

B

) :

( b ) C a l c u l a t e

N S D

:

A

4

= h G G i

B

4

= ; h G

k

G i

N S D

A

= (

A

+ ( 1 + )

B

) :

( c ) C o m p l e t e N S D i t e r a t i o n :

l

j

l

j ; 1

;

N S D

G

( d ) P r o j e c t o n t o t h e c o n s t r a i n t s

l

j

= m a x f l

j

s

k

g :

1 0


12/31


13/31

T h e p r o o f i s g i v e n i n A p p e n d i x A .

R e g a r d i n g t h e c o n v e r g e n c e o f t h e n u m e r i c a l s c h e m e , t h e c o r e o f t h e p r o p o s e d a l g o r i t h m i s t h e

P r o j e c t e d N o r m a l i z e d S t e e p e s t D e s c e n t ( P N S D ) a l g o r i t h m , w h i c h i s k n o w n t o c o n v e r g e f o r

c o n v e x o p t i m i z a t i o n p r o b l e m s , s u c h a s o u r c a s e 1 , 1 5 ] . T h e p y r a m i d a l s h e l l o f t h e a l g o r i t h m

c a n b e c o n s i d e r e d a s a n e c i e n t m e t h o d f o r c r e a t i n g a g o o d i n i t i a l i z a t i o n f o r t h e h i g h e s t

r e s o l u t i o n l a y e r s t a g e . W e f o u n d t h a t f e w i t e r a t i o n s a t t h e n e r r e s o l u t i o n l a y e r a r e s u c i e n t

f o r e e c t i v e c o n v e r g e n c e .

4 C o l o r I m a g e s

T h u s f a r w e d e a l t w i t h a s i n g l e c h a n n e l . I n t h i s s e c t i o n , w e a p p l y o u r m e t h o d t o c o l o r i m a g e s .

W h e n w e p r o c e s s c o l o r i m a g e s o n e o p t i o n i s t o d e a l e a c h c o l o r c h a n n e l s e p a r a t e l y . W e r e f e r

t o c h a n n e l - b y - c h a n n e l p r o c e s s i n g a s ` R G B R e t i n e x ' . T r e a t i n g t h e R , G , a n d B c h a n n e l s

s e p a r a t e l y u s u a l l y y i e l d s a c o l o r c o r r e c t i o n e e c t . F o r e x a m p l e , R G B R e t i n e x o n a r e d d i s h

i m a g e i s e x p e c t e d t o m o d i f y t h e i l l u m i n a t i o n i n s u c h a w a y t h a t t h e r e d h u e i s r e m o v e d s o

t h a t t h e r e s u l t i n g i m a g e i s b r i g h t e n e d a n d c o r r e c t e d . T h e r e f o r e , f o r s o m e k i n d s o f i m a g e s ,

R G B R e t i n e x a c t u a l l y i m p r o v e s t h e c o l o r s . I n f e w o t h e r c a s e s , s u c h c o l o r c o r r e c t i o n c a n

c a u s e c o l o r a r t i f a c t s t h a t e x a g g e r a t e c o l o r s h i f t s , o r r e d u c e c o l o r s a t u r a t i o n .

A n o t h e r a p p r o a c h i s t o m a p t h e c o l o r s i n t o a d i e r e n t c o l o r s p a c e , s u c h a s H S V , a p p l y t h e

R e t i n e x c o r r e c t i o n o n l y t o t h e i n t e n s i t y l a y e r , a n d t h e n m a p b a c k t o t h e R G B d o m a i n . W e

r e f e r t o t h i s m e t h o d a s t h e ` H S V R e t i n e x ' . C o l o r s h i f t s i n s u c h c a s e s a r e l e s s - l i k e l y . T h e

a d v a n t a g e i s t h a t w e h a v e t o p r o c e s s a s i n g l e c h a n n e l . T h e m a i n d r a w b a c k i s t h a t c o l o r s a r e

n o l o n g e r c o r r e c t e d w i t h r e s p e c t t o t h e i l l u m i n a t i o n h u e .

5 A l t e r n a t i v e I l l u m i n a t i o n C o r r e c t i o n

T h e r e e c t a n c e i m a g e o b t a i n e d b y t h e R e t i n e x p r o c e s s i s s o m e t i m e s a n o v e r - e n h a n c e d i m a g e .

T h i s c a n b e e x p l a i n e d b y t h e f a c t s t h a t i ) t h e h u m a n v i s u a l s y s t e m u s u a l l y p r e f e r s s o m e

i l l u m i n a t i o n i n t h e i m a g e , a n d t h a t i i ) r e m o v a l o f a l l t h e i l l u m i n a t i o n e x p o s e s n o i s e t h a t

m i g h t e x i s t i n d a r k e r r e g i o n s o f t h e o r i g i n a l i m a g e .

W e p r o p o s e a d d i n g a c o r r e c t e d v e r s i o n o f t h e r e c o n s t r u c t e d i l l u m i n a t i o n b a c k t o t h e r e -

c o n s t r u c t e d r e e c t a n c e i m a g e . F i g u r e 3 d e s c r i b e s t h i s o p e r a t i o n . T h e p r o p o s e d s c h e m e

c o m p u t e s t h e i l l u m i n a t i o n i m a g e L = e x p ( l ) f r o m t h e i n t e n s i t y i m a g e S = e x p ( s ) , a n d t h e

r e e c t a n c e i m a g e R = S = L , a s d i s c u s s e d i n p r e v i o u s s e c t i o n s . T h e n , w e ` t u n e u p ' t h e i l l u -

m i n a t i o n i m a g e L b y a G a m m a C o r r e c t i o n o p e r a t i o n w i t h a f r e e p a r a m e t e r , o b t a i n a n e w

i l l u m i n a t i o n i m a g e L

0

, a n d m u l t i p l y i t b y R , t h a t g i v e s t h e o u t p u t i m a g e S

0

= L

0

R . T h e

G a m m a c o r r e c t i o n i s p e r f o r m e d b y

L

0

= W

L

W

1

( 4 )

1 2


14/31

S

ImageInput

S

Correction

Gamma

L

S

S

L

R

Retinex

reconstruction)(Illumination

L

F i g u r e 3 : R e t u r n i n g p a r t o f t h e i l l u m i n a t i o n t o t h e r e e c t a n c e i m a g e

w h e r e W i s t h e W h i t e v a l u e ( e q u a l t o 2 5 5 i n 8 - b i t i m a g e s ) .

T h e n a l r e s u l t S

0

i s g i v e n , t h e r e f o r e , b y :

S

0

= L

0

R =

L

0

L

S

= W

( L = W )

1 =

L

S =

S

( L = W )

1 ; 1 =

: ( 5 )

F o r = 1 , t h e w h o l e i l l u m i n a t i o n i s a d d e d b a c k , a n d t h e r e f o r e S

0

= S . F o r = 1 , n o

i l l u m i n a t i o n i s r e t u r n e d , a n d w e g e t S

0

= R W , w h i c h i s t h e s a m e r e e c t a n c e i m a g e , R , a s

o b t a i n e d b y t h e o r i g i n a l r e t i n e x , s t r e t c h e d t o t h e i n t e r v a l 0 W ] . T h e l a t e r c a s e c a n a l s o b e

c o n s i d e r e d a s a d d i n g a m a x i m u m c o n s t a n t i l l u m i n a t i o n W t o t h e r e e c t a n c e i m a g e R .

A d d i n g p a r t o f t h e i l l u m i n a t i o n t o t h e n a l i m a g e c a n a l s o b e f o u n d i n t h e h o m o m o r p h i c

l t e r i n g a p p r o a c h . I n 1 8 , C h a p t e r 1 0 ] , t h e p r o p o s e d l i n e a r l t e r f o r t h e i l l u m i n a t i o n c a l c u -

l a t i o n i n t h e l o g d o m a i n , r e m o v e s h i g h - p a s s s p a t i a l c o m p o n e n t s o f s , y e t a l s o a t t e n u a t e s t h e

l o w - p a s s c o m p o n e n t s b y a f a c t o r o f

i

( w h e r e i s t a n d s f o r i l l u m i n a t i o n ) . T h i s i s a n a l o g t o a

g a m m a c o r r e c t i o n o f t h e i l l u m i n a t i o n w i t h =

i

, s i n c e E q u a t i o n ( 5 ) c a n b e w r i t t e n i n t h e

f o r m :

S

0

W

=

L

W

1 =

R ( 6 )

a n d t h e r e f o r e :

s

0

; w =

1

( l ; w ) + r

1 3


15/31

=

1

( l o w - p a s s c o m p o n e n t s ) + ( h i g h - p a s s c o m p o n e n t s ) : ( 7 )

6 R e s u l t s

I n o u r e x p e r i m e n t s w e a p p l i e d t h e n u m e r i c a l a l g o r i t h m o f S e c t i o n 3 t o s e v e r a l t e s t i m a g e s .

T h e r e s u l t s c o r r e s p o n d t o = 0 : 0 0 0 1 a n d = 0 : 1 , u n l e s s i n d i c a t e d d i e r e n t l y . F o u r

r e s o l u t i o n l a y e r s w e r e u s e d w i t h T

k

= 2 4 8 , a n d 1 6 i t e r a t i o n s a t e a c h l a y e r , 2 i t e r a t i o n s

a t t h e n e s t ( k = 1 ) a n d 1 6 a t t h e c o a r s e s t r e s o l u t i o n ( k = 4 ) .

I n t h e r s t t e s t , w e a p p l y t h e R G B a n d t h e H S V R e t i n e x a l g o r i t h m s t o s e v e n i n p u t i m a g e s .

T h e r e s u l t s a r e s h o w n i n F i g u r e s 4 { 1 0 .

T h e s e c o n d t e s t ( F i g u r e 1 1 ) p r e s e n t s t h e i n u e n c e o f t h e v a l u e s o n t h e r e c o n s t r u c t e d

r e e c t a n c e i m a g e .

I n F i g u r e 1 2 w e t e s t t h e e e c t o f t h e n u m b e r o f i t e r a t i o n s o n t h e r e e c t a n c e r e s u l t . I n a l l

c a s e s , t h e n u m b e r o f i t e r a t i o n s w a s x e d t o C o n s t 2

k

, w h e r e k i s t h e r e s o l u t i o n l a y e r , w i t h

2 C o n s t i t e r a t i o n a t t h e n e s t r e s o l u t i o n . T h e n u m b e r o f i t e r a t i o n s i s d e t e r m i n e d b y t h e

c o n s t a n t C o n s t 2 f 1 2 4 8 1 6 g .

I n F i g u r e 1 3 , w e r e s t o r e t h e i l l u m i n a t i o n t h r o u g h G a m m a c o r r e c t i o n a n d a d d i t b a c k t o t h e

r e e c t a n c e i m a g e . W e u s e e a c h o f t h e v a l u e s = f 1 2 6 2 4 9 6 g f o r e a c h o u t p u t i m a g e ,

r e s p e c t i v e l y .

F i n a l l y , w e d e m o n s t r a t e t h e c o n v e r g e n c e o f t h e p r o p o s e d n u m e r i c a l a l g o r i t h m . F i g u r e 1 4

s h o w s t h e v a l u e s o f F l

n

] , t h e f u n c t i o n a l i n E q u a t i o n ( 1 ) , a s a f u n c t i o n o f t h e n u m b e r o f

i t e r a t i o n s . T h e r e s u l t s c o r r e s p o n d t o t h e i m a g e i n F i g u r e 9 . T h e a l g o r i t h m i n t h i s c a s e r u n s

o n t h e R , G , a n d B l a y e r s s e p a r a t e l y , w i t h o u t t h e p y r a m i d a l s t r u c t u r e , s o t h a t a l l l

n

a r e

c o m p u t e d a t t h e s a m e r e s o l u t i o n . A s c a n b e s e e n , a r a p i d c o n v e r g e n c e i s o b t a i n e d f o r a l l t h e

t h r e e c h a n n e l s .

W e c o n c l u d e t h a t

1 . A s w e s e e i n F i g u r e s 4 { 1 0 , b o t h t h e R G B a n d t h e H S V R e t i n e x a l g o r i t h m s p r o v i d e d

t h e d e s i r e d r e s u l t s . T h e r e e c t a n c e i m a g e s a r e i n d e e d e n h a n c e d v e r s i o n s o f t h e o r i g i n a l

o n e , a l t h o u g h i n s o m e v e r s i o n s t h e y a r e o v e r - e n h a n c e d .

2 . T h e i l l u m i n a t i o n f e e d b a c k t h r o u g h G a m m a c o r r e c t i o n s e e m s t o i m p r o v e b o t h t h e R G B

a n d t h e H S V R e t i n e x r e s u l t s . H o w e v e r , t h e y h a v e d i e r e n t e e c t s : I n t h e R G B R e t i n e x

t h i s p r o c e s s r e s t o r e s s o m e o f t h e c o l o r s , w h e r e a s i n t h e H S V R e t i n e x , t h e r e s u l t i s m e r e l y

d a r k e r .

3 . W h e n w e c o m p a r e t h e R G B a n d t h e H S V R e t i n e x a l g o r i t h m s i t s e e m s t h a t t h e b e t -

t e r m e t h o d d e p e n d s o n t h e i n p u t i m a g e . G e n e r a l l y s p e a k i n g , f o r i m a g e s w i t h c o l o r e d

1 4


16/31

( a ) ( b ) ( c )

( d ) ( e ) ( f )

( g ) ( h ) ( i )

( j ) ( k ) ( l )

F i g u r e 4 : E x a m p l e 1 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g o f a l l R G B c o m p o n e n t s s e p a r a t e l y , w h e r e a s

i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o n l y t h e V c o m p o n e n t o f t h e H S V s p a c e . ( a ) , ( g ) O r i g i n a l

i m a g e , ( b ) , ( h ) s t a n d a r d G a m m a c o r r e c t i o n w i t h = 2 : 2 , ( c ) , ( i ) e s t i m a t e d i l l u m i n a t i o n i m a g e ,

( d ) , ( j ) p r o p o s e d a l g . w i t h = 2 , ( e ) , ( k ) p r o p o s e d a l g . w i t h = 4 , ( f ) , ( l ) r e e c t a n c e i m a g e ( p r o p o s e d

a l g . w i t h = 1 ) .

1 5


17/31


18/31


19/31

( a ) ( b ) ( c )

( d ) ( e ) ( f )

( g ) ( h ) ( i )

( j ) ( k ) ( l )





a l g . w i t h = 1 ) .

1 8


20/31

( a ) ( b ) ( c )

( d ) ( e ) ( f )

( g ) ( h ) ( i )

( j ) ( k ) ( l )





a l g . w i t h = 1 ) .

1 9


21/31

( a ) ( b ) ( c )

( d ) ( e ) ( f )

( g ) ( h ) ( i )

( j ) ( k ) ( l )





a l g . w i t h = 1 ) .

2 0


22/31

( a ) ( b ) ( c )

( d ) ( e ) ( f )

( g ) ( h ) ( i )

( j ) ( k ) ( l )

F i g u r e 1 0 : E x a m p l e 7 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g o f a l l R G B c o m p o n e n t s s e p a r a t e l y ,

w h e r e a s i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o n l y t h e V c o m p o n e n t o f t h e H S V s p a c e . ( a ) , ( g )

O r i g i n a l i m a g e , ( b ) , ( h ) s t a n d a r d G a m m a c o r r e c t i o n w i t h = 2 : 2 , ( c ) , ( i ) e s t i m a t e d i l l u m i n a t i o n

i m a g e , ( d ) , ( j ) p r o p o s e d a l g . w i t h = 2 , ( e ) , ( k ) p r o p o s e d a l g . w i t h = 4 , ( f ) , ( l ) r e e c t a n c e i m a g e

( p r o p o s e d a l g . w i t h = 1 ) .

2 1


23/31

( a ) ( b ) ( c )

( d ) ( e ) ( f )

( g ) ( h ) ( i )

( j ) ( k ) ( l )

F i g u r e 1 1 : T h e i n u e n c e o f . ( a ) , ( g ) O r i g i n a l i m a g e , ( b ) , ( h ) = 1 e - 5 , ( c ) , ( i ) = 1 e - 3 , ( d ) , ( j )

= 1 e - 1 , ( e ) , ( k ) = 1 , ( f ) , ( l ) = 1 0 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g o f a l l R G B c o m p o n e n t s

s e p a r a t e l y , w h e r e a s i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o f V c o m p o n e n t o f H S V s p a c e o n l y .

2 2


24/31

( a ) ( b ) ( c )

( d ) ( e ) ( f )

( g ) ( h ) ( i )

( j ) ( k ) ( l )

F i g u r e 1 2 : T h e i n u e n c e o f v a r y i n g t h e n u m b e r o f i t e r a t i o n s T . ( a ) , ( g ) O r i g i n a l i m a g e , ( b ) , ( h )

T = 2 , ( c ) , ( i ) T = 4 , ( d ) , ( j ) T = 8 , ( e ) , ( k ) T = 1 6 , ( f ) , ( l ) T = 3 2 . I m a g e s ( b ) - ( f ) r e f e r t o p r o c e s s i n g

o f a l l R G B c o m p o n e n t s s e p a r a t e l y , w h e r e a s i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o f V c o m p o n e n t

o f H S V s p a c e o n l y .

2 3


25/31

( a ) ( b ) ( c )

( d ) ( e ) ( f )

( g ) ( h ) ( i )

( j ) ( k ) ( l )

F i g u r e 1 3 : T h e i n u e n c e o f p a r a m e t e r ( a m o u n t o f i l l u m i n a t i o n r e t u r n ) . ( a ) , ( g ) O r i g i n a l i m a g e ,

( b ) , ( h ) = 1 , ( c ) , ( i ) = 2 , ( d ) , ( j ) = 6 , ( e ) , ( k ) = 2 4 , ( f ) , ( l ) = 9 6 . I m a g e s ( b ) - ( f ) r e f e r t o

p r o c e s s i n g o f a l l R G B c o m p o n e n t s s e p a r a t e l y , w h e r e a s i m a g e s ( h ) - ( l ) c o r r e s p o n d t o p r o c e s s i n g o f

V c o m p o n e n t o f H S V s p a c e o n l y .

2 4


26/31


27/31


28/31


29/31

2 . B a s e d o n t h e p r e v i o u s r e s u l t s , t h e s o l u t i o n s s h o u l d b e o n t h e b o u n d a r y o f C : l

1

l

2

=2

I n t e r i o r f C g .

3 . T h e f u n c t i o n a l v a l u e o f t h e t w o s o l u t i o n s s h o u l d b e t h e s a m e : F l

1

] = F l

2

] .

4 . T h e s o l u t i o n s a r e o p t i m a l : 8 l 2 C F l ] > F l

1

] .

5 . T h e s o l u t i o n s s h o u l d n o t b e e q u a l t o

l

o p t

, i . e . , F l ] : l

1

l

2

6=

l

o p t

.

S i n c e C i s c o n v e x , 8 2 ( 0 1 ) l

0

= ( 1 ; ) l

1

+ l

2

2 C . M o r e o v e r , b y t h e s t r i c t c o n v e x i t y

o f F l ] , w e h a v e t h a t F l

0

] = F ( 1 ; ) l

1

+ l

2

]


30/31

B R e f e r e n c e s

1 ] D . P . B e r t s e k a s , N o n - L i n e a r P r o g r a m m i n g , A t h e n a S c i e n t i c , B e l m o n t , M a s s a c h u s e t t s ,

1 9 9 5 .

2 ] A . B l a k e , \ B o u n d a r y C o n d i t i o n s o f L i g h t n e s s C o m p u t a t i o n i n M o n d r i a n W o r l d " , C o m -

p u t e r V i s i o n G r a p h i c s a n d I m a g e P r o c e s s i n g , V o l . 3 2 , p p . 3 1 4 { 3 2 7 , 1 9 8 5 .

3 ] A . B l a k e a n d A . Z i s s e r m a n , V i s u a l R e c o n s t r u c t i o n , T h e M I T P r e s s , C a m b r i d g e , M a s -

s a c h u s e t t s 1 9 8 7 .

4 ] D . H . B r a i n a r d , a n d B . W a n d e l l , \ A n a l y s i s o f t h e R e t i n e x T h e o r y o f C o l o r V i s i o n " , J .

O p t . S o c . A m . A , V o l . 3 , p p . 1 6 5 1 { 1 6 6 1 , 1 9 8 6 .

5 ] O . D . F a u g f e r a s , \ D i g i t a l I m a g e C o l o r P r o c e s s i n g W i t h i n t h e F r a m e w o r k o f a H u m a n

V i s u a l S y s t e m " , I E E E T r a n s . o n A S S P , V o l . 2 7 , p p . 3 8 0 { 3 9 3 , 1 9 7 9 .

6 ] S . G e m a n a n d D . G e m a n , " S t o c h a s t i c r e l a x a t i o n , G i b b s d i s t r i b u t i o n , a n d t h e B a y e s i a n

r e s t o r a t i o n o f i m a g e s " , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n s M a c h i n e , V o l . 6 , p p . 7 2 1 -

7 4 1 , 1 9 8 4 .

7 ] B . K . P . H o r n , \ D e t e r m i n i n g L i g h t n e s s f r o m a n I m a g e " , C o m p u t e r G r a p h i c s a n d I m a g e

P r o c e s s i n g , V o l , 3 . p p . 2 7 7 { 2 9 9 , 1 9 7 4 .

8 ] D . J . J o b s o n , Z . R a h m a n , a n d G . A . W o o d e l l , \ P r o p e r t i e s a n d P e r f o r m a n c e o f t h e

C e n t e r / S u r r o u n d R e t i n e x " , I E E E T r a n s . o n I m a g e P r o c . , V o l . 6 , p p . 4 5 1 { 4 6 2 , 1 9 9 7 .

9 ] D . J . J o b s o n , Z . R a h m a n , a n d G . A . W o o d e l l , \ A M u l t i s c a l e R e t i n e x f o r B r i d g i n g t h e

G a p B e t w e e n C o l o r I m a g e s a n d t h e H u m a n O b s e r v a t i o n o f S c e n e s " , I E E E T r a n s . o n

I m a g e P r o c . , V o l . 6 , 1 9 9 7 .

1 0 ] R . L . L a g e n d i j k a n d J . B i e m o n d , I t e r a t i v e I d e n t i c a t i o n a n d R e s t o r a t i o n o f I m a g e s ,

K l u w e r A c a d e m i c P u b l i s h i n g , B o s t o n , M a s s a c h u s e t t s , 1 9 9 1 .

1 1 ] E . H . L a n d , \ T h e R e t i n e x T h e o r y o f C o l o r V i s i o n " , S c i . A m e r . , V o l . 2 3 7 , p p . 1 0 8 - 1 2 8 ,

1 9 7 7 .

1 2 ] E . H . L a n d , \ R e c e n t A d v a n c e s i n t h e R e t i n e x T h e o r y a n d S o m e I m p l i c a t i o n s f o r C o r t i c a l

C o m p u t a t i o n s : C o l o r V i s i o n a n d t h e N a t u r a l I m a g e " , P r o c . N a t . A c a d . S c i . U S A , V o l .

8 0 , p p . 5 1 6 3 { 5 1 6 9 , 1 9 8 3 .

1 3 ] E . H . L a n d , \ A n A l t e r n a t i v e T e c h n i q u e f o r t h e C o m p u t a t i o n o f t h e D e s i g n a t o r i n t h e

R e t i n e x T h e o r y o f C o l o r V i s i o n " , P r o c . N a t . A c a d . S c i . U S A , V o l . 8 3 , p p . 3 0 7 8 { 3 0 8 0 ,

1 9 8 6 .

1 4 ] E . H . L a n d , a n d J . J . M c C a n n , \ L i g h t n e s s a n d t h e R e t i n e x T h e o r y " , J . O p t . S o c . A m . ,

V o l . 6 1 , p p . 1 { 1 1 , 1 9 7 1 .

2 9


31/31

1 5 ] D . G . L u e n b e r g e r , L i n e a r a n d N o n - L i n e a r P r o g r a m m i n g , A d d i s o n - W e s l e y P u b . , M e n l o -

P a r k , C a l i f o r n i a , S e c o n d E d i t i o n , 1 9 8 7 .

1 6 ] J . M a r r o q u i n , J . M i t t e r a n d T . P o g g i o , " P r o b a b i l i s t i c s o l u t i o n f o r i l l - p o s e d p r o b l e m s i n

c o m p u t a t i o n a l v i s i o n " , J . o f t h e A m e r i c a n S t a t i s t i c a l A s s o s . , V o l . 8 2 , p p . 7 6 - 8 9 , 1 9 8 7 .

1 7 ] J . J . M c C a n n , a n d I . S o b e l , \ E x p e r i m e n t s w i t h R e t i n e x " , H P L C o l o r S u m m i t , 1 9 9 8 .

1 8 ] A . V . O p p e n h e i m a n d R . W . S c h a f e r , D i g i t a l S i g n a l P r o c e s s i n g , P r e n t i c e H a l l : N e w

J e r s e y , 1 9 7 5 .

1 9 ] A . P a p o u l i s , P r o b a b i l i t y , R a n d o m V a r i a b l e s , a n d S t o c h a s t i c P r o c e s s e s , t h i r d E d i t i o n ,

p p . 3 4 5 { 3 4 6 , M c G r a w - H i l l , 1 9 9 1 .

2 0 ] D . T e r z o p o u l o s , \ I m a g e A n a l y s i s U s i n g M u l t i g r i d R e l a x a t i o n M e t h o d s " , I E E E T r a n s .

o n P A M I , V o l . 8 , 1 2 9 { 1 3 9 , 1 9 8 6 .

2 1 ] T . G . S t o c k h a m J r , \ I m a g e P r o c e s s i n g i n t h e C o n t e x t o f a V i s u a l M o d e l " P r o c . o f t h e

I E E E , V o l . 6 0 , 8 2 8 { 8 4 2 , 1 9 7 2 .

Variational Framework

Documents

Transcript of Variational Framework