Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy

8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy

1/28

P a r t i a l l y D e c o u p l e d V o l t e r r a F i l t e r s :

F o r m u l a t i o n a n d L M S A d a p t a t i o n

D a v i d W . G r i t h , J r . , a n d G o n z a l o R . A r c e

D e p a r t m e n t o f E l e c t r i c a l E n g i n e e r i n g

U n i v e r s i t y o f D e l a w a r e

N e w a r k , D e l a w a r e 1 9 7 1 6

T e l : ( 3 0 2 ) 8 3 1 - 8 0 3 0 E - m a i l : g r i t h @ e e . u d e l . e d u a n d

a r c e @ e e . u d e l . e d u

A b s t r a c t

T h e a d a p t a t i o n o f V o l t e r r a l t e r s b y o n e p a r t i c u l a r m e t h o d , t h e m e t h o d o f

l e a s t m e a n s q u a r e s ( L M S ) , w h i l e e a s i l y i m p l e m e n t e d , i s c o m p l i c a t e d b y t h e f a c t

t h a t u p p e r b o u n d s f o r t h e v a l u e s o f s t e p s i z e s e m p l o y e d b y a p a r a l l e l u p d a t e

L M S s c h e m e a r e d i c u l t t o o b t a i n . I n t h i s p a p e r , w e p r o p o s e a m o d i c a t i o n

o f t h e V o l t e r r a l t e r i n w h i c h t h e l t e r w e i g h t s o f a g i v e n o r d e r a r e o p t i m i z e d

i n d e p e n d e n t l y o f t h o s e w e i g h t s o f h i g h e r o r d e r . U s i n g t h i s a p p r o a c h , w e t h e n

s o l v e t h e M M S E l t e r i n g p r o b l e m a s a s e r i e s o f c o n s t r a i n e d o p t i m i z a t i o n p r o b -

l e m s , w h i c h p r o d u c e a p a r t i a l l y d e c o u p l e d n o r m a l e q u a t i o n f o r t h e V o l t e r r a

l t e r . F r o m t h i s n o r m a l e q u a t i o n , w e a r e a b l e t o d e v e l o p a n a d a p t a t i o n r o u t i n e

w h i c h u s e s t h e p r i n c i p l e s o f p a r t i a l d e c o u p l i n g w h i c h i s s i m i l a r i n f o r m t o t h e

V o l t e r r a L M S a l g o r i t h m , b u t w i t h i m p o r t a n t s t r u c t u r a l d i e r e n c e s t h a t a l l o w a

s t r a i g h t f o r w a r d d e r i v a t i o n o f b o u n d s o n t h e a l g o r i t h m ' s s t e p s i z e s ; t h e s e b o u n d s

c a n b e s h o w n t o d e p e n d o n t h e r e s p e c t i v e d i a g o n a l b l o c k s o f t h e V o l t e r r a a u -

t o c o r r e l a t i o n m a t r i x . T h i s p r o d u c e s a r e l i a b l e s e t o f d e s i g n g u i d e l i n e s w h i c h

a l l o w m o r e r a p i d c o n v e r g e n c e o f t h e l o w e r - o r d e r w e i g h t s e t s .

S u b m i t t e d t o t h e I E E E T r a n s a c t i o n s o n S i g n a l P r o c e s s i n g

E D I C S P a p e r C a t e g o r y : S P 2 . 7 . 3 ( N o n - l i n e a r F i l t e r s )

P e r m i s s i o n t o p u b l i s h t h i s a b s t r a c t s e p a r a t e l y i s g r a n t e d


2/28

1 I n t r o d u c t i o n

V o l t e r r a l t e r s a r e o n e a p p r o a c h t o t h e p r o b l e m o f c o m p e n s a t i n g f o r t h e e e c t s o f

n o n l i n e a r i t i e s i n t r a n s m i s s i o n c h a n n e l s . T h e V o l t e r r a l t e r m a y b e t r e a t e d i n a f a s h i o n

a n a l o g o u s t o t h e f a m i l i a r l i n e a r l t e r i n g f o r m u l a t i o n i f t h e l t e r r e s p o n s e i s r e f o r m u -

l a t e d a s t h e i n n e r p r o d u c t o f a v e c t o r c o n t a i n i n g a l l t h e l t e r ' s c o e c i e n t s a n d a v e c t o r

c o n t a i n i n g a l l c r o s s p r o d u c t s o f t h e e l e m e n t s o f t h e o b s e r v a t i o n w i n d o w 1 5 ] . V o l t e r r a

l t e r s h a v e b e e n u s e d t o m o d e l n o n l i n e a r d y n a m i c s y s t e m s , i n a d d i t i o n t o m o d e l i n g

n o n l i n e a r c h a n n e l s s u c h a s t h o s e e n c o u n t e r e d i n s a t e l l i t e c o m m u n i c a t i o n s a p p l i c a -

t i o n s 2 ] . O t h e r a p p l i c a t i o n s o f V o l t e r r a l t e r s i n c l u d e e c h o c a n c e l a t i o n , p e r f o r m a n c e

a n a l y s i s o f d a t a t r a n s m i s s i o n s y s t e m s , a d a p t i v e n o i s e c a n c e l a t i o n , a n d d e t e c t i o n o f

n o n l i n e a r f u n c t i o n s o f G a u s s i a n p r o c e s s e s 1 2 ] .

B y m o d e l i n g t h e V o l t e r r a l t e r a s a p s e u d o - l i n e a r o p e r a t o r , a d a p t i v e a l g o r i t h m s

f o r i t e r a t i v e l y d e t e r m i n i n g s e t s o f l t e r w e i g h t s t h a t s a t i s f y t h e m i n i m u m m e a n - s q u a r e

e r r o r ( M M S E ) c r i t e r i o n h a v e b e e n d e v e l o p e d . A m o n g t h e s e a l g o r i t h m s , t h e m e t h o d

o f l e a s t m e a n s q u a r e s ( L M S ) i s a n i m p o r t a n t m e a n s o f l t e r a d a p t a t i o n . B e c a u s e o f

t h e v a r i e d r e s p o n s e o f t h e V o l t e r r a l t e r ' s p r o c e s s i n g s t a g e s t o t h e L M S a d a p t a t i o n ,

i t i s o f t e n d e s i r a b l e t o i m p l e m e n t a p a r a l l e l a d a p t a t i o n s c h e m e , i n w h i c h d i e r e n t

s t e p s i z e s a r e u s e d t o a d a p t d i e r e n t s e t s o f w e i g h t s f r o m d i e r e n t p r o c e s s i n g s t a g e s .

O b t a i n i n g b o u n d s f o r e a c h o f t h e s t e p s i z e s t o g u a r a n t e e m e a n - s q u a r e c o n v e r g e n c e i s

n o t g e n e r a l l y t r a c t a b l e . T h i s l e a d s t o a d - h o c a p p r o a c h e s t o t h e d e s i g n o f L M S s t e p

s i z e s f o r a p a r t i c u l a r a p p l i c a t i o n . I t c a n b e s h o w n , h o w e v e r , t h a t i f t h e V o l t e r r a l t e r -

i n g p r o b l e m i s f o r m u l a t e d a s a s e r i e s o f c o n s t r a i n e d o p t i m i z a t i o n p r o b l e m s , b e g i n n i n g

w i t h a n o p t i m a l l i n e a r l t e r a n d t h e n p r o c e e d i n g t o h i g h e r - o r d e r l t e r i n g s t r u c t u r e s

w h i l e k e e p i n g t h e l o w e r - o r d e r w e i g h t s x e d , t h e n a p a r t i a l d e c o u p l i n g o f t h e l t e r

k e r n e l s r e s u l t s . T h i s i n t u r n l e a d s t o t h e d e v e l o p m e n t o f p a r a l l e l a l g o r i t h m s w h o s e

s t e p s i z e s a r e b o u n d e d n o t b y t h e i n v e r s e o f t h e p o w e r i n t h e e n t i r e V o l t e r r a o b s e r -

v a t i o n v e c t o r , b u t o n l y t h e p o w e r i n t h e p a r t s o f t h e o b s e r v a t i o n v e c t o r o f t h e s a m e

o r l o w e r o r d e r a s t h e w e i g h t s i n q u e s t i o n . T h i s a l l o w s u s t o d e s i g n a s e t o f w e i g h t s

t h a t a l l o w l o w e r - o r d e r w e i g h t s t o c o n v e r g e m o r e r a p i d l y . I t a l s o a l l o w s u s t o d e v e l o p

1


3/28

a m o d u l a r l t e r i n g s t r u c t u r e , i n w h i c h h i g h e r - o r d e r p r o c e s s i n g s t a g e s c a n b e a d d e d

t o a n e x i s t i n g l t e r w i t h o u t r e q u i r i n g r e c o m p u t a t i o n o f t h e l o w e r - o r d e r w e i g h t s .

T h i s p a p e r i s o r g a n i z e d a s f o l l o w s . I n S e c t i o n 2 , w e f o r m u l a t e t h e c o n s t r a i n e d o p -

t i m i z a t i o n p r o b l e m a n d s h o w h o w i t l e a d s t o t h e p a r t i a l l y d e c o u p l e d n o r m a l e q u a t i o n

f o r V o l t e r r a l t e r s . I n S e c t i o n 3 , a p a r t i a l l y d e c o u p l e d g r a d i e n t - b a s e d a l g o r i t h m i s

d e v e l o p e d , a n d b o u n d s o n i t s s e t o f s t e p s i z e s a r e d e r i v e d u s i n g t h e p a r t i a l d e c o u p l i n g

o f t h e w e i g h t s . A p a r a l l e l p a r t i a l l y d e c o u p l e d L M S a l g o r i t h m i s t h e n d e v e l o p e d a n d

i t i s s h o w n t h a t t h e s a m e d e c o u p l i n g p r i n c i p l e s c a n b e u s e d t o d e v e l o p b o u n d s f o r

t h e v a r i o u s s t e p s i z e s . I n S e c t i o n 4 , t h e b e h a v i o r o f t h e p a r t i a l l y d e c o u p l e d L M S

a l g o r i t h m i s e x a m i n e d i n a c h a n n e l e q u a l i z a t i o n e x a m p l e , a n d i t i s s h o w n t h a t t h e

b o u n d s o n t h e s t e p s i z e s t h a t a r e o b t a i n e d a r e r e l i a b l e .

2 V o l t e r r a F i l t e r s

2 . 1 V o l t e r r a T h e o r y

T h e V o l t e r r a l t e r i s b a s e d o n t h e V o l t e r r a s e r i e s , w h e r e e a c h o f t h e a d d i t i v e t e r m s i s

t h e o u t p u t o f a p o l y n o m i a l f u n c t i o n a l w h i c h , a s n o t e d b y 1 2 ] , c a n b e t h o u g h t o f a s

a m u l t i d i m e n s i o n a l c o n v o l u t i o n . I n a d d i t i o n , t h e l t e r o u t p u t i s l i n e a r w i t h r e s p e c t

t o t h e a r g u m e n t s o f t h e v a r i o u s m u l t i - d i m e n s i o n a l c o n v o l u t i o n s . T h i s s e c o n d f a c t i s

i n s t r u m e n t a l i n f o r m u l a t i n g t h e V o l t e r r a i n p u t v e c t o r , w h i c h w i l l b e u s e d t o f o r m u l a t e

a n e x p r e s s i o n f o r t h e o p t i m a l l t e r c o e c i e n t s . F o r m o s t a p p l i c a t i o n s , i t i s d e s i r a b l e

t o f o r m u l a t e a V o l t e r r a l t e r w i t h a n i t e i m p u l s e r e s p o n s e s i n c e r e c u r s i v e a d a p t a t i o n

o f i n n i t e i m p u l s e r e s p o n s e ( I I R ) l t e r c o e c i e n t s i s n o t p o s s i b l e . T h e F I R V o l t e r r a

l t e r ' s o u t p u t m a y b e c h a r a c t e r i z e d b y a t r u n c a t e d V o l t e r r a s e r i e s c o n s i s t i n g o f p + 1

c o n v o l u t i o n a l t e r m s , i n c l u d i n g t h e o s e t t e r m h

0

, d e n e d o v e r a n i t e s u p p o r t . S u c h

a l t e r i s p r o p e r l y k n o w n a s a \ p o l y n o m i a l l t e r " , s i n c e t h e s e r i e s h a s b e e n t r u n c a t e d

t o a n i t e n u m b e r o f t e r m s 1 7 ] , b u t t h e t e r m \ V o l t e r r a l t e r " i s u s e d t o d e s c r i b e s u c h

a l t e r i n m o s t s o u r c e s , a n d t h a t t e r m i n o l o g y w i l l b e p r e s e r v e d h e r e . T h e a r g u m e n t s

o f t h e c o n v o l u t i o n s a r e t h e e l e m e n t s o f t h e o b s e r v a t i o n v e c t o r x ( n ) = x

1

; ; x

N

]

T

,

2


4/28

w h e r e x

i

= x ( n ? i + 1 ) . T h e l t e r o u t p u t i s w r i t t e n a s :

y ( n ) = h

0

+

N

X

i

1

= 1

h

1

( i

1

) x

i

1

+

N

X

i

1

= 1

N

X

i

2

= 1

h

2

( i

1

; i

2

) x

i

1

x

i

2

+ +

N

X

i

1

= 1

N

X

i

p

= 1

h

p

( i

1

; ; i

p

) x

i

1

x

i

p

( 1 )

w h e r e f h

j

( i

1

; ; i

j

) j i

1

; ; i

j

= 1 ; 2 ; ; N ; 1 j p g i s t h e s e t o f j

t h

o r d e r l t e r

w e i g h t s , a n d p i s t h e V o l t e r r a l t e r o r d e r . T h e i n p u t s f o r t h e l t e r c o m p o n e n t s o f

o r d e r g r e a t e r t h a n o n e a r e g e n e r a t e d b y t a k i n g s u c c e s s i v e o u t e r p r o d u c t s o f x ( n ) w i t h

i t s e l f a n d f e e d i n g e a c h r e s u l t i n g k

t h

o r d e r i n p u t v e c t o r , x

k

( n ) , t o a l t e r w i t h w e i g h t s

c o n t a i n e d i n t h e v e c t o r h

k

. T h e p s u b l t e r o u t p u t s y

1

( n ) ; ; y

p

( n ) a r e t h e n s u m m e d

t o p r o d u c e t h e V o l t e r r a l t e r r e s p o n s e y ( n ) .

J u s t a s w e c a n o p t i m i z e a l i n e a r l t e r i f t h e s t a t i s t i c s o f t h e d e s i r e d a n d o b s e r v e d

s i g n a l s a r e k n o w n , w e c a n u s e s i m i l a r t e c h n i q u e s t o c r e a t e a n o p t i m a l V o l t e r r a l t e r .

W e b e g i n b y d e n i n g t h e V o l t e r r a o b s e r v a t i o n v e c t o r x

V

( n ) = x

T

1

( n ) j j x

T

p

( n ) ]

T

w h e r e e a c h s u b - v e c t o r x

j

( n ) ; j = 1 ; 2 ; ; p c o n t a i n s j

t h

o r d e r p r o d u c t s o f t h e e l e -

m e n t s o f t h e i n p u t v e c t o r . F o r i n s t a n c e ,

x

2

( n ) = x

2

1

; x

1

x

2

; ; x

1

x

n

; x

2

2

; x

2

x

3

; x

2

x

n

; x

2

n

]

T

( 2 )

i s a v e c t o r c o n t a i n i n g a l l s e c o n d - o r d e r p r o d u c t s o f t h e e l e m e n t s o f x ( n ) . N o t e t h a t

o n l y o n e p e r m u t a t i o n o f e a c h p r o d u c t x

i

x

j

a p p e a r s i n x

2

( n ) , s o t h a t t h e v e c t o r w i l l

c o n t a i n a x

1

x

2

t e r m , s a y , b u t n o x

2

x

1

t e r m w i l l a p p e a r . F r o m P r o p o s i t i o n 6 . 2 i n

1 6 ] , w e c a n s h o w t h a t t h e l e n g t h o f t h e j

t h

s u b - v e c t o r , w h i c h w e d e n e a s M

j

, i s

M

j

=

0

B

@

N + j ? 1

j

1

C

A

. A l s o , w e d e n e M

k

t o b e t h e l e n g t h o f t h e v e c t o r f o r m e d b y

b u i l d i n g a s e q u e n t i a l a r r a y o f t h e r s t k V o l t e r r a s u b - v e c t o r s x

1

( n ) ; x

2

( n ) ; ; x

k

( n ) ,

i . e . , M

k

=

P

k

j = 1

M

j

; k = 1 ; 2 ; ; p , w i t h M

0

= 0 .

W i t h x

V

( n ) s o d e n e d , w e c a n a r r a n g e t h e c o r r e s p o n d i n g w e i g h t s i n t o a v e c t o r

h

V

= h

T

1

j j h

T

p

]

T

s o t h a t t h e o u t p u t o f t h e l t e r m a y b e w r i t t e n a s a n i n n e r p r o d u c t ,

r e e c t i n g t h e f a c t t h a t t h e o u t p u t i s l i n e a r w i t h r e s p e c t t o t h e a r g u m e n t s o f t h e

c o n v o l u t i o n s i n t h e t r u n c a t e d V o l t e r r a s e r i e s . T h e o p t i m a l i n p u t s a r e t h e n s i m p l y

f o u n d b y d i r e c t a p p l i c a t i o n o f t h e m i n i m u m m e a n s q u a r e d e r r o r ( M M S E ) c r i t e r i o n ,

3


5/28

w h i c h i s s a t i s e d b y t h e V o l t e r r a n o r m a l e q u a t i o n

R

V

h

V

= p

V

( 3 )

w h e r e p

V

= E f d ( n ) x

V

( n ) g a n d R

V

= E

n

x

V

( n ) x

T

V

( n )

o

. R

V

, t h e V o l t e r r a a u t o c o r -

r e l a t i o n m a t r i x , m a y a l s o b e w r i t t e n i n t h e f o l l o w i n g f o r m :

R

V

=

2

6

6

6

6

6

4

R

1 ; 1

R

1 ; p

.

.

.

.

.

.

.

.

.

R

p ; 1

R

p ; p

3

7

7

7

7

7

5

; ( 4 )

w h e r e R

i ; j

= E

n

x

i

( n ) x

T

j

( n )

o

i s a M

i

M

j

a r r a y . S i m i l a r l y , w e c a n w r i t e p

V

a s

p

V

=

h

p

T

1

: : : p

T

p

i

T

; ( 5 )

w h e r e p

k

= E f d ( n ) x

k

( n ) g i s a M

k

1 v e c t o r . T h i s e q u a t i o n i s a n a l o g o u s t o t h e

d i s c r e t e - t i m e f o r m o f t h e W e i n e r - H o p f e q u a t i o n d e v e l o p e d b y L e v i n s o n 8 ] . I n t h i s

p a p e r , w e w i l l r e f e r t o t h e s u b - a r r a y s o f R

V

a n d p

V

a s V o l t e r r a b l o c k s .

2 . 2 P a r t i a l l y D e c o u p l e d V o l t e r r a F i l t e r s

A p r o b l e m a s s o c i a t e d w i t h t h e f o r m u l a t i o n o f t h e V o l t e r r a l t e r i s t h a t t h e l t e r

w e i g h t s a r e f u l l y c o u p l e d i n g e n e r a l . W h i l e t h e a s s u m p t i o n o f a n i . i . d . G a u s s i a n

p r o c e s s i s s u c i e n t t o d e c o u p l e t h e w e i g h t s o f a q u a d r a t i c l t e r , f o r h i g h e r - o r d e r l t e r s

s u c h d e c o u p l i n g i s n o t p o s s i b l e . W e t h u s h a v e a l t e r s t r u c t u r e w h e r e a l l t h e l t e r

w e i g h t s o f a l l o r d e r s c h a n g e w i t h t h e a d d i t i o n o f h i g h e r - o r d e r p r o c e s s i n g m o d u l e s , e . g . ,

i m p r o v i n g a l i n e a r l t e r b y a d d i n g q u a d r a t i c w e i g h t s g e n e r a l l y f o r c e s t h e a l t e r a t i o n

o f t h e l i n e a r w e i g h t s i n o r d e r t o m i n i m i z e t h e l t e r M S E . A l s o , i f p a r a l l e l a d a p t a t i o n

o f t h e l t e r c o e c i e n t s i s u s e d , i t i s u s u a l l y v e r y d i c u l t t o e x p l i c i t l y o b t a i n b o u n d s

o n t h e v a r i o u s s t e p s i z e s t h a t w i l l g u a r a n t e e c o n v e r g e n c e o f t h e a d a p t i v e w e i g h t s t o

t h e i r o p t i m a l v a l u e s i n t h e m e a n - s q u a r e s e n s e .

W e t h e r e f o r e a r e i n t e r e s t e d i n a n a l t e r n a t i v e f o r m u l a t i o n o f t h e V o l t e r r a l t e r t h a t

w i l l a l l o w s o m e d e c o u p l i n g o f w e i g h t s o f d i e r e n t o r d e r s . S p e c i c a l l y , w e d e s i r e a n

a p p r o a c h t h a t w i l l a l l o w u s t o r e a l i z e a t r u l y m o d u l a r l t e r s t r u c t u r e t h a t w i l l n o t

4


6/28

r e q u i r e a l t e r a t i o n o f a l l l t e r w e i g h t s e a c h t i m e a h i g h e r - o r d e r p r o c e s s i n g m o d u l e i s

a d d e d , a n d w i l l a l l o w a m a t h e m a t i c a l l y t r a c t a b l e a n a l y s i s t o d e t e r m i n e u p p e r b o u n d s

f o r t h e s t e p s i z e s u s e d i n a p a r a l l e l a d a p t a t i o n s c h e m e . S u c h a l t e r w i l l r e q u i r e t h e

c o n s t r u c t i o n a n d s o l u t i o n o f a n e w n o r m a l e q u a t i o n , a n d t h e f o r m u l a t i o n o f a n e w

a d a p t i v e a l g o r i t h m . W e b e g i n b y d e v e l o p i n g t h e n o r m a l e q u a t i o n .

W e c o n s i d e r t h e f o r m u l a t i o n o f t h e o p t i m a l l i n e a r l t e r , w h i c h c a n b e t h o u g h t o f

a s a V o l t e r r a l t e r o f o r d e r o n e . H e r e , t h e o p t i m a l l t e r w e i g h t s h

1

f o l l o w f r o m t h e

n o r m a l e q u a t i o n d e v e l o p e d i n 8 ] , a n d a r e g i v e n b y

h

1

= R

? 1

1 ; 1

p

1

: ( 6 )

H e r e t h e r e i s n o d e v i a t i o n f r o m t h e w e l l - k n o w n o p t i m a l l t e r s t r u c t u r e . W e n o w

c o n s i d e r t h e q u a d r a t i c l t e r i n g c a s e w h e r e p = 2 . T h e w e i g h t s t h a t p r o d u c e t h e

M M S E a r e g i v e n b y t h e V o l t e r r a n o r m a l e q u a t i o n , h e r e p r e s e n t e d i n p a r t i t i o n e d f o r m

a s

2

6

4

R

1 ; 1

R

1 ; 2

R

2 ; 1

R

2 ; 2

3

7

5

2

6

4

h

1

h

2

3

7

5

=

2

6

4

p

1

p

2

3

7

5

: ( 7 )

I f w e i m p o s e t h e c o n d i t i o n t h a t h

1

= R

? 1

1 ; 1

p

1

, t h e n t h e s o l u t i o n c h a n g e s . W e u s e

t h e m e t h o d o f L a g r a n g e m u l t i p l i e r s t o o b t a i n t h e s o l u t i o n . T h e H a m i l t o n i a n i s c o n -

s t r u c t e d a s

H ( h

1

; h

2

; c ) = E

d ( n ) ? h

T

V

x

V

( n )

2

+ c

T

( R

1 ; 1

h

1

? p

1

) ; ( 8 )

w h e r e c i s a M

1

1 v e c t o r c o n t a i n i n g t h e L a g r a n g e m u l t i p l i e r s . T h e c o n s t r a i n e d

m i n i m u m i s f o u n d b y t a k i n g p a r t i a l g r a d i e n t s w i t h r e s p e c t t o h

1

, h

2

, a n d c . T h e s e t

o f l t e r w e i g h t s a n d m u l t i p l i e r s t h a t c a u s e a l l t h r e e g r a d i e n t s t o v a n i s h a r e t h o s e t h a t

p r o d u c e t h e c o n s t r a i n e d m i n i m u m . T h e r e s u l t i n g s e t o f c o n d i t i o n s t h a t t h e L a g r a n g e

m u l t i p l i e r s a n d l t e r w e i g h t s m u s t s a t i s f y c a n b e w r i t t e n i n m a t r i x f o r m a s

2

6

4

R

1 ; 1

0

R

2 ; 1

R

2 ; 2

3

7

5

2

6

4

h

1

h

2

3

7

5

=

2

6

4

p

1

p

2

3

7

5

; ( 9 )

f o r m i n g a n e w n o r m a l e q u a t i o n .

5


7/28

T h e n e w , c o n s t r a i n e d n o r m a l e q u a t i o n i s s t r o n g l y s i m i l a r t o t h e f a m i l i a r V o l t e r r a

n o r m a l e q u a t i o n f o r t h e q u a d r a t i c l t e r . I n f a c t , i f t h e a s s u m p t i o n o f a n i . i . d . G a u s s i a n

i n p u t p r o c e s s f x ( n ) g i s u s e d , b o t h o f t h e c r o s s - o r d e r c o r r e l a t i o n a r r a y s R

1 ; 2

a n d R

2 ; 1

v a n i s h , a n d t h e c o n s t r a i n e d a n d u n c o n s t r a i n e d n o r m a l e q u a t i o n s a r e i d e n t i c a l . T h i s

e e c t d o e s n o t o c c u r f o r h i g h e r l t e r o r d e r s , a s n o t a l l t h e c r o s s - o r d e r c o r r e l a t i o n

a r r a y s v a n i s h u n d e r t h e G a u s s i a n i t y a s s u m p t i o n .

P r o g r e s s i v e l y h i g h e r - o r d e r V o l t e r r a l t e r s m a y b e c o n s t r u c t e d u s i n g t h i s m e t h o d ;

f o r a p

t h

o r d e r l t e r t h e r e w i l l b e p ? 1 s e t s o f c o n s t r a i n t s , r e e c t i n g t h e f a c t t h a t

t h e l i n e a r , q u a d r a t i c , c u b i c , a n d u p t o ( p ? 1 )

t h

o r d e r l t e r w e i g h t s a r e x e d a t t h e i r

c o n s t r a i n e d o p t i m a l v a l u e s . W e c a n u s e i n d u c t i o n t o d e t e r m i n e t h e g e n e r a l f o r m o f

t h e c o n s t r a i n e d n o r m a l e q u a t i o n , s i n c e w e h a v e a l r e a d y d e t e r m i n e d t h e f o r m o f t h e

e q u a t i o n f o r t h e l i n e a r a n d q u a d r a t i c c a s e s . W e s u p p o s e t h a t t h e r e e x i s t s a p s u c h

t h a t t h e c o n s t r a i n e d n o r m a l e q u a t i o n f o r t h e p

t h

o r d e r l t e r i s

R

4

V

h

V

= p

V

: ( 1 0 )

w h e r e R

4

V

i s t h e p a r t i t i o n e d b l o c k - l o w e r - t r i a n g u l a r m a t r i x

R

4

V

=

2

6

6

6

6

6

6

6

6

4

R

1 ; 1

0

R

2 ; 1

R

2 ; 2

.

.

.

.

.

.

.

.

.

R

p ; 1

R

p ; 2

R

p ; p

3

7

7

7

7

7

7

7

7

5

: ( 1 1 )

T h e n i f w e f o r m t h e H a m i l t o n i a n a s b e f o r e , a n d s e t t h e p a r t i a l g r a d i e n t s e q u a l t o

n u l l v e c t o r s , w e a r r i v e a t t h e c o n s t r a i n e d n o r m a l e q u a t i o n f o r a ( p + 1 )

t h

o r d e r l t e r

h a v i n g t h e s a m e f o r m a s t h e p r e s u m e d c o n s t r a i n e d n o r m a l e q u a t i o n f o r t h e V o l t e r r a

l t e r o f o r d e r p . T h u s w e h a v e f o u n d a p a r t i a l l y d e c o u p l e d V o l t e r r a n o r m a l e q u a t i o n .

T h e p a r t i a l d e c o u p l i n g o c c u r s b e c a u s e b y x i n g t h e c o e c i e n t s o f a l t e r o f a g i v e n

o r d e r b e f o r e a d d i n g h i g h e r - o r d e r s e t s o f w e i g h t s , w e h a v e e l i m i n a t e d t h e d e p e n d e n c e

o f a l l s e t s o f c o e c i e n t s o f a g i v e n o r l o w e r o r d e r o n t h o s e c o e c i e n t s e t s o f a h i g h e r

o r d e r .

O n e i m p o r t a n t b e n e t o f t h i s a p p r o a c h i s t h a t t h e i m p l e m e n t a t i o n o f a t r u l y

m o d u l a r , m u l t i s t a g e l t e r i s m a d e p o s s i b l e b y t h i s f o r m u l a t i o n . O n c e t h e w e i g h t s f o r

6


8/28


9/28

f o r p u r s u i n g a n a d a p t i v e s o l u t i o n t o t h e c o n s t r a i n e d o p t i m i z a t i o n p r o b l e m i s t h e s a m e

a s t h e f u n d a m e n t a l m o t i v a t i o n f o r a p p l y i n g a d a p t i v e t e c h n i q u e s t o t h e o p t i m i z a t i o n

o f l i n e a r l t e r s . F o r V o l t e r r a l t e r s o f h i g h o r d e r , e m p l o y i n g l a r g e o b s e r v a t i o n v e c t o r s ,

i n v e r t i n g R

4

V

i s a f o r m i d a b l e t a s k . I t i s o f t e n e a s i e r t o i m p l e m e n t a n a d a p t i v e a l g o -

r i t h m f o r t h e l t e r c o e c i e n t s b a s e d e i t h e r o n N e w t o n ' s m e t h o d o r o n t h e m e t h o d o f

s t e e p e s t d e s c e n t 8 ] . I n a d d i t i o n , t h e s t e e p e s t d e s c e n t a l g o r i t h m , w h e n i m p l e m e n t e d

w i t h r e a l - t i m e s a m p l e e s t i m a t e s o f t h e c o r r e l a t i o n a r r a y s , l e a d s t o t h e L M S a l g o r i t h m .

T h e s t e e p e s t d e s c e n t a l g o r i t h m f o r V o l t e r r a l t e r s i s

h

V

( n + 1 ) = h

V

( n ) +

1

2

? r ( J ( n ) ) ] : ( 1 2 )

I f t h e w e i g h t s e t s a r e a d a p t e d i n p a r a l l e l , w i t h r e s p e c t i v e s t e p s i z e s

1

; : : : ;

p

, w e

h a v e

h

k

( n + 1 ) = h

k

( n ) ?

1

2

k

@ J ( n )

@ h

k

( n )

( 1 3 )

w h e r e J ( n ) i s t h e m e a n s q u a r e d e r r o r

J ( n ) = E

d ( n ) ? h

T

V

( n ) x

V

( n )

2

: ( 1 4 )

F o r t h e p a r t i a l l y d e c o u p l e d l t e r , w e m u s t u s e a v a r i a t i o n o f t h e s t e e p e s t d e s c e n t

a l g o r i t h m t h a t a c c o u n t s f o r t h e c o n s t r a i n t s t h a t w e i m p o s e d i n o r d e r t o o b t a i n t h e

p a r t i a l l y d e c o u p l e d n o r m a l e q u a t i o n . H e r e , w e u s e t h e H a m i l t o n i a n a n d b e g i n w i t h

t h e l i n e a r l t e r , w o r k i n g o u r w a y u p t h r o u g h i n c r e a s i n g l t e r o r d e r s i n d u c t i v e l y . A t

e a c h s t e p , t h e H a m i l t o n i a n t h a t w e w i l l u s e i s

H ( h

1

; h

k

; c ) = E

8

>

:

d ( n ) ?

k

X

j = 1

h

T

j

x

j

( n )

2

9

>

=

>

;

+ c

T

R

4

V

k ? 1 ] h

V

k ? 1 ] ? p

V

k ? 1 ]

( 1 5 )

w h e r e R

4

V

k ] i s g i v e n b y

R

4

V

k ] =

2

6

6

6

6

6

6

6

6

4

R

1 ; 1

0

R

2 ; 1

R

2 ; 2

.

.

.

.

.

.

.

.

.

R

k ; 1

R

k ; 2

R

k ; k

3

7

7

7

7

7

7

7

7

5

; ( 1 6 )

8


10/28

a n d h

V

k ] =

h

h

T

1

j j h

T

k

i

T

a n d p

V

k ] =

h

p

T

1

j j p

T

k

i

T

. F o r t h e l i n e a r l t e r , t h e s t e e p -

e s t d e s c e n t a l g o r i t h m i s u n c h a n g e d f r o m i t s f a m i l i a r f o r m , f o r t h e r e a r e n o c o n s t r a i n t s

o n t h e l i n e a r l t e r w e i g h t s . T h e r e s u l t i n g u p d a t e a l g o r i t h m i s

h

1

( n + 1 ) = I

M

1

?

1

R

1 ; 1

] h

1

( n ) ?

1

p

1

:

1

( 1 7 )

F o r t h e q u a d r a t i c u p d a t e e q u a t i o n , w e h a v e

h

2

( n + 1 ) = h

2

( n ) +

1

2

@

@ h

2

( n )

E

d ( n ) ? h

T

V

x

V

( n )

2

+ c

T

( R

1 ; 1

h

1

? p

1

)

; ( 1 8 )

w h i c h s i m p l i e s t o

h

2

( n + 1 ) = I

M

2

?

2

R

2 ; 2

] h

2

( n ) ?

2

R

2 ; 1

h

1

( n ) +

2

p

2

: ( 1 9 )

W e c a n p r o c e e d i n a n i n d u c t i v e f a s h i o n s i m i l a r t o t h a t u s e d t o o b t a i n t h e p a r t i a l l y

d e c o u p l e d n o r m a l e q u a t i o n . F r o m t h e d e v e l o p m e n t o f t h e p a r t i a l l y d e c o u p l e d n o r m a l

e q u a t i o n a n d ( 1 5 ) , t h e u p d a t e f o r h

k

( n ) i s

h

k

( n + 1 ) = I

M

k

?

k

R

k ; k

] h

k

( n ) ?

k

k ? 1

X

j = 1

R

k ; j

h

j

( n ) +

k

p

k

; ( 2 0 )

f o r k = 1 ; 2 ; ; p .

T o d e t e r m i n e c o n s t r a i n t s o n t h e p s t e p s i z e s w h i c h g u a r a n t e e c o n v e r g e n c e o f t h e

a l g o r i t h m , w e c o n s i d e r t h e t a p - w e i g h t e r r o r v e c t o r d e n e d a s

"

k

( n ) = h

k

( n ) ? h

k

; ( 2 1 )

w h e r e h

1

T

; : : : ; h

p

T

]

T

i s t h e s o l u t i o n o f t h e p a r t i a l l y d e c o u p l e d n o r m a l e q u a t i o n ,

w h i c h a l l o w s u s t o w r i t e ( 2 0 ) a s

"

k

( n + 1 ) = I

k

?

k

R

k ; k

] "

k

( n ) ?

k

k ? 1

X

j = 1

R

k ; j

"

T

j

( n ) ( 2 2 )

T h e r e a r e p o f t h e s e d i e r e n c e e q u a t i o n s f o r t h e t a p w e i g h t e r r o r s ; w e c a n c o m b i n e

t h e m i n t o a s i n g l e m a t r i x d i e r e n c e e q u a t i o n , w h i c h i s

"

V

( n + 1 ) =

I

M

p

? R

4

V

"

V

( n ) ( 2 3 )

1

I n t h i s p a p e r , w e w i l l d e n o t e a k k i d e n t i t y m a t r i x b y I

k

.

9


11/28

w h e r e i s t h e M

p

M

p

d i a g o n a l m a t r i x

=

2

6

6

6

6

6

4

1

I

M

1

0

.

.

.

0

p

I

M

p

3

7

7

7

7

7

5

: ( 2 4 )

I f w e p e r f o r m a n e i g e n v a l u e d e c o m p o s i t i o n o n t h e a b o v e , w e c a n u s e t h e f a c t t h a t R

4

V

i s b l o c k - t r i a n g u l a r , w h i c h a l l o w s u s t o w r i t e

"

V

( n + 1 ) =

I

M

p

? Q Q

? 1

"

V

( n ) ; ( 2 5 )

w h e r e Q i s a n M

p

M

p

a r r a y w h o s e c o l u m n s a r e t h e e i g e n v e c t o r s o f R

4

V

, a n d i s

a d i a g o n a l m a t r i x g i v e n b y

=

2

6

6

6

6

6

4

1

0

.

.

.

0

p

3

7

7

7

7

7

5

( 2 6 )

w h e r e f o r k = 1 ; 2 ; : : : ; p ,

k

i s a M

k

M

k

d i a g o n a l a r r a y c o n t a i n i n g t h e e i g e n v a l u e s

o f R

k ; k

.

W e c a n n o w p r e - m u l t i p l y ( 2 5 ) b y Q

? 1

, a n d o b t a i n v

V

( n + 1 ) =

I

M

p

?

v

V

( n ) ,

w h e r e v

V

( n ) = Q

? 1

"

V

( n ) . I f w e p a r t i t i o n v

V

( n ) i n t o i t s p V o l t e r r a s u b - v e c t o r s

a n d w r i t e t h e r e c u r s i o n s f o r e a c h s u b - v e c t o r s e p a r a t e l y , s i n c e t h e s u b - v e c t o r s a r e

c o m p l e t e l y d e c o u p l e d , w e p r o d u c e a s e t o f p r e c u r s i o n s :

v

k

( n + 1 ) = ( I

M

k

?

k

k

) v

k

( n ) ; k = 1 ; 2 ; ; p ( 2 7 )

w h e r e v

k

( n ) i s k

t h

V o l t e r r a s u b - v e c t o r o f v

V

( n ) . B e c a u s e

k

i s d i a g o n a l f o r e a c h k ,

w e c a n w r i t e s e p a r a t e d i e r e n c e e q u a t i o n s f o r e a c h o f t h e M

k

e l e m e n t s o f t h e v e c t o r

v

k

( n ) . W e t h u s o b t a i n

v

k

j

( n + 1 ) =

1 ?

k

k

j

v

k

j

( n ) ; j = 1 ; 2 ; ; M

k

; k = 1 ; 2 ; ; p ( 2 8 )

w h e r e v

k

j

( n ) i s t h e j

t h

e l e m e n t o f v

k

( n ) , o c c u p y i n g t h e ( M

k ? 1

+ j )

t h

l o c a t i o n i n

v

V

( n ) . v

k

j

( 0 ) i s t h e i n i t i a l v a l u e o f v

k

j

( n ) , a n d

k

j

i s t h e j

t h

d i a g o n a l e l e m e n t o f

k

. E q u i v a l e n t l y , v

k

j

( n ) i s g i v e n b y v

k

j

( n ) =

1 ?

k

k

j

n

v

k

j

( 0 ) , w h e r e v

k

j

( 0 ) i s t h e

i n i t i a l v a l u e o f t h e k

t h

j

n a t u r a l m o d e .

1 0


12/28


13/28

L M S a l g o r i t h m w i l l c o n v e r g e i n t h e m e a n i f

0 <


14/28

w h i c h r e a s o n a b l y m o d e l t h e o b s e r v e d a n d d e s i r e d s i g n a l s , r e s p e c t i v e l y , t h a t t h e l t e r

w i l l e n c o u n t e r d u r i n g a c t u a l o p e r a t i o n s . T h e l t e r o u t p u t y ( n ) i s c o m p a r e d t o d ( n )

a n d t h e r e s u l t i n g e r r o r , e

V

( n ) , i s u s e d t o a d j u s t e a c h o f t h e s e t s o f l t e r w e i g h t s ,

h

1

( n ) ; ; h

p

( n ) a c c o r d i n g t o t h e r e c u r s i o n g i v e n i n ( 3 4 ) . B y t h i s a p p r o a c h a l l t h e

l t e r w e i g h t s a r e a d j u s t e d t o g e t h e r , a n d e a c h w e i g h t ' s e v o l u t i o n i s a e c t e d b y t h e

c h a n g e s o c c u r r i n g i n a l l o f t h e o t h e r w e i g h t s .

A p r o b l e m w i t h t h e p a r a l l e l L M S a l g o r i t h m f o r V o l t e r r a l t e r s i s t h a t i t d o e s n o t

l e n d i t s e l f w e l l t o a m a t h e m a t i c a l l y t r a c t a b l e a n a l y s i s t h a t p r o d u c e s c o n c r e t e u p p e r

b o u n d s f o r t h e p s t e p s i z e s . T h e r e a s o n f o r t h i s i s t h a t t h e u s e o f t h e V o l t e r r a e r r o r

e

V

( n ) i n d u c e s , i n g e n e r a l , f u l l c o u p l i n g b e t w e e n e a c h w e i g h t v e c t o r h

k

( n ) a n d e v e r y

o n e o f t h e o t h e r p ? 1 w e i g h t v e c t o r s . D o k i c a n d C l a r k s o n h a v e d e v e l o p e d a s e t

o f b o u n d s o n s t e p s i z e s f o r a d a p t a t i o n o f c u b i c V o l t e r r a l t e r s t h a t g u a r a n t e e t h a t

t h e p a r a l l e l a d a p t i v e a l g o r i t h m w i l l c o n v e r g e i n t h e m e a n 5 ] . T h e s e b o u n d s d o n o t

n e c e s s a r i l y g u a r a n t e e c o n v e r g e n c e i n t h e m e a n - s q u a r e s e n s e . B e y o n d t h e c u b i c l t e r ,

t h e p r o b l e m o f n d i n g g o o d b o u n d s f o r t h e s t e p s i z e s u s e d i n t h e p a r a l l e l a l g o r i t h m

b e c o m e s a n i n c r e a s i n g l y c o m p l e x t a s k .

T h e p a r t i a l l y d e c o u p l e d L M S a l g o r i t h m i s g e n e r a t e d b y r e p l a c i n g t h e e x p e c t a t i o n s

i n ( 2 0 ) w i t h t h e i r a r g u m e n t s a n d r e a r r a n g i n g t e r m s t o p r o d u c e

h

k

( n + 1 ) = h

k

( n ) +

k

e

k

( n ) x

k

( n ) ; k = 1 ; 2 ; ; p : ( 3 5 )

w h e r e e

k

( n ) = d ( n ) ?

P

k

j = 1

h

T

j

( n ) x

j

( n ) i s t h e k

t h

p a r t i a l l t e r e r r o r . T h e s t r u c t u r e

o f a V o l t e r r a l t e r u s i n g t h e p a r t i a l l y d e c o u p l e d p a r a l l e l L M S a l g o r i t h m i s d e p i c t e d

i n F i g u r e 2 . T h e a d a p t a t i o n o f e a c h s e t o f w e i g h t s i s i n d e p e n d e n t o f t h e a d a p t a t i o n s

o f a l l h i g h e r - o r d e r w e i g h t s , i . e . , e a c h s e t o f w e i g h t s o f a g i v e n o r d e r w i l l a t t e m p t t o

i m p r o v e u p o n t h e p e r f o r m a n c e o f t h e l t e r c h a r a c t e r i z e d b y t h e l o w e r - o r d e r w e i g h t s ,

w h i l e r e m a i n i n g u n a e c t e d b y t h e e v o l u t i o n o f a n y h i g h e r - o r d e r w e i g h t s .

A n i m p o r t a n t a d v a n t a g e o f t h e p a r t i a l l y d e c o u p l e d L M S a l g o r i t h m i s t h a t i t a l -

l o w s u s t o r i g o r o u s l y d e t e r m i n e b o u n d s o n t h e p s t e p s i z e s

1

; ;

p

t h a t w i l l a l l o w

c o n v e r g e n c e o f t h e a l g o r i t h m i n t h e m e a n a n d i n t h e m e a n - s q u a r e . T h e f u l l y c o u p l e d

p a r a l l e l L M S a l g o r i t h m d o e s n o t i n g e n e r a l a l l o w s u c h a n a n a l y s i s . T h e t r a c t a b i l i t y o f

1 3


15/28

Z-1

Z-1

X X

1h 2h

x (n)1 x (n)2 x (n)3

h3

X

hp

x (n)p

.

..

.

.

.

x(n)

x(n-N+1)

x(n-1)

+ +d(n) +

- - -

. . .

. . .

. . .

. . .

+

-

e (n) e (n) e (n) e (n)1 2 3 p

y (n)1

y (n)2

y (n)3

y (n)p

F i g u r e 2 : S c h e m a t i c o f A d a p t i v e V o l t e r r a F i l t e r u s i n g P a r t i a l l y D e c o u p l e d P a r a l l e l

L e a s t M e a n S q u a r e s A l g o r i t h m

t h e f o l l o w i n g a n a l y s i s i s d e p e n d e n t o n t h e s t r u c t u r e o f t h e p a r t i a l l y d e c o u p l e d L M S

a l g o r i t h m i t s e l f , w h i c h a l l o w s u s t o p e r f o r m a s i m p l e e i g e n a n a l y s i s t h a t i s a n a l o g o u s

t o t h e a n a l y s i s p e r f o r m e d b y 8 ] f o r t h e a d a p t i v e l i n e a r l t e r . F o r t h e a n a l y s i s w e w i l l

u s e t h e w e l l k n o w n s t a n d a r d i n d e p e n d e n c e a s s u m p t i o n s w h i c h a r e c o m m o n l y u s e d

i n t h e a n a l y s i s o f t h e L M S a l g o r i t h m f o r V o l t e r r a l t e r s , a s s t a t e d b y M a t h e w s i n

1 4 ] ; t h e y a r e a n a l o g o u s t o t h e i n d e p e n d e n c e a s s u m p t i o n s u s e d f o r t h e a n a l y s i s o f t h e

l i n e a r L M S a l g o r i t h m , w h i c h a r e l i s t e d i n 8 ] , a m o n g o t h e r s .

I t i s w i d e l y a c k n o w l e d g e d t h a t t h e i n d e p e n d e n c e a s s u m p t i o n s d o n o t h o l d i n g e n -

e r a l . T h i s i s e s p e c i a l l y t r u e f o r t h e c a s e o f V o l t e r r a l t e r s , w h e r e , f o r i n s t a n c e , t h e

o b s e r v a t i o n d a t a c a n n o t p o s s i b l y b e G a u s s i a n . T h e j u s t i c a t i o n f o r u s i n g t h e s e a s -

s u m p t i o n s i s t h a t t h e u p p e r b o u n d s o n t h e a d a p t a t i o n s t e p s i z e t h a t t h e y p r o d u c e

l e a d t o r e l i a b l e d e s i g n g u i d e s i n p r a c t i c e . 1 2 ]

3 . 2 . 1 L M S C o n v e r g e n c e i n t h e M e a n

I f w e d e n e t h e p a r t i a l l y d e c o u p l e d t a p - w e i g h t e r r o r a s i n ( 2 1 ) , w e c a n d e v e l o p a n

u p d a t e e q u a t i o n f o r "

V

( n ) s i m i l a r t o ( 2 2 ) f o r t h e s t e e p e s t d e s c e n t a l g o r i t h m . T a k i n g

1 4


16/28


17/28

N e x t w e c o n s i d e r t h e q u a d r a t i c w e i g h t s c o n t a i n e d i n h

2

. T h e a s s o c i a t e d d i e r e n c e

e q u a t i o n f o r t h e q u a d r a t i c e r r o r v e c t o r "

2

( n ) i s

"

2

( n + 1 ) = ( I

M

2

?

2

x

2

( n ) x

T

2

( n ) ) "

2

( n ) +

2

x

2

( n ) x

T

1

( n ) "

1

( n ) +

2

x

2

( n ) e

2

( n ) ; ( 4 0 )

w h e r e e

2

( n ) i s t h e M S E a t t i m e n o f t h e o p t i m a l s e c o n d o r d e r p a r t i a l l y d e c o u p l e d

l t e r . A s t h e L M S a l g o r i t h m i s r u n , t h e l i n e a r w e i g h t s i n h

1

a p p r o a c h t h e i r o p t i -

m a l v a l u e s i n t h e m e a n - s q u a r e , w i t h a c o n v e r g e n c e t i m e

1

t h a t i s a p p r o x i m a t e l y

( 2

1

1 ; a v g

)

? 1

, w h e r e

1 ; a v g

i s t h e m e a n o f t h e e i g e n v a l u e s o f R

1 ; 1

. F o r a l l n >

1

,

"

1

( n ) i s a p p r o x i m a t e l y z e r o , a n d ( 4 0 ) c a n b e a p p r o x i m a t e d a s

"

2

( n + 1 ) = ( I

M

2

?

2

x

2

( n ) x

T

2

( n ) ) "

2

( n ) +

2

x

2

( n ) e

2

( n ) : ( 4 1 )

B y a p p l y i n g a m e a n - s q u a r e c o n v e r g e n c e a n a l y s i s t o ( 4 1 ) w h i c h i s a n a l o g o u s t o t h e t h a t

u s e d f o r t h e l i n e a r c a s e , i t i s c l e a r t h a t h

2

( n ) w i l l c o n v e r g e t o h

2

i n t h e m e a n - s q u a r e

i f 0 <

2


18/28

C a r r y i n g o u t a m e a n - s q u a r e d c o n v e r g e n c e a n a l y s i s a n a l o g o u s t o t h a t u s e d f o r t h e

l i n e a r l t e r i n g c a s e t h e n g i v e s t h e r e s u l t t h a t 0 <

p + 1


19/28


20/28

-1 -0.5 0 0.5 1-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

d(n)

f[d(n)]

F i g u r e 3 : T r a n s f e r C h a r a c t e r i s t i c o f C h a n n e l N o n l i n e a r i t y

o b s e r v a t i o n i n t e r v a l i s N = 5 . T o d o t h i s , w e c o n s t r u c t e s t i m a t e s o f t h e a r r a y s R

V

a n d p

V

b y e x a m i n i n g t i m e h i s t o r i e s o f s a m p l e f u n c t i o n s o f f d ( n ) g a n d f x ( n ) g . W i t h

t h e s e q u a n t i t i e s a v a i l a b l e , w e m a y c o m p u t e t h e t h e o r e t i c a l M M S E f o r t h e l t e r s . T h i s

i s d o n e i n T a b l e 1 f o r f u l l y c o u p l e d V o l t e r r a l t e r s a n d p a r t i a l l y d e c o u p l e d V o l t e r r a

l t e r s o p e r a t i n g w i t h s i g n a l - t o - n o i s e r a t i o s ( S N R s ) o f 0 d B , 5 d B , a n d 1 0 d B , w h e r e

S N R = 2 0 l o g

1 0

( E f x

2

( n ) g =

w

g ) . F r o m T a b l e 1 , w e s e e t h a t t h e p a r t i a l l y d e c o u p l e d

p F u l l y C o u p l e d F i l t e r P a r t i a l l y D e c o u p l e d F i l t e r

0 d B 5 d B 1 0 d B 0 d B 5 d B 1 0 d B

1 0 . 1 4 8 4 0 . 1 0 8 9 0 . 1 0 2 3 0 . 1 4 8 4 0 . 1 0 8 9 0 . 1 0 2 3

2 0 . 1 4 7 6 0 . 1 0 8 9 0 . 1 0 2 2 0 . 1 4 7 6 0 . 1 0 8 9 0 . 1 0 2 2

3 0 . 1 2 8 4 0 . 0 9 9 4 0 . 0 9 2 3 0 . 1 4 0 3 0 . 1 0 6 2 0 . 0 9 9 2

4 0 . 1 2 7 8 0 . 0 9 9 0 0 . 0 9 1 6 0 . 1 3 9 5 0 . 1 0 5 9 0 . 0 9 8 4

5 0 . 1 2 3 5 0 . 0 9 7 6 0 . 0 8 8 1 0 . 1 3 7 9 0 . 1 0 4 7 0 . 0 9 6 4

T a b l e 1 : V a l u e s o f M e a n S q u a r e d E r r o r f o r F u l l y C o u p l e d a n d P a r t i a l l y D e c o u p l e d

V o l t e r r a F i l t e r s f o r S N R = 0 d B , 5 d B , a n d 1 0 d B .

V o l t e r r a l t e r e x h i b i t s l i t t l e p e r f o r m a n c e d e g r a d a t i o n w i t h r e s p e c t t o t h e o p t i m a l

V o l t e r r a l t e r . A s a n e x a m p l e , f o r f o u r t h - o r d e r l t e r s , t h e p a r t i a l l y d e c o u p l e d l t e r ' s

1 9


21/28


22/28

T h e p a r a l l e l V o l t e r r a L M S a l g o r i t h m i s n o w u s e d t o r e c u r s i v e l y u p d a t e t h e l t e r

w e i g h t s , u s i n g s a m p l e f u n c t i o n s o f d ( n ) a n d x ( n ) a s t r a i n i n g s e q u e n c e s . W e c h o o s e

1

= 0 : 0 0 9 7 a n d

2

= 0 : 0 1 1 f o r t h e s e c o n d o r d e r p a r a l l e l a d a p t a t i o n , a n d

1

= 0 : 0 0 2 9 ,

2

= 0 : 0 0 2 2 , a n d

3

= 0 : 0 0 4 0 f o r t h e t h i r d o r d e r p a r a l l e l a d a p t a t i o n . P l o t s o f t h e

l t e r M S E , a v e r a g e d o v e r 1 0 0 t r i a l s , a r e g i v e n i n F i g u r e 4 f o r s e c o n d - o r d e r l t e r s a n d

i n F i g u r e 5 f o r t h i r d - o r d e r l t e r s . I n b o t h g u r e s , t h e p a r t i a l l y d e c o u p l e d l t e r

100

101

102

103

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

Iteration Number, n

SecondOrderF

ilterMSE

F i g u r e 4 : T i m e H i s t o r y o f F i l t e r M S E f o r S e c o n d O r d e r V o l t e r r a F i l t e r s : F u l l y C o u -

p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) .

e x h i b i t s m o r e r a p i d c o n v e r g e n c e t h a n t h e f u l l y c o u p l e d l t e r . T h i s i s d u e t o t h e

l a r g e r v a l u e s a s s i g n e d t o t h e l o w e r - o r d e r s t e p s i z e s . T h e l i n e a r w e i g h t s v e r y q u i c k l y

a p p r o a c h t h e i r o p t i m a l v a l u e s , w i t h t h e m o r e s l o w l y - c h a n g i n g h i g h e r - o r d e r w e i g h t s

s e r v i n g t o p r o v i d e a d d i t i o n a l r e n e m e n t t o t h e l o w e r - o r d e r l t e r ' s p e r f o r m a n c e . T h e

m e a n - s q u a r e e r r o r a s s o c i a t e d w i t h t h e p a r t i a l l y d e c o u p l e d l t e r s w a s h i g h e r i n b o t h

c a s e s , b u t t h e a s s o c i a t e d d e g r a d a t i o n i n p e r f o r m a n c e w a s n o t s e v e r e . S p e c i c a l l y , t h e

l o n g - t e r m M S E o f t h e f u l l y c o u p l e d c u b i c l t e r w a s 0 . 0 9 8 8 , w h i l e t h e c o r r e s p o n d i n g

g u r e f o r t h e p a r t i a l l y d e c o u p l e d c u b i c l t e r w a s 0 . 1 0 4 1 . T h i s s h o w s t h a t o n e c a n

s u c c e s s f u l l y d e v e l o p s t e p s i z e v a l u e s f o r t h e p a r a l l e l p a r t i a l l y d e c o u p l e d L M S a l g o r i t h m

t h a t y i e l d g o o d r e s u l t s i n t e r m s o f s e t t l i n g t i m e a n d l t e r p e r f o r m a n c e .

2 1


23/28


24/28

100

101

102

103

10-5

100

105

1010

1015

1020

1025

1030

1035

Iteration Number, n

SecondOrderFilterMS

E

F i g u r e 6 : T i m e H i s t o r y o f F i l t e r M S E f o r S e c o n d O r d e r V o l t e r r a F i l t e r s w i t h L a r g e

S t e p S i z e s : F u l l y C o u p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) .

i s x e d , t h e h i g h e r - o r d e r w e i g h t s a r e d e s i g n e d t o i m p r o v e o n t h e p e r f o r m a n c e o f

t h e l o w e r - o r d e r l t e r c o m p o n e n t s . T h i s h a s p r o d u c e d a m o d u l a r l t e r d e s i g n , i n

w h i c h a d d i t i o n o f h i g h e r - o r d e r p r o c e s s i n g s t a g e s t o a n e x i s t i n g l t e r d o e s n o t r e q u i r e

r e c o m p u t a t i o n o f a l l t h e l t e r w e i g h t s . T h e r e i s o f c o u r s e a n i n h e r e n t d e g r e e o f

s u b o p t i m a l i t y t h a t m u s t b e a c c e p t e d w i t h s u c h a l t e r .

B a s e d o n t h i s p a r t i a l l y d e c o u p l e d f o r m u l a t i o n , w e h a v e d e v e l o p e d a d a p t i v e a l g o -

r i t h m s f o r d e t e r m i n i n g t h e l t e r w e i g h t s . W e h a v e d e v e l o p e d a p a r t i a l l y d e c o u p l e d

s t e e p e s t d e s c e n t a l g o r i t h m a n d s h o w n t h a t c o n v e r g e n c e d e p e n d s o n b o u n d s f o r t h e

p s t e p s i z e s w h i c h d e p e n d o n t h e d i a g o n a l s u b - b l o c k s o f t h e V o l t e r r a a u t o c o r r e l a -

t i o n m a t r i x . W e h a v e a l s o d e v e l o p e d a p a r t i a l l y d e c o u p l e d p a r a l l e l L M S a l g o r i t h m ,

a n d h a v e d e r i v e d u p p e r b o u n d s f o r t h e s e t o f s t e p s i z e s f o r c o n v e r g e n c e o f t h e l t e r

w e i g h t s b o t h i n t h e m e a n a n d i n t h e m e a n - s q u a r e . T h e s e s e t s o f b o u n d s a l l o w u s

t o m o r e r e l i a b l y t a i l o r t h e a d a p t a t i o n o f V o l t e r r a l t e r s t h a n i s u s u a l l y p o s s i b l e w i t h

a f u l l y c o u p l e d a p p r o a c h , w h e r e s e t s o f b o u n d s f o r e a c h o f t h e p s t e p s i z e s c a n n o t

g e n e r a l l y b e o b t a i n e d i n c l o s e d f o r m w i t h o u t r e l y i n g o n a c o m p u t a t i o n a l l y e x p e n s i v e

o r t h o g o n a l i z a t i o n o f t h e V o l t e r r a o b s e r v a t i o n v e c t o r .

2 3


25/28

W e h a v e u s e d s i m u l a t i o n s o f a s i m p l e c h a n n e l e q u a l i z a t i o n p r o b l e m t o d e m o n s t r a t e

t h a t t h e b o u n d s w e o b t a i n e d a r e r e l i a b l e a n d t h a t t h e p e r f o r m a n c e o f t h e p a r t i a l l y

d e c o u p l e d l t e r d o e s n o t v a r y s i g n i c a n t l y f r o m t h a t o f a c o r r e s p o n d i n g f u l l y c o u p l e d

d e s i g n . T h i s h a s s h o w n t h a t a d a p t a t i o n b a s e d o n p a r t i a l d e c o u p l i n g o f t h e V o l t e r r a

l t e r w e i g h t s o e r s a m e a n s o f o b t a i n i n g m o r e r a p i d c o n v e r g e n c e w i t h o u t s a c r i c i n g

p e r f o r m a n c e o r i n c r e a s i n g c o m p u t a t i o n a l c o m p l e x i t y .

R e f e r e n c e s

1 ] S . B e n e d e t t o a n d E . B i g l i e r i , \ N o n l i n e a r E q u a l i z a t i o n o f D i g i t a l S a t e l l i t e C h a n -

n e l s , " I E E E J o u r n a l o n S e l e c t e d A r e a s i n C o m m u n i c a t i o n s , v o l . 1 , n o . 1 , p p . 5 7 - 6 2 ,

J a n u a r y , 1 9 8 3 .

2 ] S . B e n e d e t t o , E . B i g l i e r i , a n d R . D a a r a , \ M o d e l i n g a n d P e r f o r m a n c e E v a l u a t i o n

o f N o n l i n e a r S a t e l l i t e L i n k s { A V o l t e r r a S e r i e s A p p r o a c h , " I E E E T r a n s a c t i o n s o n

A e r o s p a c e a n d E l e c t r o n i c S y s t e m s , v o l . 1 5 , n o . 4 , p p . 4 9 4 - 5 0 7 , J u l y , 1 9 7 9 .

3 ] B h a r g a v a , V . K . , H a c c o u n , D . , M a t y a s , R . , a n d N u s p l , P . P . , D i g i t a l C o m m u n i -

c a t i o n s b y S a t e l l i t e , ( N e w Y o r k : J o h n W i l e y & S o n s , 1 9 8 1 . )

4 ] B i g l i e r i , E . , G e r s h o , A . , G i t l i n , R . D . , a n d L i m , T . L . , \ A d a p t i v e C a n c e l a t i o n

o f N o n l i n e a r I n t e r s y m b o l I n t e r f e r e n c e f o r V o i c e b a n d D a t a T r a n s m i s s i o n , " I E E E

J o u r n a l o n S e l e c t e d A r e a s i n C o m m u n i c a t i o n s , v o l . S A C - 2 , n o . 5 , p p . 7 6 5 - 7 7 7 ,

S e p t e m b e r , 1 9 8 4 .

5 ] P . M . C l a r k s o n a n d M . V . D o k i c , \ S t a b i l i t y a n d C o n v e r g e n c e B e h a v i o u r o f S e c o n d -

O r d e r L M S V o l t e r r a F i l t e r , " E l e c t r o n i c s L e t t e r s , v o l . 2 7 , n o . 5 , p p . 4 4 1 - 4 4 3 , F e b r u -

a r y , 1 9 9 1 .

6 ] K . D . F i s h e r , J . M . C i o , W . L . A b b o t t , P . S . B e d n a r z , a n d C . M . M e l a s , \ A n

A d a p t i v e R A M - D F E f o r S t o r a g e C h a n n e l s , " I E E E T r a n s a c t i o n s o n C o m m u n i c a -

t i o n s , v o l . 3 9 , n o . 1 1 , p p . 1 5 5 9 - 1 5 6 8 , N o v e m b e r , 1 9 9 1 .

2 4


26/28


27/28

1 8 ] A . A . M . S a l e h , \ F r e q u e n c y - I n d e p e n d e n t a n d F r e q u e n c y - D e p e n d e n t N o n l i n e a r

M o d e l s o f T W T A m p l i e r s , " I E E E T r a n s a c t i o n s o n C o m m u n i c a t i o n s , v o l . 2 9 , n o .

1 1 , p p . 1 7 1 5 - 1 7 2 0 , N o v e m b e r , 1 9 9 1 .

1 9 ] M . S c h e t z e n , T h e V o l t e r r a a n d W i e n e r T h e o r y o f N o n l i n e a r S y s t e m s , u p d a t e d

e d . ( M a l a b a r , F L : R . E . K r i e g e r , 1 9 8 9 ) .

2 6


28/28

L i s t o f F i g u r e s

1 S c h e m a t i c o f A d a p t i v e V o l t e r r a F i l t e r u s i n g L M S : : : : : : : : : : : 1 2

2 S c h e m a t i c o f A d a p t i v e V o l t e r r a F i l t e r u s i n g P a r t i a l l y D e c o u p l e d P a r -

a l l e l L e a s t M e a n S q u a r e s A l g o r i t h m : : : : : : : : : : : : : : : : : : : 1 4

3 T r a n s f e r C h a r a c t e r i s t i c o f C h a n n e l N o n l i n e a r i t y : : : : : : : : : : : : 1 9

4 T i m e H i s t o r y o f F i l t e r M S E f o r S e c o n d O r d e r V o l t e r r a F i l t e r s : F u l l y

C o u p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) . : : : : : : : : : : : : : 2 1

5 T i m e H i s t o r y o f F i l t e r M S E f o r T h i r d O r d e r V o l t e r r a F i l t e r s : F u l l y

C o u p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) . : : : : : : : : : : : : : 2 2

6 T i m e H i s t o r y o f F i l t e r M S E f o r S e c o n d O r d e r V o l t e r r a F i l t e r s w i t h

L a r g e S t e p S i z e s : F u l l y C o u p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) . 2 3

L i s t o f T a b l e s

1 V a l u e s o f M e a n S q u a r e d E r r o r f o r F u l l y C o u p l e d a n d P a r t i a l l y D e c o u -

p l e d V o l t e r r a F i l t e r s f o r S N R = 0 d B , 5 d B , a n d 1 0 d B . : : : : : : : : : 1 9

2 S t e p S i z e B o u n d s f o r L M S A l g o r i t h m : : : : : : : : : : : : : : : : : : 2 0

Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy

Documents

Transcript of Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy