Post on 03-Jun-2018
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
1/28
P a r t i a l l y D e c o u p l e d V o l t e r r a F i l t e r s :
F o r m u l a t i o n a n d L M S A d a p t a t i o n
D a v i d W . G r i t h , J r . , a n d G o n z a l o R . A r c e
D e p a r t m e n t o f E l e c t r i c a l E n g i n e e r i n g
U n i v e r s i t y o f D e l a w a r e
N e w a r k , D e l a w a r e 1 9 7 1 6
T e l : ( 3 0 2 ) 8 3 1 - 8 0 3 0 E - m a i l : g r i t h @ e e . u d e l . e d u a n d
a r c e @ e e . u d e l . e d u
A b s t r a c t
T h e a d a p t a t i o n o f V o l t e r r a l t e r s b y o n e p a r t i c u l a r m e t h o d , t h e m e t h o d o f
l e a s t m e a n s q u a r e s ( L M S ) , w h i l e e a s i l y i m p l e m e n t e d , i s c o m p l i c a t e d b y t h e f a c t
t h a t u p p e r b o u n d s f o r t h e v a l u e s o f s t e p s i z e s e m p l o y e d b y a p a r a l l e l u p d a t e
L M S s c h e m e a r e d i c u l t t o o b t a i n . I n t h i s p a p e r , w e p r o p o s e a m o d i c a t i o n
o f t h e V o l t e r r a l t e r i n w h i c h t h e l t e r w e i g h t s o f a g i v e n o r d e r a r e o p t i m i z e d
i n d e p e n d e n t l y o f t h o s e w e i g h t s o f h i g h e r o r d e r . U s i n g t h i s a p p r o a c h , w e t h e n
s o l v e t h e M M S E l t e r i n g p r o b l e m a s a s e r i e s o f c o n s t r a i n e d o p t i m i z a t i o n p r o b -
l e m s , w h i c h p r o d u c e a p a r t i a l l y d e c o u p l e d n o r m a l e q u a t i o n f o r t h e V o l t e r r a
l t e r . F r o m t h i s n o r m a l e q u a t i o n , w e a r e a b l e t o d e v e l o p a n a d a p t a t i o n r o u t i n e
w h i c h u s e s t h e p r i n c i p l e s o f p a r t i a l d e c o u p l i n g w h i c h i s s i m i l a r i n f o r m t o t h e
V o l t e r r a L M S a l g o r i t h m , b u t w i t h i m p o r t a n t s t r u c t u r a l d i e r e n c e s t h a t a l l o w a
s t r a i g h t f o r w a r d d e r i v a t i o n o f b o u n d s o n t h e a l g o r i t h m ' s s t e p s i z e s ; t h e s e b o u n d s
c a n b e s h o w n t o d e p e n d o n t h e r e s p e c t i v e d i a g o n a l b l o c k s o f t h e V o l t e r r a a u -
t o c o r r e l a t i o n m a t r i x . T h i s p r o d u c e s a r e l i a b l e s e t o f d e s i g n g u i d e l i n e s w h i c h
a l l o w m o r e r a p i d c o n v e r g e n c e o f t h e l o w e r - o r d e r w e i g h t s e t s .
S u b m i t t e d t o t h e I E E E T r a n s a c t i o n s o n S i g n a l P r o c e s s i n g
E D I C S P a p e r C a t e g o r y : S P 2 . 7 . 3 ( N o n - l i n e a r F i l t e r s )
P e r m i s s i o n t o p u b l i s h t h i s a b s t r a c t s e p a r a t e l y i s g r a n t e d
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
2/28
1 I n t r o d u c t i o n
V o l t e r r a l t e r s a r e o n e a p p r o a c h t o t h e p r o b l e m o f c o m p e n s a t i n g f o r t h e e e c t s o f
n o n l i n e a r i t i e s i n t r a n s m i s s i o n c h a n n e l s . T h e V o l t e r r a l t e r m a y b e t r e a t e d i n a f a s h i o n
a n a l o g o u s t o t h e f a m i l i a r l i n e a r l t e r i n g f o r m u l a t i o n i f t h e l t e r r e s p o n s e i s r e f o r m u -
l a t e d a s t h e i n n e r p r o d u c t o f a v e c t o r c o n t a i n i n g a l l t h e l t e r ' s c o e c i e n t s a n d a v e c t o r
c o n t a i n i n g a l l c r o s s p r o d u c t s o f t h e e l e m e n t s o f t h e o b s e r v a t i o n w i n d o w 1 5 ] . V o l t e r r a
l t e r s h a v e b e e n u s e d t o m o d e l n o n l i n e a r d y n a m i c s y s t e m s , i n a d d i t i o n t o m o d e l i n g
n o n l i n e a r c h a n n e l s s u c h a s t h o s e e n c o u n t e r e d i n s a t e l l i t e c o m m u n i c a t i o n s a p p l i c a -
t i o n s 2 ] . O t h e r a p p l i c a t i o n s o f V o l t e r r a l t e r s i n c l u d e e c h o c a n c e l a t i o n , p e r f o r m a n c e
a n a l y s i s o f d a t a t r a n s m i s s i o n s y s t e m s , a d a p t i v e n o i s e c a n c e l a t i o n , a n d d e t e c t i o n o f
n o n l i n e a r f u n c t i o n s o f G a u s s i a n p r o c e s s e s 1 2 ] .
B y m o d e l i n g t h e V o l t e r r a l t e r a s a p s e u d o - l i n e a r o p e r a t o r , a d a p t i v e a l g o r i t h m s
f o r i t e r a t i v e l y d e t e r m i n i n g s e t s o f l t e r w e i g h t s t h a t s a t i s f y t h e m i n i m u m m e a n - s q u a r e
e r r o r ( M M S E ) c r i t e r i o n h a v e b e e n d e v e l o p e d . A m o n g t h e s e a l g o r i t h m s , t h e m e t h o d
o f l e a s t m e a n s q u a r e s ( L M S ) i s a n i m p o r t a n t m e a n s o f l t e r a d a p t a t i o n . B e c a u s e o f
t h e v a r i e d r e s p o n s e o f t h e V o l t e r r a l t e r ' s p r o c e s s i n g s t a g e s t o t h e L M S a d a p t a t i o n ,
i t i s o f t e n d e s i r a b l e t o i m p l e m e n t a p a r a l l e l a d a p t a t i o n s c h e m e , i n w h i c h d i e r e n t
s t e p s i z e s a r e u s e d t o a d a p t d i e r e n t s e t s o f w e i g h t s f r o m d i e r e n t p r o c e s s i n g s t a g e s .
O b t a i n i n g b o u n d s f o r e a c h o f t h e s t e p s i z e s t o g u a r a n t e e m e a n - s q u a r e c o n v e r g e n c e i s
n o t g e n e r a l l y t r a c t a b l e . T h i s l e a d s t o a d - h o c a p p r o a c h e s t o t h e d e s i g n o f L M S s t e p
s i z e s f o r a p a r t i c u l a r a p p l i c a t i o n . I t c a n b e s h o w n , h o w e v e r , t h a t i f t h e V o l t e r r a l t e r -
i n g p r o b l e m i s f o r m u l a t e d a s a s e r i e s o f c o n s t r a i n e d o p t i m i z a t i o n p r o b l e m s , b e g i n n i n g
w i t h a n o p t i m a l l i n e a r l t e r a n d t h e n p r o c e e d i n g t o h i g h e r - o r d e r l t e r i n g s t r u c t u r e s
w h i l e k e e p i n g t h e l o w e r - o r d e r w e i g h t s x e d , t h e n a p a r t i a l d e c o u p l i n g o f t h e l t e r
k e r n e l s r e s u l t s . T h i s i n t u r n l e a d s t o t h e d e v e l o p m e n t o f p a r a l l e l a l g o r i t h m s w h o s e
s t e p s i z e s a r e b o u n d e d n o t b y t h e i n v e r s e o f t h e p o w e r i n t h e e n t i r e V o l t e r r a o b s e r -
v a t i o n v e c t o r , b u t o n l y t h e p o w e r i n t h e p a r t s o f t h e o b s e r v a t i o n v e c t o r o f t h e s a m e
o r l o w e r o r d e r a s t h e w e i g h t s i n q u e s t i o n . T h i s a l l o w s u s t o d e s i g n a s e t o f w e i g h t s
t h a t a l l o w l o w e r - o r d e r w e i g h t s t o c o n v e r g e m o r e r a p i d l y . I t a l s o a l l o w s u s t o d e v e l o p
1
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
3/28
a m o d u l a r l t e r i n g s t r u c t u r e , i n w h i c h h i g h e r - o r d e r p r o c e s s i n g s t a g e s c a n b e a d d e d
t o a n e x i s t i n g l t e r w i t h o u t r e q u i r i n g r e c o m p u t a t i o n o f t h e l o w e r - o r d e r w e i g h t s .
T h i s p a p e r i s o r g a n i z e d a s f o l l o w s . I n S e c t i o n 2 , w e f o r m u l a t e t h e c o n s t r a i n e d o p -
t i m i z a t i o n p r o b l e m a n d s h o w h o w i t l e a d s t o t h e p a r t i a l l y d e c o u p l e d n o r m a l e q u a t i o n
f o r V o l t e r r a l t e r s . I n S e c t i o n 3 , a p a r t i a l l y d e c o u p l e d g r a d i e n t - b a s e d a l g o r i t h m i s
d e v e l o p e d , a n d b o u n d s o n i t s s e t o f s t e p s i z e s a r e d e r i v e d u s i n g t h e p a r t i a l d e c o u p l i n g
o f t h e w e i g h t s . A p a r a l l e l p a r t i a l l y d e c o u p l e d L M S a l g o r i t h m i s t h e n d e v e l o p e d a n d
i t i s s h o w n t h a t t h e s a m e d e c o u p l i n g p r i n c i p l e s c a n b e u s e d t o d e v e l o p b o u n d s f o r
t h e v a r i o u s s t e p s i z e s . I n S e c t i o n 4 , t h e b e h a v i o r o f t h e p a r t i a l l y d e c o u p l e d L M S
a l g o r i t h m i s e x a m i n e d i n a c h a n n e l e q u a l i z a t i o n e x a m p l e , a n d i t i s s h o w n t h a t t h e
b o u n d s o n t h e s t e p s i z e s t h a t a r e o b t a i n e d a r e r e l i a b l e .
2 V o l t e r r a F i l t e r s
2 . 1 V o l t e r r a T h e o r y
T h e V o l t e r r a l t e r i s b a s e d o n t h e V o l t e r r a s e r i e s , w h e r e e a c h o f t h e a d d i t i v e t e r m s i s
t h e o u t p u t o f a p o l y n o m i a l f u n c t i o n a l w h i c h , a s n o t e d b y 1 2 ] , c a n b e t h o u g h t o f a s
a m u l t i d i m e n s i o n a l c o n v o l u t i o n . I n a d d i t i o n , t h e l t e r o u t p u t i s l i n e a r w i t h r e s p e c t
t o t h e a r g u m e n t s o f t h e v a r i o u s m u l t i - d i m e n s i o n a l c o n v o l u t i o n s . T h i s s e c o n d f a c t i s
i n s t r u m e n t a l i n f o r m u l a t i n g t h e V o l t e r r a i n p u t v e c t o r , w h i c h w i l l b e u s e d t o f o r m u l a t e
a n e x p r e s s i o n f o r t h e o p t i m a l l t e r c o e c i e n t s . F o r m o s t a p p l i c a t i o n s , i t i s d e s i r a b l e
t o f o r m u l a t e a V o l t e r r a l t e r w i t h a n i t e i m p u l s e r e s p o n s e s i n c e r e c u r s i v e a d a p t a t i o n
o f i n n i t e i m p u l s e r e s p o n s e ( I I R ) l t e r c o e c i e n t s i s n o t p o s s i b l e . T h e F I R V o l t e r r a
l t e r ' s o u t p u t m a y b e c h a r a c t e r i z e d b y a t r u n c a t e d V o l t e r r a s e r i e s c o n s i s t i n g o f p + 1
c o n v o l u t i o n a l t e r m s , i n c l u d i n g t h e o s e t t e r m h
0
, d e n e d o v e r a n i t e s u p p o r t . S u c h
a l t e r i s p r o p e r l y k n o w n a s a \ p o l y n o m i a l l t e r " , s i n c e t h e s e r i e s h a s b e e n t r u n c a t e d
t o a n i t e n u m b e r o f t e r m s 1 7 ] , b u t t h e t e r m \ V o l t e r r a l t e r " i s u s e d t o d e s c r i b e s u c h
a l t e r i n m o s t s o u r c e s , a n d t h a t t e r m i n o l o g y w i l l b e p r e s e r v e d h e r e . T h e a r g u m e n t s
o f t h e c o n v o l u t i o n s a r e t h e e l e m e n t s o f t h e o b s e r v a t i o n v e c t o r x ( n ) = x
1
; ; x
N
]
T
,
2
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
4/28
w h e r e x
i
= x ( n ? i + 1 ) . T h e l t e r o u t p u t i s w r i t t e n a s :
y ( n ) = h
0
+
N
X
i
1
= 1
h
1
( i
1
) x
i
1
+
N
X
i
1
= 1
N
X
i
2
= 1
h
2
( i
1
; i
2
) x
i
1
x
i
2
+ +
N
X
i
1
= 1
N
X
i
p
= 1
h
p
( i
1
; ; i
p
) x
i
1
x
i
p
( 1 )
w h e r e f h
j
( i
1
; ; i
j
) j i
1
; ; i
j
= 1 ; 2 ; ; N ; 1 j p g i s t h e s e t o f j
t h
o r d e r l t e r
w e i g h t s , a n d p i s t h e V o l t e r r a l t e r o r d e r . T h e i n p u t s f o r t h e l t e r c o m p o n e n t s o f
o r d e r g r e a t e r t h a n o n e a r e g e n e r a t e d b y t a k i n g s u c c e s s i v e o u t e r p r o d u c t s o f x ( n ) w i t h
i t s e l f a n d f e e d i n g e a c h r e s u l t i n g k
t h
o r d e r i n p u t v e c t o r , x
k
( n ) , t o a l t e r w i t h w e i g h t s
c o n t a i n e d i n t h e v e c t o r h
k
. T h e p s u b l t e r o u t p u t s y
1
( n ) ; ; y
p
( n ) a r e t h e n s u m m e d
t o p r o d u c e t h e V o l t e r r a l t e r r e s p o n s e y ( n ) .
J u s t a s w e c a n o p t i m i z e a l i n e a r l t e r i f t h e s t a t i s t i c s o f t h e d e s i r e d a n d o b s e r v e d
s i g n a l s a r e k n o w n , w e c a n u s e s i m i l a r t e c h n i q u e s t o c r e a t e a n o p t i m a l V o l t e r r a l t e r .
W e b e g i n b y d e n i n g t h e V o l t e r r a o b s e r v a t i o n v e c t o r x
V
( n ) = x
T
1
( n ) j j x
T
p
( n ) ]
T
w h e r e e a c h s u b - v e c t o r x
j
( n ) ; j = 1 ; 2 ; ; p c o n t a i n s j
t h
o r d e r p r o d u c t s o f t h e e l e -
m e n t s o f t h e i n p u t v e c t o r . F o r i n s t a n c e ,
x
2
( n ) = x
2
1
; x
1
x
2
; ; x
1
x
n
; x
2
2
; x
2
x
3
; x
2
x
n
; x
2
n
]
T
( 2 )
i s a v e c t o r c o n t a i n i n g a l l s e c o n d - o r d e r p r o d u c t s o f t h e e l e m e n t s o f x ( n ) . N o t e t h a t
o n l y o n e p e r m u t a t i o n o f e a c h p r o d u c t x
i
x
j
a p p e a r s i n x
2
( n ) , s o t h a t t h e v e c t o r w i l l
c o n t a i n a x
1
x
2
t e r m , s a y , b u t n o x
2
x
1
t e r m w i l l a p p e a r . F r o m P r o p o s i t i o n 6 . 2 i n
1 6 ] , w e c a n s h o w t h a t t h e l e n g t h o f t h e j
t h
s u b - v e c t o r , w h i c h w e d e n e a s M
j
, i s
M
j
=
0
B
@
N + j ? 1
j
1
C
A
. A l s o , w e d e n e M
k
t o b e t h e l e n g t h o f t h e v e c t o r f o r m e d b y
b u i l d i n g a s e q u e n t i a l a r r a y o f t h e r s t k V o l t e r r a s u b - v e c t o r s x
1
( n ) ; x
2
( n ) ; ; x
k
( n ) ,
i . e . , M
k
=
P
k
j = 1
M
j
; k = 1 ; 2 ; ; p , w i t h M
0
= 0 .
W i t h x
V
( n ) s o d e n e d , w e c a n a r r a n g e t h e c o r r e s p o n d i n g w e i g h t s i n t o a v e c t o r
h
V
= h
T
1
j j h
T
p
]
T
s o t h a t t h e o u t p u t o f t h e l t e r m a y b e w r i t t e n a s a n i n n e r p r o d u c t ,
r e e c t i n g t h e f a c t t h a t t h e o u t p u t i s l i n e a r w i t h r e s p e c t t o t h e a r g u m e n t s o f t h e
c o n v o l u t i o n s i n t h e t r u n c a t e d V o l t e r r a s e r i e s . T h e o p t i m a l i n p u t s a r e t h e n s i m p l y
f o u n d b y d i r e c t a p p l i c a t i o n o f t h e m i n i m u m m e a n s q u a r e d e r r o r ( M M S E ) c r i t e r i o n ,
3
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
5/28
w h i c h i s s a t i s e d b y t h e V o l t e r r a n o r m a l e q u a t i o n
R
V
h
V
= p
V
( 3 )
w h e r e p
V
= E f d ( n ) x
V
( n ) g a n d R
V
= E
n
x
V
( n ) x
T
V
( n )
o
. R
V
, t h e V o l t e r r a a u t o c o r -
r e l a t i o n m a t r i x , m a y a l s o b e w r i t t e n i n t h e f o l l o w i n g f o r m :
R
V
=
2
6
6
6
6
6
4
R
1 ; 1
R
1 ; p
.
.
.
.
.
.
.
.
.
R
p ; 1
R
p ; p
3
7
7
7
7
7
5
; ( 4 )
w h e r e R
i ; j
= E
n
x
i
( n ) x
T
j
( n )
o
i s a M
i
M
j
a r r a y . S i m i l a r l y , w e c a n w r i t e p
V
a s
p
V
=
h
p
T
1
: : : p
T
p
i
T
; ( 5 )
w h e r e p
k
= E f d ( n ) x
k
( n ) g i s a M
k
1 v e c t o r . T h i s e q u a t i o n i s a n a l o g o u s t o t h e
d i s c r e t e - t i m e f o r m o f t h e W e i n e r - H o p f e q u a t i o n d e v e l o p e d b y L e v i n s o n 8 ] . I n t h i s
p a p e r , w e w i l l r e f e r t o t h e s u b - a r r a y s o f R
V
a n d p
V
a s V o l t e r r a b l o c k s .
2 . 2 P a r t i a l l y D e c o u p l e d V o l t e r r a F i l t e r s
A p r o b l e m a s s o c i a t e d w i t h t h e f o r m u l a t i o n o f t h e V o l t e r r a l t e r i s t h a t t h e l t e r
w e i g h t s a r e f u l l y c o u p l e d i n g e n e r a l . W h i l e t h e a s s u m p t i o n o f a n i . i . d . G a u s s i a n
p r o c e s s i s s u c i e n t t o d e c o u p l e t h e w e i g h t s o f a q u a d r a t i c l t e r , f o r h i g h e r - o r d e r l t e r s
s u c h d e c o u p l i n g i s n o t p o s s i b l e . W e t h u s h a v e a l t e r s t r u c t u r e w h e r e a l l t h e l t e r
w e i g h t s o f a l l o r d e r s c h a n g e w i t h t h e a d d i t i o n o f h i g h e r - o r d e r p r o c e s s i n g m o d u l e s , e . g . ,
i m p r o v i n g a l i n e a r l t e r b y a d d i n g q u a d r a t i c w e i g h t s g e n e r a l l y f o r c e s t h e a l t e r a t i o n
o f t h e l i n e a r w e i g h t s i n o r d e r t o m i n i m i z e t h e l t e r M S E . A l s o , i f p a r a l l e l a d a p t a t i o n
o f t h e l t e r c o e c i e n t s i s u s e d , i t i s u s u a l l y v e r y d i c u l t t o e x p l i c i t l y o b t a i n b o u n d s
o n t h e v a r i o u s s t e p s i z e s t h a t w i l l g u a r a n t e e c o n v e r g e n c e o f t h e a d a p t i v e w e i g h t s t o
t h e i r o p t i m a l v a l u e s i n t h e m e a n - s q u a r e s e n s e .
W e t h e r e f o r e a r e i n t e r e s t e d i n a n a l t e r n a t i v e f o r m u l a t i o n o f t h e V o l t e r r a l t e r t h a t
w i l l a l l o w s o m e d e c o u p l i n g o f w e i g h t s o f d i e r e n t o r d e r s . S p e c i c a l l y , w e d e s i r e a n
a p p r o a c h t h a t w i l l a l l o w u s t o r e a l i z e a t r u l y m o d u l a r l t e r s t r u c t u r e t h a t w i l l n o t
4
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
6/28
r e q u i r e a l t e r a t i o n o f a l l l t e r w e i g h t s e a c h t i m e a h i g h e r - o r d e r p r o c e s s i n g m o d u l e i s
a d d e d , a n d w i l l a l l o w a m a t h e m a t i c a l l y t r a c t a b l e a n a l y s i s t o d e t e r m i n e u p p e r b o u n d s
f o r t h e s t e p s i z e s u s e d i n a p a r a l l e l a d a p t a t i o n s c h e m e . S u c h a l t e r w i l l r e q u i r e t h e
c o n s t r u c t i o n a n d s o l u t i o n o f a n e w n o r m a l e q u a t i o n , a n d t h e f o r m u l a t i o n o f a n e w
a d a p t i v e a l g o r i t h m . W e b e g i n b y d e v e l o p i n g t h e n o r m a l e q u a t i o n .
W e c o n s i d e r t h e f o r m u l a t i o n o f t h e o p t i m a l l i n e a r l t e r , w h i c h c a n b e t h o u g h t o f
a s a V o l t e r r a l t e r o f o r d e r o n e . H e r e , t h e o p t i m a l l t e r w e i g h t s h
1
f o l l o w f r o m t h e
n o r m a l e q u a t i o n d e v e l o p e d i n 8 ] , a n d a r e g i v e n b y
h
1
= R
? 1
1 ; 1
p
1
: ( 6 )
H e r e t h e r e i s n o d e v i a t i o n f r o m t h e w e l l - k n o w n o p t i m a l l t e r s t r u c t u r e . W e n o w
c o n s i d e r t h e q u a d r a t i c l t e r i n g c a s e w h e r e p = 2 . T h e w e i g h t s t h a t p r o d u c e t h e
M M S E a r e g i v e n b y t h e V o l t e r r a n o r m a l e q u a t i o n , h e r e p r e s e n t e d i n p a r t i t i o n e d f o r m
a s
2
6
4
R
1 ; 1
R
1 ; 2
R
2 ; 1
R
2 ; 2
3
7
5
2
6
4
h
1
h
2
3
7
5
=
2
6
4
p
1
p
2
3
7
5
: ( 7 )
I f w e i m p o s e t h e c o n d i t i o n t h a t h
1
= R
? 1
1 ; 1
p
1
, t h e n t h e s o l u t i o n c h a n g e s . W e u s e
t h e m e t h o d o f L a g r a n g e m u l t i p l i e r s t o o b t a i n t h e s o l u t i o n . T h e H a m i l t o n i a n i s c o n -
s t r u c t e d a s
H ( h
1
; h
2
; c ) = E
d ( n ) ? h
T
V
x
V
( n )
2
+ c
T
( R
1 ; 1
h
1
? p
1
) ; ( 8 )
w h e r e c i s a M
1
1 v e c t o r c o n t a i n i n g t h e L a g r a n g e m u l t i p l i e r s . T h e c o n s t r a i n e d
m i n i m u m i s f o u n d b y t a k i n g p a r t i a l g r a d i e n t s w i t h r e s p e c t t o h
1
, h
2
, a n d c . T h e s e t
o f l t e r w e i g h t s a n d m u l t i p l i e r s t h a t c a u s e a l l t h r e e g r a d i e n t s t o v a n i s h a r e t h o s e t h a t
p r o d u c e t h e c o n s t r a i n e d m i n i m u m . T h e r e s u l t i n g s e t o f c o n d i t i o n s t h a t t h e L a g r a n g e
m u l t i p l i e r s a n d l t e r w e i g h t s m u s t s a t i s f y c a n b e w r i t t e n i n m a t r i x f o r m a s
2
6
4
R
1 ; 1
0
R
2 ; 1
R
2 ; 2
3
7
5
2
6
4
h
1
h
2
3
7
5
=
2
6
4
p
1
p
2
3
7
5
; ( 9 )
f o r m i n g a n e w n o r m a l e q u a t i o n .
5
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
7/28
T h e n e w , c o n s t r a i n e d n o r m a l e q u a t i o n i s s t r o n g l y s i m i l a r t o t h e f a m i l i a r V o l t e r r a
n o r m a l e q u a t i o n f o r t h e q u a d r a t i c l t e r . I n f a c t , i f t h e a s s u m p t i o n o f a n i . i . d . G a u s s i a n
i n p u t p r o c e s s f x ( n ) g i s u s e d , b o t h o f t h e c r o s s - o r d e r c o r r e l a t i o n a r r a y s R
1 ; 2
a n d R
2 ; 1
v a n i s h , a n d t h e c o n s t r a i n e d a n d u n c o n s t r a i n e d n o r m a l e q u a t i o n s a r e i d e n t i c a l . T h i s
e e c t d o e s n o t o c c u r f o r h i g h e r l t e r o r d e r s , a s n o t a l l t h e c r o s s - o r d e r c o r r e l a t i o n
a r r a y s v a n i s h u n d e r t h e G a u s s i a n i t y a s s u m p t i o n .
P r o g r e s s i v e l y h i g h e r - o r d e r V o l t e r r a l t e r s m a y b e c o n s t r u c t e d u s i n g t h i s m e t h o d ;
f o r a p
t h
o r d e r l t e r t h e r e w i l l b e p ? 1 s e t s o f c o n s t r a i n t s , r e e c t i n g t h e f a c t t h a t
t h e l i n e a r , q u a d r a t i c , c u b i c , a n d u p t o ( p ? 1 )
t h
o r d e r l t e r w e i g h t s a r e x e d a t t h e i r
c o n s t r a i n e d o p t i m a l v a l u e s . W e c a n u s e i n d u c t i o n t o d e t e r m i n e t h e g e n e r a l f o r m o f
t h e c o n s t r a i n e d n o r m a l e q u a t i o n , s i n c e w e h a v e a l r e a d y d e t e r m i n e d t h e f o r m o f t h e
e q u a t i o n f o r t h e l i n e a r a n d q u a d r a t i c c a s e s . W e s u p p o s e t h a t t h e r e e x i s t s a p s u c h
t h a t t h e c o n s t r a i n e d n o r m a l e q u a t i o n f o r t h e p
t h
o r d e r l t e r i s
R
4
V
h
V
= p
V
: ( 1 0 )
w h e r e R
4
V
i s t h e p a r t i t i o n e d b l o c k - l o w e r - t r i a n g u l a r m a t r i x
R
4
V
=
2
6
6
6
6
6
6
6
6
4
R
1 ; 1
0
R
2 ; 1
R
2 ; 2
.
.
.
.
.
.
.
.
.
R
p ; 1
R
p ; 2
R
p ; p
3
7
7
7
7
7
7
7
7
5
: ( 1 1 )
T h e n i f w e f o r m t h e H a m i l t o n i a n a s b e f o r e , a n d s e t t h e p a r t i a l g r a d i e n t s e q u a l t o
n u l l v e c t o r s , w e a r r i v e a t t h e c o n s t r a i n e d n o r m a l e q u a t i o n f o r a ( p + 1 )
t h
o r d e r l t e r
h a v i n g t h e s a m e f o r m a s t h e p r e s u m e d c o n s t r a i n e d n o r m a l e q u a t i o n f o r t h e V o l t e r r a
l t e r o f o r d e r p . T h u s w e h a v e f o u n d a p a r t i a l l y d e c o u p l e d V o l t e r r a n o r m a l e q u a t i o n .
T h e p a r t i a l d e c o u p l i n g o c c u r s b e c a u s e b y x i n g t h e c o e c i e n t s o f a l t e r o f a g i v e n
o r d e r b e f o r e a d d i n g h i g h e r - o r d e r s e t s o f w e i g h t s , w e h a v e e l i m i n a t e d t h e d e p e n d e n c e
o f a l l s e t s o f c o e c i e n t s o f a g i v e n o r l o w e r o r d e r o n t h o s e c o e c i e n t s e t s o f a h i g h e r
o r d e r .
O n e i m p o r t a n t b e n e t o f t h i s a p p r o a c h i s t h a t t h e i m p l e m e n t a t i o n o f a t r u l y
m o d u l a r , m u l t i s t a g e l t e r i s m a d e p o s s i b l e b y t h i s f o r m u l a t i o n . O n c e t h e w e i g h t s f o r
6
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
8/28
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
9/28
f o r p u r s u i n g a n a d a p t i v e s o l u t i o n t o t h e c o n s t r a i n e d o p t i m i z a t i o n p r o b l e m i s t h e s a m e
a s t h e f u n d a m e n t a l m o t i v a t i o n f o r a p p l y i n g a d a p t i v e t e c h n i q u e s t o t h e o p t i m i z a t i o n
o f l i n e a r l t e r s . F o r V o l t e r r a l t e r s o f h i g h o r d e r , e m p l o y i n g l a r g e o b s e r v a t i o n v e c t o r s ,
i n v e r t i n g R
4
V
i s a f o r m i d a b l e t a s k . I t i s o f t e n e a s i e r t o i m p l e m e n t a n a d a p t i v e a l g o -
r i t h m f o r t h e l t e r c o e c i e n t s b a s e d e i t h e r o n N e w t o n ' s m e t h o d o r o n t h e m e t h o d o f
s t e e p e s t d e s c e n t 8 ] . I n a d d i t i o n , t h e s t e e p e s t d e s c e n t a l g o r i t h m , w h e n i m p l e m e n t e d
w i t h r e a l - t i m e s a m p l e e s t i m a t e s o f t h e c o r r e l a t i o n a r r a y s , l e a d s t o t h e L M S a l g o r i t h m .
T h e s t e e p e s t d e s c e n t a l g o r i t h m f o r V o l t e r r a l t e r s i s
h
V
( n + 1 ) = h
V
( n ) +
1
2
? r ( J ( n ) ) ] : ( 1 2 )
I f t h e w e i g h t s e t s a r e a d a p t e d i n p a r a l l e l , w i t h r e s p e c t i v e s t e p s i z e s
1
; : : : ;
p
, w e
h a v e
h
k
( n + 1 ) = h
k
( n ) ?
1
2
k
@ J ( n )
@ h
k
( n )
( 1 3 )
w h e r e J ( n ) i s t h e m e a n s q u a r e d e r r o r
J ( n ) = E
d ( n ) ? h
T
V
( n ) x
V
( n )
2
: ( 1 4 )
F o r t h e p a r t i a l l y d e c o u p l e d l t e r , w e m u s t u s e a v a r i a t i o n o f t h e s t e e p e s t d e s c e n t
a l g o r i t h m t h a t a c c o u n t s f o r t h e c o n s t r a i n t s t h a t w e i m p o s e d i n o r d e r t o o b t a i n t h e
p a r t i a l l y d e c o u p l e d n o r m a l e q u a t i o n . H e r e , w e u s e t h e H a m i l t o n i a n a n d b e g i n w i t h
t h e l i n e a r l t e r , w o r k i n g o u r w a y u p t h r o u g h i n c r e a s i n g l t e r o r d e r s i n d u c t i v e l y . A t
e a c h s t e p , t h e H a m i l t o n i a n t h a t w e w i l l u s e i s
H ( h
1
; h
k
; c ) = E
8
>
:
d ( n ) ?
k
X
j = 1
h
T
j
x
j
( n )
2
9
>
=
>
;
+ c
T
R
4
V
k ? 1 ] h
V
k ? 1 ] ? p
V
k ? 1 ]
( 1 5 )
w h e r e R
4
V
k ] i s g i v e n b y
R
4
V
k ] =
2
6
6
6
6
6
6
6
6
4
R
1 ; 1
0
R
2 ; 1
R
2 ; 2
.
.
.
.
.
.
.
.
.
R
k ; 1
R
k ; 2
R
k ; k
3
7
7
7
7
7
7
7
7
5
; ( 1 6 )
8
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
10/28
a n d h
V
k ] =
h
h
T
1
j j h
T
k
i
T
a n d p
V
k ] =
h
p
T
1
j j p
T
k
i
T
. F o r t h e l i n e a r l t e r , t h e s t e e p -
e s t d e s c e n t a l g o r i t h m i s u n c h a n g e d f r o m i t s f a m i l i a r f o r m , f o r t h e r e a r e n o c o n s t r a i n t s
o n t h e l i n e a r l t e r w e i g h t s . T h e r e s u l t i n g u p d a t e a l g o r i t h m i s
h
1
( n + 1 ) = I
M
1
?
1
R
1 ; 1
] h
1
( n ) ?
1
p
1
:
1
( 1 7 )
F o r t h e q u a d r a t i c u p d a t e e q u a t i o n , w e h a v e
h
2
( n + 1 ) = h
2
( n ) +
1
2
@
@ h
2
( n )
E
d ( n ) ? h
T
V
x
V
( n )
2
+ c
T
( R
1 ; 1
h
1
? p
1
)
; ( 1 8 )
w h i c h s i m p l i e s t o
h
2
( n + 1 ) = I
M
2
?
2
R
2 ; 2
] h
2
( n ) ?
2
R
2 ; 1
h
1
( n ) +
2
p
2
: ( 1 9 )
W e c a n p r o c e e d i n a n i n d u c t i v e f a s h i o n s i m i l a r t o t h a t u s e d t o o b t a i n t h e p a r t i a l l y
d e c o u p l e d n o r m a l e q u a t i o n . F r o m t h e d e v e l o p m e n t o f t h e p a r t i a l l y d e c o u p l e d n o r m a l
e q u a t i o n a n d ( 1 5 ) , t h e u p d a t e f o r h
k
( n ) i s
h
k
( n + 1 ) = I
M
k
?
k
R
k ; k
] h
k
( n ) ?
k
k ? 1
X
j = 1
R
k ; j
h
j
( n ) +
k
p
k
; ( 2 0 )
f o r k = 1 ; 2 ; ; p .
T o d e t e r m i n e c o n s t r a i n t s o n t h e p s t e p s i z e s w h i c h g u a r a n t e e c o n v e r g e n c e o f t h e
a l g o r i t h m , w e c o n s i d e r t h e t a p - w e i g h t e r r o r v e c t o r d e n e d a s
"
k
( n ) = h
k
( n ) ? h
k
; ( 2 1 )
w h e r e h
1
T
; : : : ; h
p
T
]
T
i s t h e s o l u t i o n o f t h e p a r t i a l l y d e c o u p l e d n o r m a l e q u a t i o n ,
w h i c h a l l o w s u s t o w r i t e ( 2 0 ) a s
"
k
( n + 1 ) = I
k
?
k
R
k ; k
] "
k
( n ) ?
k
k ? 1
X
j = 1
R
k ; j
"
T
j
( n ) ( 2 2 )
T h e r e a r e p o f t h e s e d i e r e n c e e q u a t i o n s f o r t h e t a p w e i g h t e r r o r s ; w e c a n c o m b i n e
t h e m i n t o a s i n g l e m a t r i x d i e r e n c e e q u a t i o n , w h i c h i s
"
V
( n + 1 ) =
I
M
p
? R
4
V
"
V
( n ) ( 2 3 )
1
I n t h i s p a p e r , w e w i l l d e n o t e a k k i d e n t i t y m a t r i x b y I
k
.
9
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
11/28
w h e r e i s t h e M
p
M
p
d i a g o n a l m a t r i x
=
2
6
6
6
6
6
4
1
I
M
1
0
.
.
.
0
p
I
M
p
3
7
7
7
7
7
5
: ( 2 4 )
I f w e p e r f o r m a n e i g e n v a l u e d e c o m p o s i t i o n o n t h e a b o v e , w e c a n u s e t h e f a c t t h a t R
4
V
i s b l o c k - t r i a n g u l a r , w h i c h a l l o w s u s t o w r i t e
"
V
( n + 1 ) =
I
M
p
? Q Q
? 1
"
V
( n ) ; ( 2 5 )
w h e r e Q i s a n M
p
M
p
a r r a y w h o s e c o l u m n s a r e t h e e i g e n v e c t o r s o f R
4
V
, a n d i s
a d i a g o n a l m a t r i x g i v e n b y
=
2
6
6
6
6
6
4
1
0
.
.
.
0
p
3
7
7
7
7
7
5
( 2 6 )
w h e r e f o r k = 1 ; 2 ; : : : ; p ,
k
i s a M
k
M
k
d i a g o n a l a r r a y c o n t a i n i n g t h e e i g e n v a l u e s
o f R
k ; k
.
W e c a n n o w p r e - m u l t i p l y ( 2 5 ) b y Q
? 1
, a n d o b t a i n v
V
( n + 1 ) =
I
M
p
?
v
V
( n ) ,
w h e r e v
V
( n ) = Q
? 1
"
V
( n ) . I f w e p a r t i t i o n v
V
( n ) i n t o i t s p V o l t e r r a s u b - v e c t o r s
a n d w r i t e t h e r e c u r s i o n s f o r e a c h s u b - v e c t o r s e p a r a t e l y , s i n c e t h e s u b - v e c t o r s a r e
c o m p l e t e l y d e c o u p l e d , w e p r o d u c e a s e t o f p r e c u r s i o n s :
v
k
( n + 1 ) = ( I
M
k
?
k
k
) v
k
( n ) ; k = 1 ; 2 ; ; p ( 2 7 )
w h e r e v
k
( n ) i s k
t h
V o l t e r r a s u b - v e c t o r o f v
V
( n ) . B e c a u s e
k
i s d i a g o n a l f o r e a c h k ,
w e c a n w r i t e s e p a r a t e d i e r e n c e e q u a t i o n s f o r e a c h o f t h e M
k
e l e m e n t s o f t h e v e c t o r
v
k
( n ) . W e t h u s o b t a i n
v
k
j
( n + 1 ) =
1 ?
k
k
j
v
k
j
( n ) ; j = 1 ; 2 ; ; M
k
; k = 1 ; 2 ; ; p ( 2 8 )
w h e r e v
k
j
( n ) i s t h e j
t h
e l e m e n t o f v
k
( n ) , o c c u p y i n g t h e ( M
k ? 1
+ j )
t h
l o c a t i o n i n
v
V
( n ) . v
k
j
( 0 ) i s t h e i n i t i a l v a l u e o f v
k
j
( n ) , a n d
k
j
i s t h e j
t h
d i a g o n a l e l e m e n t o f
k
. E q u i v a l e n t l y , v
k
j
( n ) i s g i v e n b y v
k
j
( n ) =
1 ?
k
k
j
n
v
k
j
( 0 ) , w h e r e v
k
j
( 0 ) i s t h e
i n i t i a l v a l u e o f t h e k
t h
j
n a t u r a l m o d e .
1 0
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
12/28
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
13/28
L M S a l g o r i t h m w i l l c o n v e r g e i n t h e m e a n i f
0 <
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
14/28
w h i c h r e a s o n a b l y m o d e l t h e o b s e r v e d a n d d e s i r e d s i g n a l s , r e s p e c t i v e l y , t h a t t h e l t e r
w i l l e n c o u n t e r d u r i n g a c t u a l o p e r a t i o n s . T h e l t e r o u t p u t y ( n ) i s c o m p a r e d t o d ( n )
a n d t h e r e s u l t i n g e r r o r , e
V
( n ) , i s u s e d t o a d j u s t e a c h o f t h e s e t s o f l t e r w e i g h t s ,
h
1
( n ) ; ; h
p
( n ) a c c o r d i n g t o t h e r e c u r s i o n g i v e n i n ( 3 4 ) . B y t h i s a p p r o a c h a l l t h e
l t e r w e i g h t s a r e a d j u s t e d t o g e t h e r , a n d e a c h w e i g h t ' s e v o l u t i o n i s a e c t e d b y t h e
c h a n g e s o c c u r r i n g i n a l l o f t h e o t h e r w e i g h t s .
A p r o b l e m w i t h t h e p a r a l l e l L M S a l g o r i t h m f o r V o l t e r r a l t e r s i s t h a t i t d o e s n o t
l e n d i t s e l f w e l l t o a m a t h e m a t i c a l l y t r a c t a b l e a n a l y s i s t h a t p r o d u c e s c o n c r e t e u p p e r
b o u n d s f o r t h e p s t e p s i z e s . T h e r e a s o n f o r t h i s i s t h a t t h e u s e o f t h e V o l t e r r a e r r o r
e
V
( n ) i n d u c e s , i n g e n e r a l , f u l l c o u p l i n g b e t w e e n e a c h w e i g h t v e c t o r h
k
( n ) a n d e v e r y
o n e o f t h e o t h e r p ? 1 w e i g h t v e c t o r s . D o k i c a n d C l a r k s o n h a v e d e v e l o p e d a s e t
o f b o u n d s o n s t e p s i z e s f o r a d a p t a t i o n o f c u b i c V o l t e r r a l t e r s t h a t g u a r a n t e e t h a t
t h e p a r a l l e l a d a p t i v e a l g o r i t h m w i l l c o n v e r g e i n t h e m e a n 5 ] . T h e s e b o u n d s d o n o t
n e c e s s a r i l y g u a r a n t e e c o n v e r g e n c e i n t h e m e a n - s q u a r e s e n s e . B e y o n d t h e c u b i c l t e r ,
t h e p r o b l e m o f n d i n g g o o d b o u n d s f o r t h e s t e p s i z e s u s e d i n t h e p a r a l l e l a l g o r i t h m
b e c o m e s a n i n c r e a s i n g l y c o m p l e x t a s k .
T h e p a r t i a l l y d e c o u p l e d L M S a l g o r i t h m i s g e n e r a t e d b y r e p l a c i n g t h e e x p e c t a t i o n s
i n ( 2 0 ) w i t h t h e i r a r g u m e n t s a n d r e a r r a n g i n g t e r m s t o p r o d u c e
h
k
( n + 1 ) = h
k
( n ) +
k
e
k
( n ) x
k
( n ) ; k = 1 ; 2 ; ; p : ( 3 5 )
w h e r e e
k
( n ) = d ( n ) ?
P
k
j = 1
h
T
j
( n ) x
j
( n ) i s t h e k
t h
p a r t i a l l t e r e r r o r . T h e s t r u c t u r e
o f a V o l t e r r a l t e r u s i n g t h e p a r t i a l l y d e c o u p l e d p a r a l l e l L M S a l g o r i t h m i s d e p i c t e d
i n F i g u r e 2 . T h e a d a p t a t i o n o f e a c h s e t o f w e i g h t s i s i n d e p e n d e n t o f t h e a d a p t a t i o n s
o f a l l h i g h e r - o r d e r w e i g h t s , i . e . , e a c h s e t o f w e i g h t s o f a g i v e n o r d e r w i l l a t t e m p t t o
i m p r o v e u p o n t h e p e r f o r m a n c e o f t h e l t e r c h a r a c t e r i z e d b y t h e l o w e r - o r d e r w e i g h t s ,
w h i l e r e m a i n i n g u n a e c t e d b y t h e e v o l u t i o n o f a n y h i g h e r - o r d e r w e i g h t s .
A n i m p o r t a n t a d v a n t a g e o f t h e p a r t i a l l y d e c o u p l e d L M S a l g o r i t h m i s t h a t i t a l -
l o w s u s t o r i g o r o u s l y d e t e r m i n e b o u n d s o n t h e p s t e p s i z e s
1
; ;
p
t h a t w i l l a l l o w
c o n v e r g e n c e o f t h e a l g o r i t h m i n t h e m e a n a n d i n t h e m e a n - s q u a r e . T h e f u l l y c o u p l e d
p a r a l l e l L M S a l g o r i t h m d o e s n o t i n g e n e r a l a l l o w s u c h a n a n a l y s i s . T h e t r a c t a b i l i t y o f
1 3
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
15/28
Z-1
Z-1
X X
1h 2h
x (n)1 x (n)2 x (n)3
h3
X
hp
x (n)p
.
..
.
.
.
x(n)
x(n-N+1)
x(n-1)
+ +d(n) +
- - -
. . .
. . .
. . .
. . .
+
-
e (n) e (n) e (n) e (n)1 2 3 p
y (n)1
y (n)2
y (n)3
y (n)p
F i g u r e 2 : S c h e m a t i c o f A d a p t i v e V o l t e r r a F i l t e r u s i n g P a r t i a l l y D e c o u p l e d P a r a l l e l
L e a s t M e a n S q u a r e s A l g o r i t h m
t h e f o l l o w i n g a n a l y s i s i s d e p e n d e n t o n t h e s t r u c t u r e o f t h e p a r t i a l l y d e c o u p l e d L M S
a l g o r i t h m i t s e l f , w h i c h a l l o w s u s t o p e r f o r m a s i m p l e e i g e n a n a l y s i s t h a t i s a n a l o g o u s
t o t h e a n a l y s i s p e r f o r m e d b y 8 ] f o r t h e a d a p t i v e l i n e a r l t e r . F o r t h e a n a l y s i s w e w i l l
u s e t h e w e l l k n o w n s t a n d a r d i n d e p e n d e n c e a s s u m p t i o n s w h i c h a r e c o m m o n l y u s e d
i n t h e a n a l y s i s o f t h e L M S a l g o r i t h m f o r V o l t e r r a l t e r s , a s s t a t e d b y M a t h e w s i n
1 4 ] ; t h e y a r e a n a l o g o u s t o t h e i n d e p e n d e n c e a s s u m p t i o n s u s e d f o r t h e a n a l y s i s o f t h e
l i n e a r L M S a l g o r i t h m , w h i c h a r e l i s t e d i n 8 ] , a m o n g o t h e r s .
I t i s w i d e l y a c k n o w l e d g e d t h a t t h e i n d e p e n d e n c e a s s u m p t i o n s d o n o t h o l d i n g e n -
e r a l . T h i s i s e s p e c i a l l y t r u e f o r t h e c a s e o f V o l t e r r a l t e r s , w h e r e , f o r i n s t a n c e , t h e
o b s e r v a t i o n d a t a c a n n o t p o s s i b l y b e G a u s s i a n . T h e j u s t i c a t i o n f o r u s i n g t h e s e a s -
s u m p t i o n s i s t h a t t h e u p p e r b o u n d s o n t h e a d a p t a t i o n s t e p s i z e t h a t t h e y p r o d u c e
l e a d t o r e l i a b l e d e s i g n g u i d e s i n p r a c t i c e . 1 2 ]
3 . 2 . 1 L M S C o n v e r g e n c e i n t h e M e a n
I f w e d e n e t h e p a r t i a l l y d e c o u p l e d t a p - w e i g h t e r r o r a s i n ( 2 1 ) , w e c a n d e v e l o p a n
u p d a t e e q u a t i o n f o r "
V
( n ) s i m i l a r t o ( 2 2 ) f o r t h e s t e e p e s t d e s c e n t a l g o r i t h m . T a k i n g
1 4
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
16/28
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
17/28
N e x t w e c o n s i d e r t h e q u a d r a t i c w e i g h t s c o n t a i n e d i n h
2
. T h e a s s o c i a t e d d i e r e n c e
e q u a t i o n f o r t h e q u a d r a t i c e r r o r v e c t o r "
2
( n ) i s
"
2
( n + 1 ) = ( I
M
2
?
2
x
2
( n ) x
T
2
( n ) ) "
2
( n ) +
2
x
2
( n ) x
T
1
( n ) "
1
( n ) +
2
x
2
( n ) e
2
( n ) ; ( 4 0 )
w h e r e e
2
( n ) i s t h e M S E a t t i m e n o f t h e o p t i m a l s e c o n d o r d e r p a r t i a l l y d e c o u p l e d
l t e r . A s t h e L M S a l g o r i t h m i s r u n , t h e l i n e a r w e i g h t s i n h
1
a p p r o a c h t h e i r o p t i -
m a l v a l u e s i n t h e m e a n - s q u a r e , w i t h a c o n v e r g e n c e t i m e
1
t h a t i s a p p r o x i m a t e l y
( 2
1
1 ; a v g
)
? 1
, w h e r e
1 ; a v g
i s t h e m e a n o f t h e e i g e n v a l u e s o f R
1 ; 1
. F o r a l l n >
1
,
"
1
( n ) i s a p p r o x i m a t e l y z e r o , a n d ( 4 0 ) c a n b e a p p r o x i m a t e d a s
"
2
( n + 1 ) = ( I
M
2
?
2
x
2
( n ) x
T
2
( n ) ) "
2
( n ) +
2
x
2
( n ) e
2
( n ) : ( 4 1 )
B y a p p l y i n g a m e a n - s q u a r e c o n v e r g e n c e a n a l y s i s t o ( 4 1 ) w h i c h i s a n a l o g o u s t o t h e t h a t
u s e d f o r t h e l i n e a r c a s e , i t i s c l e a r t h a t h
2
( n ) w i l l c o n v e r g e t o h
2
i n t h e m e a n - s q u a r e
i f 0 <
2
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
18/28
C a r r y i n g o u t a m e a n - s q u a r e d c o n v e r g e n c e a n a l y s i s a n a l o g o u s t o t h a t u s e d f o r t h e
l i n e a r l t e r i n g c a s e t h e n g i v e s t h e r e s u l t t h a t 0 <
p + 1
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
19/28
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
20/28
-1 -0.5 0 0.5 1-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
d(n)
f[d(n)]
F i g u r e 3 : T r a n s f e r C h a r a c t e r i s t i c o f C h a n n e l N o n l i n e a r i t y
o b s e r v a t i o n i n t e r v a l i s N = 5 . T o d o t h i s , w e c o n s t r u c t e s t i m a t e s o f t h e a r r a y s R
V
a n d p
V
b y e x a m i n i n g t i m e h i s t o r i e s o f s a m p l e f u n c t i o n s o f f d ( n ) g a n d f x ( n ) g . W i t h
t h e s e q u a n t i t i e s a v a i l a b l e , w e m a y c o m p u t e t h e t h e o r e t i c a l M M S E f o r t h e l t e r s . T h i s
i s d o n e i n T a b l e 1 f o r f u l l y c o u p l e d V o l t e r r a l t e r s a n d p a r t i a l l y d e c o u p l e d V o l t e r r a
l t e r s o p e r a t i n g w i t h s i g n a l - t o - n o i s e r a t i o s ( S N R s ) o f 0 d B , 5 d B , a n d 1 0 d B , w h e r e
S N R = 2 0 l o g
1 0
( E f x
2
( n ) g =
w
g ) . F r o m T a b l e 1 , w e s e e t h a t t h e p a r t i a l l y d e c o u p l e d
p F u l l y C o u p l e d F i l t e r P a r t i a l l y D e c o u p l e d F i l t e r
0 d B 5 d B 1 0 d B 0 d B 5 d B 1 0 d B
1 0 . 1 4 8 4 0 . 1 0 8 9 0 . 1 0 2 3 0 . 1 4 8 4 0 . 1 0 8 9 0 . 1 0 2 3
2 0 . 1 4 7 6 0 . 1 0 8 9 0 . 1 0 2 2 0 . 1 4 7 6 0 . 1 0 8 9 0 . 1 0 2 2
3 0 . 1 2 8 4 0 . 0 9 9 4 0 . 0 9 2 3 0 . 1 4 0 3 0 . 1 0 6 2 0 . 0 9 9 2
4 0 . 1 2 7 8 0 . 0 9 9 0 0 . 0 9 1 6 0 . 1 3 9 5 0 . 1 0 5 9 0 . 0 9 8 4
5 0 . 1 2 3 5 0 . 0 9 7 6 0 . 0 8 8 1 0 . 1 3 7 9 0 . 1 0 4 7 0 . 0 9 6 4
T a b l e 1 : V a l u e s o f M e a n S q u a r e d E r r o r f o r F u l l y C o u p l e d a n d P a r t i a l l y D e c o u p l e d
V o l t e r r a F i l t e r s f o r S N R = 0 d B , 5 d B , a n d 1 0 d B .
V o l t e r r a l t e r e x h i b i t s l i t t l e p e r f o r m a n c e d e g r a d a t i o n w i t h r e s p e c t t o t h e o p t i m a l
V o l t e r r a l t e r . A s a n e x a m p l e , f o r f o u r t h - o r d e r l t e r s , t h e p a r t i a l l y d e c o u p l e d l t e r ' s
1 9
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
21/28
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
22/28
T h e p a r a l l e l V o l t e r r a L M S a l g o r i t h m i s n o w u s e d t o r e c u r s i v e l y u p d a t e t h e l t e r
w e i g h t s , u s i n g s a m p l e f u n c t i o n s o f d ( n ) a n d x ( n ) a s t r a i n i n g s e q u e n c e s . W e c h o o s e
1
= 0 : 0 0 9 7 a n d
2
= 0 : 0 1 1 f o r t h e s e c o n d o r d e r p a r a l l e l a d a p t a t i o n , a n d
1
= 0 : 0 0 2 9 ,
2
= 0 : 0 0 2 2 , a n d
3
= 0 : 0 0 4 0 f o r t h e t h i r d o r d e r p a r a l l e l a d a p t a t i o n . P l o t s o f t h e
l t e r M S E , a v e r a g e d o v e r 1 0 0 t r i a l s , a r e g i v e n i n F i g u r e 4 f o r s e c o n d - o r d e r l t e r s a n d
i n F i g u r e 5 f o r t h i r d - o r d e r l t e r s . I n b o t h g u r e s , t h e p a r t i a l l y d e c o u p l e d l t e r
100
101
102
103
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
Iteration Number, n
SecondOrderF
ilterMSE
F i g u r e 4 : T i m e H i s t o r y o f F i l t e r M S E f o r S e c o n d O r d e r V o l t e r r a F i l t e r s : F u l l y C o u -
p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) .
e x h i b i t s m o r e r a p i d c o n v e r g e n c e t h a n t h e f u l l y c o u p l e d l t e r . T h i s i s d u e t o t h e
l a r g e r v a l u e s a s s i g n e d t o t h e l o w e r - o r d e r s t e p s i z e s . T h e l i n e a r w e i g h t s v e r y q u i c k l y
a p p r o a c h t h e i r o p t i m a l v a l u e s , w i t h t h e m o r e s l o w l y - c h a n g i n g h i g h e r - o r d e r w e i g h t s
s e r v i n g t o p r o v i d e a d d i t i o n a l r e n e m e n t t o t h e l o w e r - o r d e r l t e r ' s p e r f o r m a n c e . T h e
m e a n - s q u a r e e r r o r a s s o c i a t e d w i t h t h e p a r t i a l l y d e c o u p l e d l t e r s w a s h i g h e r i n b o t h
c a s e s , b u t t h e a s s o c i a t e d d e g r a d a t i o n i n p e r f o r m a n c e w a s n o t s e v e r e . S p e c i c a l l y , t h e
l o n g - t e r m M S E o f t h e f u l l y c o u p l e d c u b i c l t e r w a s 0 . 0 9 8 8 , w h i l e t h e c o r r e s p o n d i n g
g u r e f o r t h e p a r t i a l l y d e c o u p l e d c u b i c l t e r w a s 0 . 1 0 4 1 . T h i s s h o w s t h a t o n e c a n
s u c c e s s f u l l y d e v e l o p s t e p s i z e v a l u e s f o r t h e p a r a l l e l p a r t i a l l y d e c o u p l e d L M S a l g o r i t h m
t h a t y i e l d g o o d r e s u l t s i n t e r m s o f s e t t l i n g t i m e a n d l t e r p e r f o r m a n c e .
2 1
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
23/28
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
24/28
100
101
102
103
10-5
100
105
1010
1015
1020
1025
1030
1035
Iteration Number, n
SecondOrderFilterMS
E
F i g u r e 6 : T i m e H i s t o r y o f F i l t e r M S E f o r S e c o n d O r d e r V o l t e r r a F i l t e r s w i t h L a r g e
S t e p S i z e s : F u l l y C o u p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) .
i s x e d , t h e h i g h e r - o r d e r w e i g h t s a r e d e s i g n e d t o i m p r o v e o n t h e p e r f o r m a n c e o f
t h e l o w e r - o r d e r l t e r c o m p o n e n t s . T h i s h a s p r o d u c e d a m o d u l a r l t e r d e s i g n , i n
w h i c h a d d i t i o n o f h i g h e r - o r d e r p r o c e s s i n g s t a g e s t o a n e x i s t i n g l t e r d o e s n o t r e q u i r e
r e c o m p u t a t i o n o f a l l t h e l t e r w e i g h t s . T h e r e i s o f c o u r s e a n i n h e r e n t d e g r e e o f
s u b o p t i m a l i t y t h a t m u s t b e a c c e p t e d w i t h s u c h a l t e r .
B a s e d o n t h i s p a r t i a l l y d e c o u p l e d f o r m u l a t i o n , w e h a v e d e v e l o p e d a d a p t i v e a l g o -
r i t h m s f o r d e t e r m i n i n g t h e l t e r w e i g h t s . W e h a v e d e v e l o p e d a p a r t i a l l y d e c o u p l e d
s t e e p e s t d e s c e n t a l g o r i t h m a n d s h o w n t h a t c o n v e r g e n c e d e p e n d s o n b o u n d s f o r t h e
p s t e p s i z e s w h i c h d e p e n d o n t h e d i a g o n a l s u b - b l o c k s o f t h e V o l t e r r a a u t o c o r r e l a -
t i o n m a t r i x . W e h a v e a l s o d e v e l o p e d a p a r t i a l l y d e c o u p l e d p a r a l l e l L M S a l g o r i t h m ,
a n d h a v e d e r i v e d u p p e r b o u n d s f o r t h e s e t o f s t e p s i z e s f o r c o n v e r g e n c e o f t h e l t e r
w e i g h t s b o t h i n t h e m e a n a n d i n t h e m e a n - s q u a r e . T h e s e s e t s o f b o u n d s a l l o w u s
t o m o r e r e l i a b l y t a i l o r t h e a d a p t a t i o n o f V o l t e r r a l t e r s t h a n i s u s u a l l y p o s s i b l e w i t h
a f u l l y c o u p l e d a p p r o a c h , w h e r e s e t s o f b o u n d s f o r e a c h o f t h e p s t e p s i z e s c a n n o t
g e n e r a l l y b e o b t a i n e d i n c l o s e d f o r m w i t h o u t r e l y i n g o n a c o m p u t a t i o n a l l y e x p e n s i v e
o r t h o g o n a l i z a t i o n o f t h e V o l t e r r a o b s e r v a t i o n v e c t o r .
2 3
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
25/28
W e h a v e u s e d s i m u l a t i o n s o f a s i m p l e c h a n n e l e q u a l i z a t i o n p r o b l e m t o d e m o n s t r a t e
t h a t t h e b o u n d s w e o b t a i n e d a r e r e l i a b l e a n d t h a t t h e p e r f o r m a n c e o f t h e p a r t i a l l y
d e c o u p l e d l t e r d o e s n o t v a r y s i g n i c a n t l y f r o m t h a t o f a c o r r e s p o n d i n g f u l l y c o u p l e d
d e s i g n . T h i s h a s s h o w n t h a t a d a p t a t i o n b a s e d o n p a r t i a l d e c o u p l i n g o f t h e V o l t e r r a
l t e r w e i g h t s o e r s a m e a n s o f o b t a i n i n g m o r e r a p i d c o n v e r g e n c e w i t h o u t s a c r i c i n g
p e r f o r m a n c e o r i n c r e a s i n g c o m p u t a t i o n a l c o m p l e x i t y .
R e f e r e n c e s
1 ] S . B e n e d e t t o a n d E . B i g l i e r i , \ N o n l i n e a r E q u a l i z a t i o n o f D i g i t a l S a t e l l i t e C h a n -
n e l s , " I E E E J o u r n a l o n S e l e c t e d A r e a s i n C o m m u n i c a t i o n s , v o l . 1 , n o . 1 , p p . 5 7 - 6 2 ,
J a n u a r y , 1 9 8 3 .
2 ] S . B e n e d e t t o , E . B i g l i e r i , a n d R . D a a r a , \ M o d e l i n g a n d P e r f o r m a n c e E v a l u a t i o n
o f N o n l i n e a r S a t e l l i t e L i n k s { A V o l t e r r a S e r i e s A p p r o a c h , " I E E E T r a n s a c t i o n s o n
A e r o s p a c e a n d E l e c t r o n i c S y s t e m s , v o l . 1 5 , n o . 4 , p p . 4 9 4 - 5 0 7 , J u l y , 1 9 7 9 .
3 ] B h a r g a v a , V . K . , H a c c o u n , D . , M a t y a s , R . , a n d N u s p l , P . P . , D i g i t a l C o m m u n i -
c a t i o n s b y S a t e l l i t e , ( N e w Y o r k : J o h n W i l e y & S o n s , 1 9 8 1 . )
4 ] B i g l i e r i , E . , G e r s h o , A . , G i t l i n , R . D . , a n d L i m , T . L . , \ A d a p t i v e C a n c e l a t i o n
o f N o n l i n e a r I n t e r s y m b o l I n t e r f e r e n c e f o r V o i c e b a n d D a t a T r a n s m i s s i o n , " I E E E
J o u r n a l o n S e l e c t e d A r e a s i n C o m m u n i c a t i o n s , v o l . S A C - 2 , n o . 5 , p p . 7 6 5 - 7 7 7 ,
S e p t e m b e r , 1 9 8 4 .
5 ] P . M . C l a r k s o n a n d M . V . D o k i c , \ S t a b i l i t y a n d C o n v e r g e n c e B e h a v i o u r o f S e c o n d -
O r d e r L M S V o l t e r r a F i l t e r , " E l e c t r o n i c s L e t t e r s , v o l . 2 7 , n o . 5 , p p . 4 4 1 - 4 4 3 , F e b r u -
a r y , 1 9 9 1 .
6 ] K . D . F i s h e r , J . M . C i o , W . L . A b b o t t , P . S . B e d n a r z , a n d C . M . M e l a s , \ A n
A d a p t i v e R A M - D F E f o r S t o r a g e C h a n n e l s , " I E E E T r a n s a c t i o n s o n C o m m u n i c a -
t i o n s , v o l . 3 9 , n o . 1 1 , p p . 1 5 5 9 - 1 5 6 8 , N o v e m b e r , 1 9 9 1 .
2 4
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
26/28
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
27/28
1 8 ] A . A . M . S a l e h , \ F r e q u e n c y - I n d e p e n d e n t a n d F r e q u e n c y - D e p e n d e n t N o n l i n e a r
M o d e l s o f T W T A m p l i e r s , " I E E E T r a n s a c t i o n s o n C o m m u n i c a t i o n s , v o l . 2 9 , n o .
1 1 , p p . 1 7 1 5 - 1 7 2 0 , N o v e m b e r , 1 9 9 1 .
1 9 ] M . S c h e t z e n , T h e V o l t e r r a a n d W i e n e r T h e o r y o f N o n l i n e a r S y s t e m s , u p d a t e d
e d . ( M a l a b a r , F L : R . E . K r i e g e r , 1 9 8 9 ) .
2 6
8/12/2019 Partially Decoupled Volterra Filters Formulation and LMS Adaptation - Copy
28/28
L i s t o f F i g u r e s
1 S c h e m a t i c o f A d a p t i v e V o l t e r r a F i l t e r u s i n g L M S : : : : : : : : : : : 1 2
2 S c h e m a t i c o f A d a p t i v e V o l t e r r a F i l t e r u s i n g P a r t i a l l y D e c o u p l e d P a r -
a l l e l L e a s t M e a n S q u a r e s A l g o r i t h m : : : : : : : : : : : : : : : : : : : 1 4
3 T r a n s f e r C h a r a c t e r i s t i c o f C h a n n e l N o n l i n e a r i t y : : : : : : : : : : : : 1 9
4 T i m e H i s t o r y o f F i l t e r M S E f o r S e c o n d O r d e r V o l t e r r a F i l t e r s : F u l l y
C o u p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) . : : : : : : : : : : : : : 2 1
5 T i m e H i s t o r y o f F i l t e r M S E f o r T h i r d O r d e r V o l t e r r a F i l t e r s : F u l l y
C o u p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) . : : : : : : : : : : : : : 2 2
6 T i m e H i s t o r y o f F i l t e r M S E f o r S e c o n d O r d e r V o l t e r r a F i l t e r s w i t h
L a r g e S t e p S i z e s : F u l l y C o u p l e d ( | ) , a n d P a r t i a l l y D e c o u p l e d ( - - - ) . 2 3
L i s t o f T a b l e s
1 V a l u e s o f M e a n S q u a r e d E r r o r f o r F u l l y C o u p l e d a n d P a r t i a l l y D e c o u -
p l e d V o l t e r r a F i l t e r s f o r S N R = 0 d B , 5 d B , a n d 1 0 d B . : : : : : : : : : 1 9
2 S t e p S i z e B o u n d s f o r L M S A l g o r i t h m : : : : : : : : : : : : : : : : : : 2 0