8/3/2019 Fast Lossy Internet Image Transmission
1/12
F a s t L o s s y I n t e r n e t I m a g e T r a n s m i s s i o n
J o h n M . D a n s k i n G e o r e y M . D a v i s X i y o n g S o n g
D a r t m o u t h C o l l e g e
6 2 1 1 S u d i k o L a b o r a t o r y
H a n o v e r N H , 0 3 7 5 5 U S A
+ 1 - 6 0 3 - 6 4 6 - 2 2 0 6
f j m d , g d a v i s , x s o n g g @ c s . d a r t m o u t h . e d u
A B S T R A C T
I m a g e s a r e u s u a l l y t r a n s m i t t e d a c r o s s t h e I n t e r n e t u s i n g
a l o s s l e s s p r o t o c o l s u c h a s T C P / I P . L o s s l e s s p r o t o c o l s
r e q u i r e r e t r a n s m i s s i o n o f l o s t p a c k e t s , w h i c h s u b s t a n -
t i a l l y i n c r e a s e s t r a n s m i s s i o n t i m e . W e i n t r o d u c e a f a s t
l o s s y I n t e r n e t i m a g e t r a n s m i s s i o n s c h e m e ( F L I I T ) f o r
c o m p r e s s e d i m a g e s w h i c h e l i m i n a t e s r e t r a n s m i s s i o n d e -
l a y s b y s t r a t e g i c a l l y s h i e l d i n g i m p o r t a n t p o r t i o n s o f t h e
i m a g e w i t h r e d u n d a n c y b i t s . W e d e s c r i b e a j o i n t s o u r c e
a n d c h a n n e l c o d i n g a l g o r i t h m f o r i m a g e s w h i c h m i n -
i m i z e s t h e e x p e c t e d d i s t o r t i o n o f t r a n s m i t t e d i m a g e s .
T h e a l g o r i t h m e c i e n t l y a l l o c a t e s q u a n t i z e r r e s o l u t i o n
b i t s a n d r e d u n d a n c y b i t s t o c o n t r o l q u a n t i z a t i o n e r r o r s
a n d e x p e c t e d p a c k e t t r a n s m i s s i o n l o s s e s . W e d e s c r i b e
a n i m p l e m e n t a t i o n o f t h i s a l g o r i t h m a n d c o m p a r e i t s
p e r f o r m a n c e o n t h e I n t e r n e t t o l o s s l e s s T C P / I P t r a n s -
m i s s i o n o f t h e s a m e i m a g e s . I n o u r e x p e r i m e n t s , t h e
F L I I T s c h e m e t r a n s m i t t e d i m a g e s v e t i m e s f a s t e r t h a n
T C P / I P d u r i n g t h e d a y , w i t h r e s u l t i n g i m a g e s o f e q u i v -
a l e n t q u a l i t y .
K E Y W O R D S
f o r w a r d e r r o r c o r r e c t i o n , i m a g e c o m p r e s s i o n , i m a g e
t r a n s m i s s i o n , I n t e r n e t , l o s s y t r a n s m i s s i o n , W o r l d W i d e
W e b .
1 I N T R O D U C T I O N
W o r l d W i d e W e b r e q u e s t s a r e c u r r e n t l y e s t i m a t e d t o
c o m p r i s e s o m e 2 5 % o f a l l b y t e s s e n t o v e r t h e I n t e r n e t .
T h i s f r a c t i o n i s g r o w i n g r a p i d l y , a n d W W W r e q u e s t s
a r e p r o j e c t e d t o b e c o m e t h e s i n g l e l a r g e s t c o n s u m e r o f
I n t e r n e t b a n d w i d t h i n l a t e 1 9 9 5 7 ] . I m a g e s , m o s t o f
w h i c h a r e e x a m i n e d f o r a o n l y a f e w s e c o n d s , u n d o u b t -
e d l y c o n s t i t u t e t h e b u l k o f t h e 1 0 t e r a b y t e s o f m o n t h l y
W e b r e q u e s t s . F o r s u c h i n t e r a c t i v e a p p l i c a t i o n s a s w e b
b r o w s e r s , t h e r e s p o n s i v e n e s s g a i n e d f r o m r a p i d i m a g e
t r a n s m i s s i o n i s m o r e i m p o r t a n t t h a n p e r f e c t i m a g e -
d e l i t y , s i n c e r e l a t i v e l y f e w i m a g e s a r e c l o s e l y e x a m i n e d ,
a n d b e c a u s e m a n y a r e a l r e a d y d i s t o r t e d b y c o m p r e s s i o n .
T h e u s u a l m e t h o d f o r t r a n s m i t t i n g i m a g e s o v e r t h e
I n t e r n e t i s t o r s t c o m p r e s s t h e i m a g e s u s i n g a l o s s y
s c h e m e s u c h a s J P E G , a n d t h e n t o t r a n s m i t t h e m a c r o s s
t h e i n t r i n s i c a l l y l o s s y I n t e r n e t u s i n g t h e l o s s l e s s T C P / I P
p r o t o c o l . J P E G a n d r e l a t e d l o s s y s c h e m e s a r e v e r y s e n -
s i t i v e t o b i t e r r o r s a n d h e n c e r e q u i r e l o s s l e s s t r a n s m i s -
s i o n . T h e p r i c e p a i d f o r l o s s l e s s t r a n s m i s s i o n o v e r a
l o s s y m e d i u m i s e x c e s s i v e l y l e n g t h y t r a n s m i s s i o n t i m e s
d u e t o r e t r a n s m i s s i o n s o f l o s t p a c k e t s . A m o r e e c i e n t
m e a n s o f t r a n s m i t t i n g t h e d a t a i s v i a s o m e f o r m o f r e -
d u n d a n t t r a n s m i s s i o n ( f o r w a r d e r r o r c o r r e c t i o n ) w h i c h
w i l l m a k e s e r i o u s t r a n s m i s s i o n e r r o r s u n l i k e l y . R e d u n -
d a n c y m u s t b e a p p l i e d s e l e c t i v e l y , h o w e v e r , s i n c e t h e
a d d i t i o n o f r e d u n d a n c y i n c r e a s e s t h e a m o u n t o f i n f o r -
m a t i o n t o b e t r a n s m i t t e d .
L o s s l e s s t r a n s m i s s i o n s c h e m e s a r e e v e n m o r e p r o b l e m -
a t i c f o r I n t e r n e t v i d e o b r o a d c a s t i n g . R e t r a n s m i s s i o n i s
i m p r a c t i c a l w i t h b r o a d c a s t i n g b e c a u s e t h e r e c e i v e r s w i l l
n o t i n g e n e r a l e x p e r i e n c e t h e s a m e l o s s e s . A b r o a d c a s t e r
a t t e m p t i n g t o r e s p o n d t o a l l o f t h e s e d i e r e n t l o s s e s w i l l
q u i c k l y b e o v e r w h e l m e d . A g a i n , w h a t w e n e e d t o c o p e
w i t h p a c k e t l o s s e s i s s o m e f o r m o f f o r w a r d e r r o r c o r r e c -
t i o n .
S o m e o f t h e b i t s r e s u l t i n g f r o m J P E G c o m p r e s s i o n
a n d o t h e r s c h e m e s a r e n o t p e r c e p t u a l l y a s i m p o r t a n t
a s s o m e o f t h e o t h e r b i t s . F l i p p i n g h i g h o r d e r b i t s i n
t h e D C c h a n n e l m a k e s a b i g d i e r e n c e . F l i p p i n g l o w
o r d e r b i t s i n t h e n e d e t a i l c h a n n e l m a k e s a l m o s t n o
d i e r e n c e . P r o t e c t i n g t h e s e b i t s e q u a l l y i s n o t e c i e n t .
F L I I T u s e s a s u b b a n d c o m p r e s s i o n s c h e m e w i t h a
L a g r a n g e m u l t i p l i e r t e c h n i q u e t o a l l o c a t e b i t s t o c o d -
i n g s u b b a n d d a t a a n d t o f o r w a r d e r r o r c o r r e c t i o n . B i t s
d e v o t e d t o i m a g e d a t a g i v e u s a n i m a g e t o t r a n s m i t ,
8/3/2019 Fast Lossy Internet Image Transmission
2/12
8/3/2019 Fast Lossy Internet Image Transmission
3/12
d i s c a r d e d b y s w i t c h e s d u r i n g c o n g e s t i o n . O u r F L I I T
s c h e m e , i n c o n t r a s t , r e q u i r e s n o p r i o r i t i z a t i o n o f p a c k -
e t s b y t h e n e t w o r k a n d c a n f u n c t i o n o n a n y n e t w o r k
s u p p o r t i n g a s i m p l e d a t a g r a m p r o t o c o l .
T h e c o n t r i b u t i o n o f o u r F L I I T s c h e m e i s t o p r o v i d e a
s i m p l e , l o w - c o m p l e x i t y m e c h a n i s m f o r o b t a i n i n g a n e a r -
o p t i m a l p a r t i t i o n i n g o f b i t s b e t w e e n i m a g e q u a n t i z a t i o n
a n d r e d u n d a n c y f o r a g i v e n s e t o f i m a g e t r a n s f o r m q u a n -
t i z e r s , a p a r i t y p r o t e c t i o n s c h e m e , a n d a p a c k e t l o s s
m o d e l . W e d e s c r i b e i n d e t a i l a n i m p l e m e n t a t i o n o f t h e
a l g o r i t h m , d e m o n s t r a t e i t s e e c t i v e n e s s f o r i m a g e t r a n s -
m i s s i o n o n t h e I n t e r n e t a n d i t s r o b u s t n e s s u n d e r h e a v y
l o s s c o n d i t i o n s .
1 . 2 O u t l i n e
S e c t i o n 2 d e s c r i b e s t h e s u b b a n d c o m p r e s s i o n s c h e m e w e
u s e . S e c t i o n 3 o u t l i n e s t h e a l l o c a t i o n b i t s f o r d a t a r e p -
r e s e n t a t i o n a n d p r o t e c t i o n . S e c t i o n 4 g i v e s d e t a i l s f o r
i m p l e m e n t a t i o n . S e c t i o n s 5 p r e s e n t s e x p e r i m e n t a l r e -
s u l t s , a n d S e c t i o n 6 c o n c l u d e s w i t h a d i s c u s s i o n .
2 I M A G E C O M P R E S S I O N
2 . 1 S u b b a n d C o d i n g
W e u s e a s i m p l e w a v e l e t t r a n s f o r m c o d i n g s c h e m e t o
c o m p r e s s i m a g e s f o r t r a n s m i s s i o n . W e p e r f o r m a d i s -
c r e t e w a v e l e t t r a n s f o r m o n a n i m a g e , q u a n t i z e t h e c o e f -
c i e n t s u s i n g u n i f o r m q u a n t i z e r s , a n d e n t r o p y - c o d e t h e
r e s u l t i n g c o e c i e n t s u s i n g a n a r i t h m e t i c c o d e r . T h e r e s -
o l u t i o n o f t h e q u a n t i z e r s i s d e t e r m i n e d b y a L a g r a n g e
m u l t i p l i e r p r o c e d u r e w e d e s c r i b e b e l o w . W e u s e t h e 7 / 9 -
t a p b i o r t h o g o n a l w a v e l e t f r o m 1 7 ] f o r o u r e x p e r i m e n t s
b e l o w .
T h e F L I I T s c h e m e c a n e a s i l y b e m o d i e d t o w o r k
w i t h D C T - b a s e d s c h e m e s s u c h a s J P E G . W e h a v e c h o -
s e n t o w o r k w i t h w a v e l e t - b a s e d c o d e r b e c a u s e o f i t s s i m -
p l i c i t y a n d s u p e r i o r p e r f o r m a n c e . O u r l o w - c o m p l e x i t y
s c h e m e y i e l d s P S N R ' s f o r t h e 5 1 2 5 1 2 L e n a i m a g e
w i t h i n 0 . 3 t o 0 . 9 d B o f s t a t e o f t h e a r t c o d e r s 1 2 ] .
2 . 2 B i t A l l o c a t i o n
T h e d i s c r e t e w a v e l e t t r a n s f o r m p a r t i t i o n s a n i m a g e i n t o
a s e t o f s u b b a n d s r a n g i n g f r o m n e s c a l e s ( h i g h f r e -
q u e n c y ) t o c o a r s e ( l o w f r e q u e n c y ) . T y p i c a l l y t h e b u l k
o f t h e v i s u a l l y i m p o r t a n t i n f o r m a t i o n i s c o n c e n t r a t e d i n
t h e c o a r s e - s c a l e s u b b a n d s , w i t h t h e n e - s c a l e s u b b a n d s
c o n t r i b u t i n g m o s t l y a t s h a r p e d g e s . W e o b t a i n a c o m -
p r e s s e d i m a g e b y n e l y q u a n t i z i n g c o e c i e n t s t h a t c o n -
t r i b u t e h e a v i l y t o i m a g e d e l i t y a n d c o a r s e l y q u a n t i z i n g
o t h e r s . D e t e r m i n i n g t h e r e s o l u t i o n s f o r e a c h s u b b a n d
i s b a s i c a l l y a p r o b l e m o f r e s o u r c e a l l o c a t i o n . W e h a v e
a t r a d e o b e t w e e n q u a n t i z a t i o n e r r o r a n d t o t a l s t o r a g e
r e q u i r e m e n t s , a n d w e m u s t a l l o c a t e q u a n t i z e r b i n s t o
o b t a i n m i n i m a l d i s t o r t i o n f o r o u r g i v e n b i t e x p e n d i t u r e .
L e t D
j
( q ) b e t h e s u m o f t h e s q u a r e d e r r o r s i n c u r r e d
i n q u a n t i z i n g e a c h w a v e l e t c o e c i e n t i n b a n d j t o q b i t s ,
a n d l e t C
j
( q ) b e t h e c o s t o f s t o r i n g t h e e n t r o p y - c o d e d
q u a n t i z e d v a l u e s . W e u s e t h e m e a n s q u a r e d e r r o r a s o u r
m e a s u r e o f d i s t o r t i o n t o a l l o w c o m p a r i s o n t o c o m p e t i n g
a l g o r i t h m s , b u t t h e s c h e m e w e d e s c r i b e w i l l f u n c t i o n
e q u a l l y w e l l w i t h p e r c e p t u a l l y w e i g h t e d m e t r i c s s u c h a s
t h a t o f 1 0 ] . F o r a n i m a g e d e c o m p o s e d i n t o n s u b b a n d s ,
o u r g o a l i s t o n d a v e c t o r q = ( q
1
q
2
: : : q
n
) o f q u a n -
t i z e r b i n a l l o c a t i o n s w h i c h m i n i m i z e t h e t o t a l d i s t o r t i o n
D
t o t a l
( q ) =
P
n
j = 0
D
j
( q
j
) s u b j e c t t o t h e c o n s t r a i n t t h a t
t h e t o t a l c o s t i n b i t s , C
t o t a l
( q ) =
P
n
j = 0
C
j
( q
j
) m u s t b e
l e s s t h a n o r e q u a l t o s o m e g i v e n b i t b u d g e t C
m a x
. I n a d -
d i t i o n , t h e c o m p o n e n t s o f q m u s t a l l b e p o s i t i v e i n t e g e r s ,
a n d f o r p r a c t i c a l r e a s o n s w e i m p o s e a n u p p e r b o u n d o n
t h e c o m p o n e n t s o f q . T h u s w e s e e k a m i n i m i z a t i o n o v e r
q 2 Q w h e r e Q i s s o m e s e t o f v a l i d i n t e g e r - v a l u e d q u a n -
t i z e r b i n a l l o c a t i o n s .
S h o h a m a n d G e r s h o 1 3 ] d e s c r i b e a n a l g o r i t h m w h i c h
s o l v e s p r e c i s e l y t h i s p r o b l e m . T h e y s h o w t h a t a n y u n -
c o n s t r a i n e d m i n i m u m o f C
t o t a l
( q ) + D
t o t a l
( q ) i s a l s o
t h e s o l u t i o n t o a c o n s t r a i n e d p r o b l e m o f t h e f o r m w e
r e q u i r e . T h e s e u n c o n s t r a i n e d p r o b l e m s a r e m u c h e a s i e r
t o s o l v e , b u t w e m u s t d e t e r m i n e w h i c h v a l u e o f y i e l d s
t h e a p p r o p r i a t e c o n s t r a i n e d p r o b l e m . T h e c o n s t r a i n e d
p r o b l e m i s t h e r e b y t r a n s f o r m e d i n t o a s e a r c h t h r o u g h
a f a m i l y o f u n c o n s t r a i n e d p r o b l e m s . T h e a l g o r i t h m i n
1 3 ] g i v e s o p t i m a l o r n e a r - o p t i m a l b i t a l l o c a t i o n s f o r o u r
p r o b l e m .
I n o u r i m p l e m e n t a t i o n , w e u s e a u n i f o r m q u a n t i z e r f o r
s u b b a n d c o e c i e n t s . T h e l i m i t s o f t h e q u a n t i z a t i o n a r e
d e t e r m i n e d b y t h e r a n g e o f t h e c o e c i e n t s , a n d t h e r e s -
o l u t i o n i s t a k e n f r o m t h e s e t f 2
k
; 1 g
0 k K
f o r a x e d
p o s i t i v e K . W e k n o w a p r i o r i t h a t t h e w a v e l e t c o e -
c i e n t s w i l l b e d i s t r i b u t e d r o u g h l y s y m m e t r i c a l l y a r o u n d
0 , s o w e r e s t r i c t o u r s e l v e s t o o d d n u m b e r s o f q u a n t i z e r
b i n s t o e n s u r e t h a t t h e v e r y f r e q u e n t n e a r - z e r o c o e -
c i e n t s w i l l n o t b e d i v i d e d i n t o t w o b i n s . W e n d i n
n u m e r i c a l e x p e r i m e n t s t h a t a l l o w i n g q
j
t o a s s u m e i n t e r -
m e d i a t e v a l u e s d o e s n o t g i v e a s u b s t a n t i a l i m p r o v e m e n t
i n p e r f o r m a n c e . F o r a 2
N
2
N
i m a g e , t h e m i n i m i z a -
t i o n a l g o r i t h m i t e r a t i v e l y s e a r c h e s t h r o u g h a n a r r a y o f
s i z e ( 3 N + 4 ) K , a n d c o n v e r g e n c e i s t y p i c a l l y a c h i e v e d
i n r o u g h l y 3 0 i t e r a t i o n s . T h e c o m p l e x i t y o f t h e a l l o c a -
t i o n a l g o r i t h m i s q u i t e s m a l l w i t h r e s p e c t t o t h a t o f t h e
t r a n s f o r m a n d t h e e n t r o p y c o d i n g .
3 C H A N N E L C O D I N G A N D E X P E C T E D I M A G E
D I S T O R T I O N
3 . 1 J o i n t S o u r c e - C h a n n e l C o d i n g
T h e g o a l o f o u r c o m p r e s s i o n s c h e m e i s t o m i n i m i z e t h e
i m a g e d i s t o r t i o n i n c u r r e d f r o m q u a n t i z i n g t r a n s f o r m c o -
e c i e n t s . T r a n s m i s s i o n o f a n i m a g e o v e r a n e t w o r k i n -
t r o d u c e s a s e c o n d s o u r c e o f d i s t o r t i o n : n e t w o r k p a c k e t
l o s s e s . O u r c o m p r e s s i o n s c h e m e c o n t r o l s q u a n t i z a t i o n
e r r o r b y a d a p t i v e l y a l l o c a t i n g q u a n t i z e r r e s o l u t i o n . I n
8/3/2019 Fast Lossy Internet Image Transmission
4/12
t h e s a m e w a y , w e c a n c o n t r o l p a c k e t l o s s e r r o r s b y s e -
l e c t i v e l y a d d i n g r e d u n d a n c y t o o u r b i t s t r e a m .
T r a d i t i o n a l l y t h e c o s t s a n d d i s t o r t i o n s a s s o c i a t e d w i t h
q u a n t i z a t i o n a n d t r a n s m i s s i o n h a v e b e e n t r e a t e d s e p a -
r a t e l y . T h i s s e p a r a t i o n i s m o t i v a t e d b y S h a n n o n ' s j o i n t
s o u r c e c h a n n e l c o d i n g t h e o r e m 5 ] , w h i c h s t a t e s t h a t
s o u r c e c o d i n g f o l l o w e d b y c h a n n e l c o d i n g c a n b e m a d e
t o b e a s g o o d a s a n y s i n g l e - s t a g e s o u r c e / c h a n n e l c o d i n g
p r o c e d u r e . S h a n n o n ' s r e s u l t ( w h i c h i s a s y m p t o t i c a n d
r e q u i r e s i n n i t e c o m p u t a t i o n a l r e s o u r c e s ) i s n o t a p p l i -
c a b l e i n o u r c a s e , s i n c e i t d e a l s w i t h t h e p r o b l e m o f
t r a n s m i t t i n g a n i n n i t e b i t s t r e a m l o s s l e s s l y . I n f a c t , a s
o u r e x p e r i m e n t s s h o w b e l o w , s e p a r a t e s o u r c e a n d c h a n -
n e l c o d i n g i s i n e c i e n t f o r l o s s y t r a n s m i s s i o n .
W e h a v e a l r e a d y i n c u r r e d l o s s d u r i n g c o m p r e s s i o n a n d
a r e w i l l i n g t o a c c e p t a l i t t l e m o r e d u r i n g t r a n s m i s s i o n ,
p r o v i d e d t h a t w e l o s e b i t s w h i c h a r e v i s u a l l y l e s s i m p o r -
t a n t . T h e c h a n n e l c o d e r n e e d s a c c e s s t o t h e s o u r c e t o
k n o w t h e r e l a t i v e v a l u e s o f t h e b i t s . W e c a n v e r y e a s -
i l y c o m b i n e b o t h q u a n t i z a t i o n a n d t r a n s m i s s i o n e r r o r s
i n t o o u r c o s t a n d d i s t o r t i o n f u n c t i o n s a b o v e a n d u s e o u r
a l l o c a t o r t o n d a n e c i e n t d i s t r i b u t i o n o f q u a n t i z e r
r e s o l u t i o n a n d r e d u n d a n c y b i t s .
T h e p r o b l e m w e a d d r e s s i s t h a t o f t r a n s m i t t i n g i m -
a g e s a s a c o l l e c t i o n o f p a c k e t s o f b i t s o f a m a x i m u m s i z e
K o v e r a n e t w o r k . T h e c l a s s o f n e t w o r k p r o t o c o l s w e
c o n s i d e r h a s t w o i m p o r t a n t p r o p e r t i e s .
P a c k e t s m a y b e d e l i v e r e d o u t o f o r d e r , s o e a c h
p a c k e t c o n t a i n s a u n i q u e i d e n t i e r .
T h e c o n t e n t s o f a l l p a c k e t s a r e v e r i e d d u r i n g t r a n s -
m i s s i o n .
P a c k e t s a r e l o s t f o r o n e o f t w o r e a s o n s : a n o d e s o m e -
w h e r e o n t h e n e t w o r k r u n s o u t o f b u e r s p a c e a n d d r o p s
t h e p a c k e t , o r t h e p a c k e t i s c o r r u p t e d a n d f a i l s a v e r i c a -
t i o n p r o c e d u r e s o m e w h e r e i n t r a n s i t . B e c a u s e o f t h e r s t
p r o p e r t y , w e k n o w e x a c t l y w h i c h p a c k e t s h a v e b e e n l o s t .
B e c a u s e o f t h e s e c o n d p r o p e r t y , w e c a n a s s u m e t h a t a l l
p a c k e t s w h i c h a r e d e l i v e r e d a r e e r r o r - f r e e b e c a u s e t h e y
h a v e p a s s e d t h e p r o t o c o l ' s v e r i c a t i o n p r o c e d u r e .
W e a d d r e d u n d a n c y t o o u r t r a n s m i s s i o n b y a d d i n g
p a r i t y b i t s t o o u r d a t a s t r e a m a t a r a t e w h i c h d e p e n d s
o n t h e c u r r e n t s u b b a n d . S i n c e w e c a n t e l l w h i c h p a c k e t s
w e r e l o s t , a s i n g l e b l o c k o f p a r i t y b i t s c a n p r o t e c t a
g r o u p o f a n y n u m b e r o f b l o c k s o f d a t a a g a i n s t s i n g l e -
p a c k e t l o s s . G i v e n a g r o u p o f d a t a b l o c k s , a p a r i t y b l o c k
i s s e t t o t h e e x c l u s i v e - o r o f t h e b l o c k s i n t h e g r o u p . A n y
s i n g l e l o s t b l o c k c a n b e r e c o n s t r u c t e d a s t h e e x c l u s i v e - o r
o f t h e s u r v i v o r s . T h e r e i s a t r a d e o b e t w e e n p r o t e c t i o n
a n d c o s t . W e c a n o b t a i n g r e a t e r p r o t e c t i o n o f d a t a b y
d e c r e a s i n g t h e s i z e o f t h e g r o u p s p r o t e c t e d b y p a r i t y
b l o c k s , b u t t h i s i n c r e a s e d p r o t e c t i o n c o m e s a t t h e p r i c e
o f h a v i n g t o t r a n s m i t t h e a d d i t i o n a l p a r i t y b l o c k s . O u r
g o a l i s t o a l l o c a t e q u a n t i z e r b i n s a n d p a r i t y b l o c k s t o
s u b b a n d s s o t h a t w e m i n i m i z e t h e e x p e c t e d d i s t o r t i o n o f
t h e i m a g e .
I n p r a c t i c e , n e t w o r k p a c k e t l o s s e s o c c u r i n b u r s t s . W e
s e n d o u r p a c k e t s i n r a n d o m o r d e r s o t h a t t h e p r o b a b i l -
i t y o f p a c k e t l o s s e s w i t h i n p a r i t y g r o u p s c a n b e a p p r o x -
i m a t e d a s b e i n g i n d e p e n d e n t ( s u p p o s i n g t h a t t h e e x -
p e c t e d l e n g t h o f a b u r s t i s l e s s t h a n t h e s i z e o f a t r a n s -
m i s s i o n ) . F o r o u r o p t i m i z a t i o n , t h e n , w e a s s u m e t h a t
p a c k e t s a r e l o s t i n d e p e n d e n t l y w i t h a k n o w n p r o b a b i l -
i t y p
l o s s
. W e c a n c o n t r o l t h e v a r i a n c e o f o u r d i s t o r t i o n
b y a d j u s t i n g t h e p r o b a b i l i t y o f l o s s a s s u m e d b y t h e o p -
t i m i z e r . I n c r e a s i n g t h e a s s u m e d p r o b a b i l i t y o f l o s s b e -
y o n d t h e n e t w o r k ' s t r u e p a c k e t l o s s r a t e h a s t h e e e c t
o f s h i f t i n g b i t s f r o m d a t a t o r e d u n d a n c y , t h u s i n c r e a s i n g
t h e q u a n t i z a t i o n d i s t o r t i o n a t a g i v e n b i t - r a t e , b u t a l s o
i n c r e a s i n g t h e d e g r e e o f p r o t e c t i o n f r o m l o s t p a c k e t s .
S i n c e t h e o n l y s o u r c e o f v a r i a n c e i n t h e e x p e c t e d d i s t o r -
t i o n i s l o s t p a c k e t s , i n c r e a s i n g t h e d e g r e e o f r e d u n d a n c y
w i l l r e d u c e t h e v a r i a n c e a n d i n c r e a s e i m a g e c o n s i s t e n c y .
W e e m p h a s i z e t h a t p a r i t y - p r o t e c t i o n i s n o t t h e o n l y
f o r m o f r e d u n d a n c y w h i c h w i l l w o r k w i t h o u r o p t i m i z a -
t i o n s c h e m e w e h a v e c h o s e n i t f o r s i m p l i c i t y . M o r e s o -
p h i s t i c a t e d c o d i n g t e c h n i q u e s w h i c h o e r a b e t t e r r a -
t i o o f u n r e c o v e r a b l e l o s s r a t e t o c o d i n g o v e r h e a d e x i s t .
T h e s e s c h e m e s w i l l s t i l l t i n t o t h e F L I I T e x p e c t e d d i s -
t o r t i o n f r a m e w o r k b e c a u s e t h e r e w i l l a l w a y s b e a t r a d e -
o b e t w e e n c o d i n g o v e r h e a d a n d t h e u n r e c o v e r a b l e l o s s
r a t e t h a t c a n b e e x p l o i t e d b y t h e b i t - r a t e a l l o c a t o r .
3 . 2 E x p e c t e d D i s t o r t i o n
D a t a b l o c k s a r e g r o u p e d t o g e t h e r i n o n e o f t h r e e w a y s .
M u l t i p l e d a t a b l o c k s a r e s h i e l d e d b y a s i n g l e p a r i t y
b l o c k , a s i n g l e d a t a b l o c k i s r e p l i c a t e d m u l t i p l e t i m e s , o r
d a t a b l o c k s a r e u n s h i e l d e d . C o n s i d e r a s u b b a n d c o n s i s t -
i n g o f n d a t a b l o c k s . L e t D
q
b e t h e a v e r a g e q u a n t i z a t i o n
e r r o r i n c u r r e d p e r b l o c k , l e t D
m
b e t h e e r r o r i n c u r r e d
i n r e p l a c i n g a l l c o e c i e n t s i n a d a t a b l o c k b y t h e q u a n -
t i z e d s u b b a n d m e a n , a n d l e t D
z
b e t h e e r r o r i n c u r r e d
i n r e p l a c i n g a l l c o e c i e n t s i n a d a t a b l o c k b y z e r o . W e
h a v e D
q
D
m
D
z
, s o t h a t z e r o - r e p l a c e m e n t i s t h e
w o r s t - c a s e s c e n a r i o .
D a t a a n d p a r i t y b l o c k s f r o m e a c h s u b b a n d a r e d i s -
t r i b u t e d s o t h a t n o t w o b l o c k s f r o m t h e s a m e b a n d a r e
c o n t a i n e d i n t h e s a m e n e t w o r k p a c k e t . H e n c e l o s s e s
o f d a t a b l o c k s a r e i n d e p e n d e n t e v e n t s . E v e r y s u c c e s s -
f u l l y t r a n s m i t t e d o r l o s t - b u t - r e c o v e r a b l e b l o c k i n a d a t a
g r o u p p r o d u c e s a n e r r o r o f D
q
o n a v e r a g e . I f t h e s u b -
b a n d m e a n i s a v a i l a b l e ( i . e . i f a t l e a s t o n e p a c k e t f r o m
t h e g r o u p i s s u c c e s s f u l l y t r a n s m i t t e d ) , l o s t b l o c k s p r o -
d u c e a n a v e r a g e e r r o r o f D
m
o t h e r w i s e l o s t b l o c k s p r o -
d u c e a n a v e r a g e e r r o r o f D
z
T h e e x p e c t e d d i s t o r t i o n f o r a b a n d c o n s i s t i n g o f n
d a t a b l o c k s i s
E ( D ) = n D
q
+ n p
u n r e c o v e r a b l e
( D
m
; D
q
)
8/3/2019 Fast Lossy Internet Image Transmission
5/12
+ n p
n
u n r e c o v e r a b l e
( D
z
; D
m
) ( 1 )
w h e r e p
u n r e c o v e r a b l e
i s t h e p r o b a b i l i t y o f a n u n r e -
c o v e r a b l e p a c k e t l o s s . F o r u n s h i e l d e d d a t a b l o c k s ,
p
u n r e c o v e r a b l e
i s s i m p l y p
l o s s
, t h e p r o b a b i l i t y o f l o s i n g
a p a c k e t . I n t h e c a s e o f r e p l i c a t e d b l o c k s , a l o s s w i l l b e
u n r e c o v e r a b l e o n l y i f a l l c o p i e s a r e l o s t . H e n c e , i n t h i s
c a s e p
u n r e c o v e r a b l e
= p
m
l o s s
, w h e r e m i s t h e t o t a l n u m -
b e r o f c o p i e s o f e a c h b l o c k t r a n s m i t t e d . F o r s u b b a n d s
i n w h i c h e a c h k b l o c k s a r e s h i e l d e d b y a s i n g l e p a r i t y
b l o c k , t h e p r o b a b i l i t y o f l o s i n g a n y s i n g l e b l o c k u n r e -
c o v e r a b l y i s p
u n r e c o v e r a b l e
= p
l o s s
1 ; ( 1 ; p
l o s s
)
k
] , t h e
p r o b a b i l i t y o f l o s i n g t h a t b l o c k a n d a t l e a s t o n e o f t h e
o t h e r k b l o c k s . I n o u r p a c k e t l o a d i n g s c h e m e w e i m p o s e
t h e r e s t r i c t i o n t h a t n o 2 b l o c k s f r o m t h e s a m e s u b b a n d
m a y o c c u p y t h e s a m e p a c k e t , s o b l o c k l o s s e s a r e t r u l y
i n d e p e n d e n t .
L e t r
j
i n d i c a t e t h e m a n n e r o f p a r i t y s h i e l d i n g f o r t h e
s u b b a n d j . W e r e p l a c e t h e c o s t a n d d i s t o r t i o n f u n c -
t i o n s C
j
( q
j
) a n d D
j
( q
j
) w i t h t h e f u n c t i o n s
C
j
( q
j
r
j
)
a n d
D
j
( q
j
r
j
) w h i c h i n c o r p o r a t e t h e c o s t o f t h e p a r i t y
p a c k e t s a n d t h e e x p e c t e d d i s t o r t i o n i n c u r r e d i n t r a n s -
m i s s i o n . T h e n e w c o s t f u n c t i o n
C
j
( q
j
r
j
) w i l l e q u a l t h e
o l d C
j
( q
j
) p l u s t h e n u m b e r o f b i t s u s e d f o r t h e p a r i t y
b l o c k s . T h e n e w d i s t o r t i o n f u n c t i o n
D
j
( q
j
r
j
) i s o b -
t a i n e d f r o m o n e o f t h e t h r e e e x p e c t e d d i s t o r t i o n f u n c -
t i o n s d e r i v e d a b o v e . W e n o w s o l v e t h e c o n s t r a i n e d m i n -
i m i z a t i o n p r o b l e m a s b e f o r e , u s i n g t h e s e n e w c o s t a n d
d i s t o r t i o n f u n c t i o n s .
4 I M P L E M E N T A T I O N
4 . 1 E n c o d i n g
A d e s c r i p t i o n o f t h e e n c o d i n g p r o c e s s f o l l o w s :
1 . A p p l y a w a v e l e t s u b b a n d d e c o m p o s i t i o n t o t h e i m -
a g e . I n a c o m p l e t e w a v e l e t d e c o m p o s i t i o n , t h e
c o a r s e - s c a l e s u b b a n d w o u l d b e a s i n g l e p i x e l v a l u e
c o r r e s p o n d i n g t o a w e i g h t e d a v e r a g e o f a l l p i x e l s i n
t h e i m a g e . B e c a u s e o f t h e n e c e s s i t y o f m a i n t a i n i n g
s o m e h e a d e r i n f o r m a t i o n w i t h e a c h s u b b a n d , i t i s
c h e a p e r t o s t o p t h e t r a n s f o r m a t i o n a t s o m e p o i n t
s h o r t o f a s i n g l e p i x e l ( s a y a 3 2 3 2 c o a r s e - s c a l e
i m a g e ) , a n d t o t r a n s m i t t h i s i m a g e u n t r a n s f o r m e d .
T h i s b a s e i m a g e i s r e f e r r e d t o a s t h e c o a r s e s c a l e
b a n d , o r b a n d 0 . I t c o r r e s p o n d s r o u g h l y t o t h e D C
b a n d o f a J P E G i m a g e . T h e o t h e r ( d e t a i l ) b a n d s
a r e r e n e m e n t s o f t h i s i m a g e , e a c h s u c c e s s i v e b a n d
p r o v i d i n g t h e i n f o r m a t i o n n e c e s s a r y t o d o u b l e t h e
i m a g e r e s o l u t i o n .
2 . A s s i g n q u a n t i z e r r e d u n d a n c i e s a n d l e v e l s o f p a r i t y
a c c o r d i n g t o t h e a l g o r i t h m d e s c r i b e d i n t h e p r e v i -
o u s s e c t i o n .
3 . F o r t r a n s m i s s i o n , i t m a k e s s e n s e t o d i s t r i b u t e e a c h
b a n d a c r o s s a s m a n y p a c k e t s a s p o s s i b l e u s i n g a
p i x e l i n t e r l e a v i n g s c h e m e l i k e t h e o n e d e s c r i b e d
i n 1 6 ] s o t h a t a l o s t p a c k e t w i l l n o t c a u s e a c a t a s -
t r o p h i c b a n d l o s s . D i s t r i b u t i n g s u b b a n d s d o e s n o t
r e d u c e e x p e c t e d d i s t o r t i o n ( b e c a u s e t h e c h a n c e o f
s o m e l o s s i n a g i v e n s u b b a n d i s i n c r e a s e d b y d i s t r i -
b u t i o n ) , b u t i t r e d u c e s t h e v a r i a n c e i n t h e e x p e c t e d
d i s t o r t i o n b y i n c r e a s i n g t h e p o p u l a t i o n s u b j e c t t o
t h e t r a n s m i s s i o n e x p e r i m e n t .
T h i s d e s i r e f o r s u b d i v i s i o n i s t e m p e r e d b y t h e n e e d
f o r a d e s c r i p t i v e h e a d e r f o r e a c h i n d e p e n d e n t i m a g e
b l o c k . S i n c e i m a g e t r a n s m i s s i o n i s l o s s y , a n d a n y
s u b s e t o f n e t w o r k p a c k e t s c o u l d a r r i v e , w e a d d e d a
h e a d e r t o e a c h b l o c k w h i c h d e s c r i b e s t h e b l o c k i n
e n o u g h d e t a i l t o p e r m i t ( l o s s y ) r e c o n t r u c t i o n o f t h e
s u b b a n d c o r r e s p o n d i n g t o t h e b l o c k .
W e s e t t l e d o n i m a g e b l o c k s o f u p t o a b o u t 1 5 0 b y t e s
e a c h . H e a d e r i n f o r m a t i o n w o r k e d o u t t o a b o u t 1 5
b y t e s p e r b l o c k , b u t b e c a u s e t h e r e w e r e m a n y s m a l l
s u b b a n d s t h a t w e r e n o t b r o k e n i n t o b l o c k s , r o u g h l y
2 0 % o f t h e c o m p r e s s e d i m a g e e n d s u p a s h e a d e r
i n f o r m a t i o n .
A f u t u r e i m p l e m e n t a t i o n m i g h t l o c a l i z e t h i s h e a d e r
i n f o r m a t i o n i n a f e w h e a v i l y s h i e l d e d p a c k e t s , w h i c h
w o u l d b e m o r e e c i e n t s i n c e m u c h o f t h e h e a d e r
i n f o r m a t i o n i s r e p l i c a t e d b e t w e e n b l o c k s f r o m t h e
s a m e s u b b a n d .
4 . T h e c o m p r e s s e d w a v e l e t c o e c i e n t s f o l l o w t h e
h e a d e r i n t h e c o m p r e s s e d b l o c k . T h e w a v e l e t c o -
e c i e n t s a r e c o m p r e s s e d u s i n g a d a p t i v e a r i t h m e t i c
c o d i n g . A r i t h m e t i c c o d e r s e m i t ; l o g
2
p
i
b i t s
w h e r e p
i
w a s t h e p r e d i c t e d p r o b a b i l i t y o f t h e i t h
e v e n t . I n a d a p t i v e c o d i n g , t h e r e l a t i v e f r e q u e n c i e s
o f p a s t e v e n t s , a s r e m e m b e r e d i n h i s t o g r a m s , a r e
u s e d t o e s t i m a t e t h e p r o b a b i l i t y o f f u t u r e e v e n t s
f o r t h e p u r p o s e s o f c o d i n g . S o t h a t n o e v e n t i s p r e -
d i c t e d w i t h z e r o p r o b a b i l i t y , h i s t o g r a m s a r e u s u a l l y
i n i t i a l i z e d s o t h a t a l l p o s s i b l e e v e n t s h a v e f r e q u e n c y
o n e . A s t h e i n p u t i s r e a d , t h e h i s t o g r a m a d a p t s
t o t h e a c t u a l f r e q u e n c i e s e n c o u n t e r e d . F o r a l a r g e
d a t a s e t , t h e i n e r t i a r e p r e s e n t e d b y t h e i n i t i a l a t
h i s t o g r a m i s u n i m p o r t a n t .
B y b l o c k i n g , w e h a v e r e d u c e d t h e a m o u n t o f t i m e
a v a i l a b l e f o r t h e h i s t o g r a m t o a d a p t t o t h e i n p u t
d i s t r i b u t i o n . T o c o m p e n s a t e f o r t h i s e e c t , w e u s e
t h e f o l l o w i n g s c h e m e :
I n i t i a l l y , t h e r e a r e t w o h i s t o g r a m s , o n e a t
h i s t o g r a m ( F ) w i t h e v e r y p o s s i b l e v a l u e i n i -
t i a l i z e d t o o n e , a n d o n e e m p t y h i s t o g r a m ( H )
w i t h a s i n g l e s y m b o l , t h e e s c a p e s y m b o l w i t h
i n i t i a l p r o b a b i l i t y a n d f r e q u e n c y e q u a l t o 1 .
W h e n e v e r a n i n p u t s y m b o l a p p e a r s w i t h n o n -
z e r o p r o b a b i l i t y ( f r e q u e n c y ) i n h i s t o g r a m H , i t
8/3/2019 Fast Lossy Internet Image Transmission
6/12
i s c o d e d u s i n g h i s t o g r a m H , a n d i t s f r e q u e n c y
i n h i s t o g r a m H i s i n c r e m e n t e d .
W h e n e v e r a n i n p u t s y m b o l a p p e a r s w i t h z e r o
p r o b a b i l i t y i n h i s t o g r a m H , t h e e s c a p e s y m b o l
i s c o d e d u s i n g h i s t o g r a m H , a n d t h e s y m b o l i s
c o d e d u s i n g h i s t o g r a m F ( i n w h i c h i t m u s t a p -
p e a r ) . T h i s n e w s y m b o l i s a d d e d t o h i s t o g r a m
H w i t h f r e q u e n c y 1 , a n d h i s t o g r a m F i s n e v e r
a g a i n u s e d t o c o d e t h i s s y m b o l .
T h i s t w o h i s t o g r a m s c h e m e a d a p t s m u c h m o r e
q u i c k l y t h a n t h e s i n g l e h i s t o g r a m s c h e m e . S i m i l a r
s c h e m e s a r e u s e d f o r b l e n d i n g h i g h o r d e r c o n t e x t s
i n t e x t c o d i n g 2 ] , b u t w e a r e u n a w a r e o f a p r i o r u s e
o f t h i s s c h e m e i n i m a g e c o d i n g .
5 . A f t e r t h e c o m p r e s s e d b l o c k s a r e g e n e r a t e d , w e a d d
r e d u n d a n c y . T h e b l o c k s a r e s o r t e d b y p r o t e c t i o n
l e v e l a n d s i z e , i n o r d e r o f d e c r e a s i n g p r o t e c t i o n
a n d s i z e . B l o c k s r e q u i r i n g r e p l i c a t i o n a r e s i m p l y
r e p l i c a t e d . A g i v e n b l o c k a n d i t s r e p l i c a s w i l l a l l
h a v e t h e s a m e p a r i t y g r o u p n u m b e r , w h i c h w i l l p r e -
v e n t t h e m f r o m b e i n g i n c l u d e d i n t h e s a m e n e t w o r k
p a c k e t .
B l o c k s r e q u i r i n g t h e s a m e l e v e l o f p a r i t y p r o t e c -
t i o n w i l l b e g r o u p e d t o g e t h e r b y t h e s o r t . U s u a l l y
i t w i l l n o t b e p o s s i b l e t o m e e t t h e r e q u i r e m e n t s
e x a c t l y . F o r i n s t a n c e , t h e r e m i g h t b e j u s t 4 d a t a
b l o c k s w h i c h w a n t t o b e i n a g r o u p o f 5 d a t a b l o c k s
p r o t e c t e d b y a p a r i t y b l o c k . I n t h i s c a s e , w e u s e a
g r e e d y a l g o r i t h m t o p r o m o t e a b l o c k w i t h l e s s s t r i n -
g e n t p r o t e c t i o n r e q u i r e m e n t s ( i f o n e i s a v a i l a b l e ) t o
r o u n d o u t t h e g r o u p . T h i s p r o m o t i o n p r o c e d u r e i s
m o r e e c i e n t t h a n t h e a l t e r n a t i v e o f l e a v i n g p a r i t y
g r o u p s u n l l e d , a n d e e c t i v e l y p r o m o t i n g a l l o f t h e
m e m b e r s o f a g r o u p t o a h i g h e r l e v e l o f p r o t e c t i o n .
S o r t i n g b y s i z e h e l p s t o k e e p s i m i l a r l y s i z e d b l o c k s
i n t h e p a r i t y g r o u p , w h i c h i s v a l u a b l e b e c a u s e t h e
p a r i t y b l o c k m u s t b e a s l a r g e a s t h e l a r g e s t d a t a
b l o c k i n t h e g r o u p .
6 . F i n a l l y , w e h a v e c o m p r e s s e d d a t a a n d p a r i t y b l o c k s
r e a d y f o r t r a n s m i s s i o n . I f ( w h e n ) t h e n e t w o r k
i s c o n g e s t e d , t h r o u g h p u t w i l l b e g a t e d b y r o u t e r
s c h e d u l i n g , r a t h e r t h a n b y b a n d w i d t h . R o u t e r s
s c h e d u l e c o m m u n i c a t i o n c h a n n e l s u s i n g a r o u n d
r o b i n a l g o r i t h m w h i c h i s i n s e n s i t i v e t o p a c k e t s i z e .
T h i s m e a n s t h a t u s e r s o f p a c k e t s s m a l l e r t h a n t h e
l a r g e s t p a c k e t t r a n s m i t t e d b y t h e n e t w o r k w i l l p a y
a h e a v y t h r o u g h p u t p e n a l t y f o r t h e i r p o o r j u d g e -
m e n t . C o n v e r s e l y , i f a u s e r s e n d s s u c h l a r g e p a c k e t s
t h a t t h e y a r e f r a g m e n t e d e n - r o u t e , t h e n t h e y w i l l
l o s e t h e i r e n t i r e l a r g e p a c k e t w h e n e v e r a s i n g l e f r a g -
m e n t i s l o s t , a l s o r e s u l t i n g i n r e d u c e d t h r o u g h p u t .
T h e l a r g e s t I n t e r n e t p a c k e t w h i c h i s g u a r a n t e e d n o t
t o b e f r a g m e n t e d i s 5 7 6 b y t e s 1 5 ] .
W e u s e t h e l a r g e s t - r s t r s t - t h e u r i s t i c t o p a c k
b l o c k s i n t o 5 5 0 b y t e U D P p a c k e t s . A d d i t i o n a l
r e s t r i c t i o n s a r e t h a t b l o c k s f r o m t h e s a m e p a r i t y
g r o u p a r e n o t a l l o w e d i n t h e s a m e p a c k e t , a n d
b l o c k s f r o m t h e s a m e b a n d a r e n o t a l l o w e d i n t h e
s a m e p a c k e t .
4 . 2 D e c o d i n g
D e c o d i n g i s e s s e n t i a l l y e n c o d i n g i n r e v e r s e , e x c e p t t h a t
a l l t h e b i t a l l o c a t i o n d e c i s i o n s h a v e b e e n m a d e , a n d
s o m e o f t h e p a c k e t s m a y h a v e b e e n l o s t .
1 . R e a d t h e s u r v i v i n g p a c k e t s .
2 . S o r t i n t o p a r i t y g r o u p s .
3 . I f t h e r e a r e a n y p a r i t y g r o u p s w i t h o n e m i s s i n g
m e m b e r , r e c o n s t r u c t t h e m i s s i n g m e m b e r .
4 . D e c o d e a l l o f t h e d a t a b l o c k s i n t o t h e i r r e s p e c t i v e
s u b b a n d s . W h e n d e c o d i n g a c o a r s e b a n d b l o c k , i f
i t i s t h e r s t o n e , l l i n t h e w h o l e b a n d w i t h v a l -
u e s f r o m t h i s b l o c k s o t h a t i f a n y o t h e r b l o c k s f r o m
t h i s b a n d t u r n o u t t o b e m i s s i n g , t h e i r v a l u e s w i l l
b e r e p l a c e d b y n e a r b y v a l u e s f r o m t h i s b l o c k . M i s s -
i n g d e t a i l b a n d v a l u e s a r e r e p l a c e d b y t h e s u b b a n d
m e a n s .
5 . R e c o n s t r u c t t h e i m a g e .
4 . 3 R a t e C o n t r o l
T h e I n t e r n e t i s a s h a r e d m e d i u m . P r o g r a m s h a v e t o
c o n t r o l t h e r a t e a t w h i c h t h e y s e n d d a t a o r t h e y r i s k
c a u s i n g c o n g e s t i o n i n t h e n e t w o r k , w h i c h r e s u l t s i n l o s t
p a c k e t s , a n d r e d u c e d p e r f o r m a n c e f o r e v e r y b o d y . T h e
T C P p r o t o c o l i m p l e m e n t e d i n t h e R E N O r e l e a s e o f B S D
U n i x c o n t r o l s i t s r a t e b y s t a r t i n g o u t v e r y s l o w l y , s l o w -
i n g d o w n w h e n p a c k e t s a r e d r o p p e d ( i n d i c a t i n g c o n g e s -
t i o n ) , a n d s p e e d i n g u p o t h e r w i s e . T h e p r o b l e m w i t h
t h i s s t r a t e g y i s t h a t i t i n d u c e s a c e r t a i n l e v e l o f p a c k e t
l o s s e s o n t h e I n t e r n e t .
A s e c o n d m e t h o d f o r r a t e c o n t r o l i s t o c o m p a r e e x -
p e c t e d t h r o u g h p u t r a t e s w i t h a c t u a l t h r o u g h p u t r a t e s .
W h e n e v e r t h e r a t e o f p a c k e t r e c e p t i o n d r o p s b e l o w t h e
r a t e o f p a c k e t t r a n s m i s s i o n , t h e n e t w o r k m u s t b e s t o r -
i n g o r d r o p p i n g t h e e x c e s s d a t a . T h i s i s t h e s t r a t e g y
i m p l e m e n t e d i n B r a k m o e t a l ' s T C P V e g a s p r o t o c o l 4 ] .
N e i t h e r o f t h e s e r a t e c o n t r o l s c h e m e s i s a p p r o p r i -
a t e \ a s i s " f o r t h e t r a n s m i s s i o n o f c o m p r e s s e d i m a g e s
a c r o s s t h e I n t e r n e t . T h e p r o b l e m i s t h a t c o m p r e s s e d
i m a g e s a r e m u c h s m a l l e r t h a n t h e d a t a s e t s i z e r e q u i r e d
t o a c h i e v e s t e a d y s t a t e t r a n s m i s s i o n . I n 4 ] w e s e e a d e -
l a y o f 2 . 5 s e c o n d s b e f o r e s t e a d y s t a t e a n d h e a v y p a c k e t
8/3/2019 Fast Lossy Internet Image Transmission
7/12
0 6 12 18 24
Hour of Day (US Eastern Time)
0
10
20
30
40
LossRate(%)
1 ms/packet
2 ms/packet
4 ms/packet
16 ms/packet
512 ms/packet
F i g u r e 1 : T h i s g r a p h p l o t s t h e I n t e r n e t p a c k e t d r o p r a t e ,
f o r p a c k e t s s e n t f r o m D a r t m o u t h C o l l e g e t o a S t a n f o r d
U n i v e r s i t y e c h o s e r v e r a n d b a c k , a s a f u n c t i o n o f t i m e o f
d a y . E a c h c u r v e c o r r e s p o n d s t o a d i e r e n t t r a n s m i s s i o n
r a t e . P a c k e t s c o n t a i n e d r o u g h l y 5 5 0 b y t e s e a c h . 2 m s p e r
p a c k e t w a s a n e e c t i v e t r a n s m i s s i o n r a t e b e t w e e n 0 3 : 0 0
a n d 0 4 : 0 0 E D T , b u t g e n e r a t e s h i g h l o s s r a t e s w h e n t h e
n e t b e c o m e s b u s y d u r i n g t h e d a y . D u r i n g t h e d a y , t h e
l o s s r a t e n e v e r d r o p s m u c h b e l o w 5 % n o m a t t e r h o w
s l o w l y d a t a i s t r a n s m i t t e d .
l o s s e s a t a r o u n d 7 5 0 m s b e c a u s e t h e T C P R E N O o v e r -
s h o o t s t h e c h a n n e l ' s a c t u a l t h r o u g h p u t b y a f a c t o r o f
t w o a t t h e e n d o f s l o w - s t a r t u p .
F o r t h e n e t w o r k e x p e r i m e n t i n t h i s p a p e r , w e u s e d
a n o i n e p r o c e s s t o c h o o s e a f a i r t r a n s m i s s i o n r a t e f o r
F L I I T p a c k e t s . T h i s r a t e w a s c h o s e n b y p i c k i n g t h e k n e e
o n t h e l o a d / l o s s c u r v e 1 8 ] . S t r e a m s o f p a c k e t s c o n t a i n -
i n g r o u g h l y 5 5 0 b y t e s w e r e s e n t a t v a r i o u s t r a n s m i s s i o n
r a t e s , a n d t h e l o s s r a t e w a s m e a s u r e d f o r e a c h r a t e . A s
c a n b e s e e n i n F i g u r e 1 , t h e l o s s r a t e a s a f u n c t i o n o f
t r a n s m i s s i o n r a t e w a s r o u g h l y c o n s t a n t a t r a t e s b e l o w
a b o u t 4 m s p e r p a c k e t . A b o v e 4 m s p e r p a c k e t , t h e l o s s
r a t e i n c r e a s e d s h a r p l y . W e c h o s e t o r u n o u r e x p e r i m e n t s
u s i n g a t r a n s m i s s i o n r a t e o f 4 m s p e r p a c k e t t o a v o i d h i g h
l o s s r a t e s , a n d t o a v o i d i m p a c t i n g o t h e r a p p l i c a t i o n s .
I n f u t u r e w o r k , w e p l a n t o i n c o r p o r a t e a n a u t o m a t i c
V e g a s - l i k e r a t e c o n t r o l s t r a t e g y i n t o o u r i m a g e s e r v e r .
T h e m a i n d i e r e n c e i n r a t e c o n t r o l f r o m T C P - V e g a s
w o u l d b e t h a t r a t e c o n t r o l i n f o r m a t i o n w o u l d b e r e -
t a i n e d f o r e a c h n e t w o r k a d d r e s s b e t w e e n i m a g e t r a n s -
m i s s i o n s . T h i s w o u l d e l i m i n a t e s t a r t u p e e c t s f r o m i m -
a g e t r a n s m i s s i o n , e x c e p t f o r t h e r s t i m a g e s e n t t o a
g i v e n s i t e .
4 . 4 S t o p p i n g C r i t e r i o n
F L I I T p a c k e t s m a y b e l o s t o r d e l a y e d f o r l o n g p e r i o d s
o f t i m e . I f w e w a i t t o o l o n g f o r s l o w p a c k e t s , w e l o s e
r e s p o n s i v e n e s s . I f w e d o n ' t w a i t l o n g e n o u g h , w e l o s e
p a c k e t s . T h i s t r a d e o b e t w e e n t r a n s m i s s i o n s p e e d a n d
p a c k e t l o s s h a s a n e l e g a n t r e s o l u t i o n : w e c a n i n c o r p o r a t e
t h e t r a d e o i n t o o u r r e s o u r c e a l l o c a t i o n a l g o r i t h m a n d
c h o o s e a n o p t i m a l s t o p p i n g p o i n t .
T h e s e r v e r s e n d s p a c k e t s a t a c o n s t a n t r a t e , w h i c h w e
a s s u m e t o h a v e b e e n c h o s e n i n s o m e p r o - s o c i a l m a n n e r
c o n d u c i v e t o k e e p i n g c o n g e s t i o n d o w n . I f w e s e n d a
p a c k e t e v e r y b t i m e u n i t s , w h e r e b i s c h o s e n t o b e l e s s
t h a n o r e q u a l t o t h e t h r o u g h p u t o f t h e n e t w o r k , a n d t h e
n e t w o r k d e l i v e r s a l l p a c k e t s a f t e r a x e d d e l a y , t h e n t h e
n - t h p a c k e t w i l l a r r i v e a t t i m e T
n
= a + ( n ; 1 ) b . H e r e
a i s t h e a r r i v a l t i m e o f t h e r s t p a c k e t . O n t h e I n t e r n e t ,
p a c k e t s a r e d e l a y e d b y v a r i a b l e l e n g t h s o f t i m e . W e c a n
i n c o r p o r a t e t h i s v a r i a b i l i t y i n t o o u r a r r i v a l t i m e m o d e l
b y a d d i n g a r a n d o m d e l a y v a r i a b l e X
n
. N o w w e h a v e
T
n
= a + b ( n ; 1 ) + X
n
. O u r g o a l i s t o n d a s t o p p i n g
t i m e T
s t o p
a f t e r w h i c h w e s t o p w a i t i n g f o r p a c k e t s a n d
r e c o n s t r u c t o u r i m a g e .
P a c k e t s a r r i v i n g a f t e r t i m e T
s t o p
w i l l b e c o n s i d e r e d
l o s t . G i v e n t h e d i s t r i b u t i o n s o f t h e X
n
, w e c a n d e -
t e r m i n e P ( T
n
> T
s t o p
) , t h e p r o b a b i l i t y t h a t p a c k e t n
w i l l b e l o s t d u e t o e x c e s s i v e d e l a y . W e h a v e r a n d o m -
i z e d t h e o r d e r o f t h e p a c k e t s w e t r a n s m i t , s o t h e p r o b -
a b i l i t y o f a n y g i v e n p a c k e t b e i n g t h e n - t h p a c k e t t r a n s -
m i t t e d i s
1
N
, w h e r e N i s t h e t o t a l n u m b e r o f p a c k e t s
s e n t . T h e p r o b a b i l i t y o f a p a r t i c u l a r p a c k e t b e i n g l o s t
d u e t o d e l a y i s p
d e l a y
( T
s t o p
) =
1
N
P
N
k = 1
P ( T
n
> T
s t o p
)
T h e o v e r a l l p r o b a b i l i t y t h a t a p a c k e t i s l o s t , t h e n , i s
p
l o s s
= 1 ; ( 1 ; p
d r o p
) ( 1 ; p
d e l a y
) w h e r e p
d r o p
i s t h e
p r o b a b i l i t y o f t h e p a c k e t b e i n g d r o p p e d i n t r a n s i t .
W e s e e t h a t o u r c h o i c e o f s t o p p i n g t i m e t h u s a e c t s
t h e l o s s r a t e o b s e r v e d b y t h e r e c e i v e r . T h e r e c o n s t r u c t e d
i m a g e d i s t o r t i o n i s a f u n c t i o n , t h e n , n o t o n l y o f t h e n u m -
b e r o f d a t a a n d r e d u n d a n c y b i t s , b u t a l s o o f t h e s t o p p i n g
t i m e . B e c a u s e o u r c o n s t r a i n t i s o n t h e n u m b e r o f b i t s
s e n t , a n d n o t o n t h e l e n g t h o f t i m e r e q u i r e d t o r e c e i v e
t h e i m a g e , t h e o p t i m a l v a l u e o f T
s t o p
i s i n n i t e . I f o u r
g o a l i s t o m a x i m i z e r e s p o n s i v e n e s s , w e n e e d t o c o n s t r a i n
t h e t i m e r e q u i r e d t o r e c e i v e t h e i m a g e r a t h e r t h a n t h e
t o t a l n u m b e r o f b i t s w e s e n d . W e c a n d o t h i s b y s e t t i n g
o u r c o s t f u n c t i o n t o b e t h e s u m o f t h e t i m e r e q u i r e d t o
s e n d t h e b i t s i n t h e i m a g e p l u s t h e t i m e s p e n t w a i t i n g .
T h e r e s u l t i s t h a t w e o b t a i n a n e w s e t o f c o s t a n d d i s -
t o r t i o n f u n c t i o n s w h i c h d e p e n d o n t h e b i t a l l o c a t i o n s
a s w e l l a s t h e s t o p p i n g t i m e . B y v a r y i n g t h e s t o p t i m e
i n o u r a l l o c a t i o n a l g o r i t h m , w e c a n o b t a i n j o i n t l y o p t i -
m i z e d b i t a l l o c a t i o n s a n d a s t o p p i n g t i m e .
I n o u r e x p e r i m e n t s w e m o d e l t h e d e l a y s X
n
a s a s e t
o f i n d e p e n d e n t , i d e n t i c a l l y d i s t r i b u t e d P o i s s o n r a n d o m
v a r i a b l e s w i t h p a r a m e t e r . F i g u r e 2 s h o w s t h a t t h e
8/3/2019 Fast Lossy Internet Image Transmission
8/12
-4 -2 0 2 4
normalized delay
0.0
0.2
0.4
0.6
0.8
1.0
P(normalizeddelay
Top Related