Web caching and zipf-like distributions

8/7/2019 Web caching and zipf-like distributions

1/9

I E E E I N F O C O M , V O L . X X , N O . Y , M O N T H 1 9 9 9 1

W e b C a c h i n g a n d Z i p f - l i k e D i s t r i b u t i o n s : E v i d e n c e a n d I m p l i c a t i o n s

L e e B r e s l a u , P e i C a o , L i F a n , G r a h a m P h i l l i p s , S c o t t S h e n k e r .

A b s t r a c t |

T h i s p a p e r a d d r e s s e s t w o u n r e s o l v e d i s s u e s a b o u t w e b

c a c h i n g . T h e r s t i s s u e i s w h e t h e r w e b r e q u e s t s f r o m a x e d

u s e r c o m m u n i t y a r e d i s t r i b u t e d a c c o r d i n g t o Z i p f ' s l a w 2 2 .

S e v e r a l e a r l y s t u d i e s h a v e s u p p o r t e d t h i s c l a i m 9 , 5 , 1

w h i l e o t h e r r e c e n t s t u d i e s h a v e s u g g e s t e d o t h e r w i s e 1 6 , 2 .

T h e s e c o n d i s s u e r e l a t e s t o a n u m b e r o f r e c e n t s t u d i e s o n

t h e c h a r a c t e r i s t i c s o f w e b p r o x y t r a c e s , w h i c h h a v e s h o w n

t h a t t h e h i t - r a t i o s a n d t e m p o r a l l o c a l i t y o f t h e t r a c e s e x h i b i t

c e r t a i n a s y m p t o t i c p r o p e r t i e s t h a t a r e u n i f o r m a c r o s s t h e

d i e r e n t s e t s o f t h e t r a c e s 4 , 1 9 , 7 , 1 0 , 1 5 . I n p a r t i c -

u l a r , t h e q u e s t i o n i s w h e t h e r t h e s e p r o p e r t i e s a r e i n h e r e n t

t o w e b a c c e s s e s o r w h e t h e r t h e y a r e s i m p l y a n a r t i f a c t o f

t h e t r a c e s . A n a n s w e r t o t h e s e u n r e s o l v e d i s s u e s w i l l f a c i l i -

t a t e b o t h w e b c a c h e r e s o u r c e p l a n n i n g a n d c a c h e h i e r a r c h y

d e s i g n .

W e s h o w t h a t t h e a n s w e r s t o t h e t w o q u e s t i o n s a r e r e -

l a t e d . W e r s t i n v e s t i g a t e t h e p a g e r e q u e s t d i s t r i b u t i o n s e e n

b y w e b p r o x y c a c h e s u s i n g t r a c e s f r o m a v a r i e t y o f s o u r c e s .

W e n d t h a t t h e d i s t r i b u t i o n d o e s n o t f o l l o w Z i p f ' s l a w p r e -

c i s e l y , b u t i n s t e a d f o l l o w s a Z i p f - l i k e d i s t r i b u t i o n w i t h t h e

e x p o n e n t v a r y i n g f r o m t r a c e t o t r a c e . F u r t h e r m o r e , w e n d

t h a t t h e r e i s o n l y i a w e a k c o r r e l a t i o n b e t w e e n t h e a c c e s s

f r e q u e n c y o f a w e b p a g e a n d i t s s i z e a n d i i a w e a k c o r -

r e l a t i o n b e t w e e n a c c e s s f r e q u e n c y a n d i t s r a t e o f c h a n g e .

W e t h e n c o n s i d e r a s i m p l e m o d e l w h e r e t h e w e b a c c e s s e s

a r e i n d e p e n d e n t a n d t h e r e f e r e n c e p r o b a b i l i t y o f t h e d o c -

u m e n t s f o l l o w s a Z i p f - l i k e d i s t r i b u t i o n . W e n d t h a t t h e

m o d e l y i e l d s a s y m p t o t i c b e h a v i o r s t h a t a r e c o n s i s t e n t w i t h

t h e e x p e r i m e n t a l o b s e r v a t i o n s , s u g g e s t i n g t h a t t h e v a r i o u s

o b s e r v e d p r o p e r t i e s o f h i t - r a t i o s a n d t e m p o r a l l o c a l i t y a r e

i n d e e d i n h e r e n t t o w e b a c c e s s e s o b s e r v e d b y p r o x i e s .

F i n a l l y , w e r e v i s i t w e b c a c h e r e p l a c e m e n t a l g o r i t h m s a n d

s h o w t h a t t h e a l g o r i t h m t h a t i s s u g g e s t e d b y t h i s s i m p l e

m o d e l p e r f o r m s b e s t o n r e a l t r a c e d a t a . T h e r e s u l t s i n d i c a t e

t h a t w h i l e p a g e r e q u e s t s d o i n d e e d r e v e a l s h o r t - t e r m c o r r e -

l a t i o n s a n d o t h e r s t r u c t u r e s , a s i m p l e m o d e l f o r a n i n d e -

p e n d e n t r e q u e s t s t r e a m f o l l o w i n g a Z i p f - l i k e d i s t r i b u t i o n i s

s u c i e n t t o c a p t u r e c e r t a i n a s y m p t o t i c p r o p e r t i e s o b s e r v e d

a t w e b p r o x i e s .

K e y w o r d s | c a c h i n g , W o r l d W i d e W e b , Z i p f d i s t r i b u t i o n .

I . I n t r o d u c t i o n

D

U E t o t h e e x p l o s i v e g r o w t h o f t h e w e b , w e b p r o x y

c a c h i n g h a s r e c e n t l y r e c e i v e d c o n s i d e r a b l e a t t e n t i o n .

I t i s c o n s i d e r e d o n e o f t h e m o s t i m p o r t a n t t e c h n i q u e s f o r

r e d u c i n g w e b t r a c , w h i c h a c c o u n t s f o r a l a r g e p e r c e n t a g e

o f I n t e r n e t t r a c t o d a y . S e v e r a l r e s e a r c h e r s h a v e o b s e r v e d

t h a t t h e r e l a t i v e f r e q u e n c y w i t h w h i c h w e b p a g e s a r e r e -

q u e s t e d f o l l o w s Z i p f ' s l a w 2 2 . Z i p f ' s l a w s t a t e s t h a t t h e

r e l a t i v e p r o b a b i l i t y o f a r e q u e s t f o r t h e i ' t h m o s t p o p u -

l a r p a g e i s p r o p o r t i o n a l t o 1 i . G l a s s m a n 9 w a s p e r h a p s

t h e r s t t o u s e Z i p f ' s l a w t o m o d e l t h e d i s t r i b u t i o n o f w e b

p a g e r e q u e s t s , a n d s e v e r a l o t h e r a u t h o r s h a v e a l s o a p p l i e d

L e e B r e s l a u a n d S c o t t S h e n k e r a r e w i t h t h e X e r o x P a l o A l t o R e -

s e a r c h C e n t e r , 3 3 3 3 C o y o t e H i l l R o a d , P a l o A l t o , C A 9 4 3 0 4 . E m a i l :

f b r e s l a u j s h e n k e r g @ p a r c . x e r o x . c o m . P e i C a o a n d L i F a n a r e w i t h t h e

C o m p u t e r S c i e n c e D e p a r t m e n t , U n i v e r s i t y o f W i s c o n s i n , M a d i s o n ,

W I 5 3 7 0 6 . E m a i l : f c a o j l f a n g @ c s . w i s c . e d u . G r a h a m P h i l l i p s i s w i t h

t h e C o m p u t e r S c i e n c e D e p a r t m e n t , U n i v e r s i t y o f S o u t h e r n C a l i f o r n i a ,

L o s A n g e l e s , C A 9 0 0 8 9 . E m a i l : g r a h a m @ c a t a r i n a . u s c . e d u .

Z i p f ' s l a w t o t h e d i s t r i b u t i o n o f w e b r e q u e s t s 5 , 1 . H o w -

e v e r , s e v e r a l r e c e n t s t u d i e s h a v e i n v e s t i g a t e d w h e t h e r t h e

r e q u e s t s d o i n d e e d f o l l o w Z i p f ' s l a w a n d c o n c l u d e d o t h e r -

w i s e 1 6 , 2 .

O n e o f o u r g o a l s i n t h i s p a p e r i s t o e x p l o r e t h e a p p l i c a -

b i l i t y o f Z i p f ' s l a w t o w e b r e q u e s t s . U s i n g s i x t r a c e s f r o m

p r o x i e s a t a c a d e m i c i n s t i t u t i o n s , c o r p o r a t i o n s a n d I S P s ,

w e n d t h a t t h e d i s t r i b u t i o n o f p a g e r e q u e s t s g e n e r a l l y f o l -

l o w s a Z i p f - l i k e d i s t r i b u t i o n w h e r e t h e r e l a t i v e p r o b a b i l i t y

o f a r e q u e s t f o r t h e i ' t h m o s t p o p u l a r p a g e i s p r o p o r t i o n a l

t o 1 i

, w i t h t y p i c a l l y t a k i n g o n s o m e v a l u e l e s s t h a n

u n i t y . T h e o b s e r v e d v a l u e o f t h e e x p o n e n t v a r i e s f r o m

t r a c e t o t r a c e . T h a t i s , t h e r e q u e s t d i s t r i b u t i o n d o e s n o t

f o l l o w t h e s t r i c t Z i p f ' s l a w f o r w h i c h = 1 , b u t i n s t e a d

f o l l o w s a m o r e g e n e r a l Z i p f - l i k e d i s t r i b u t i o n w i t h v a r y i n g

. M o r e o v e r , w e n d t h a t t h e r e i s l i t t l e c o r r e l a t i o n b e -

t w e e n t h e a c c e s s f r e q u e n c y o f a d o c u m e n t a n d i t s s i z e , a n d

t h e c o r r e l a t i o n b e t w e e n t h e a c c e s s f r e q u e n c y o f a d o c u m e n t

a n d i t s r a t e o f m o d i c a t i o n v a r i e s f r o m v e r y l o w t o n o n e ,

d e p e n d i n g o n t h e t r a c e s . T h e s e r e s u l t s r a i s e t h e p o s s i b i l i t y

t h a t , f o r s o m e p u r p o s e s , o n e m i g h t b e a b l e t o s u c i e n t l y

m o d e l w e b a c c e s s e s b y a s i m p l e m o d e l t h a t a s s u m e s i n d e -

p e n d e n t r e f e r e n c e s f o l l o w i n g a Z i p f - l i k e d i s t r i b u t i o n a n d n o

c o r r e l a t i o n b e t w e e n r e q u e s t f r e q u e n c y a n d r e s p o n s e s i z e o r

r a t e o f c h a n g e .

I n l o o k i n g a t w e b p r o x y t r a c e s , r e s e a r c h e r s h a v e a l s o i n -

v e s t i g a t e d h o w t h e h i t - r a t i o d e p e n d s , a s y m p t o t i c a l l y , o n

t h e c a c h e s i z e a n d t h e n u m b e r o f r e q u e s t s , a n d h a v e e x a m -

i n e d t h e t e m p o r a l l o c a l i t y o f t h e s e r e q u e s t s t r e a m s 4 , 1 9 ,

7 , 1 0 , 1 5 . A l t h o u g h v a r i o u s s t u d i e s h a v e u s e d d i e r e n t

s e t s o f t r a c e s , t h e f o l l o w i n g t h r e e q u a l i t a t i v e a s y m p t o t i c

p r o p e r t i e s h a v e b e e n i d e n t i e d :

F o r a n i n n i t e s i z e d c a c h e , t h e h i t - r a t i o f o r a w e b p r o x y

g r o w s i n a l o g - l i k e f a s h i o n

1

a s a f u n c t i o n o f t h e c l i e n t p o p -

u l a t i o n o f t h e p r o x y a n d o f t h e n u m b e r o f r e q u e s t s s e e n

b y t h e p r o x y . C a o e t a l . o b s e r v e d t h i s p r o p e r t y i n D i g i -

t a l E q u i p m e n t C o r p o r a t i o n ' s p r o x y t r a c e s 4 , 1 4 , G r i b b l e

e t a l . o b s e r v e d t h i s p r o p e r t y i n U n i v e r s i t y o f C a l i f o r n i a a t

B e r k e l e y ' s p r o x y t r a c e s 1 0 , 1 1 a n d D u s k a e t a l . o b s e r v e d

t h i s p r o p e r t y i n a n u m b e r o f t r a c e s f r o m u n i v e r s i t y p r o x i e s

a n d I S P p r o x i e s 7 .

T h e h i t - r a t i o o f a w e b c a c h e g r o w s i n a l o g - l i k e f a s h i o n

a s a f u n c t i o n o f t h e c a c h e s i z e . M a n y w e b c a c h i n g s t u d i e s

r e a c h t h i s c o n c l u s i o n 1 , 9 , 4 , 2 1 , 1 0 , 1 9 , 5 , 7 .

T h e p r o b a b i l i t y t h a t a d o c u m e n t w i l l b e r e f e r e n c e d k r e -

q u e s t s a f t e r i t w a s l a s t r e f e r e n c e d i s r o u g h l y p r o p o r t i o n a l t o

1 = k . T h a t i s , w e b t r a c e s e x h i b i t e x c e l l e n t t e m p o r a l l o c a l -

i t y . O f t h e t w o s t u d i e s t h a t i n v e s t i g a t e d t e m p o r a l l o c a l i t y ,

R i z z o e t a l . o b s e r v e d t h i s p r o p e r t y i n t h e w e b p r o x y t r a c e s

1

T h a t i s , t h e h i t - r a t i o g r o w s a s e i t h e r t h e l o g , o r a s a s m a l l p o w e r ,

o f t h e a r g u m e n t . G i v e n t h e c o a r s e n e s s o f t h e d a t a , i t i s i m p o s s i b l e t o

d i s t i n g u i s h b e t w e e n a l o g a r i t h m i c a n d a s m a l l p o w e r g r o w t h .


2/9


c o l l e c t e d a t U n i v e r s i t y o f P i s a , I t a l y 1 9 , w h i l e C a o e t a l .

o b s e r v e d t h i s p r o p e r t y i n t h e D i g i t a l E q u i p m e n t C o r p o r a -

t i o n ' s p r o x y t r a c e s 4 , 1 4 .

T h e s e o b s e r v a t i o n s w e r e o e r e d w i t h o u t a n u n d e r l y i n g

e x p l a n a t i o n . I t i s n o t c l e a r w h e t h e r t h e s e p r o p e r t i e s f o l -

l o w c e r t a i n i n h e r e n t c h a r a c t e r i s t i c s o f w e b a c c e s s e s o r a r e

s i m p l y a n a r t i f a c t o f t h e c o l l e c t i o n o f t r a c e s s t u d i e d . T h e

p r o p e r t i e s a r e u s e f u l f o r d e s i g n i n g c a c h i n g a l g o r i t h m s a n d

c o n g u r i n g p r o x y c a c h e s , a n d t h e r e f o r e i t i s i m p o r t a n t t o

u n d e r s t a n d h o w g e n e r a l t h e y a r e .

I n t h e s e c o n d p o r t i o n o f t h i s p a p e r , w e s h o w t h a t t h e

a s y m p t o t i c b e h a v i o r o f t h e c a c h e h i t - r a t e a n d t e m p o r a l

l o c a l i t y a r e r e l a t e d t o t h e Z i p f - l i k e n a t u r e o f t h e r e q u e s t

s t r e a m . M o r e s p e c i c a l l y , w e s h o w t h a t i f o n e a s s u m e s

t h a t w e b p a g e r e q u e s t s a r e i n d e p e n d e n t a n d t h e p r o b a b i l i t y

t h a t a p a g e i s a c c e s s e d f o l l o w s a Z i p f - l i k e d i s t r i b u t i o n t h e n

t h e t h r e e a s y m p t o t i c p r o p e r t i e s l i s t e d a b o v e a l l f o l l o w . A l -

t h o u g h t h e a s s u m p t i o n t h a t t h e r e q u e s t s a r e i n d e p e n d e n t i s

o b v i o u s l y a n o v e r - s i m p l i c a t i o n , o u r r e s u l t s s h o w t h a t t h e

m o d e l i s p o w e r f u l e n o u g h t o e x p l a i n t h e t h r e e a s y m p t o t i c

p r o p e r t i e s a s o b s e r v e d i n r e a l p r o x y t r a c e s .

T h e r e s t o f t h e p a p e r i s o r g a n i z e d a s f o l l o w s . I n S e c t i o n I I

w e d e s c r i b e t h e t r a c e d a t a a n d t h e r e s u l t i n g f r e q u e n c y d i s -

t r i b u t i o n o f r e q u e s t s . S e c t i o n I I I d i s c u s s e s t h e i m p l i c a t i o n s

o f t h e Z i p f - l i k e b e h a v i o r , w i t h S e c t i o n I I I - A d e s c r i b i n g t h e

s i m p l e m o d e l f o r p a g e r e q u e s t s a n d S e c t i o n s I I I - B , I I I - C

a n d I I I - D d e r i v i n g e x p r e s s i o n s f o r c a c h e h i t - r a t i o a n d p a g e

r e q u e s t i n t e r a r r i v a l - t i m e s . W e a n a l y z e w e b c a c h e r e p l a c e -

m e n t a l g o r i t h m s i n S e c t i o n I V w h e r e w e c o m p a r e t h e L R U

a n d L F U p a g e r e p l a c e m e n t p o l i c i e s . W e c o n c l u d e i n S e c -

t i o n V w i t h a s h o r t d i s c u s s i o n o f o u r r e s u l t s .

I I . T h e a p p l i c a b i l i t y o f Z i p f ' s L a w t o w e b

r e q u e s t s

S

E V E R A L p r i o r s t u d i e s h a v e i n v e s t i g a t e d t h e a p p l i c a -

t i o n o f Z i p f ' s l a w t o w e b a c c e s s e s a n d a r r i v e d a t d i e r -

e n t c o n c l u s i o n s .

I n 1 9 9 4 , G l a s s m a n e t a l . 9 t r a c e d w e b a c c e s s e s f r o m

D i g i t a l E q u i p m e n t C o r p o r a t i o n ' s P a l o A l t o f a c i l i t i e s a n d

g a t h e r e d a b o u t 1 0 0 , 0 0 0 H T T P r e q u e s t s a n d f o u n d t h a t t h e

r e q u e s t d i s t r i b u t i o n t Z i p f ' s l a w , = i , q u i t e w e l l w h e r e

i s a n o r m a l i z i n g c o n s t a n t .

I n 1 9 9 5 , C u n h a e t a l . 5 g a t h e r e d 5 0 0 , 0 0 0 w e b a c c e s s e s

f r o m t h e C o m p u t e r S c i e n c e D e p a r t m e n t a t B o s t o n U n i v e r -

s i t y a n d o b s e r v e d t h a t t h e r e q u e s t s f o l l o w a n = i

d i s t r i -

b u t i o n w h e r e = 0 : 9 8 6 , w h i c h i s q u i t e c l o s e t o t h e t r u e

Z i p f ' s l a w .

I n 1 9 9 6 , A l m e i d a e t a l . 1 s h o w e d t h a t w e b a c c e s s e s s e e n

b y a w e b s e r v e r f o l l o w Z i p f ' s l a w . H o w e v e r , t h e w e b a c -

c e s s e s s e e n a t a w e b s e r v e r a n d t h o s e s e e n a t a w e b p r o x y

a r e d i e r e n t , b e c a u s e t h e f o r m e r i n c l u d e s r e q u e s t s f r o m a l l

u s e r s o n t h e I n t e r n e t w h i l e t h e l a t t e r i n c l u d e s o n l y t h o s e

u s e r s f r o m a x e d g r o u p .

I n 1 9 9 8 , N i s h i k a w a e t a l . 1 6 f r o m H i t a c h i , L t d , J a p a n

s t u d i e d a n a c c e s s l o g o f 2 , 0 0 0 , 0 0 0 r e q u e s t s a n d f o u n d t h a t

t h e r e q u e s t d i s t r i b u t i o n f o l l o w e d t h e Z i p f - l i k e d i s t r i b u t i o n

= i

q u i t e w e l l , b u t w i t h = 0 : 7 5 ; w h i c h i s r a t h e r f a r f r o m

t r u e Z i p f b e h a v i o r .

I n 1 9 9 8 , A l m e i d a e t a l . 2 e x a m i n e d r e q u e s t s a t a m a -

j o r p r o x y c a c h e i n B r a z i l a n d c o n c l u d e d t h a t t h e r e q u e s t

s t r e a m d i d n o t t Z i p f ' s l a w .

T h e r e m i g h t b e s e v e r a l r e a s o n s f o r t h e c o n i c t i n g r e s u l t s ,

i n c l u d i n g t h e f a c t t h a t s o m e o f t h e t r a c e s a r e o l d a n d s o m e

a r e q u i t e s h o r t . A d d i n g f u r t h e r t o t h e c o n f u s i o n i s t h e

p h r a s e Z i p f ' s l a w , " w h i c h i n s o m e p a p e r s r e f e r s t o t h e = i

d i s t r i b u t i o n , a n d i n o t h e r s r e f e r s t o t h e = i

d i s t r i b u t i o n

w i t h 1 .

T o a d d r e s s t h e i s s u e , w e s t u d y s i x t r a c e s f r o m a c a d e m i c ,

c o r p o r a t e a n d I S P e n v i r o n m e n t s , a n d e x a m i n e w h e t h e r t h e

r e q u e s t d i s t r i b u t i o n f o l l o w s = i o r = i

w i t h 0 1 .

W e c a l l = i

w i t h 0 1 a Z i p f - l i k e b e h a v i o r , a n d

r e s e r v e t h e p h r a s e Z i p f ' s l a w f o r t h e t r u e = i d i s t r i b u t i o n .

T h e s i x t r a c e s a r e :

D E C t r a c e s 1 4 : D i g i t a l E q u i p m e n t C o r p o r a t i o n w e b

p r o x y t r a c e s , s e r v i c i n g a b o u t 1 7 , 0 0 0 w o r k s t a t i o n s . W e u s e

a 7 d a y p o r t i o n o f t h e t r a c e s t a r t i n g f r o m A u g u s t 2 9 , 1 9 9 6

a n d c o m p r i s i n g 3 , 5 4 3 , 9 6 8 r e q u e s t s .

U C B t r a c e s 1 1 : H T T P r e q u e s t s g a t h e r e d f r o m t h e

H o m e I P s e r v i c e o e r e d b y U C B e r k e l e y t o i t s a c a d e m i c

c o m m u n i t y . W e u s e a n 1 8 d a y p o r t i o n o f t h e t r a c e s t a r t -

i n g f r o m N o v e m b e r 1 4 , 1 9 9 6 a n d c o m p r i s i n g 1 , 9 0 7 , 7 6 2 r e -

q u e s t s .

U P i s a t r a c e s 1 8 : H T T P r e q u e s t s m a d e b y t h e u s e r s i n

t h e C o m p u t e r S c i e n c e D e p a r t m e n t i n U n i v e r s i t a d i P i s a ,

I t a l y . W e u s e a p o r t i o n o f a t h r e e m o n t h t r a c e t h a t i n c l u d e s

o n l y H T T P G E T r e q u e s t s a n d U R L s t h a t d o n o t i n c l u d e

q u e r y s t r i n g s . T h e t r a c e i n c l u d e s 2 , 8 3 3 , 6 2 4 r e q u e s t s .

Q u e s t n e t t r a c e s 2 0 : a 7 d a y t r a c e o f H T T P r e q u e s t s

s e e n b y t h e p a r e n t p r o x i e s a t Q u e s t n e t , a r e g i o n a l I S P i n

A u s t r a l i a , s t a r t i n g f r o m J a n u a r y 1 5 , 1 9 9 8 . W e e x t r a c t a l l

s u c c e s s f u l G E T r e q u e s t s a s s e e n b y t h e p a r e n t p r o x i e s . T h e

t r a c e i n c l u d e s 2 , 8 8 5 , 2 8 5 r e q u e s t s .

N L A N R t r a c e s 1 7 : a o n e d a y t r a c e o f H T T P r e q u e s t s

t o f o u r p r o x y c a c h e s a t t h e N a t i o n a l L a b f o r A p p l i e d N e t -

w o r k i n g R e s e a r c h , U S A o n D e c e m b e r 2 2 , 1 9 9 7 . W e e x t r a c t

s u c c e s s f u l G E T r e q u e s t s , t o t a l i n g 1 , 7 6 6 , 4 0 9 r e q u e s t s .

F u N e t t r a c e s 1 3 : a 1 0 d a y a r o u n d m i d J u n e , 1 9 9 8

t r a c e o f H T T P r e q u e s t s t o p r o x i e s a t F u N e t , a r e g i o n a l

n e t w o r k s e r v i n g t h e a c a d e m i c c o m m u n i t i e s i n F i n l a n d . T h e

t r a c e c o n t a i n s 4 , 8 1 5 , 5 5 1 r e q u e s t s .

O u r m a i n o b s e r v a t i o n s a r e a s f o l l o w s :

T h e d i s t r i b u t i o n o f w e b r e q u e s t s f r o m a x e d g r o u p o f

u s e r s f o l l o w s a Z i p f - l i k e d i s t r i b u t i o n , = i

, v e r y w e l l . T h e

v a l u e o f v a r i e s f r o m t r a c e t o t r a c e , r a n g i n g f r o m 0 . 6 4 t o

0 . 8 3 .

T h e 1 0 9 0 " r u l e i . e . 9 0 o f a c c e s s e s g o t o 1 0 o f

i t e m s , e v i d e n t i n p r o g r a m e x e c u t i o n , d o e s n o t a p p l y t o

w e b a c c e s s e s s e e n b y a p r o x y . T h e c o n c e n t r a t i o n o f w e b

a c c e s s e s t o h o t " d o c u m e n t s d e p e n d s o n , a n d i t t a k e s

2 5 t o 4 0 o f d o c u m e n t s t o d r a w 7 0 o f w e b a c c e s s e s .

T h e r e i s l o w s t a t i s t i c a l c o r r e l a t i o n b e t w e e n t h e f r e q u e n c y

t h a t a d o c u m e n t i s a c c e s s e d a n d i t s s i z e , t h o u g h t h e a v e r a g e

s i z e o f c o l d d o c u m e n t s f o r e x a m p l e , t h o s e a c c e s s e d l e s s

t h a n 1 0 t i m e s i s l a r g e r t h a n t h a t o f h o t d o c u m e n t s f o r

e x a m p l e , t h o s e a c c e s s e d m o r e t h a n 1 0 t i m e s .

T h e s t a t i s t i c a l c o r r e l a t i o n b e t w e e n a d o c u m e n t ' s a c c e s s


3/9


1 10 100 10001e+041e+051e+06

Document Ranking

1

10

100

1000

10000

#of

References

DEC-Trace

1 10 100 10001e+041e+05

Document Ranking

1

10

100

1000

#of

References

UCB-Trace

1 10 100 10001e+041e+05

Document Ranking

1

10

100

1000

10000

#of

References

PISA-Trace

1 10 100 10001e+041e+051e+06

Document Ranking

1

10

100

1000

10000

#ofReferences

QuestNet-Trace

1 10 100 10001e+041e+051e+06

Document Ranking

1

10

100

1000

#ofReferences

NLANR-Trace

1 10 100 10001e+041e+051e+06

Document Ranking

1

10

100

1000

10000

#ofReferences

Funet-Trace

F i g . 1 . F r e q u e n c y o f d o c u m e n t a c c e s s e s v e r s u s d o c u m e n t r a n k i n g .

T A B L E I

v a l u e s o f f o r e a c h t r a c e .

D E C U P i s a F u N e t U C B Q u e s t n e t N L A N R

0 . 7 7 0 . 7 8 0 . 8 3 0 . 6 9 0 . 7 3 0 . 6 4

f r e q u e n c y a n d i t s a v e r a g e m o d i c a t i o n s p e r r e q u e s t v a r i e s

f r o m t r a c e t o t r a c e , b u t i s g e n e r a l l y q u i t e l o w .

T h e r e s u l t s a r e d e t a i l e d i n t h e f o l l o w i n g s e c t i o n s .

A . I s t h e d i s t r i b u t i o n o f w e b r e q u e s t s Z i p f - l i k e ?

F i g u r e 1 s h o w s , f o r e a c h o f t h e s i x t r a c e s , t h e n u m b e r o f

t i m e s t h a t a U R L h a s b e e n a c c e s s e d v e r s u s t h e r a n k i n g o f

t h e U R L i n t h e t r a c e , w h e r e r a n k 1 i s t h e m o s t f r e q u e n t l y

a c c e s s e d U R L . N o t e t h a t b o t h a x e s i n t h e g u r e a r e i n l o g

s c a l e .

F r o m t h e p l o t s , o n e c a n o b s e r v e t h a t m o s t o f t h e c u r v e

t s a s t r a i g h t l i n e r e a s o n a b l y w e l l . T h e s t r a i g h t l i n e o n t h e

l o g - l o g s c a l e i m p l i e s t h a t t h e r e q u e s t f r e q u e n c y i s p r o p o r -

t i o n a l t o 1 = i

: T h e v a l u e s o f f o r t h e s i x t r a c e s a r e s h o w n

i n T a b l e I ; t h e y a r e o b t a i n e d u s i n g M a t L a b ' s c u r v e - t t i n g

t o o l , e x c l u d i n g t h e t o p 1 0 0 d o c u m e n t s . F o r t r a c e s f r o m a

h o m o g e n e o u s e n v i r o n m e n t , a s i n a c o r p o r a t i o n D E C o r

a c a d e m i c d e p a r t m e n t P i s a , a p p e a r s t o b e l a r g e r , c e n -

t e r i n g a r o u n d 0 . 8 . F o r t r a c e s f r o m a m o r e d i v e r s i e d u s e r

0.0 0.2 0.4 0.6 0.8 1.0

Document Ranking

0.2

0.4

0.6

0.8

1.0

PercentageofReferences

DEC-T

FuNet-

QuestN

NLAN

Pisa-T

UCB-T

F i g . 2 . C u m u l a t i v e d i s t r i b u t i o n o f r e q u e s t s t o d o c u m e n t s .

p o p u l a t i o n U C B o r t h o s e t h a t a r e l t e r e d b y r s t - l e v e l

p r o x i e s Q u e s t N e t a n d N L A N R , a p p e a r s t o b e s m a l l e r ,

c e n t e r i n g a r o u n d 0 . 7 .

P e r h a p s t h e b i g g e s t i m p a c t o f l i e s i n t h e c o n c e n t r a t i o n

o f w e b r e q u e s t s t o h o t d o c u m e n t s . F o r Z i p f - l i k e d i s t r i b u -

t i o n s , t h e c u m u l a t i v e p r o b a b i l i t y t h a t o n e o f t h e t o p k p a g e

i s a c c e s s e d i s g i v e n a s y m p t o t i c a l l y b y k =

P

k

i = 1

= i

k

1 ,

= 1 , : B e c a u s e 1 , = N

1 ,

, w h e r e N i s


4/9


T A B L E I I

C o r r e l a t i o n c o e f f i c i e n t b e t w e e n t h e f r e q u e n c y o f a c c e s s e s

t o a d o c u m e n t a n d i t s s i z e .


0 . 0 4 - 0 . 0 8 0 . 0 0 3 - 0 . 0 4 - 0 . 0 2 - 0 . 0 9

t h e t o t a l n u m b e r o f w e b d o c u m e n t s , k k = N

1 ,

: B e -

c a u s e k = N 1 f o r a l l m e a n i n g f u l k , a l a r g e r i n c r e a s e s

k , m e a n i n g m o r e r e q u e s t s a r e c o n c e n t r a t e d o n a f e w h o t

d o c u m e n t s .

W e e x a m i n e t h e t h e c u m u l a t i v e d i s t r i b u t i o n o f r e q u e s t s

t o p o p u l a r d o c u m e n t s i n e a c h t r a c e . F i g u r e 2 s h o w s t h e c u -

m u l a t i v e p r o b a b i l i t y o f a c c e s s f o r t h e t o p r o f d o c u m e n t s

i n e a c h t r a c e . T h e g u r e s h o w s t h a t t h e t o p 1 o f t h e d o c -

u m e n t s a c c o u n t f o r a b o u t 2 0 t o 3 5 o f a l l r e q u e s t s s e e n

b y t h e p r o x y , a n d t h e t o p 1 0 o f t h e d o c u m e n t s a c c o u n t

f o r a b o u t 4 5 t o 5 5 o f a l l r e q u e s t s . H o w e v e r , i t t a k e s

2 5 t o 4 0 o f a l l d o c u m e n t s t o a c c o u n t f o r 7 0 o f t h e

r e q u e s t s , a n d i t t a k e s 7 0 t o 8 0 o f d o c u m e n t s t o a c c o u n t

f o r 9 0 o f r e q u e s t s . I n o t h e r w o r d s , t h e 1 0 9 0 " r u l e , e v -

i d e n t i n p r o g r a m e x e c u t i o n , u n f o r t u n a t e l y d o e s n o t a p p l y

t o w e b a c c e s s e s . T h i s i s w h y , i n p r a c t i c e , w e b c a c h e s r a r e l y

a c h i e v e h i t r a t i o s o f 9 0 , a n d n o s a t e l l i t e - b a s e d b r o a d c a s t

s c h e m e c a n r e d u c e I n t e r n e t t r a c b y a n o r d e r o f m a g n i -

t u d e .

B . C o r r e l a t i o n b e t w e e n a c c e s s f r e q u e n c y a n d d o c u m e n t s i z e

A n a t u r a l q u e s t i o n i s w h e t h e r t h e r e i s a n y c o r r e l a t i o n b e -

t w e e n t h e f r e q u e n c y o f a c c e s s t o a d o c u m e n t a n d i t s s i z e .

T h e a n s w e r a e c t s t h e d e s i g n o f c a c h i n g a l g o r i t h m s a n d

w e b p r o x y b e n c h m a r k s . F i g u r e 3 s h o w s t h e a v e r a g e s i z e

o f t h e d o c u m e n t s t h a t a r e a c c e s s e d e x a c t l y n t i m e s i n t h e

t r a c e , w i t h t h e x - a x i s s h o w i n g n . A g a i n , b o t h a x e s a r e i n

l o g s c a l e . D u e t o s p a c e c o n s t r a i n t s w e s h o w r e s u l t s o f t h r e e

t r a c e s ; t h e r e s t a r e s i m i l a r a n d c a n b e f o u n d i n 3 . T h e g -

u r e s h o w s t h a t t h e r e a r e m a n y p o p u l a r d o c u m e n t s t h a t a r e

l a r g e r t h a n 1 5 K B , w h i c h i s t h e a v e r a g e s i z e o f d o c u m e n t s

t h a t a r e a c c e s s e d o n l y o n c e . F u r t h e r m o r e , a c r o s s n , t h e r e

d o e s n o t s e e m t o b e s t r o n g c o r r e l a t i o n b e t w e e n d o c u m e n t

s i z e a n d n , t h o u g h t h e a v e r a g e s i z e o f p o p u l a r d o c u m e n t s

i s s m a l l e r t h a n t h a t o f u n p o p u l a r d o c u m e n t s .

W e a l s o c a l c u l a t e d t h e c o r r e l a t i o n c o e c i e n t b e t w e e n t h e

a c c e s s f r e q u e n c y a n d d o c u m e n t s i z e f o r t h e t r a c e s , s h o w n

i n T a b l e I I . T h e n u m b e r s s h o w t h a t t h e c o r r e l a t i o n , i f a n y ,

i s w e a k a n d c a n b e i g n o r e d .

C . C o r r e l a t i o n b e t w e e n a c c e s s f r e q u e n c y a n d c h a n g e r a t e

A n o t h e r q u e s t i o n o f i n t e r e s t i s w h e t h e r p o p u l a r d o c u -

m e n t s c h a n g e l e s s o f t e n t h a n u n p o p u l a r o n e s . T h e a n s w e r

a e c t s d e s i g n s o f w e b c a c h e c o n s i s t e n c y m e c h a n i s m s 1 2 .

F r o m t h e t r a c e s , w e o b s e r v e t h e c h a n g e s i n a d o c u m e n t

b y d e t e c t i n g c h a n g e s i n t h e l a s t - m o d i e d - t i m e o f e a c h r e -

s p o n s e o r c h a n g e s i n t h e d o c u m e n t s i z e o f e a c h r e s p o n s e .

O n l y t w o o f o u r t r a c e s , D E C a n d U C B , c o m e w i t h t h e l a s t -

m o d i e d - t i m e i n f o r m a t i o n . F o r e a c h d o c u m e n t , w e t h e n

m e a s u r e t h e c h a n g e r a t e " r a s t h e r a t i o b e t w e e n t h e n u m -

T A B L E I I I

C o r r e l a t i o n c o e f f i c i e n t b e t w e e n d o c u m e n t c h a n g e r a t e a n d

a c c e s s f r e q u e n c y .


- 0 . 1 9 - 0 . 2 7 0 . 0 0 5 0 . 0 0 2 - 0 . 0 3 - 0 . 0 8

b e r o f o b s e r v e d c h a n g e s a n d t h e n u m b e r o f a c c e s s e s . T h e

o b s e r v e d c h a n g e r a t e u n d e r - e s t i m a t e s t h e a c t u a l c h a n g e

r a t e , b e c a u s e m u l t i p l e c h a n g e s b e t w e e n r e q u e s t s a r e n o t

p i c k e d u p b y t h e t r a c e . B e c a u s e o f t h i s p o t e n t i a l s k e w , w e

d o n o t m e a s u r e s u c h t h i n g s a s t h e n u m b e r o f c h a n g e s p e r

d a y f o r w e b p a g e s s i n c e t h e s e n u m b e r s w o u l d b e m i s l e a d -

i n g .

F i g u r e 4 p l o t s t h e a v e r a g e c h a n g e r a t e o f t h e d o c u m e n t s

a s a f u n c t i o n o f t h e n u m b e r o f t i m e s t h e y a r e a c c e s s e d .

O n l y t h e x - a x i s i s i n l o g s c a l e . W e s h o w r e s u l t s o f t h r e e

t r a c e s h e r e ; t h e r e s t a r e s i m i l a r a n d c a n b e f o u n d i n 3 . T h e

g r a p h s s h o w t h a t w h i l e m a n y p o p u l a r d o c u m e n t s c h a n g e

i n f r e q u e n t l y f o r e x a m p l e , l e s s t h a n 1 0 u s e r r e q u e s t s p e r

c h a n g e , s o m e p o p u l a r d o c u m e n t s c h a n g e v e r y f r e q u e n t l y .

T h u s , t h e r e i s n o s t r o n g e v i d e n c e t h a t p o p u l a r d o c u m e n t s

c h a n g e i n f r e q u e n t l y . W e a g a i n c a l c u l a t e t h e c o r r e l a t i o n

c o e c i e n t b e t w e e n t h e d o c u m e n t c h a n g e r a t e a n d i t s a c c e s s

f r e q u e n c y . T h e r e s u l t s a r e s h o w n i n T a b l e I I I . T h o u g h t h e

c o r r e l a t i o n c o e c i e n t s v a r y d e p e n d i n g o n t h e t r a c e s , t h e y

a r e s m a l l i n g e n e r a l . T h e r e f o r e , i n t h e d e s i g n o f w e b c a c h e

c o n s i s t e n c y s c h e m e s , i t i s b e s t t o a s s u m e t h a t t h e r e i s n o

c o r r e l a t i o n b e t w e e n d o c u m e n t p o p u l a r i t y a n d i t s r a t e o f

c h a n g e .

D . R e q u e s t d i s t r i b u t i o n t o w e b s e r v e r s

W e h a v e a l s o i n v e s t i g a t e d t h e d i s t r i b u t i o n o f r e q u e s t s t o

w e b s e r v e r s . F i g u r e 5 s h o w s t h e n u m b e r o f t i m e s t h a t a

s e r v e r h a s b e e n a c c e s s e d v e r s u s t h e r a n k i n g o f t h e s e r v e r i n

t h e t r a c e , w h e r e r a n k 1 i s t h e m o s t a c c e s s e d s e r v e r . B o t h

a x e s a r e i n l o g s c a l e . W e s h o w o n l y t h r e e t r a c e s h e r e , w i t h

t h e r e s t i n 3 . I n t h e c a s e o f t h e U C B t r a c e , t h e Z i p f -

l i k e d i s t r i b u t i o n d o e s n o t c h a r a c t e r i z e s e r v e r a c c e s s e s . W e

a l s o f o u n d t h a t n o s i n g l e w e b s e r v e r c o n t r i b u t e s t o m o s t o f

p o p u l a r p a g e s , a n d p o p u l a r w e b p a g e s a r e s p r e a d a l m o s t

e v e n l y a c r o s s h o t w e b s e r v e r s . F o r m o r e d e t a i l s s e e 3 .

I I I . I m p l i c a t i o n s o f Z i p f - l i k e b e h a v i o r

W

E n o w i n v e s t i g a t e t h e i m p l i c a t i o n s o f t h e Z i p f - l i k e

b e h a v i o r o b s e r v e d i n t h e t r a c e s . F i r s t , w e d e n e a

s i m p l e m o d e l f o r w e b r e q u e s t s w h e r e t h e r e q u e s t s a r e i n d e -

p e n d e n t a n d d i s t r i b u t e d a c c o r d i n g t o a Z i p f - l i k e b e h a v i o r .

W e t h e n d e r i v e e x p r e s s i o n s f o r t h e h i t - r a t i o s a n d r e q u e s t

i n t e r a r r i v a l - t i m e s .

A . T h e m o d e l

C o n s i d e r a c a c h e t h a t r e c e i v e s a s t r e a m o f r e q u e s t s f o r

w e b p a g e s . L e t N b e t h e t o t a l n u m b e r o f w e b p a g e s i n t h e

u n i v e r s e . L e t P

N

i b e t h e c o n d i t i o n a l p r o b a b i l i t y t h a t ,

g i v e n t h e a r r i v a l o f a p a g e r e q u e s t , t h e a r r i v i n g r e q u e s t i s

m a d e f o r p a g e i . L e t a l l t h e p a g e s b e r a n k e d i n o r d e r o f


5/9


1 10 100 1000 10000

# of References

1

10

100

1000

10000

100000

1000000

AverageSizeofDocuments

DEC-Trace

1 10 100 1000

# of References

1

10

100

1000

10000

100000


UCB-Trace

1 10 100 1000

# of References

1

10

100

1000

10000

100000

1000000


QuestNet-Trace

F i g . 3 . A v e r a g e s i z e o f a d o c u m e n t v e r s u s a c c e s s f r e q u e n c y .

1 10 100 1000 10000# of References

0.0

0.2

0.4

0.6

0.8

1.0

AverageChangesperRequest

Dec-Trace

1 10 100 1000# of References

0.0

0.2

0.4

0.6

0.8

1.0


UCB-Trace

1 10 100 1000# of References

0.0

0.2

0.4

0.6

0.8

1.0


QuestNet-Trace

F i g . 4 . C h a n g e r a t e o f a d o c u m e n t v e r s u s a c c e s s f r e q u e n c y .

1 10 100 1000 1e+04

Server Ranking

1

10

100

1000

10000

100000

#ofRefere

nces

Dec-Trace

1 10 100 1000 1e+04

Server Ranking

1

10

100

1000

10000

#ofRefere

nces

UCB-Trace

1 10 100 1000 1e+04

Server Ranking

1

10

100

1000

10000

#ofRefere

nces

Quest-Trace

F i g . 5 . F r e q u e n c y o f s e r v e r a c c e s s e s v e r s u s s e r v e r r a n k i n g .


6/9


t h e i r p o p u l a r i t y w h e r e p a g e i i s t h e i ' t h m o s t p o p u l a r p a g e .

W e a s s u m e t h a t P

N

i , d e n e d f o r i = 1 ; 2 ; : : : ; N , h a s a

c u t - o " Z i p f - l i k e d i s t r i b u t i o n g i v e n b y

P

N

i =

i

;

w h e r e

=

N

X

i = 1

1

i

!

, 1

T h e t r u e Z i p f ' s l a w 2 2 h a s = 1 b u t i n t h i s p a p e r

w e c o n s i d e r a b r o a d e r c l a s s o f d i s t r i b u t i o n f u n c t i o n s w i t h

e x p o n e n t s i n t h e r a n g e 0 1 . E a c h p a g e r e q u e s t i s

d r a w n i n d e p e n d e n t l y f r o m t h e Z i p f d i s t r i b u t i o n , s o w e a r e

n e g l e c t i n g a n y o t h e r s o u r c e o f c o r r e l a t i o n s i n t h e r e q u e s t

s t r e a m . W e a d d i t i o n a l l y a s s u m e t h a t , o v e r t h e c o u r s e o f

t i m e , n o p a g e s a r e i n v a l i d a t e d b y t h e c a c h e .

W e a c k n o w l e d g e t h a t t h i s m o d e l i s u n r e a l i s t i c b e c a u s e

i t a s s u m e s t h a t r e q u e s t s a r e i n d e p e n d e n t . H o w e v e r , t h e

m o d e l i s t r a c t a b l e , a n d o u r q u e s t i o n h e r e i s w h e t h e r t h e

m o d e l i s s u c i e n t t o d e r i v e a n u n d e r s t a n d i n g o f t h e a s y m p -

t o t i c p r o p e r t i e s o f h i t - r a t i o s a n d r e q u e s t i n t e r a r r i v a l - t i m e s .

I n t h e f o l l o w i n g t h r e e s u b s e c t i o n s , w e c a l c u l a t e t h e h i t -

r a t i o f o r t h e c a c h e i n t w o l i m i t i n g c a s e s a n d a l s o t h e

i n t e r a r r i v a l - t i m e s i n a l i m i t i n g c a s e .

B . I n n i t e c a c h e , n i t e r e q u e s t s t r e a m

W e r s t c o n s i d e r t h e c a s e w h e r e t h e c a c h e h a s u n l i m i t e d

s t o r a g e , s o t h a t a l l p r e v i o u s l y r e q u e s t e d p a g e s r e m a i n i n

t h e c a c h e . I n t h i s c a s e , w e c o n s i d e r a n i t e r e q u e s t s t r e a m

o f R r e q u e s t s , a n d w i s h t o d e t e r m i n e t h e p r o b a b i l i t y t h a t

t h e n e x t r e q u e s t , t h e R + 1 ' s t r e q u e s t , i s a r e q u e s t f o r a

p a g e t h a t a l r e a d y r e s i d e s i n t h e c a c h e . T h e h i t - r a t i o H R

c a n b e c a l c u l a t e d a s f o l l o w s . I f t h e R + 1 ' s t r e q u e s t i s f o r

p a g e i t h e n t h e p r o b a b i l i t y t h a t t h i s p a g e i s i n t h e c a c h e i s

g i v e n b y 1 , 1 , P

N

i

R

. T h u s , w e h a v e :

H R =

N

X

i = 1

P

N

i

1 , 1 , P

N

i

R

1

F o r = 1 t h e a s y m p t o t i c b e h a v i o r o f t h e h i t - r a t i o i s

H R l n R , w h i l e f o r o t h e r v a l u e s o f t h e a s y m p t o t i c

b e h a v i o r o f t h e h i t - r a t i o i s H R R

1

, 1

. T h i s a s y m p -

t o t i c b e h a v i o r c a n b e s e e n b y a p p r o x i m a t i n g t h e f u n c t i o n

f i = 1 , 1 ,

i

R

, f o r 1 R N ; b y :

f i =

1 ; i f i

R

0 ; o t h e r w i s e

T h e n w e h a v e

H R =

N

X

i = 1

i

f i

R

1

X

i = 1

i

F o r = 1 , H R l n R , w h i l e f o r 0 1 ,

H R

1 ,

R

1

, 1

. N o t e t h a t w h e n R N t h i s

a p p r o x i m a t i o n i s n o l o n g e r v a l i d b e c a u s e H R m u s t a p -

p r o a c h u n i t y w h i l e t h e s e e x p r e s s i o n s d i v e r g e f o r l a r g e R .

1

0 : 5

0 : 2

0 : 1

0 : 0 5

1 0

3

1 0

4

1 0

5

1 0

6

1 0

7

1 0

8

H R

n u m b e r o f r e q u e s t s , R

D E C t r a c e

Q u e s t n e t t r a c e

N L A N R t r a c e

2

2

2

2

2

2

2

2

2

2

2

2

U P i s a t r a c e

U C B t r a c e

.

.

.

.

.

.

.

.

.

.

.

.

F u N e t t r a c e

?

?

?

?

?

?

?

?

?

?

?

?

?

F i g . 6 . H i t - r a t i o H R a s a f u n c t i o n o f t h e n u m b e r o f r e q u e s t s .

T A B L E I V

v a l u e s o f f r o m l i n e a r f i t o f l o g H R v e r s u s l o g R


0 . 8 3 0 . 8 4 0 . 8 4 0 . 8 3 0 . 8 8 0 . 9 0

T h i s r e s u l t t h a t t h e h i t - r a t i o g r o w s l o g a r i t h m i c a l l y o r l i k e

a s m a l l p o w e r i s q u a l i t a t i v e l y c o n s i s t e n t w i t h p r e v i o u s l y

o b s e r v e d b e h a v i o r 1 0 , 4 , 7 .

F i g u r e 6 s h o w s t h e h i t - r a t i o H R a s o b s e r v e d i n t h e

t r a c e s a s a f u n c t i o n o f R . T h e d a t a f o r e a c h t r a c e o n

t h i s l o g - l o g p l o t i s r o u g h l y l i n e a r , t h e r e b y s u g g e s t i n g t h a t

H R R

f o r s o m e w h e r e t h e p o w e r v a r i e s f r o m t r a c e

t o t r a c e . W e t t e d e a c h o f t h e s e l o g - l o g d a t a s e t s t o a

s t r a i g h t l i n e t o o b t a i n a n e s t i m a t e f o r . W e t h e n u s e d

t h e f a c t t h a t t h e m o d e l p r e d i c t s t h a t H R R

1

, 1

t o

c o m p u t e =

1

1 +

: T a b l e I V d i s p l a y s t h e s e v a l u e s . T h e

a g r e e m e n t w i t h t h e v a l u e s c o m p u t e d d i r e c t l y f r o m t h e

p a g e r e q u e s t d i s t r i b u t i o n i n T a b l e I i s g o o d , a l t h o u g h t h e

Q u e s t n e t a n d N L A N R r e s u l t s a r e n o t a s a c c u r a t e a s t h e

o t h e r s .

C . F i n i t e c a c h e , i n n i t e r e q u e s t s t r e a m

I n t h i s s e c t i o n w e c o n s i d e r a n i t e c a c h e w i t h a c a p a c i t y

o f C w e b p a g e s s u b j e c t t o a n i n n i t e l y l o n g r e q u e s t s t r e a m .

W e a s s u m e t h a t t h e c a c h e c a n h o l d C w e b p a g e s r e g a r d l e s s

o f t h e s i z e o f e a c h w e b p a g e . F u r t h e r m o r e , w e a s s u m e t h a t

t h e c a c h e h o l d s t h e C m o s t p o p u l a r p a g e s a s i n d i c a t e d b y

t h e o r d e r i n g i . T h i s o r d e r i n g i s d e t e r m i n e d b y m e a s u r i n g

t h e r e q u e s t f r e q u e n c y f o r e a c h p a g e , w h i c h i s e q u i v a l e n t t o

a s s u m i n g t h a t t h e c a c h e h a s a P e r f e c t - L F U p a g e r e m o v a l

p o l i c y s e e S e c t i o n I V .

W e a r e i n t e r e s t e d i n t h e a s y m p t o t i c h i t - r a t i o H C ,

w h i c h i s g i v e n b y :

H C =

C

X

i = 1

P

N

i

I n t h e c a s e = 1 , t h e n a s y m p t o t i c a l l y H C l n C , a n d

f o r 0 1 , t h e n a s y m p t o t i c a l l y H C C

1 ,

. T h i s

r e s u l t i s q u a l i t a t i v e l y c o n s i s t e n t w i t h p r e v i o u s l y o b s e r v e d

b e h a v i o r t h a t t h e h i t - r a t i o i n c r e a s e s l o g a r i t h m i c a l l y o r a s a


7/9


1

0 : 5

0 : 2

0 : 1

0 : 0 5

1 0

3

1 0

4

1 0

5

1 0

6

1 0

7

1 0

8

H C

c a c h e s i z e , C

D E C t r a c e


N L A N R t r a c e

2

2

2

2

2

2

2

2

2

2

2 2

2

U P i s a t r a c e

U C B t r a c e

.

.

.

.

.

.

.

.

.

.

. .

.

F u N e t t r a c e

?

?

?

?

?

?

?

?

?

?

?

?

?

F i g . 7 . H i t - r a t i o H C a s a f u n c t i o n o f c a c h e s i z e .

T A B L E V

v a l u e s o f f r o m l i n e a r f i t o f l o g H C v e r s u s l o g C


0 . 7 5 0 . 7 2 0 . 7 8 0 . 6 6 0 . 7 6 0 . 6 9

s m a l l p o w e r a s a f u n c t i o n o f c a c h e s i z e 1 , 9 , 4 , 2 1 , 1 0 ,

1 9 , 5 , 7 . T h e s e r e f e r e n c e s d o n o t c l a i m a n y p a r t i c u l a r

f o r m f o r t h e a s y m p t o t i c b e h a v i o r , b u t t h e i r d a t a a p p e a r s

t o g r o w i n a l o g - l i k e f a s h i o n i n t h e a s y m p t o t i c r e g i m e .

F i g u r e 7 d i s p l a y s t h e h i t - r a t i o f o r t h e v a r i o u s w e b c a c h e

t r a c e s o n a l o g - l o g p l o t . N o t e t h a t s o m e o f t h e g r a p h s f o r

t h e t r a c e s a t t e n o u t f o r l a r g e R : T h i s b e h a v i o r i s e x p e c t e d

b e c a u s e , f o r n i t e s i z e d t r a c e s , t h e h i t - r a t i o w i l l r e a c h a

m a x i m u m a n d t h e n r e m a i n c o n s t a n t w h e n t h e c a c h e s i z e

b e c o m e s l a r g e r t h a n t h e t r a c e l e . T h u s , t h i s a t t e n i n g o u t

b e h a v i o r i s a l i m i t a t i o n o f t h e s i z e o f t h e t r a c e l e r a t h e r

t h a n a n i n d i c a t i o n o f t h e t r u e a s y m p t o t i c b e h a v i o r .

T h e h i t - r a t i o s h o w n o n t h e l o g - l o g s c a l e i s r o u g h l y l i n e a r .

A s w i t h t h e H R d a t a , t h i s s u g g e s t s t h a t H C C

f o r

s o m e w h e r e t h e p o w e r v a r i e s f r o m t r a c e t o t r a c e . U s i n g

t h e p r e d i c t i o n t h a t H C C

1 ,

; w e c o m p u t e d a l i n e a r

t o f e a c h l o g - l o g d a t a s e t t o n d a n d t h e n c o m p u t e d

= 1 , . W h e n t t i n g t h e s t r a i g h t l i n e w e e x c l u d e d a l l

d a t a w i t h R 1 0

6

t o r e d u c e t h e l i m i t a t i o n o f t h e t r a c e l e

s i z e . T h e v a l u e s a r e s h o w n i n T a b l e V . T h e a g r e e m e n t

w i t h t h e v a l u e s c o m p u t e d d i r e c t l y f r o m t h e p a g e r e q u e s t

d i s t r i b u t i o n i n T a b l e I i s r e m a r k a b l y g o o d . T h u s , t h e

s i m p l e a n a l y t i c a l m o d e l h a s b e e n s u c c e s s f u l i n p r e d i c t i n g

t h e a s y m p t o t i c b e h a v i o r o f H R a n d H C .

D . P a g e r e q u e s t i n t e r a r r i v a l - t i m e s

W e n o w i n v e s t i g a t e t h e d i s t r i b u t i o n o f t i m e s b e t w e e n

r e q u e s t s f o r a g i v e n p a g e .

L e t u s c o n s i d e r a n i n n i t e a r r i v a l s t r e a m a n d c o n s i d e r

a r e q u e s t f o r a g i v e n p a g e i . T h e q u a n t i t y o f i n t e r e s t i s

t h e p r o b a b i l i t y d i s t r i b u t i o n d k t h a t t h e n e x t r e q u e s t f o r

t h a t p a g e i s k r e q u e s t s l a t e r i . e . , t h a t t h e r e q u e s t f o r p a g e

i i s f o l l o w e d b y k , 1 r e q u e s t s f o r p a g e s o t h e r t h a n p a g e

i , f o l l o w e d b y a n o t h e r r e q u e s t f o r p a g e i . A s s u m i n g t h a t

1

1 0

, 5

1 0

, 1 0

1 0

, 1 5

1 0

, 2 0

1 1 0

1 0

2

1 0

3

1 0

4

1 0

5

1 0

6

1 0

7

1 0

8

1 0

9

d k

n u m b e r o f r e q u e s t s , k

N = 1 0

6

; = 1 : 0

N = 1 0

8

; = 1 : 0

N = 1 0

6

; = 0 8

D E C t r a c e


N L A N R t r a c e

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

F i g . 8 . D i s t r i b u t i o n o f r e q u e s t i n t e r a r r i v a l - t i m e s , d k

p a g e r e q u e s t s a r e i n d e p e n d e n t , w e n d t h a t

d k =

N

X

i = 1

P

N

i

2

1 , P

N

i

k , 1

2

F o r = 1 w e h a v e

1

l n N

a n d t h e r e f o r e

2

d k

1

k l n N

1 ,

1

N l n N

k

,

1 ,

1

l n N

k

!

N o t e t h a t f o r N l n N k l n N , d k 1 = k l n N .

F o r 0 1 t h e a s y m p t o t i c b e h a v i o r o f t h i s e x p r e s s i o n

i s l e s s t r a c t a b l e , b u t a s s h o w n i n F i g . 8 t h e b e h a v i o r i n t h e

i n t e r m e d i a t e r e g i m e N l n N k l n N i s q u a l i t a t i v e l y

s i m i l a r t o t h e = 1 c a s e , b u t w i t h d i e r e n t s l o p e s i n t h e

l i n e a r r e g i m e . T h e m o d e l ' s p r e d i c t i o n s , i n t h e i n t e r m e d i a t e

r e g i m e , a r e q u a l i t a t i v e l y c o n s i s t e n t w i t h d a t a o b s e r v e d a t

o p e r a t i o n a l w e b s e r v e r s 1 9 , 4 .

W e h a v e a l s o e x a m i n e d t h e r e q u e s t i n t e r a r r i v a l b e h a v i o r

i n o u r t r a c e s . F i g u r e 8 s h o w s a p l o t o f t h e p r o b a b i l i t y d i s -

t r i b u t i o n f o r p a g e r e q u e s t i n t e r a r r i v a l - t i m e s d k p r o d u c e d

b y o u r m o d e l a n d t h e d i s t r i b u t i o n f o r t h r e e c a c h e t r a c e s w e

d i d n o t s h o w t h e r e m a i n i n g t h r e e t r a c e s t o k e e p t h e g r a p h

r e a d a b l e . T h e a g r e e m e n t b e t w e e n t h e s i m p l e m o d e l a n d

t h e t r a c e d a t a i s q u i t e g o o d i n t h e i n t e r m e d i a t e r e g i m e .

I V . C a c h e r e p l a c e m e n t a l g o r i t h m s

W

E n e x t c o n s i d e r w h e t h e r t h e s i m p l e m o d e l i n t r o -

d u c e d i n t h e p r e v i o u s s e c t i o n c a n b e u s e d t o i m p r o v e

c a c h e r e p l a c e m e n t s t r a t e g i e s . T h e m o d e l t h a t w e h a v e d i s -

c u s s e d s o f a r i s c a l l e d a n i n d e p e n d e n t r e f e r e n c e m o d e l 8

i n t h e e a r l y o p e r a t i n g s y s t e m p a g i n g s t u d i e s 6 . I t i s w e l l

k n o w n i n t h e o p e r a t i n g s y s t e m c a c h i n g c o m m u n i t y t h a t i f

i t h e r e q u e s t s a r e i n d e p e n d e n t a n d h a v e a x e d p r o b a -

b i l i t y a n d i i t h e p a g e s h a v e t h e s a m e s i z e , t h e n t h e o p -

t i m a l r e p l a c e m e n t a l g o r i t h m i s t o k e e p t h o s e p a g e s w i t h

t h e h i g h e s t p r o b a b i l i t i e s i n t h e c a c h e 8 . I n p r a c t i c e , a n

o n l i n e a l g o r i t h m d e t e c t s t h o s e d o c u m e n t s b y k e e p i n g t r a c k

o f t h e n u m b e r o f r e f e r e n c e s t o e a c h d o c u m e n t a n d k e e p i n g

2

T h e a p p r o x i m a t i o n f o r d k i s m a d e b y r e p l a c i n g t h e s u m w i t h a n

i n t e g r a l i n e q u a t i o n 2 , s u b s t i t u t i n g P

N

i = = i ; t h e n s u b s t i t u t i n g

u = 1 , = i a n d n a l l y n o t i n g t h a t d u = = i

2

d i


8/9


0.100 1.000 10.000

Cache Size (% of Total Bytes)

0.00

0.10

0.20

0.30

0.40

0.50

HitR

atio

Perfect-LFU

In-Cache-LFU

0.100 1.000 10.000


LRU

0.100 1.000 10.000


GD_Size

0.100 1.000 10.000


0.00

0.10

0.20

0.30

ByteH

itRatio

DEC

0.100 1.000 10.000


UCB

0.100 1.000 10.000


QuestNet

F i g . 9 . H i t - r a t i o a n d b y t e h i t - r a t i o f o r f o u r a l g o r i t h m s f o r a D E C , U C B a n d Q u e s t N e t t r a c e s .

t h o s e d o c u m e n t s w i t h t h e h i g h e s t r e f e r e n c e c o u n t i n t h e

c a c h e . I n o t h e r w o r d s , t h e b e s t o n l i n e a l g o r i t h m u n d e r t h e

i n d e p e n d e n t r e f e r e n c e m o d e l i s t h e L e a s t - F r e q u e n t l y - U s e d

L F U a l g o r i t h m .

H o w e v e r , t h e r e a r e t w o v e r s i o n s o f L F U t h a t a r e o f -

t e n c o n f u s e d i n t h e l i t e r a t u r e : I n - C a c h e - L F U , a n d P e r f e c t -

L F U . T o m a k e a c l e a r d i s t i n c t i o n b e t w e e n t h e t w o p o l i c i e s ,

P e r f e c t - L F U r e m e m b e r s p a g e c o u n t e r s e v e n w h e n a p a g e

i s e v i c t e d f r o m t h e c a c h e , w h i l e I n - C a c h e - L F U r e m o v e s

t h e p a g e c o u n t e r t o g e t h e r w i t h t h e e v i c t e d p a g e . C l e a r l y ,

P e r f e c t - L F U i n c u r s m o r e o v e r h e a d a n d i s l e s s p r a c t i c a l t h a n

I n - C a c h e - L F U .

T h e q u e s t i o n w e w i s h t o a n s w e r i s : W h i c h o f t h e f o u r r e -

p l a c e m e n t a l g o r i t h m s | P e r f e c t - L F U , I n - C a c h e - L F U , L R U

a n d G D - S i z e | p e r f o r m s t h e b e s t i n t e r m s o f h i t - r a t i o ?

N o t e t h a t L R U i s t h e m o s t w i d e l y - u s e d w e b c a c h e r e p l a c e -

m e n t a l g o r i t h m , w h i l e G D - S i z e i s a n e w a l g o r i t h m t h a t

t a k e s b o t h d o c u m e n t s i z e a n d l o c a l i t y i n t o a c c o u n t a n d w a s

s h o w n t o o u t p e r f o r m e x i s t i n g a l g o r i t h m s i n t e r m s o f h i t -

r a t i o 4 . W e a n s w e r t h e a b o v e q u e s t i o n u s i n g t r a c e - d r i v e n

s i m u l a t i o n s .

F i g u r e 9 s h o w s t h e h i t - r a t i o s a n d b y t e h i t - r a t i o s f o r t h e

f o u r r e p l a c e m e n t a l g o r i t h m s f o r t h e D E C , U C B a n d Q u e s t -

N e t t r a c e s . R e s u l t s f r o m o t h e r t r a c e s a r e s i m i l a r t o t h o s e

i n t h e g u r e .

F i g u r e 9 s h o w s t h a t , a s p r e d i c t e d b y t h e i n d e p e n d e n t

r e f e r e n c e m o d e l , P e r f e c t - L F U p e r f o r m s b e s t i n t e r m s o f

b y t e h i t - r a t i o s i n m o s t c a s e s . G D - S i z e s t i l l p e r f o r m s b e s t

i n t e r m s o f h i t - r a t i o s f o r s m a l l c a c h e s i z e s b e c a u s e G D - S i z e

f a v o r s s m a l l d o c u m e n t s o v e r l a r g e o n e s . W h e n c a c h e s i z e s

a r e l a r g e , P e r f e c t - L F U p e r f o r m s c o m p a r a b l y t o G D - S i z e

i n h i t - r a t i o a n d m u c h b e t t e r i n b y t e h i t - r a t i o . T h e g -

u r e a l s o s h o w s t h a t I n - C a c h e - L F U p e r f o r m s t h e w o r s t a n d

c o n s e q u e n t l y i s a p o o r c h o i c e f o r w e b c a c h e r e p l a c e m e n t

a l g o r i t h m s .

T h e m a i n d r a w b a c k o f P e r f e c t - L F U i s t h a t i t r e q u i r e s

a d d i t i o n a l s p a c e t o m a i n t a i n t h e c o u n t s f o r d o c u m e n t s t h a t

a r e e v i c t e d f r o m t h e c a c h e . I n a d d i t i o n , i t f a i l s t o t a k e

d o c u m e n t s i z e i n t o a c c o u n t .

O u r g o a l i s n o t t h e d e s i g n o f r e p l a c e m e n t p o l i c i e s , b u t

r a t h e r t o o b s e r v e t h a t i f t e m p o r a l l o c a l i t y d u e t o c o r r e l a -

t i o n s b e t w e e n r e f e r e n c e s i s t h e d o m i n a n t e e c t t h e n L R U

p e r f o r m s t h e b e s t . H o w e v e r , b e c a u s e L R U d i d n o t p e r f o r m

a s w e l l a s P e r f e c t - L F U , i t m a y s u g g e s t t h a t t h e t e m p o -

r a l l o c a l i t y e e c t s m a y n o t b e i m p o r t a n t w h e n a n a l y z i n g

q u a l i t a t i v e a s p e c t s o f w e b c a c h i n g p e r f o r m a n c e .

F o r q u a n t i t a t i v e p r e d i c t i o n s o f w e b c a c h i n g p e r f o r m a n c e ,

i t m a y b e i m p o r t a n t t o c o n s i d e r c o r r e l a t i o n s i n t h e r e q u e s t

s t r e a m . I n p a r t i c u l a r , A l m e i d a e t a l . c o m p a r e d p l o t s o f

m i s s - r a t i o f o r a s y n t h e t i c w o r k l o a d h a v i n g a Z i p f d i s t r i -

b u t i o n a g a i n s t p l o t s o f m i s s - r a t i o f o r r e a l w o r k l o a d s a n d

c o n c l u d e d t h a t t h e Z i p f m o d e l w a s i n a c c u r a t e b e c a u s e i t


9/9


d i d n o t c a p t u r e t h e l o c a l i t y o f r e f e r e n c e i n t h e r e a l r e q u e s t

s t r e a m 1 . I n t h i s p a p e r w e l o o k e d a t t h e a s y m p t o t i c p r o p -

e r t i e s o f t h e h i t - r a t i o a n d r e q u e s t i n t e r a r r i v a l - t i m e s , a n d

p e r h a p s i n t h e a s y m p t o t i c r e g i m e t h e c o r r e l a t i o n s f o c u s e d

o n i n 1 a r e n o t s o r e l e v a n t .

V . D i s c u s s i o n

I

N t h i s p a p e r w e r s t s h o w e d e v i d e n c e t h a t w e b r e q u e s t s

f o l l o w a Z i p f - l i k e d i s t r i b u t i o n . W e t h e n i n t r o d u c e d a

s i m p l e m o d e l f o r w e b r e q u e s t s , w h e r e r e q u e s t s a r e i n d e p e n -

d e n t a n d d i s t r i b u t e d a c c o r d i n g t o a Z i p f - l i k e d i s t r i b u t i o n ,

a n d s h o w e d t h a t t h i s s i m p l e m o d e l c a n e x p l a i n t h e a s y m p -

t o t i c b e h a v i o r f o r t h r e e p r o p e r t i e s t h a t a r e o b s e r v e d i n r e a l

w e b c a c h e t r a c e s . O u r r e s u l t s s u g g e s t t h a t t h e s e p r o p e r t i e s

f o u n d i n m a n y s t u d i e s a r e p e r h a p s i n h e r e n t t o w e b a c c e s s

s t r e a m s a n d n o t a n a r t i f a c t o f t h e t r a c e s s t u d i e d .

O u r r e s u l t s a l s o s u g g e s t t h a t a s i m p l e m o d e l f o r w e b r e -

q u e s t s m a y b e s u c i e n t t o u n d e r s t a n d c e r t a i n a s y m p t o t i c

p r o p e r t i e s o f c a c h e p e r f o r m a n c e . O u r m o d e l h a s m a n y l i m -

i t a t i o n s . F o r i n s t a n c e , t h e m o d e l d o e s n o t c o n s i d e r d o c u -

m e n t m o d i c a t i o n s , n o r d o e s i t c o n s i d e r t h e c a c h e ' s r e -

p l a c e m e n t p o l i c y , b o t h o f w h i c h n o d o u b t p l a y a n i m p o r -

t a n t r o l e i n a c a c h e ' s p e r f o r m a n c e . N o n e t h e l e s s , w e t h i n k

t h e s i m p l e m o d e l p r e s e n t e d h e r e m a y b e w o r t h w h i l e f o r

s t u d y i n g t h e a s y m p t o t i c b e h a v i o r o f v a r i o u s q u a n t i t i e s . W e

a r e c u r r e n t l y t r y i n g t o i m p r o v e t h e m o d e l a n d g a t h e r m o r e

t r a c e s t o v a l i d a t e i t .

R e f e r e n c e s

1 V i r g i l i o A l m e i d a , A z e r B e s t a v r o s , M a r k C r o v e l l a , a n d A d r i -

a n a d e O l i v e i r a . C h a r a c t e r i z i n g r e f e r e n c e l o c a l i t y i n t h e

W W W . I n I E E E I n t e r n a t i o n a l C o n f e r e n c e i n P a r a l l e l a n d

D i s t r i b u t e d I n f o r m a t i o n S y s t e m s , M i a m i B e a c h , F l o r i d a , U S A ,

D e c e m b e r 1 9 9 6 . h t t p : w w w . c s . b u . e d u g r o u p s o c e a n s p a p e r s

H o m e . h t m l .

2 V i r g i l i o A u g u s t o F . A l m e i d a , M a r c i o A n t h o n y G . C e -

s i r i o , R o d r i g o F o n s e c a C a n a d o , W a g n e r M e i r a J u n i o r , a n d

C r i s t i n a D u a r t e M u r t a . A n a l y z i n g t h e b e h a v i o r o f a

p r o x y s e r v e r i n t h e l i g h t o f r e g i o n a l a n d c u l t u r a l i s -

s u e s . h t t p : w w w . a n a d e s . d c c . u f m g . b r p a p e r S u b m e t i d o s w e b -

c a c h e c u l t u r a l , 1 9 9 8 .

3 L e e B r e s l a u , P e i C a o , L i F a n , G r a h a m P h i l l i p s , a n d S c o t t

S h e n k e r . W e b c a c h i n g a n d z i p f - l i k e d i s t r i b u t i o n s : E v i d e n c e

a n d i m p l i c a t i o n s . T e c h n i c a l r e p o r t , U n i v e r s i t y o f W i s c o n s i n -

M a d i s o n , D e p a r t m e n t o f C o m p u t e r S c i e n c e , 1 2 1 0 W e s t D a y t o n

S t r e e t , J u l y 1 9 9 8 . h t t p : w w w . c s . w i s c . e d u ~ c a o p a p e r s z i p f -

i m p l i c a t i o n s . h t m l .

4 P e i C a o a n d S a n d y I r a n i . C o s t - a w a r e W W W p r o x y c a c h i n g

a l g o r i t h m s . I n P r o c e e d i n g s o f t h e 1 9 9 7 U S E N I X S y m p o s i u m

o n I n t e r n e t T e c h n o l o g y a n d S y s t e m s , p a g e s 1 9 3 2 0 6 , D e c e m b e r

1 9 9 7 . h t t p : w w w . c s . w i s c . e d u ~ c a o p u b l i c a t i o n s . h t m l .

5 C a r l o s C u n h a , A z e r B e s t a v r o s , a n d M a r k C r o v e l l a .

C h a r a c t e r i s t i c s o f W W W c l i e n t - b a s e d t r a c e s . T e c h n i -

c a l R e p o r t T R - 9 5 - 0 1 0 , B o s t o n U n i v e r s i t y , C o m p u t e r

S c i e n c e D e p t . , B o s t o n , M A 0 2 2 1 5 , U S A , A p r i l 1 9 9 5 .

h t t p : w w w . c s . b u . e d u g r o u p s o c e a n s p a p e r s H o m e . h t m l .

6 P e t e r J . D e n n i n g . W o r k i n g s e t s p a s t a n d p r e s e n t . I E E E T r a n s -

a c t i o n o n S o f t w a r e E n g i n e e r i n g , S E - 6 1 : 6 4 8 4 , J a n u a r y 1 9 8 0 .

7 B r a d l e y M . D u s k a , D a v i d M a r w o o d , a n d M i c h a e l J . F e e l e y . T h e

m e a s u r e d a c c e s s c h a r a c t e r i s t i c s o f w o r l d - w i d e - w e b c l i e n t p r o x y

c a c h e s . I n P r o c e e d i n g s o f U S E N I X S y m p o s i u m o n I n t e r n e t T e c h -

n o l o g y a n d S y s t e m s , D e c e m b e r 1 9 9 7 .

8 E d w a r d G . C o m a n , J r . a n d P e t e r J . D e n n i n g . O p e r a t i n g S y s -

t e m s T h e o r y . P r e n t i c e - H a l l , I n c . , 1 9 7 3 .

9 S t e v e n G l a s s m a n . A c a c h i n g r e l a y f o r t h e w o r l d w i d e

w e b . I n F i r s t I n t e r n a t i o n a l C o n f e r e n c e o n t h e W o r l d -

W i d e W e b , C E R N , G e n e v a , S w i t z e r l a n d , M a y 1 9 9 4 . h t t p :

w w w 1 . c e r n . c h W W W 9 4 P r e l i m P r o c s . h t m l .

1 0 S t e v e n G r i b b l e a n d E r i c B r e w e r . S y s t e m d e s i g n i s s u e s f o r i n t e r -

n e t m i d d l e w a r e s e r v i c e s : D e d u c t i o n s f r o m a l a r g e c l i e n t t r a c e .

I n P r o c e e d i n g s o f t h e 1 9 9 7 U s e n i x S y m p o s i u m o n I n t e r n e t T e c h -

n o l o g i e s a n d S y s t e m s , M o n t e r e y , C a l i f o r n i a , U S A , D e c e m b e r

1 9 9 7 . h t t p : H T T P . C S . B e r k e l e y . E D U ~ g r i b b l e .

1 1 S t e v e n G r i b b l e a n d E r i c B r e w e r . U C B h o m e I P H T T P

t r a c e s . h t t p : w w w . c s . b e r k e l e y . e d u g r i b b l e t r a c e s i n d e x . h t m l ,

J u n e 1 9 9 7 .

1 2 J a m e s G w e r t z m a n a n d M a r g o S e l t z e r . W o r l d - w i d e w e b c a c h e

c o n s i s t e n c y . I n P r o c e e d i n g s o f t h e 1 9 9 6 U S E N I X T e c h n i c a l C o n -

f e r e n c e , S a n D i e g o , C A , J a n u a r y 1 9 9 6 .

1 3 P e k k a J a r v e l a i n e n . P e r s o n a l c o m m u n i c a t i o n . m a i l t o : p j @ c s c . ,

1 9 9 8 .

1 4 T . M . K r o e g e r , J . M o g u l , a n d C . M a l t z a h n . D i g i t a l ' s w e b

p r o x y t r a c e s . f t p : f t p . d i g i t a l . c o m p u b D E C t r a c e s p r o x y

w e b t r a c e s . h t m l , A u g u s t 1 9 9 6 .

1 5 T h o m a s M . K r o e g e r , D a r r e l l D . E . L o n g , a n d J e r e y C . M o g u l .

E x p l o r i n g t h e b o u n d s o f w e b l a t e n c y r e d u c t i o n f r o m c a c h i n g a n d

p r e f e t c h i n g . I n P r o c e e d i n g s o f U S E N I X S y m p o s i u m o n I n t e r n e t

T e c h n o l o g y a n d S y s t e m s , D e c e m b e r 1 9 9 7 .

1 6 N o r i f u m i N i s h i k a w a , T a k a f u m i H o s o k a w a , Y a s u h i d e

M o r i , K e n i c h i Y o s h i d a b , a n d H i r o s h i T s u j i a . M e m o r y -

b a s e d a r c h i t e c t u r e f o r d i s t r i b u t e d W W W c a c h i n g

p r o x y . I n T h e 7 t h W W W C o n f e r e n c e , A p r i l 1 9 9 8 .

h t t p : w w w 7 . c o n f . a u p r o g r a m m e f u l l p a p e r s 1 9 2 8

c o m 1 9 2 8 . h t m .

1 7 N a t i o n a l L a b o f A p p l i e d N e t w o r k R e s e a r c h . S a n i t i z e d a c c e s s l o g .

f t p : i r c a c h e . n l a n r . n e t T r a c e s , J u l y 1 9 9 7 .

1 8 L u i g i R i z z o . W e b p r o x y t r a c e s .

h t t p : i n f o . i e t . u n i p i . i t l u i g i p r o x y - t r a c e s , M a y 1 9 9 7 .

1 9 L u i g i R i z z o a n d L o r e n z o V i c i s a n o . R e p l a c e m e n t p o l i -

c i e s f o r a p r o x y c a c h e . T e c h n i c a l R e p o r t R N 9 8 1 3 ,

U n i v e r s i t y C o l l e g e L o n d o n , D e p a r t m e n t o f C o m p u t e r S c i -

e n c e , G o w e r S t r e e t , L o n d o n W C 1 E 6 B T , U K , 1 9 9 8 .

h t t p : w w w . i e t . u n i p i . i t ~ l u i g i c a c h i n g . p s . g z .

2 0 J u l i a n n e W e e k e r s . P e r s o n a l c o m m u n i c a t i o n .

m a i l t o : j u l i a n n e @ c c . u q . e d u . a u , J a n u a r y 1 9 9 8 .

2 1 S t e p h e n W i l l i a m s , M a r c A b r a m s , C h a r l e s S t a n d r i d g e , G h a l e b

A b d u l l a , a n d E d w a r d F o x . R e m o v a l p o l i c i e s i n n e t w o r k c a c h e s

f o r W W W d o c u m e n t s . I n A C M S I G C O M M ' 9 6 , A u g u s t 1 9 9 6 .

h t t p : w w w . a c m . o r g s i g c o m m s i g c o m m 9 6 p r o g r a m . h t m l .

2 2 G e o r g e K i n g s l e y Z i p f . R e l a t i v e f r e q u e n c y a s a d e t e r m i n a n t o f

p h o n e t i c c h a n g e . R e p r i n t e d f r o m t h e H a r v a r d S t u d i e s i n C l a s s i -

c a l P h i l i o l o g y , V o l u m e X L , 1 9 2 9 .

Web caching and zipf-like distributions

Documents

Transcript of Web caching and zipf-like distributions