Exp Uriarte040

8/20/2019 Exp Uriarte040

http://slidepdf.com/reader/full/exp-uriarte040 1/28

O p t i m i z i n g J o i n I n d e x B a s e d S p a t i a l - J o i n P r o c e s s i n g :

A G r a p h P a r t i t i o n i n g A p p r o a c h

S h a s h i S h e k h a r , C h a n g - t i e n L u , S i v a k u m a r R a v a d a , S a n j a y C h a w l a

C o m p u t e r S c i e n c e D e p a r t m e n t , U n i v e r s i t y o f M i n n e s o t a

2 0 0 U n i o n S t r e e t S E , M i n n e a p o l i s , M N - 5 5 4 5 5

s h e k h a r c t l u s i v a c h a w l a ] @ c s . u m n . e d u T E L : ( 6 1 2 ) 6 2 4 8 3 0 7 F A X : ( 6 1 2 ) 6 2 5 0 5 7 2

h t t p : / / w w w . c s . u m n . e d u / R e s e a r c h / s h a s h i - g r o u p

J u n e 1 , 1 9 9 9

A b s t r a c t

A J o i n I n d e x i s a d a t a s t r u c t u r e t h a t o p t i m i z e s t h e j o i n q u e r y p r o c e s s i n g i n s p a t i a l d a t a b a s e s .

J o i n i n d i c e s u s e p r e - c o m p u t a t i o n t e c h n i q u e s t o s p e e d u p o n l i n e q u e r y p r o c e s s i n g a n d a r e u s e f u l f o r

a p p l i c a t i o n s w h i c h r e q u i r e l o w u p d a t e r a t e s . T h e c o s t o f s p a t i a l j o i n c o m p u t a t i o n u s i n g a j o i n - i n d e x

w i t h l i m i t e d b u e r s p a c e d e p e n d s p r i m a r i l y o n t h e p a g e a c c e s s s e q u e n c e u s e d t o f e t c h t h e p a g e s o f t h e

b a s e r e l a t i o n s . G i v e n t h e j o i n - i n d e x , w e i n t r o d u c e a s u i t e o f m e t h o d s b a s e d o n s p a t i a l - c l u s t e r i n g t o

c o m p u t e t h e s p a t i a l - j o i n . T h e s p a t i a l c l u s t e r i n g w e e m p l o y i s b a s e d o n g r a p h p a r t i t i o n i n g t e c h n i q u e s .

F o r a l l t h e m e t h o d s w e d e r i v e u p p e r - b o u n d s o n t h e l e n g t h s o f t h e p a g e - a c c e s s s e q u e n c e . E x p e r i m e n t a l

r e s u l t s w i t h S e q u o i a 2 0 0 0 d a t a s e t s , o n a s e q u e n t i a l s y s t e m , s h o w t h a t s p a t i a l c l u s t e r i n g m e t h o d

o u t p e r f o r m s t h e e x i s t i n g m e t h o d s b a s e d o n s o r t i n g a n d o n l i n e c l u s t e r i n g h e u r i s t i c s .

A c r o n y m F u l l f o r m D e n i t i o n s e c t i o n / p a g e

A G P A s y m m e t r i c G r a p h P a r t i t i o n i n g b a s e d h e u r i s t i c S e c t i o n 3

S G P S y m m e t r i c G r a p h P a r t i t i o n i n g B a s e d h e u r i s t i c S e c t i o n 5

F P F o t o u h i a n d P r a m a n i k ' s h e u r i s t i c S e c t i o n 2

O M O m i e c i n s k i ' s h e u r i s t i c S e c t i o n 2

C h a n C h a n ' s h e u r i s t i c S e c t i o n 2

S o r t i n g S o r t i n g h e u r i s t i c S e c t i o n 2

O P A S - F B O p t i m a l P a g e A c c e s s S e q u e n c e w i t h F i x e d B u e r S e c t i o n 1

P C G P a g e C o n n e c t i v i t y G r a p h S e c t i o n 1

B - d i a g o n a l m a t r i x M M i j ] = 1 ) j i ; j j b

B

2

c S e c t i o n 5

T a b l e 1 : T a b l e o f A c r o n y m

K e y w o r d s : D a t a C l u s t e r i n g , J o i n I n d e x , P a r t i t i o n i n g , H y p e r G r a p h , Q u e r y P r o c e s s i n g , S p a t i a l J o i n .



1 I n t r o d u c t i o n

T h e j o i n o p e r a t i o n i s a f u n d a m e n t a l o p e r a t i o n i n d a t a b a s e s , a n d i t h a s b e e n a s u b j e c t o f i n t e n s e s c r u t i n y

b y l e a d i n g d a t a b a s e r e s e a r c h e r s . M u c h w o r k h a s b e e n d o n e i n o p t i m i z i n g j o i n o p e r a t i o n 1 3 , 2 6 ] . A j o i n

i n d e x 2 , 8 , 2 0 , 2 4 , 3 0 , 3 3 ] i s a d a t a s t r u c t u r e t h a t f a c i l i t a t e s r a p i d j o i n - q u e r y p r o c e s s i n g . F o r d a t a

s e t s w h i c h a r e u p d a t e d i n f r e q u e n t l y a n d u s e p r e - c o m p u t a t i o n a n d m a t e r i a l i z a t i o n t e c h n i q u e s t o s p e e d

u p o n l i n e q u e r y p r o c e s s i n g , t h e j o i n i n d e x c a n b e p a r t i c u l a r l y u s e f u l . A f u l l y m a t e r i a l i z e d r e l a t i o n s h i p

k e e p s t h e c o m p l e t e r e s u l t o f a l i k e l y q u e r y a s a s e p a r a t e r e l a t i o n . T h e n w h e n a q u e r y r e q u e s t s t h e s t o r e d

r e l a t i o n s h i p , t h e r e s u l t i s i m m e d i a t e l y s e n t o u t , r e s u l t i n g i n a v e r y f a s t r e s p o n s e t i m e . B u t t h e f u l l y

m a t e r i a l i z e d r e l a t i o n s h i p h a s h i g h s t o r a g e o v e r h e a d , w h i l e a p a r t i a l l y m a t e r i a l i z e d r e l a t i o n s h i p ( e . g . a

j o i n i n d e x ) s t o r e s p a r t o f t h e r e s u l t t o r e d u c e s t o r a g e o v e r h e a d , a n d t h e n r e q u i r e s m o r e p r o c e s s i n g d u r i n g

t h e q u e r y p r o c e s s i n g s t e p .

T h e j o i n - i n d e x i s t y p i c a l l y r e p r e s e n t e d a s a b i - p a r t i t e g r a p h b e t w e e n t h e p a g e s o f e n c u m b e n t r e l a t i o n s

o r t h e i r s u r r o g a t e s t o c o m p u t e t h e j o i n . W h e n t h e n u m b e r o f b u e r p a g e s i s x e d , t h e j o i n - c o m p u t a t i o n

p r o b l e m i s t r a n s f o r m e d i n t o d e t e r m i n i n g a n o p t i m a l p a g e a c c e s s s e q u e n c e s u c h t h a t t h e j o i n c a n b e

c o m p u t e d w i t h t h e m i n i m u m n u m b e r o f r e d u n d a n t p a g e a c c e s s e s . T h i s p r o b l e m h a s b e e n s h o w n t o

b e N P - h a r d f o r t h e c a s e w h e n t h e b u e r s i z e i s e q u a l t o t w o p a g e s 2 5 , 2 8 ] , a n d c o n s e q u e n t l y , i t i s

u n l i k e l y t h a t a p o l y n o m i a l t i m e s o l u t i o n e x i s t s f o r t h i s p r o b l e m . S o l u t i o n s i n l i t e r a t u r e u s e a g l o b a l

c l u s t e r i n g m e t h o d t o g r o u p p a g e s i n o n e o r b o t h t a b l e s i n v o l v e d i n j o i n t o r e d u c e t o t a l p a g e a c c e s s .

A v a i l a b l e h e u r i s t i c s e i t h e r g r o u p p a g e s o f a s i n g l e t a b l e v i a g l o b a l s o r t i n g 3 3 ] o r u s e i n c r e m e n t a l c l u s t e r i n g

m e t h o d s 6 , 9 , 2 7 ] . W e i n t r o d u c e t w o n e w h e u r i s t i c s f o r t h i s p r o b l e m . O n e h e u r i s t i c u s e s g l o b a l c l u s t e r i n g

m e t h o d t o g r o u p p a g e s i n b o t h t a b l e s . T h e o t h e r o n e u s e s g l o b a l c l u s t e r i n g f o r p a g e s o f a s i n g l e t a b l e

u s i n g j o i n - i n d e x i n f o r m a t i o n . B o t h m e t h o d s u s e m i n - c u t g r a p h p a r t i t i o n i n g

y

a s c l u s t e r i n g a l g o r i t h m .

T h e f o r m e r o u t p e r f o r m s t h e i n c r e m e n t a l c l u s t e r i n g m e t h o d s w h i l e t h e l a t t e r o u t p e r f o r m s g l o b a l s o r t i n g

h e u r i s t i c s f o r s p a t i a l j o i n . .

1 . 1 B a s i c c o n c e p t o f a J o i n I n d e x

C o n s i d e r a d a t a b a s e w i t h t w o r e l a t i o n s F a c i l i t y a n d F o r e s t S t a n d . F a c i l i t y h a s a p o i n t a t t r i b u t e r e p r e -

s e n t i n g i t s l o c a t i o n , a n d F o r e s t S t a n d h a s a r e c t a n g l e a t t r i b u t e s r e p r e s e n t i n g b o u n d i n g b o x o f i t s e x t e n d .

T h e p o l y g o n r e p r e s e n t i n g i t s e x t e n d m a y b e s t o r e d s e p a r a t e l y . A p o i n t c o n s i s t s o f t h e x a n d y c o o r d i -

n a t e s o n t h e m a p . A r e c t a n g l e c o n s i s t s o f t w o p o i n t s , w h i c h a r e t h e b o t t o m l e f t a n d t o p r i g h t c o r n e r s o f

t h e r e c t a n g l e r e g i o n o n a m a p .

I n F i g u r e 1 ( a ) , p o i n t s a 1 a 2 a 3 b 1 b 2 r e p r e s e n t f a c i l i t y l o c a t i o n s a n d p o l y g o n s A 1 A 2 B 1 B 2 C 1 C 2

r e p r e s e n t t h e b o u n d i n g b o x e s o f t h e b o u n d a r y o f f o r e s t b o u n d a r i e s o f f o r e s t s t a n d s . T h e c i r c l e a r o u n d

e a c h l o c a t i o n s h o w s t h e a r e a w i t h i n d i s t a n c e D f r o m a f a c i l i t y . T h e r e c t a n g l e a r o u n d e a c h f o r e s t b o u n d -

a r y r e p r e s e n t s M i n i m a l O r t h o g o n a l B o u n d i n g R e c t a n g l e ( M O B R ) f o r e a c h f o r e s t s t a n d . F i g u r e 1 ( b )

s h o w s t w o r e l a t i o n s R a n d S f o r t h i s d a t a s e t . R e l a t i o n R r e p r e s e n t s f a c i l i t i e s v i a a t t r i b u t e s o f u n i q u e i d ,

R : I D , t h e l o c a t i o n ( x , y c o o r d i n a t e s ) , a n d o t h e r n o n - s p a t i a l a t t r i b u t e s . R e l a t i o n S r e p r e s e n t s t h e f o r e s t

s t a n d s v i a u n i q u e i d e n t i e r , S : I D , t h e M O B R a n d n o n - s p a t i a l a t t r i b u t e s . M O B R ( X

L L

Y

L L

X

U R

Y

U R

) ,

y

R e c e n t a d v a n c e s h a v e p r o v i d e d s c a l a b l e g r a p h - p a r t i t i o n i n g s o f t w a r e s u c h a s M e t i s 1 9 ] , w h i c h c a n h a n d l e l a r g e g r a p h s

r e l e v a n t t o d a t a b a s e i n r e l a t i v e r e a s o n a b l e r e s p o n s e t i m e , e . g . f e w s e c o n d s . W e h a v e h a d g o o d e x p e r i m e n t u s i n g i t f o r

d a t a b a s e p r o b l e m s 2 2 , 3 1 ]

1



i s r e p r e s e n t e d v i a t h e c o o r d i n a t e s o f l o w e r - l e f t c o r n e r p o i n t ( X

L L

Y

L L

) a n d t h e u p p e r r i g h t c o r n e r

p o i n t ( X

U R

Y

U R

) .

N o w , c o n s i d e r t h e f o l l o w i n g q u e r y :

Q : " F i n d a l l f o r e s t s t a n d s w h i c h a r e w i t h i n a d i s t a n c e D f r o m a f a c i l i t y " .

T h i s q u e r y w i l l r e q u i r e a j o i n o n t h e F a c i l i t y a n d F o r e s t S t a n d r e l a t i o n s b a s e d o n t h e i r s p a t i a l a t t r i b u t e s ,

S p a t i a l j o i n a l g o r i t h m 1 , 4 , 5 , 1 4 , 2 3 ] m a y b e u s e d t o n d t h e p a i r s ( F a c i l i t y , F o r e s t - s t a n d ) w h i c h

s a t i s f y t h e q u e r y Q . A l t e r n a t i v e l y , a j o i n - i n d e x m a y b e u s e d t o m a t e r i a l i z e a s u b s e t o f r e s u l t t o s p e e d

u p p r o c e s s i n g f o r f u t u r e o c c u r r e n c e o f Q i f t h e r e a r e f e w u p d a t e s t o s p a t i a l d a t a a n d t h e q u e r y Q i s

f r e q u e n t l y r e q u e s t e d . F i g u r e 1 ( b ) s h o w s a j o i n i n d e x w i t h t w o c o l u m n s . E a c h t u p l e i n t h e j o i n i n d e x

r e p r e s e n t s a t u p l e i n t h e t a b l e J O I N ( R S d i s t a n c e ( R : L o c a t i o n S : M O B R ) < D ) . I n g e n e r a l , t h e t u p l e s

i n t h e j o i n i n d e x m a y a l s o c o n t a i n p o i n t e r s t o t h e p a g e s o f R a n d S w h e r e t h e r e l e v a n t t u p l e s o f R a n d

S r e s i d e . W e o m i t t h e p o i n t e r i n f o r m a t i o n t o s i m p l i f y t h e d i a g r a m s i n t h i s p a p e r .

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

1 1 1 1 1 1 1

1 1 1 1 1 1 1

1 1 1 1 1 1 1

1 1 1 1 1 1 1

1 1 1 1 1 1 1

1 1 1 1 1 1 1

1 1 1 1 1 1 1

1 1 1 1 1 1 1

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 11 1 1 1 1 1 1 1 1 11 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1

0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0

1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1

0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0

1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0

1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1

b1

a2

a1

B2

A2

b2

B1

C1

a3

A1

C2

D

D = radius of circle

( a ) S p a t i a l A t t r i b u t e o f R a n d S

(X,Y)

Non-SpatialLocation

UR(X Y X Y )

a1

C1b2

UR

B1

LL LLData Data

b1 A2

A1

a2

B2a3

C1

R Relation Join Index

(Facility Location) (Forest-Stand Boundary)

a1

C2

ID

a1

b2

a3

S Relation

a2

(7.9,16.7)

(3.4,11.4)

(19.5,13.1)

(18.7,6.4)

(9.5,7.1)

(...)

(...)

(...)

(...)

(...)

ID MOBR

b1

(5.1,8.9,9.1,10.9)

(15.5,15,20.4,19)

(...)

(...)

(...)

(...)

(...)

(...)

(7.6,12.7,15,5.2)

(7.5,2,9.7,15.1)

A1

A2

B1

B2

C1

C2

(3,12.2,6.6,16)

(13.4,7.7,19.5,10)

R.ID S.IDNon-Spatial

b2

( b ) R a n d S R e l a t i o n T a b l e a n d J o i n I n d e x

F i g u r e 1 : C o n s t r u c t J o i n I n d e x f r o m t w o r e l a t i o n s

1 . 2 J o i n I n d e x , P a g e C o n n e c t i v i t y G r a p h , J o i n P r o c e s s i n g

A j o i n i n d e x d e s c r i b e s a r e l a t i o n s h i p b e t w e e n t h e o b j e c t s o f t w o r e l a t i o n s . A s s u m e t h a t e a c h t u p l e o f

a r e l a t i o n h a s a s u r r o g a t e w h i c h u n i q u e l y i d e n t i e s t h a t t u p l e . A j o i n i n d e x i s a s e q u e n c e o f p a i r s o f

s u r r o g a t e s , w h e r e e a c h p a i r o f s u r r o g a t e s i d e n t i e s t h e r e s u l t - t u p l e o f a j o i n . T h e t u p l e s p a r t i c i p a t i n g

i n t h e j o i n r e s u l t a r e g i v e n b y t h e i r s u r r o g a t e s . F o r m a l l y , l e t R a n d S b e t w o r e l a t i o n s . T h e n c o n s i d e r

t h e j o i n o f R a n d S o n a t t r i b u t e s A o f R a n d B o f S . T h e n t h e j o i n i n d e x i s a n a b s t r a c t i o n o f t h e

j o i n o f t h e r e l a t i o n s . I f F d e n e s t h e j o i n p r e d i c a t e , t h e n t h e j o i n i n d e x i s g i v e n b y t h e s e t J I =

f ( r

i

s

j

) j F ( r

i

: A s

j

: B ) i s t r u e f o r r

i

2 R a n d s

j

2 S g , w h e r e r

i

a n d s

j

a r e s u r r o g a t e s o f t h e i t h t u p l e i n

R a n d t h e j t h t u p l e i n S , r e s p e c t i v e l y . F o r e x a m p l e , c o n s i d e r t h e F a c i l i t y a n d F o r e s t S t a n d r e l a t i o n a l

t a b l e s s h o w n i n F i g u r e 1 . T h e F a c i l i t y r e l a t i o n i s j o i n e d w i t h t h e F o r e s t S t a n d r e l a t i o n o n t h e i r s p a t i a l

a t t r i b u t e . T h e j o i n - i n d e x f o r t h i s j o i n c o n t a i n s t h e t u p l e I D s w h i c h m a t c h t h e s p a t i a l j o i n p r e d i c a t e .

A j o i n i n d e x c a n b e d e s c r i b e d b y a b i p a r t i t e g r a p h G = ( V

1

V

2

E ) w h e r e V

1

c o n t a i n s t h e t u p l e

I D s o f r e l a t i o n R , a n d V

2

c o n t a i n s t h e t u p l e I D s o f r e l a t i o n S . E d g e s e t E c o n t a i n s a n e d g e ( v

r

v

s

) f o r

2



v

r

2 R a n d v

s

2 S , i f t h e r e i s a t u p l e c o r r e s p o n d i n g t o ( v

r

v

s

) i n t h e j o i n i n d e x . T h e b i p a r t i t e g r a p h

m o d e l s a l l o f t h e r e l a t e d t u p l e s a s c o n n e c t e d v e r t i c e s i n t h e g r a p h . I n a g r a p h , t h e e d g e s c o n n e c t e d t o

a n o d e a r e c a l l e d t h e i n c i d e n t e d g e s o f t h a t n o d e , a n d t h e n u m b e r o f e d g e s i n c i d e n t o n a n o d e i s c a l l e d

t h e d e g r e e o f t h a t n o d e . T h e a v e r a g e d e g r e e o f a l l t h e n o d e s d e p e n d s o n t h e j o i n s e l e c t i v i t y : t h e h i g h e r

t h e d e g r e e , t h e h i g h e r t h e j o i n s e l e c t i v i t y .

W h e n t h e j o i n r e l a t i o n s h i p b e t w e e n t w o r e l a t i o n s i s d e s c r i b e d a t t h e p a g e l e v e l , w e g e t a p a g e -

c o n n e c t i v i t y g r a p h . A P a g e - C o n n e c t i v i t y G r a p h ( P C G ) 2 5 ] B

G

= ( V

1

V

2

E ) i s a b i p a r t i t e g r a p h w h e r e

v e r t i c e s V

1

r e p r e s e n t t h e p a g e s f r o m t h e r s t r e l a t i o n , a n d v e r t i c e s V

2

r e p r e s e n t t h e p a g e s f r o m t h e

s e c o n d r e l a t i o n . T h e s e t o f e d g e s i s c o n s t r u c t e d a s f o l l o w s : a n e d g e i s a d d e d b e t w e e n p a g e ( n o d e ) v

i

1

a n d p a g e ( n o d e ) v

j

2

, i t h e r e i s a t l e a s t o n e p a i r o f o b j e c t s ( r

i

s

j

) i n t h e j o i n i n d e x s u c h t h a t r

i

2 v

i

1

a n d s

j

2 v

j

2

. F i g u r e 2 s h o w s a p a g e - c o n n e c t i v i t y g r a p h f o r a j o i n i n d e x w h e r e n o d e s a b r e p r e s e n t t h e

p a g e s o f r e l a t i o n R , a n d n o d e s A B C r e p r e s e n t t h e p a g e s o f r e l a t i o n S . A n e d g e r e p r e s e n t s a p a g e - j o i n

b e t w e e n a p a i r o f p a g e s . A p a g e - j o i n r e p r e s e n t s t h e c o r r e s p o n d i n g j o i n b e t w e e n t h e t u p l e s i n t h e t w o

p a g e s .

A m i n - c u t n o d e p a r t i t i o n 1 5 , 2 1 ] o f g r a p h G = ( V E ) p a r t i t i o n s t h e n o d e s i n V i n t o d i s j o i n t s u b s e t s

w h i l e m i n i m i z i n g t h e n u m b e r o f e d g e s w h o s e i n c i d e n t n o d e s a r e i n t w o d i e r e n t p a r t i t i o n s . T h e c u t - s e t

o f a m i n - c u t p a r t i t i o n i s t h e s e t o f e d g e s w h o s e i n c i d e n t n o d e s a r e i n t w o d i e r e n t p a r t i t i o n s . F a s t a n d

e c i e n t h e u r i s t i c a l g o r i t h m s 1 9 , 1 7 ] f o r t h i s p r o b l e m h a v e b e c o m e a v a i l a b l e i n r e c e n t y e a r s . T h e y c a n

b e u s e d t o s p a t i a l l y c l u s t e r p a g e s i n P C G .

Join Index Adjacency MatrixPCG

ba

B

A

1

0

1

1

1

1CA1

a1 a2 a3 b1 b2

A2 B1 B2 C1 C2

Page of relation S

Page of relation R

be5

e4

e3

e2

C

B

Ae1

a

F i g u r e 2 : C o n s t r u c t i o n o f a P a g e C o n n e c t i v i t y G r a p h ( P C G ) f r o m a J o i n I n d e x .

A j o i n i n d e x h e l p s s p e e d u p t h e j o i n p r o c e s s i n g , a s i t k e e p s t r a c k o f a l l o f t h e p a i r s o f t u p l e s w h i c h

s a t i s f y t h e j o i n p r e d i c a t e . G i v e n a j o i n i n d e x J I , o n e c a n u s e t h e d e r i v e d P C G t o s c h e d u l e a n e c i e n t

p a g e a c c e s s s e q u e n c e t o f e t c h t h e d a t a p a g e s . T h e C P U c o s t i s x e d , a s t h e r e i s a x e d c o s t a s s o c i a t e d

w i t h j o i n i n g e a c h p a i r o f t u p l e s , a n d t h e n u m b e r o f t u p l e s t o b e j o i n e d i s x e d . I / O c o s t , o n t h e o t h e r

h a n d , d e p e n d s o n t h e s e q u e n c e o f p a g e s a c c e s s e d . W h e n t h e r e i s l i m i t e d b u e r s p a c e i n t h e m e m o r y ,

s o m e o f t h e p a g e s m a y h a v e t o b e r e a d m u l t i p l e t i m e s f r o m t h e d i s k . T h e p a g e - a c c e s s s e q u e n c e ( a n d i n

t u r n t h e j o i n - i n d e x c l u s t e r i n g a n d t h e c l u s t e r i n g o f t h e b a s e r e l a t i o n ) d e t e r m i n e s t h e I / O c o s t .

E x a m p l e : W e i l l u s t r a t e s t h e d e p e n d e n c y b e t w e e n t h e I / O c o s t o f a j o i n a n d t h e o r d e r i n w h i c h

t h e d a t a p a g e s a r e a c c e s s e d w i t h t h e h e l p o f a n e x a m p l e , u s i n g t h e p a g e - c o n n e c t i v i t y g r a p h s h o w n i n

F i g u r e 2 . A s s u m e t h a t t h e b u e r s p a c e i s l i m i t e d t o a l l o w a t m o s t t w o p a g e s o f t h e r e l a t i o n s i n m e m o r y ,

a f t e r c a c h i n g t h e w h o l e p a g e - c o n n e c t i v i t y g r a p h i n m e m o r y . C o n s i d e r t h e t w o - p a g e a c c e s s s e q u e n c e s :

( i ) ( a , A , b , B , a , C , b ) a n d ( i i ) ( a , A , b , C , a , B ) . E a c h s e q u e n c e a l l o w s t h e c o m p u t a t i o n o f j o i n r e s u l t s

3



u s i n g a l i m i t e d b u e r o f t w o p a g e s . H o w e v e r , i n t h e r s t c a s e , t h e r e a r e a t o t a l o f s e v e n p a g e a c c e s s e s ,

a n d i n t h e s e c o n d c a s e t h e r e a r e a t o t a l o f s i x p a g e a c c e s s e s . N o t e t h a t t h e l o w e r b o u n d o n t h e n u m b e r

o f p a g e a c c e s s e s i s v e , a s t h e r e a r e v e d i s t i n c t p a g e s i n t h e P C G . H o w e v e r , w i t h t w o b u e r s p a c e s ,

t h e r e i s n o p a g e - a c c e s s s e q u e n c e w h i c h w i l l r e s u l t i n v e p a g e a c c e s s e s . I n F i g u r e 2 , w i t h t h r e e b u e r

s p a c e s , ( a , B , A , C , b ) i s a p a g e - a c c e s s s e q u e n c e w h i c h h a s v e p a g e a c c e s s e s . T h i s i s b e c a u s e t h e c y c l e

( a , A , b , C , a ) r e q u i r e s t h a t a t l e a s t t h r e e p a g e s b e i n m e m o r y t o a v o i d r e d u n d a n t p a g e a c c e s s e s .

1 . 3 P r o b l e m D e n i t i o n , S c o p e , O u t l i n e

G i v e n t h a t t h e I / O c o s t d e p e n d s o n t h e p a g e s e q u e n c e , t h e f o l l o w i n g o p t i m i z a t i o n p r o b l e m i s d e n e d

f o r j o i n p r o c e s s i n g , u s i n g j o i n - i n d e x i n s e q u e n t i a l s y s t e m s . T h e o b j e c t i v e i s t o d e t e r m i n e a n o r d e r e d l i s t

o f p a g e a c c e s s e s w h i c h m i n i m i z e t h e t o t a l p a g e a c c e s s e s , g i v e n a b u e r o f s i z e B . H e r e i t i s i m p o r t a n t

t o g u a r a n t e e t h a t t h e r e w i l l n e v e r b e m o r e t h a n B p a g e s i n m a i n m e m o r y . W e c a l l t h i s t h e O p t i m a l

P a g e A c c e s s S e q u e n c e w i t h a F i x e d B u e r ( O P A S - F B ) p r o b l e m 2 5 ] . T h i s p r o b l e m i s f o r m a l l y d e n e d

a s f o l l o w s .

O P A S - F B P r o b l e m

G i v e n : A p a g e - c o n n e c t i v i t y g r a p h P C G = ( V E ) r e p r e s e n t i n g t h e j o i n i n d e x , a n d a b u e r o f s i z e

B j V j .

F i n d : A p a g e - a c c e s s s e q u e n c e .

O b j e c t i v e : T o m i n i m i z e t h e n u m b e r o f p a g e a c c e s s e s .

C o n s t r a i n t : S u c h t h a t t h e n u m b e r o f p a g e s i n t h e b u e r i s n e v e r m o r e t h a n B .

F o r e x a m p l e , t h e o p t i m a l p a g e - a c c e s s s e q u e n c e f o r t h e P C G i n F i g u r e 2 f o r B = 2 i s ( a , A , b , C , a ,

B ) , w h i c h r e s u l t s i n s i x p a g e a c c e s s e s .

S c o p e : I n t h i s p a p e r , w e f o c u s o n t h e O P A S - F B p r o b l e m . W e d o n o t a d d r e s s t h e u p d a t e p r o b l e m s

a s s o c i a t e d w i t h m a n a g i n g j o i n i n d i c e s . F o r e x a m p l e , a j o i n i n d e x m a y h a v e t o c h a n g e i f t h e u n d e r l y i n g

b a s e r e l a t i o n s c h a n g e . A l s o , t h e t h e c l u s t e r i n g o f b a s e r e l a t i o n s a n d t u p l e - l e v e l j o i n - i n d e x o p t i m i z a t i o n

a r e o u t o f t h e s c o p e o f t h i s p a p e r .

O u t l i n e : T h e r e s t o f t h e p a p e r i s o r g a n i z e d a s f o l l o w s . I n S e c t i o n 2 , w e d e s c r i b e t h e r e l a t e d w o r k a n d

o u r c o n t r i b u t i o n s . I n S e c t i o n 3 , w e p r o p o s e o u r r s t a p p r o a c h , A s y m m e t r i c G r a p h P a r t i t i o n i n g b a s e d

h e u r i s t i c ( A G P ) . I n S e c t i o n 4 , A G P i s e v a l u a t e d a n d c o m p a r e d w i t h S o r t i n g h e u r i s t i c . I n S e c t i o n 5 , t h e

s e c o n d a p p r o a c h , S y m m e t r i c G r a p h P a r t i t i o n i n g b a s e d h e u r i s t i c ( S G P ) , i s p r o p o s e d , a l o n g w i t h s o m e

r e n e m e n t t e c h n i q u e s . I n S e c t i o n 6 , w e e x p e r i m e n t a l l y e v a l u a t e t h e s e c o n d a p p r o a c h a n d i t s r e n e m e n t

t e c h n i q u e s v i s - a - v i s e a c h o t h e r . I n S e c t i o n 7 , w e c o m p a r e o u r a l g o r i t h m s , A G P a n d S G P , w i t h o t h e r

k n o w n a l g o r i t h m s f o r t h e O P A S - F B p r o b l e m . I n S e c t i o n 8 , w e c o n c l u d e w i t h a s u m m a r y a n d f u t u r e

d i r e c t i o n s .

2 R e l a t e d W o r k a n d O u r C o n t r i b u t i o n s

T h e O P A S - F B p r o b l e m i s k n o w n t o b e N P - h a r d 2 5 , 2 8 ] , a n d h e u r i s t i c s o l u t i o n s h a v e b e e n p r o p o s e d

i n t h e l i t e r a t u r e f o r s o l v i n g t h i s p r o b l e m . T h e h e u r i s t i c s i n l i t e r a t u r e c a n b e b r o a d l y d i v i d e d i n t o t w o

4



g r o u p s , n a m e l y a s y m m e t r i c s i n g l e t a b l e c l u s t e r i n g a n d s y m m e t r i c t w o - t a b l e o n - l i n e c l u s t e r i n g . T h e

m a i n a p p r o a c h w i t h i n a s y m m e t r i c s i n g l e t a b l e c l u s t e r i n g i s b a s e d o n s o r t i n g o n e o f t h e t a b l e s o n

t h e j o i n k e y . I n t h e f o l l o w i n g d i s c u s s i o n , l e t R a n d S b e t h e t w o r e l a t i o n s , w i t h J I b e i n g t h e j o i n i n d e x .

A s o r t i n g - b a s e d a s y m m e t r i c h e u r i s t i c p r e s e n t e d i n 3 3 ] r e a d s i n a s m u c h o f t h e j o i n i n d e x ( J I ) a n d

o n e r e l e v a n t r e l a t i o n ( R s e m i - j o i n J I ) i n t o m e m o r y a s p o s s i b l e . H e r e J I i s a s s u m e d t o b e c l u s t e r e d o n

r e l a t i o n R . A c c e s s t o S i s c l u s t e r e d b y s o r t i n g t h e l i s t o f a l l t h e s u r r o g a t e s f r o m S t h a t a r e r e l a t e d t o

t h e s u b s e t o f t h e j o i n - i n d e x i n m e m o r y t o r e d u c e r e d u n d a n t a c c e s s e s t o S . T h i s h e u r i s t i c i s e c o n o m i c a l ,

a n d i t e n s u r e s t h a t n o r e d u n d a n t a c c e s s e s a r e p e r f o r m e d o n r e l a t i o n R , b u t i t m a y i n c u r r e d u n d a n t

a c c e s s e s t o t h e s e c o n d r e l a t i o n . S o r t i n g - b a s e d h e u r i s t i c a s s u m e s t o t a l l y o r d e r e d j o i n - k e y s . W e e x t e n d

s o r t i n g - b a s e d m e t h o d t o s p a t i a l d o m a i n w h e r e t h e k e y s ( e . g . c o o r d i n a t e s i n m u l t i - d i m e n s i o n a l s p a c e ) a r e

n o t t o t a l l y o r d e r e d , b y p r o p o s i n g A G P . I t u s e s m i n - c u t g r a p h p a r t i t i o n i n g o f t h e a s y m m e t r i c h y p e r g r a p h

r e p r e s e n t i n g t h e j o i n - i n d e x . N o d e s i n t h i s g r a p h r e p r e s e n t p a g e s o f o n e t a b l e ( R ) . A h y p e r e d g e r e p r e s e n t s

a p a g e c o n n e c t i o n o f t h e o t h e r t a b l e ( S ) . A h y p e r e d g e c o n n e c t s a r e p a g e s o f R w i t h e d g e t o a s i n g l e p a g e

o f S . A G P c l u s t e r s p a g e s o f R b a s e d o n t h e i r i n t e r a c t i o n w i t h p a g e s o f S t o r e d u c e r e d u n d a n t I / O o f

p a g e s i n S .

T h e m a i n a p p r o a c h i n s y m m e t r i c t w o - t a b l e c l u s t e r i n g a r e b a s e d o n e i t h e r T r a v e l i n g S a l e s m a n

P r o b l e m h e u r i s t i c s o r s e l e c t i n g n e x t p a g e o r n e x t s e t o f p a g e s t o b e f e t c h e d i n t o m e m o r y g i v e n t h e p a g e s

i n b u e r a n d r e m a i n i n g e d g e s t o b e p r o c e s s e d i n t h e b i - p a r t i t e p a g e - c o n n e c t i v i t y g r a p h . T h e s e l e c t i o n

i s o f t e n b a s e d o n t h e n u m b e r o f n e i g h b o r s i n m e m o r y b u e r s a n d n u m b e r o f n e i g h b o r s o n t h e d i s k .

D e t a i l s o f a c t u a l h e u r i s t i c s f o l l o w . A t r a v e l i n g s a l e s p e r s o n - ( T S P ) b a s e d h e u r i s t i c 1 2 ] u s e s a c o m p l e t e

g r a p h c o n s t r u c t e d b y t a k i n g t h e n o d e s o f o n e r e l a t i o n a s t h e n o d e s o f t h e g r a p h . T h e w e i g h t o n a n

e d g e b e t w e e n n o d e s a a n d b d e n o t e s t h e n u m b e r o f p a g e - a c c e s s e s r e q u i r e d t o f e t c h a l l o f t h e n e i g h b o r s

o f b g i v e n t h a t a l l o f t h e n e i g h b o r s o f a a r e i n m e m o r y . T h i s m e t h o d r e q u i r e s a l a r g e m e m o r y , a s t h e

c o m p l e t e g r a p h g r o w s q u a d r a t i c a l l y w i t h t h e n u m b e r o f n o d e s i n t h e s m a l l e r o f t h e r e l a t i o n s .

S y m m e t r i c H e u r i s t i c : F P , p r o p o s e d b y F o t o u h i a n d P r a m a n i k 9 ] , i s d e s i g n e d f o r g e n e r a l j o i n

g r a p h s . T h e b u e r i s i n i t i a l i z e d w i t h a n o d e w h i c h h a s t h e s m a l l e s t d e g r e e i n t h e p a g e - c o n n e c t i v i t y

g r a p h . T h e m e m o r y b u e r i s a d d e d w i t h t h e l a r g e s t r e s i d e n t d e g r e e n o d e . T h e r e s i d e n t d e g r e e o f a n o d e

A i s t h e n u m b e r o f n o d e s w h i c h a r e c o n n e c t e d t o A a n d a r e i n m e m o r y . I f t h e r e i s m o r e t h a n o n e n o d e

w i t h t h e l a r g e s t r e s i d e n t d e g r e e , t h e a l g o r i t h m c h o o s e s t h e o n e w i t h t h e s m a l l e s t n o n - r e s i d e n t d e g r e e .

T h e n o n - r e s i d e n t d e g r e e o f a n o d e A i s e q u a l t o t o t a l d e g r e e ( A ) ; r e s i d e n t d e g r e e ( A ) . W h e n t h e b u e r

i s f u l l , a n o d e w i t h t h e s m a l l e s t n u m b e r o f e d g e s w i t h t h e n o d e s o n t h e d i s k c a n b e s w a p p e d o u t .

S y m m e t r i c H e u r i s t i c : O M , d e v e l o p e d b y O m i e c i n s k i 2 7 ] , i s d e s i g n e d s p e c i c a l l y f o r b i p a r t i t e

j o i n g r a p h s . I n i t i a l l y , c h o o s e a n R a n d S n o d e f r o m t h e p a g e - c o n n e c t i v i t y g r a p h , e . g . , r

i

a n d s

j

, t o l o a d

i n t h e b u e r s u c h t h a t ( a ) ( r

i

s

j

) i s c o n n e c t e d . ( b ) T h e s u m o f t h e d e g r e e o f r

i

a n d s

j

i s m i n i m a l . T h e

b u e r i s a d d e d w i t h t h e n e w n o d e , c a l l i t p , u s i n g t h e f o l l o w i n g s t r a t e g y : ( a ) n d a n o d e q i n t h e b u e r

s u c h t h a t t h e n o d e i s c o n n e c t e d t o t h e f e w e s t n u m b e r o f n o d e s o u t s i d e t h e b u e r , a n d ( b ) n d t h e n o d e

p , s u c h t h a t ( q , p ) i s c o n n e c t e d , a n d s u c h t h a t t h e n u m b e r o f e d g e s c o n n e c t i n g p t o a n o d e n o t i n t h e

b u e r i s m i n i m a l . I f a n o d e i n t h e b u e r h a s t o b e r e p l a c e d t o m a k e r o o m f o r t h e n e w n o d e , t h e n c h o o s e

t h e n o d e t h a t ( a ) i s c o n n e c t e d t o t h e f e w e s t n u m b e r o f n o d e s o u t s i d e t h e b u e r , a n d ( b ) i s n o t c o n n e c t e d

t o t h e n e w n o d e .

S y m m e t r i c H e u r i s t i c : C h a n 6 ] r s t , a S e l e c t S e g m e n t h e u r i s t i c s e l e c t s t h e m i n i m a l s e g m e n t

t h a t h a s t h e s h o r t e s t n o n - r e s i d e n t l e n g t h . F r o m t h i s m i n i m a l s e g m e n t , a S e l e c t P a g e h e u r i s t i c c h o o s e s

5



t h e p a g e t h a t h a s t h e l a r g e s t r e s i d e n t d e g r e e f r o m t h i s s e g m e n t . F o r t h e s e l e c t i o n o f v i c t i m p a g e s f o r

r e p l a c e m e n t w h e n b u e r i s f u l l , t h e S e l e c t V i c t i m h e u r i s t i c s e l e c t s t h e p a g e w i t h t h e s m a l l e s t n o n r e s i d e n t

d e g r e e .

O t h e r h e u r i s t i c s a r e a l s o p r o p o s e d f o r t h e c a s e w i t h t w o b u e r s 2 5 ] . A g r a p h - b a s e d h e u r i s t i c i s

p r e s e n t e d i n 2 5 ] f o r t h e c a s e o f t w o b u e r s . T h e o p t i m u m s o l u t i o n f o r t h e c a s e o f t w o b u e r s i s s h o w n

t o b e N P - h a r d w h e n i t i s r e d u c e d t h e p r o b l e m t o t h a t o f n d i n g a H a m i l t o n i a n p a t h p r o b l e m . A l s o , a

h e u r i s t i c m e t h o d i s p r e s e n t e d b y t r a n s f o r m i n g t h e H a m i l t o n i a n - p a t h p r o b l e m t o a E u l e r p a t h p r o b l e m .

W e p r o p o s e a n o - l i n e c l u s t e r i n g a p p r o a c h b a s e d o n m i n - c u t g r a p h p a r t i t i o n i n g o f b i - p a r t i t e p a g e

c o n n e c t i v i t y g r a p h ( P C G ) f o r t h e j o i n - i n d e x . T h e i d e a i s t o n d c l u s t e r s o f p a g e s i n P C G i n t h e h o p e o f

m i n i m i z i n g r e d u n d a n t I / O a s s h o w n i n F i g u r e 3 . I f t h e n o d e c l u s t e r s a r e e d g e d i s j o i n t a s i n F i g u r e 3 ( A ) ,

i . e . t h e r e a r e n o e d g e b e t w e e n n o d e - c l u s t e r s , t h i s m e t h o d w i l l m i n i m i z e r e d u n d a n t I / O a s s u m i n g t h a t

e a c h n o d e - c l u s t e r c a n t m a i n m e m o r y . S G P i s l i k e l y t o b e a s t r o n g e r c l u s t e r i n g m e t h o d s t h a n o n - l i n e

h e u r i s t i c s p r o p o s e d i n l i t e r a t u r e s i n c e i t u s e s a g l o b a l p a r t i t i o n i n g a l g o r i t h m b a s e d o n m i n - c u t g r a p h -

p a r t i t i o n i n g . O u r e x p e r i m e n t s s h o w t h i s t r e n d .

Join-key(R)Need not be totally ordered

N e e d n o t b e t o t a l l y o r d e r e d

(A) (B)

Join-key(R)Need not be totally ordered

N e e d n o t b e t o t a l l y o r d e r e d

J o i n - k e y ( S )

J o i n - k e y ( S )

F i g u r e 3 : E x a m p l e o f K e y - d i s t r i b u t i o n f o r J o i n K e y s

O u r C o n t r i b u t i o n s

I n t h i s p a p e r w e p r o p o s e a s u i t e o f s p a t i a l c l u s t e r i n g m e t h o d s f o r j o i n p r o c e s s i n g u s i n g t h e j o i n - i n d e x .

T h e s e m e t h o d s : A G P , S G P w i t h r e n e m e n t s , a r e a l l b a s e d o n t h e m i n - c u t g r a p h p a r t i t i o n i n g t e c h n i q u e s .

W e p r o p o s e t h e s e m e t h o d s a s a n e w h e u r i s t i c f o r s o l v i n g t h e O P A S - F B p r o b l e m i n s e q u e n t i a l s y s t e m s .

W e a l s o d e r i v e u p p e r b o u n d s o n t h e n u m b e r o f p a g e a c c e s s e s n e e d e d t o c o m p u t e t h e s p a t i a l - j o i n . W e s h o w

t h a t t h e l e n g t h o f t h e p a g e - a c c e s s s e q u e n c e i s b o u n d e d b y t h e s u m o f t h e s i z e s o f t h e b a s e r e l a t i o n s a n d

t h e s i z e o f t h e c u t - s e t o f t h e p a g e - c o n n e c t i v i t y g r a p h . S i n c e m i n - c u t g r a p h - p a r t i t i o n i n g a i m s t o m i n i m i z e

t h e s i z e o f t h e c u t - s e t , t h e p r o p o s e d h e u r i s t i c i s a d i r e c t m e t h o d . W e p e r f o r m e d o u r e x p e r i m e n t s o n

t h e S e q u o i a 2 0 0 0 1 3 ] d a t a s e t , a p o p u l a r b e n c h m a r k d a t a s e t f o r s p a t i a l d a t a b a s e s . O u r e x p e r i m e n t s

r e v e a l t h a t i n s i t u a t i o n s o f s m a l l b u e r a n d h i g h j o i n - s e l e c t i v i t y t h e A G P , w h i c h i s e x c l u s i v e l y b a s e

o n h y p e r g r a p h p a r t i t i o n i n g , o f t e n o u t p e r f o r m s a l l o t h e r m e t h o d s . F o r s m a l l b u e r s i z e a n d l o w j o i n -

s e l e c t i v i t y , t h e S G P t o o o u t p e r f o r m s t h e k n o w n c o m p e t i t o r s .

W e a l s o p r o v i d e t h r e e r e n e m e n t s t o S G P . F i r s t , w e e x p e r i m e n t w i t h u s i n g t h e h y p e r g r a p h p a r t i -

t i o n i n g a l g o r i t h m , i n s t e a d o f t h e s i m p l e g r a p h p a r t i t i o n i n g a l g o r i t h m t o p a r t i t i o n t h e p a g e c o n n e c t i v i t y

6



g r a p h . S e c o n d , w e r e d u c e t h e r e d u n d a n t I / O b y p r o p e r l y p r o c e s s i n g t h e c u t e d g e s b e t w e e n p a r t i t i o n s .

F i n a l l y , w e c h a r a c t e r i z e a n o p t i m a l s e q u e n c e f o r l o a d i n g p a r t i t i o n s i n t o t h e b u e r .

3 P r o p o s e d A p p r o a c h 1 : A s y m m e t r i c S p a t i a l C l u s t e r i n g

3 . 1 B a s i c I d e a B e h i n d A G P

S o r t i n g - b a s e d h e u r i s t i c e n s u r e s t h a t n o r e d u n d a n t a c c e s s e s o n t h e p r i m a r y r e l a t i o n , b u t i t m a y i n c u r

r e d u n d a n t a c c e s s e s t o t h e s e c o n d r e l a t i o n , p a r t i c u l a r l y w h e n t h e j o i n - k e y i s n o t t o t a l l y o r d e r e d , e . g . i n

s p a t i a l d a t a b a s e s . I n s u c h d o m a i n s , t h e n o t i o n o f s o r t i n g c a n b e g e n e r a l i z e d t o s p a t i a l c l u s t e r i n g . A G P

c l u s t e r s p a g e o f o n e t a b l e R b a s e d o n t h e i r i n t e r a c t i o n w i t h p a g e s o f S t a b l e . R e d u n d a n t I / O o f a p a g e

p o f S i s r e d u c e d i f m a n y o f p a g e s o f R w i t h e d g e c o n n e c t i n g t o p c a n b e i n m e m o r y w h e n p i s b r o u g h t

t o m e m o r y .

3 . 2 P r o p o s e d S p a t i a l C l u s t e r i n g M e t h o d

S p a t i a l c l u s t e r i n g o f t h e t u p l e s i n a j o i n i n d e x c a n b e v i e w e d a s g r o u p i n g o f e d g e s a n d n o d e s o f c o r r e -

s p o n d i n g p a g e c o n n e c t i v i t y g r a p h ( P C G ) . I n t h i s s e c t i o n , w e f o c u s o n a s y m m e t r i c m e t h o d s a n d p o s t p o n e

d i s c u s s i o n o f s y m m e t r i c m e t h o d s t o S e c t i o n 5 . T h e g o a l o f a s y m m e t r i c c l u s t e r i n g m e t h o d s i s t o c l u s t e r

p a g e s o f o n e r e l a t i o n g i v e n t h e j o i n - i n d e x o r i t s P C G . T h i s c a n b e f o r m a l i z e d a s a m i n - c u t h y p e r g r a p h

p a r t i t i o n i n g p r o b l e m . T h e p a g e s o f a r e l a t i o n w i l l f o r m n o d e s o f t h e h y p e r g r a p h . E a c h p a g e p o f t h e

o t h e r r e l a t i o n w i l l f o r m a h y p e r e d g e , c o v e r i n g a l l p a g e s o f t h e r s t r e l a t i o n c o n n e c t e d t o p i n P C G . P a r -

t i t i o n i n g o f n o d e s i n t h i s h y p e r g r a p h w i l l f o r m g r o u p o f p a g e s o f t h e r s t r e l a t i o n t o b e l o a d e d t o g e t h e r .

G o a l o f m i n i m i z i n g c u t h y p e r e d g e s d u r i n g p a r t i t i o n i n g i s t o r e d u c e t h e n u m b e r o f p a g e o f t h e s e c o n d

r e l a t i o n t h a t n e e d s t o c o m e t o m e m o r y m u l t i p l e t i m e s .

C o n s i d e r t h e e x a m p l e s p a t i a l - j o i n p r o b l e m d e p i c t e d i n F i g u r e 4 ( a ) w i t h t w o p o i n t d a t a - s e t s , ( a , b , c , d )

a n d ( A , B , C , D ) . A s s u m e b l o c k i n g f a c t o r o f 1 t o s i m p l i f y t h e e x a m p l e . T h e P C G o f t h e j o i n - i n d e x f o r

D i s t a n c e ( i j ) <

L

p

2

i s s h o w n i n F i g u r e 4 ( c ) u s i n g t h e o v e r l a y a n d d i s t a n c e b u e r i n f o r m a t i o n . T h e

n o d e s o f h y p e r g r a p h s h o w n i n F i g u r e 4 ( d ) c o n s i s t o f n o d e s o f r e l a t i o n R , i . e . ( a , b , c , d ) . T h e h y p e r e d g e s

r e p r e s e n t n o d e s ( A , B , C , D ) o f S . T h e h y p e r e d g e c o r r e s p o n d i n g t o A c o n n e c t s a a n d c s i n c e ( A , a ) a n d

( A , c ) s a t i s f y t h e j o i n p r e d i c a t e . T h e p a r t i t i o n ( ( a , c ) , ( b , d ) ) h a s n o c u t h y p e r e d g e s , a n d c o m p u t i n g j o i n

u s i n g i t w i l l h a v e n o r e d u n d a n t I / O i f 3 b u e r s a r e a v a i l a b l e t o h o l d p a g e s o f t w o r e l a t i o n s . I n c o n t r a s t ,

t h e p a r t i t i o n ( ( a , b ) , ( c , d ) ) c u t s a l l f o u r h y p e r e d g e s a n d c o m p u t i n g j o i n w i l l y i e l d f o u r r e d u n d a n t I / O s i f

o n l y 3 b u e r s a r e a v a i l a b l e t o h o l d p a g e s o f t w o r e l a t i o n s .

W e f o r m a l l y d e s c r i b e A G P n o w v i a f o l l o w i n g p s e u d o - c o d e .

A G P A l g o r i t h m

I n p u t : G = ( V

r

V

s

E ) i s a p a g e c o n n e c t i v i t y g r a p h

O u t p u t : S = < P

1

P

2

: : : P

r

> i s a p a g e a c c e s s s e q u e n c e w i t h r j V

r

j + j V

s

j ( P

i

s n e e d n o t b e d i s t i n c t )

a s s e r t ( j V

r

j < j V

s

j )

a s s e r t ( B 2 ) / * n u m b e r o f b u e r s * /

H G

r

( V

r

H E

r

) = D e r i v e H y p e r g r a p h ( G ) / * H G

r

i s a h y p e r g r a p h , j H E

r

j = j V

s

j * /

7



a b

c d

A B

C D

(c) Overlay and Join

c d

a b

A B

C D

A B

a b

c

C D

d

(d) Graph PCG

LL

L

distance < L/ 2

ac bd

(d) Hypergraph model(one object)/page

(a) Dataset R (b) Dataset S

A

C D

B

F i g u r e 4 : C o n s t r u c t i o n o f a o n e - s i d e h y p e r g r a p h f r o m t h e d a t a s e t

/ * F o r e a c h n o d e i n j V

s

j , b u i l d a h y p e r e d g e t o e n c o m p a s s a l l o f i t s c o r r e s p o n d i n g n o d e s i n V

r

* /

P S e t

r

= h M e t i s - P a r t i t i o n ( H G

r

B ; 1 ) / * M i n i m i z e t h e n u m b e r o f h y p e r e d g e - c u t s e t * /

i = 0

w h i l e ( ( P

i

r

= S e l e c t U n p r o s s e d P a r t i t i o n ( P S e t

r

) ) ! = N U L L ) / * S e l e c t t h e u n - p r o c e s s e d p a r t i t i o n * /

f

A d d P a g e S e q u e n c e ( S P

i

r

) / * A d d a l l t h e p a g e s i n P

i

r

i n t o t h e l o a d i n g s e q u e n c e * /

P

i

s

= S o r t - E l i m i n a t e - D u p ( G P

i

r

)

/ * S o r t a n d e l i m i n a t e t h e d u p l i c a t e d p a g e s i n V

s

o f G w h i c h c o n n e c t t o P

i

r

* /


i

s

) / * A d d a l l t h e p a g e s i n P

i

s


P

i

r

. a g = " p r o c e s s e d " / * M a r k t h i s p a r t i t i o n a s " p r o c e s s e d " * /

i + +

g

T h e p r o c e d u r e D e r i v e H y p e r g r a p h ( G ) w o r k s a s f o l l o w s . N o d e s o f t h e r s t r e l a t i o n R f o r m t h e n o d e s

o f t h e h y p e r g r a p h . F o r e a c h n o d e v o f t h e s e c o n d r e l a t i o n , i t b u i l d s a h y p e r e d g e t o e n c o m p a s s a s e t

o f n o d e s o n t h e r s t r e l a t i o n ( R ) c o n n e c t e d t o v i n G . W e p a r t i t i o n t h i s h y p e r - g r a p h u s i n g t h e m i n -

c u t h y p e r - g r a p h p a r t i t i o n i n g a l g o r i t h m , h M e t i s 1 7 , 1 8 ] , w h i c h i s a m u l t i - l e v e l h y p e r g r a p h p a r t i t i o n i n g

a l g o r i t h m t h a t h a s b e e n s h o w n t o p r o d u c e h i g h q u a l i t y b i - s e c t i o n s o n a w i d e r a n g e o f p r o b l e m s a r i s i n g

i n s c i e n t i c a n d V L S I a p p l i c a t i o n s . h M e t i s m i n i m i z e s t h e ( w e i g h t e d ) h y p e r c u t , a n d t h u s t e n d s t o c r e a t e

p a r t i t i o n s i n w h i c h c o n n e c t i v i t y a m o n g t h e v e r t i c e s i n e a c h p a r t i t i o n i s h i g h , r e s u l t i n g i n g o o d c l u s t e r s .

F i n a l l y , w e l o a d e a c h p a r t i t i o n i n t h e p r i m a r y r e l a t i o n a n d i t s c o n n e c t e d n o d e s i n t h e s e c o n d r e l a t i o n ,

o n e b y o n e , t o c o m p u t e t h e j o i n . T h e I / O c o s t o f A G P c a n b e c h a r a c t e r i z e d v i a t h e f o l l o w i n g l e m m a :

L e m m a 1 G i v e n a p a r t i t i o n f V

r

1

V

r

2

: : : V

r

p

g o f V

r

f r o m t h e p a g e - c o n n e c t i v i t y g r a p h P C G =

( V

r

V

s

E ) , t h e r e i s a p a g e - a c c e s s s e q u e n c e o f l e n g t h K = j V

r

j +

P

v 2 V

s

f ( v ) t o p r o c e s s t h e j o i n , w h e r e

f ( v ) d e n o t e s n u m b e r o f p a r t i t i o n s o f V

r

t h a t h a v e a n e d g e t o n o d e v i n V

s

.

P r o o f : E a c h n o d e v i n V

s

i s c o n n e c t e d t o f ( v ) p a r t i t i o n s o f V

r

. T h e r e f o r e , e a c h n o d e v i n V

s

h a s t o b e

l o a d e d f ( v ) t i m e s i n t o t h e b u e r t o d o t h e j o i n . T o t a l n u m b e r o f r e d u n d a n t I / O i s

P

v 2 V

s

( f ( v ) ; 1 ) .

T o t a l I / O c o s t = j V

r

j + j V

s

j +

P

v 2 V

s

( f ( v ) ; 1 ) = j V

r

j + j V

s

j +

P

v 2 V

s

f ( v ) ; j V

s

j = j V

r

j +

P

v 2 V

s

f ( v )

W e n o t e t h a t m i n - c u t h y p e r g r a p h p a r t i t i o n i n g a l g o r i t h m , e . g . h M e t i s , m i n i m i z e s t h e n u m b e r o f

h y p e r e d g e c o n n e c t i n g n o d e s a c r o s s c l u s t e r s . I t d o e s n o t d i s t i n g u i s h b e t w e e n a h y p e r e d g e s p a n n i n g f o u r

8



c l u s t e r s o r t w o c l u s t e r s . W h i l e A G P o u t p e r f o r m s s o r t i n g b a s e d h e u r i s t i c a l r e a d y , t h e p e r f o r m a n c e o f

A G P w i l l i m p r o v e w h e n b e t t e r a l g o r i t h m f o r h y p e r g r a p h p a r t i t i o n i n g a r e a v a i l a b l e w h i c h m i n i m i z e s t o t a l

n u m b e r o f c u t s o n c u t - h y p e r e d g e s . W e p l a n t o e x p l o r e t h i s i n f u t u r e w o r k .

4 C o m p a r i n g o f A s y m m e t r i c A p p r o a c h e s : S o r t i n g a n d A G P

4 . 1 E x p e r i m e n t D e s i g n

W e n o w c o m p a r e t h e p e r f o r m a n c e o f S o r t i n g h e u r i s t i c a n d A G P . F o r t h e e v a l u a t i o n w e u s e a j o i n

i n d e x d e r i v e d f r o m s p a t i a l d a t a d e r i v e d f r o m t h e S e q u o i a 2 0 0 0 3 2 ] d a t a s e t . W e s e l e c t e d t w o d a t a

s e t s a s o u r b a s e r e l a t i o n s : t h e P o i n t s , c o n t a i n i n g 6 2 , 5 8 4 C a l i f o r n i a p l a c e n a m e s w i t h t h e i r a s s o c i a t e d

l o c a t i o n s ( L o n g i t u d e a n d L a t i t u d e ) , e x t r a c t e d f r o m t h e U S G e o l o g i c a l S u r v e y ' s G e o g r a p h i c N a m e s I n -

f o r m a t i o n S y s t e m ( G N I S ) a n d t h e P o l y g o n s w i t h 4 3 8 8 r e c o r d s , r e p r e s e n t i n g t h e C r o p l a n d a n d P a s t u r e

l a n d u s e i n C a l i f o r n i a . T h r o u g h o u t S e c t i o n 4 a n d 8 , t h e P o i n t a n d P o l y g o n r e l a t i o n s w i l l b e r e f e r e n c e d

a s R a n d S , r e s p e c t i v e l y . T h e p o i n t a r e b u e r e d t o b e a r e c t a n g l e f o r a d j u s t i n g t h e e d g e r a t i o 6 ] . G i v e

a j o i n g r a p h G = ( V

R

V

S

E ) , t h e e d g e r a t i o o f G , d e n o t e d b y , i s d e n e d a s t h e r a t i o o f t h e t o t a l

n u m b e r o f e d g e s i n G t o t h e m a x i m u m p o s s i b l e n u m b e r o f e d g e s i n G i f i t i s a f u l l y c o n n e c t e d g r a p h i . e . ,

=

j E j

j V

R

j j V

S

j

. T h e e d g e r a t i o p r o v i d e s a m e a s u r e o f t h e p a g e - l e v e l j o i n s e l e c t i v i t y . W e p l o t a s m a l l b u t

r e p r e s e n t a t i v e p o r t i o n o f t h e d a t a s e t a s i n F i g u r e 5 . T h e j o i n o f t h e s e t w o r e l a t i o n s w i t h t h e " o v e r l a p "

p r e d i c a t e p r o d u c e s a j o i n i n d e x .

( a ) P o l y g o n s f o r L a n -

d u s e

Square-side

size

( b ) B u e r o f G N I S

P o i n t s

F i g u r e 5 : E x a m p l e o f t h e S e q u o i a 2 0 0 0 d a t a s e t

T h e v a r i a b l e p a r a m e t e r s a r e t h e B u e r s i z e , P a g e s i z e a n d E d g e r a t i o . T h e m e t r i c o f e v a l u a t i o n i s

t h e n u m b e r o f p a g e a c c e s s e s r e q u i r e d b y e a c h a l g o r i t h m t o i m p l e m e n t t h e j o i n .

F i g u r e 6 s u m m a r i z e s t h e e x p e r i m e n t s t e p s . D e r i v e d d a t a - s e t s c o n s i s t o f s q u a r e s w i t h d i e r e n t s i d e -

l e n g t h s , e . g . 3 k m , 6 k m , 8 k m , 1 8 k m . J o i n i n g t h e s e s q u a r e d a t a - s e t s w i t h p o l y g o n y i e l d s j o i n - i n d e x w h i c h

a r e c o n v e r t e d t o e q u i v a l e n t p a g e c o n n e c t i v i t y g r a p h s . T h e s e p a g e c o n n e c t i v i t y g r a p h s a r e i n p u t t o " P a g e

A c c e s s S e q u e n c e G e n e r a t o r " , w h i c h s i m u l a t e b e h a v i o r o f s o r t b a s e d a n d A G P a l g o r i t h m f o r g i v e n b u e r

s i z e . T h e p a g e a c c e s s s e q u e n c e a n d t o t a l p a g e I / O a r e t r a c k e d f o r e a c h c o m b i n a t i o n o f j o i n a l g o r i t h m ,

p a g e s i z e , b u e r s i z e , a n d e d g e r a t i o t o d e r i v e t h e e x p e r i m e n t r e s u l t s .

9



Square dataset (5)

PCG (20)(160)

Points

Polygons

Join

# of Page Access

Page Access Sequence

Join

Square side size

Generator

size (4)

Page

Data-set Indices (5)Index

Square

Generator

Buffer OPAS-FB

Access

Sequence

Generator

Page

size (4) methods (2)

Connectivity

Graph

Generator

Page

F i g u r e 6 : E x p e r i m e n t a l s e t u p a n d d e s i g n .

4 . 2 E x p e r i m e n t r e s u l t s

F i g u r e 7 s h o w s t h e c o m p a r i s o n b e t w e e n t h e A G P a n d S o r t i n g h e u r i s t i c . T h e A G P m e t h o d i s u n i f o r m l y

b e t t e r t h a n t h e S o r t i n g h e u r i s t i c . F i g u r e 7 ( a ) s h o w s t h e i m p a c t o f t h e p a g e s i z e , v a r y i n g f r o m 2 k b y t e s

t o 8 k b y t e s , t h e d i e r e n c e b e t w e e n A G P a n d S o r t i n g d e c r e a s e s a s t h e p a g e s i z e i n c r e a s e s . T h e r e a s o n i s

t h a t w h e n t h e p a g e s i z e i n c r e a s e s , t h e n u m b e r o f p a g e s d e c r e a s e s , a n d c l u s t e r i n g e c i e n c y i m p r o v e s f o r

a l l m e t h o d s , r e d u c i n g t h e g a p b e t w e e n p e r f o r m a n c e .

F i g u r e 7 ( b ) s h o w s t h e e e c t o f b u e r s i z e ( a s a f r a c t i o n o f t h e s i z e o f t h e s m a l l e r r e l a t i o n ) o n t h e t h e

I / O p e r f o r m a n c e o f A G P a n d s o r t i n g b a s e d m e t h o d . T h e p e r f o r m a n c e g a p b e t w e e n t h e t w o m e t h o d s

g o e s u p a n d d o w n . A s l o n g a s t h e b u e r i s s m a l l e r t h a n t h e s m a l l e r o f t h e t w o r e l a t i o n s i n v o l v e d i n

j o i n , b o t h A G P a n d s o r t - b a s e d a p p r o a c h u s e s m o s t o f t h e b u e r s t o l o a d p a g e s o f o n l y o n e r e l a t i o n .

T h i s l e a d s t o p o o r b u e r u t i l i z a t i o n f o r b o t h . T h e d i e r e n c e i n p e r f o r m a n c e c o m e s f r o m t h e d i e r e n c e

i n c l u s t e r i n g a b i l i t y .

F i g u r e 7 ( c ) s h o w s t h e e e c t o f e d g e r a t i o . A G P o u t p e r f o r m s S o r t i n g - b a s e d a p p r o a c h u n i f o r m l y i n

o u r e x p e r i m e n t s . T h e g a p b e t w e e n t h e p e r f o r m a n c e o f t w o m e t h o d s d o e s n o t s h o w a n y t r e n d .

S o r t i n g h e u r i s t i c c a n b e c o n s i d e r e d t o b e a s p e c i a l c a s e o f s p a t i a l c l u s t e r i n g . I n a d d i t i o n , p r e -

p r o c e s s i n g s t e p o f S o r t i n g i s c h e a p e r t h a n s p a t i a l c l u s t e r i n g , t h u s t h e r e i s a t r a d e o b e t w e e n j o i n

p e r f o r m a n c e a n d p r e - p r o c e s s i n g c o s t . T h e p r o p o s e d A G P i s u s e f u l w h e n t h e r e a r e f e w u p d a t e s a n d

p r e p r o c e s s i n g c a n b e d o n e o n c e , a n d m u l t i p l e j o i n r e q u e s t s f o l l o w .

5 P r o p o s e d A p p r o a c h 2 : S y m m e t r i c S p a t i a l C l u s t e r i n g

5 . 1 M o t i v a t i o n

W h i l e A G P i s a n i m p r o v e m e n t o v e r S o r t i n g b a s e d m e t h o d , i t h a s a f e w d r a w b a c k s . I t s b u e r u t i l i z a t i o n

c a n b e p o o r p a r t i c u l a r l y f o r r e l a t i v e l y l a r g e b u e r s i z e s i n c e i t g i v e s a l m o s t t h e e n t i r e b u e r s p a c e t o

o n e r e l a t i o n . S e c o n d l y , t h e c h o i c e o f t h e f a v o r e d r e l a t i o n i s n o t t r i v i a l i n m a n y s i t u a t i o n s . W e i l l u s t r a t e

1 0



12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

34000

1 2 3 4 5 6 7 8 9

N u m b e r o f p a g

e a c c e s s

Page size (Kbytes)

SortAGP

( a ) P a g e s i z e : 2 K - 8 K , B u e r s i z e :

5 % o f t h e R r e l a t i o n , E d g e r a t i o :

0 . 0 0 6 6 9

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

34000

4 6 8 10 12 14 16 18 20 22


e a c c e s s

Percentage of R pages

SortAGP

( b ) B u e r s i z e : 5 % - 2 0 % o f t h e R

r e l a t i o n , P a g e s i z e : 2 K , E d g e r a t i o :

0 . 0 0 6 6 9

55000

60000

65000

70000

75000

80000

85000

0 .0 2 0 .0 3 0 .04 0 .0 5 0 .0 6 0 .0 7 0 .08 0 .0 9 0 .1


e a c c e s s

Edge Ratio

SortAGP

( c ) E d g e r a t i o : 0 . 0 2 7 9 4 - 0 . 0 9 6 3 8 ,

B u e r s i z e : 5 % o f R r e l a t i o n , P a g e

s i z e : 2 K

F i g u r e 7 : E e c t o f P a g e s i z e , B u e r s i z e , E d g e r a t i o o n A G P a n d S o r t i n g h e u r i s t i c

S0S1

S2

S3

R1

R0

R2

R3

S5R4

11

111

11

1

1

1

1 11

11

0

0 1

00

0

0 000 0

000 0 0

00

0

00

0 1 2 3 5

1

3

4

2

0

5

4 R

S

1 1264 8 10

2

35

7

9

11

(a) Spatial Join (c)Symmetric method

R5

S4

11

111

11

1

1

1

1 11

11

0

0 1

00

0

0 000 0

000 0 0

00

0

00

0 2 3 5

1

3

4

2

0

5

4 R

S

1 2 6 7 12

3

(b)Sorting/AGP

4, 85, 9

1

13

10,14

11,15

16

F i g u r e 8 : C o m p a r i s o n o f s y m m e t r i c a n d a s y m m e t r i c m e t h o d s

t h e s e w i t h t h e h e l p o f a s p a t i a l j o i n p r o b l e m s h o w n i n F i g u r e 8 . F i g u r e 8 ( a ) s h o w s a p o l y g o n s e t w i t h

6 p o l y g o n s R 0 . . R 5 a n d a p o i n t d a t a s e t w i t h 6 p o i n t s . T h e a d j a c e n c y m a t r i x M

P C G

r e p r e s e n t a t i o n o f

j o i n - i n d e x i s s h o w n i n F i g u r e 8 ( b ) a l o n g w i t h t h e p a g e a c c e s s s e q u e n c e f o r s o r t i n g b a s e d a l g o r i t h m w i t h

t h r e e m e m o r y b u e r . S o r t i n g r e q u i r e s 1 5 I / O i n c l u d i n g 3 r e d u n d a n t I / O s o n S 1 , S 2 , a n d S 3 . F i g u r e 8 ( c )

s h o w s a d i e r e n t p a g e a c c e s s s e q u e n c e e x p l o i t i n g t h e s y m m e t r y o f t h i s p r o b l e m . T h e s y m m e t r i c m e t h o d

a l t e r n a t e s b e t w e e n p a g e s o f t h e t w o r e l a t i o n s t o c o m p u t e j o i n w i t h 1 2 I / O ( i . e . n o r e d u n d a n t I / O ) . T h i s

p r o p e r t y c a n b e g e n e r a l i z e d t o o t h e r B - d i a g o n a l a d j a c e n c y m a t r i x w h e r e f M

P C G

i j ] = 1 g ) f j i ; j j

b B = 2 c g . B i s t h e n u m b e r o f b u e r s a v a i l a b l e f o r p a g e s o f R a n d S . S y m m e t r i c m e t h o d c a n p r o c e s s B -

d i a g o n a l a d j a c e n c y m a t r i x w i t h n o r e d u n d a n t I / O g i v e n B b u e r s f o r R a n d S . s y m m e t r i c m e t h o d s , e . g .

F P 9 ] , O M 2 7 ] , C h a n 6 ] , c a n a d d r e s s t h e s e d e c i e n c i e s . H o w e v e r , m o s t s y m m e t r i c m e t h o d s p r o p o s e d i n

l i t e r a t u r e a r e i n c r e m e n t a l , c o n s i d e r i n g l o c a l i n f o r m a t i o n i n P C G . W e n o w p r o p o s e a s y m m e t r i c s p a t i a l

c l u s t e r i n g m e t h o d , S G P , w h i c h e x p l o i t g l o b a l i n f o r m a t i o n a c r o s s e n t i r e P C G .

1 1



5 . 2 F r a m e w o r k

S y m m e t r i c s p a t i a l c l u s t e r i n g a p p r o a c h t o m i n i m i z e r e d u n d a n t I / O c a n b e d e s c r i b e d i n t e r m s o f t h e

f o l l o w i n g p r o b l e m s t a t e m e n t :

G i v e n : A p a g e c o n n e c t i v i t y g r a p h i n a d j a c e n c y m a t r i x M

P C G

f o r m a n d b u e r s i z e B t o h o l d p a g e s

o f R a n d S .

F i n d : A p e r m u t a t i o n o f r o w s a n d a p e r m u t a t i o n o f c o l u m n s o f M

P C G

.

O b j e c t i v e :

M i n i m i z e

X

V

i

2 ( v e r t x c o v e r o f o u t s i d e B d i a g o n a l e d g e s )

d

n u m b e r o f o u t s i d e B ; d i a g o n a l e d g e s i n c i d e n t o n V

i

B

e

( 1 )

W h e r e o u t s i d e B - d i a g o n a l e d g e ( M i j ] ) = 1 i j i ; j j > b

B

2

c

C o n s t r a i n t : M e m o r y b u e r B

T h e r e d u n d a n t I / O s i n t h i s a p p r o a c h a r e d u e t o t h e e d g e ( i . e . n o n - z e r o m a t r i x e l e m e n t s ) o u t s i d e

B d i a g o n a l o f a s p a t i a l l y c l u s t e r e d a d j a c e n c y - m a t r i x r e p r e s e n t a t i o n o f j o i n - i n d e x . T h e s e o u t s i d e

B - d i a g o n a l e d g e a r e g r o u p e d v i a a v e r t e x c o v e r t o d e t e r m i n e t h e s e t o f p a g e r e q u i r i n g r e d u n d a n t I / O .

A m i n i m u m v e r t e x c o v e r o f o u t s i d e B - d i a g o n a l e d g e d e t e r m i n e s t h e r e d u n d a n t I / O i f d e g r e e o f t h e s e

p a g e s a r e s m a l l e r t h a n t h e n u m b e r o f b u e r s a v a i l a b l e t o c a c h e p a g e o f R a n d S . O t h e r w i s e , s o m e o f

t h e s e p a g e s l e a d t o r e d u n d a n t I / O a s c a p t u r e d b y t h e o b j e c t i v e f u n c t i o n .

T h i s p r o b l e m f o r m a l i z a t i o n p r o v i d e s a c o n c e p t u a l f r a m e w o r k a r o u n d B - d i a g o n a l i z a t i o n a n d v e r t e x

c o v e r o f o B - d i a g o n a l e d g e s . T h i s p r o b l e m i s c o m p u t a t i o n a l l y d i c u l t d u e t o i t s r e l i a n c e o n N P - h a r d

s u b - p r o b l e m ( e . g . m i n i m a l v e r t e x c o v e r ) . T h i s i s n o t a s u r p r i s e i n v i e w o f N P - h a r d n e s s o f O P A S - F B

p r o b l e m . C l e a r l y h e u r i s t i c s o l u t i o n s a r e n e e d e d t o c o n t r o l c o m p u t a t i o n a l o v e r h e a d . O n e m a y d e v i s e

a d i r e c t h e u r i s t i c f o r t h i s p r o b l e m , e . g . a s a s e a r c h p r o b l e m i n t h e s p a c e o f p e r m u t a t i o n s o f r o w s a n d

c o l u m n o f M

P C G

. T h i s w i l l r e q u i r e c a r e f u l e n g i n e e r i n g t o e n s u r e s c a l a b i l i t y s i n c e P C G s c a n b e l a r g e . W e

c h o o s e t o t a k e a d v a n t a g e o f a w e l l - e n g i n e e r e d h e u r i s t i c f a m i l y , M e t i s 1 9 ] , f o r a r e l a t e d p r o b l e m , n a m e l y

m i n - c u t g r a p h p a r t i t i o n i n g . M e t i s u s e s a h i e r a r c h i c a l a p p r o a c h u s i n g g r a p h c o a r s e n i n g t o s c a l e u p . I t

c a n p a r t i t i o n s p a r s e g r a p h s w i t h m i l l i o n s o f n o d e s w i t h i n m i n u t e s p r o v i d i n g f a i r l y c o m p e t e n t s o l u t i o n s

a n d t h u s i s b e i n g u s e d f o r c l u s t e r i n g p r o b l e m i n d a t a b a s e s 3 1 ] , d a t a m i n i n g , e t c .

W e a u g m e n t M e t i s b y o t h e r s t e p s t o c a p t u r e o t h e r i m p o r t a n t p r o p e r t i e s o f o u r p r o b l e m f o r m a l i z a t i o n

a s f o l l o w s . A B - d i a g o n a l f o r m i s c r e a t e d v i a p r o p e r o r d e r i n g o f t h e p a r t i t i o n s o f P C G d e r i v e d f r o m M e t i s .

T h e o r d e r i n g t r i e s t o b r i n g a s m a n y c u t e d g e s i n s i d e B - d i a g o n a l a s p o s s i b l e , a s d e s c r i b e d i n 5 . 6 . A v e r t e x

c o v e r h e u r i s t i c i s u s e d t o g r o u p o B - d i a g o n a l e d g e s i n t o a s m a l l s e t o f n o d e s , f o r r e d u c i n g r e d u n d a n t I / O .

T h e s e n o d e s a r e s c h e d u l e d w i t h s p e c i c p a r t i t i o n s t o d e t e r m i n e d t h e p a g e a c c e s s s e q u e n c e a s d e s c r i b e d

i n 5 . 5 .

W e u s e F i g u r e 9 a s a n e x m p l e t o s h o w t h e s t e p s f o r d e r i v i n g B - d i a g o n a l u s i n g g r a p h p a r t i t i o n

t e c h n i q u e . F i g u r e 9 ( a ) i s t h e o r i g i n a l P C G r e l a t i o n , w h e r e R a n d S a r e t w o r e l a t i o n s t o b e j o i n e d , a n d

e a c h p o i n t i n t h e g r a p h d e n o t e s a e d g e c o n n e c t i o n b e t w e e n t h e s e t w o r e l a t i o n s . W e u s e M e t i s 1 9 ] t o

p a r t i t i o n t h i s P C G , e a c h p a r t i t i o n h a s s i z e ( B ; 1 ) , w h e r e B i s t h e n u m b e r o f b u e r a v a i l a b l e . W e s h o w

t h e r e s u l t a f t e r p a r t i t i o n i n F i g u r e 9 ( b ) , t h e R a n d S r e l a t i o n s a r e r e l a b e l e d f r o m t h e r s t p a r t i t i o n t o

t h e l a s t p a r t i t i o n . F i n a l l y , w e r e - o r d e r t h e s e p a r t i t i o n s t o b r i n g a s m a n y p o i n t s i n s i d e B - d i a g o n a l , a s

1 2



s h o w n i n F i g u r e 9 ( c ) . I n F i g u r e 9 ( b ) , t h e r e a r e 2 8 p e r c e n t o f p o i n t s o u t s i d e B - d i a g o n a l , a f t e r p a r t i t i o n

r e o r d e r i n g , w e r e d u c e t h e s e p o i n t s t o b e 2 2 p e r c e n t o f t h e t o t a l p o i n t s .

0

1000

2000

3000

4000

5000

0 500 1000 1500 2000

S r e l a t i o n

R relation

R join S

( a ) T h e o r i g i n a l P C G c o n n e c t i o n

0

1000

2000

3000

4000

5000

0 500 1000 1500 2000

S r e l a t i o n

R relation

R join S

( b ) A f t e r g r a p h p a r t i t i o n

0

1000

2000

3000

4000

5000

0 500 1000 1500 2000

S r e l a t i o n

R relation

R join S

( c ) A f t e r g r a p h p a r t i t i o n a n d r e -

o r d e r i n g

F i g u r e 9 : U s i n g g r a p h p a r t i t i o n t o d e r i v e t h e B - d i a g o n a l

5 . 3 B a s i c I d e a : S i m p l e S G P

T h e S G P m e t h o d c l u s t e r s t h e n o d e s o f t h e P a g e - C o n n e c t i v i t y G r a p h ( P C G ) v i a m i n - c u t g r a p h p a r t i t i o n -

i n g s o f t w a r e M e t i s . T h e a d j e c t i v e " s y m m e t r i c " r e f e r s t o t h e f a c t t h a t p a g e c l u s t e r s i n c l u d e p a g e s f r o m

b o t h t a b l e s R a n d S w i t h n o p r e f e r e n c e t o e i t h e r t a b l e . T h e m i n - c u t p a r t i t i o n a l g o r i t h m p a r t i t i o n s t h e

n o d e s o f t h e P C G i n t o d i s j o i n t s u b s e t s , w h i l e m i n i m i z i n g t h e n u m b e r o f e d g e s w h o s e n o d e s a r e i n c i d e n t

i n t w o d i e r e n t p a r t i t i o n s . S i n c e o n l y t h e n o d e s t h a t a r e i n c i d e n t o n t h e e d g e s b e l o n g i n g t o t h e e d g e - c u t

s e t c a n c o n t r i b u t e t o r e d u n d a n t I / O , m i n i m i z i n g t h e s i z e o f t h e e d g e - c u t s e t p r o v i d e s a t i g h t b o u n d o n

t h e n u m b e r o f r e d u n d a n t I / O . W e c a n f o r m a l i z e t h e p r o p e r t i e s o f t h e S G P m e t h o d a s f o l l o w s :

S y m m e t r i c M i n - c u t G r a p h P a r t i t i o n i n g o f t h e P a g e C o n n e c t i v i t y G r a p h ( S G P )

G i v e n : A c o n n e c t i v i t y g r a p h G = ( V E ) w i t h j V j = n , a n d t h e n u m b e r o f b u e r s , B 2 .

F i n d : A p a r t i t i o n o f V i n t o p s u b s e t s , V

1

V

2

: : : V

p

s u c h t h a t V

i

T

V

j

= f o r i 6= j a n d

S

i

V

i

= V .

O b j e c t i v e : M i n i m i z e t h e s i z e o f t h e s e t o f e d g e s E

C

E w h o s e i n c i d e n t v e r t i c e s b e l o n g t o d i e r e n t

s u b s e t s .

C o n s t r a i n t : j V

i

j ( B ; 1 ) , a n d t h e n u m b e r o f p a r t i t i o n s , p = d j V j = ( B ; 1 ) e :

W e n o w d e s c r i b e a n a l g o r i t h m , S i m p l e S G P , f o r d e t e r m i n i n g a p a g e - a c c e s s s e q u e n c e , g i v e n a p a r t i t i o n

o f t h e p a g e - c o n n e c t i v i t y g r a p h . T h e p s e u d o - c o d e i s s h o w n i n t h e f o l l o w i n g S G P a l g o r i t h m . I n t h i s

a l g o r i t h m , e a c h p a r t i t i o n i s l o a d e d i n t o m e m o r y t o p r o c e s s a l l t h e j o i n s c o m p l e t e l y w i t h i n t h a t p a r t i t i o n .

W h e n e v e r a p a r t i t i o n h a s a n a s s o c i a t e d c u t e d g e , o n e n o d e o f t h e e d g e i s a l r e a d y i n m e m o r y . T h e n w e

o n l y n e e d t o b r i n g t h e o t h e r n o d e t h a t c o r r e s p o n d s t o t h e c u t e d g e i n t o m e m o r y . D u e t o t h e c o n s t r u c t i o n

o f t h e p a r t i t i o n s ( t h e n u m b e r o f p a g e s i n e a c h p a r t i t i o n i s l e s s t h a n t h e n u m b e r o f b u e r s i n m e m o r y ) ,

t h e r e i s o n e b u e r s p a c e a v a i l a b l e f o r b r i n g i n g i n o n e p a g e t o p r o c e s s a c u t - e d g e . T h e c u t e d g e s a s s o c i a t e d

1 3



w i t h t h e p a r t i t i o n a r e p r o c e s s e d o n e a t a t i m e b y u s i n g t h e e m p t y b u e r s p a c e t o s t o r e a p a g e n e e d e d

t o p r o c e s s t h e s e l e c t e d c u t - e d g e .

F o r e x a m p l e , F i g u r e 1 0 i s a n e x a m p l e o f a p a r t i t i o n o f t h e P C G g r a p h s h o w n i n F i g u r e 2 . A s s u m i n g

t h a t t h e b u e r s i z e i s 3 , e a c h p a r t i t i o n V

1

, V

2

, a n d V

3

c a n c o n t a i n u p t o t w o n o d e s o f t h e P C G . T h e

e d g e - c u t s e t c o n s i s t s o f t h e t h r e e e d g e s f e

2

e

3

e

4

g . T h e S i m p l e S G P a l g o r i t h m o n t h i s p a r t i t i o n p r o c e e d s

a s f o l l o w s : W e r a n d o m l y l o a d a p a r t i t i o n i n t o t h e b u e r , s a y V

1

, a n d r s t p e r f o r m t h e j o i n i n t e r n a l t o

t h e p a r t i t i o n , f a A g . W e t h e n f o l l o w t h e e d g e - c u t e

2

, l o a d p a g e B i n t h e s p a r e b u e r a n d m a t e r i a l i z e

t h e j o i n f a B g . W e t h e n f o l l o w t h e e d g e - c u t e

3

, s w a p p a g e B f o r C i n t h e b u e r a n d m a t e r i a l i z e t h e j o i n

f a C g . F i n a l l y , a l l j o i n s e m a n a t i n g f r o m V

1

a r e m a t e r i a l i z e d b y l o a d i n g p a g e b a t t h e e n d o f e d g e - c u t

e

4

. W e t h e n m o v e o n t o t h e n e x t r a n d o m l y s e l e c t e d r e m a i n i n g p a r t i t i o n u n t i l a l l a r e e x h a u s t e d .

A a

e1

e3e4e2

V2 b C

e5

B

V3

V1

F i g u r e 1 0 : A m i n - c u t p a r t i t i o n o f t h e g r a p h

L e m m a 2 G i v e n a p a r t i t i o n f V

1

V

2

: : : V

p

g o f t h e p a g e - c o n n e c t i v i t y g r a p h P C G = ( V E ) , t h e r e i s a

p a g e - a c c e s s s e q u e n c e o f l e n g t h a t m o s t K j E

C

j + j V j t o p r o c e s s t h e j o i n , a s s u m i n g j V

i

j i s l e s s t h a n t h e

n u m b e r o f b u e r s . I f E

C

= 0 , t h e a l g o r i t h m S i m p l e S G P i s g u a r a n t e e d t o r e s u l t i n a n o p t i m a l p a g e - a c c e s s

s e q u e n c e . ( N o t e t h a t j V j = j V

r

j + j V

s

j w h e r e V

r

a n d V

s

a r e t h e n o d e s o f r e l a t i o n R a n d S b e g i n j o i n e d . )

P r o o f : T h e S i m p l e S G P a l g o r i t h m r e s u l t s i n a t m o s t j V j + j E

C

j p a g e a c c e s s e s . S i n c e e a c h c u t - e d g e c a n

r e s u l t i n a t m o s t o n e e x t r a p a g e a c c e s s , t h e t o t a l n u m b e r o f p a g e a c c e s s e s i s b o u n d b y t h e t o t a l n u m b e r

o f p a g e s i n a l l o f t h e p a r t i t i o n s a n d t h e n u m b e r o f c u t e d g e s . T h e r e f o r e , t h e r e e x i s t s a p a g e - a c c e s s

s e q u e n c e o f s i z e a t m o s t K w h e r e K j V j + j E

C

j .

S i m p l e S G P A l g o r i t h m

I n p u t : G = ( V E ) i s a p a g e c o n n e c t i v i t y g r a p h .

O u t p u t : S = < P

1

P

2

: : : P

r

> i s a p a g e a c c e s s s e q u e n c e w i t h r j V j ( P

i


a s s e r t ( B 2 ) / * N u m b e r o f b u e r * /

P S e t = M e t i s - P a r t i t i o n ( G B ; 1 ) / * M i n i m i z e t h e n u m b e r o f e d g e - c u t s e t * /

i = 1

w h i l e ( ( P

i

= S e l e c t U n p r o c e s s e d P a r t i t i o n ( P S e t ) ) ! = N U L L )

/ * S e l e c t t h e u n - p r o c e s s e d p a r t i t i o n * /

f


i

) / * A d d a l l t h e n o d e s i n P

i


1 4



C P S e t = F i n d C o n n e c t P a r t i t i o n ( P

i

) ) / * F i n d a l l t h e p a r t i t i o n s w h i c h c o n n e c t w i t h P

i

* /

f o r ( j = 1 j j C P S e t j j + + )

f

C P

j

= C P S e t j ] / * G e t t h e j - t h c o n n e c t e d p a r t i t i o n * /

i f ( C P

j

. a g ! = " p r o c e s s e d " ) / * T h i s p a r t i t i o n h a s n o t b e e n p r o c e s s e d * /

f

N o d e s = G e t I n c i d e n t N o d e s ( P

i

, C P

j

) / * F i n d a l l t h e n o d e s i n C P

j

w h i c h c o n n e c t t o P

i

* /

A d d P a g e S e q u e n c e ( S N o d e s ) / * A d d a l l t h e s e n o d e s i n t o t h e l o a d i n g s e q u e n c e * /

g

g

P

i

. a g = " p r o c e s s e d " / * M a r k t h i s p a r t i t i o n a s " p r o c e s s e d " * /

i + +

g

5 . 4 R e n e m e n t 1 f o r S i m p l e S G P : R e d u c i n g C u t E d g e s

I n s t e a d o f u s i n g a s i m p l e g r a p h f o r d e t e r m i n i n g P C G - n o d e p a r t i t i o n , w e b u i l d a h y p e r - g r a p h f o r t h e

P C G a n d p a r t i t i o n t h i s h y p e r g r a p h .

W e u s e t h e p a g e - c o n n e c t i v i t y g r a p h m o d e l o f t h e j o i n i n d e x t o c o n s t r u c t a h y p e r - g r a p h f r o m t h e j o i n

i n d e x . T h e h y p e r - g r a p h i s d e r i v e d f r o m t h e o r i g i n a l b i p a r t i t e g r a p h . T o c o n s t r u c t a p u r e h y p e r e d g e

g r a p h , f o r e a c h n o d e i n t h e b i p a r t i t e g r a p h , w e b u i l d a h y p e r e d g e t o e n c o m p a s s t h i s n o d e a n d i t s

c o n n e c t i n g n o d e s i n t h e o t h e r r e l a t i o n . T o c o n s t r u c t a h y p e r - e d g e g r a p h , i n a d d i t i o n t o t h e s e p u r e

h y p e r e d g e s , w e a d d h y p e r e d g e s f o r e a c h e d g e i n t h e o r i g i n a l b i p a r t i t e g r a p h . F i g u r e 1 1 i l l u s t r a t e s t h i s

c o n s t r u c t i o n w i t h t h e h e l p o f a n e x a m p l e .

A m i n - c u t n o d e p a r t i t i o n 1 5 , 2 1 ] o f a h y p e r g r a p h G p a r t i t i o n s t h e n o d e s i n V

1

a n d V

2

i n t o d i s j o i n t

s u b s e t s w h i l e m i n i m i z i n g t h e n u m b e r o f h y p e r e d g e s w h o s e i n c i d e n t n o d e s a r e i n d i e r e n t p a r t i t i o n s .

T h e h - c u t - s e t o f a m i n - c u t p a r t i t i o n i s t h e s e t o f h y p e r - e d g e s w h o s e i n c i d e n t n o d e s a r e i n t w o d i e r e n t

p a r t i t i o n s . F a s t a n d e c i e n t h e u r i s t i c a l g o r i t h m s f o r t h i s p r o b l e m h a v e b e c o m e a v a i l a b l e i n r e c e n t y e a r s .

I n o u r e x p e r i m e n t , w e u s e h M E T I S 1 7 ] , w h i c h i s a s e t o f p r o g r a m s f o r p a r t i t i o n i n g h y p e r g r a p h s .

L e m m a 3 T h e s a v i n g s i n r e d u n d a n t I / O f o r u t i l i z i n g t h e h y p e r - g r a p h p a r t i t i o n i n g a l g o r i t h m i n s t e a d o f

s i m p l e g r a p h p a r t i t i o n i n g i s :

S a v i n g s = m a x ( E

c

; E

h

0 ) :

P r o o f : T h e h y p e r - g r a p h p a r t i t i o n i n g a l g o r i t h m r e s u l t s i n a d i e r e n t e d g e - c u t s e t , E

h

f o r t h e P C G . T h e

p o t e n t i a l s a v i n g s i s E

c

; E

h

f o r t h e s i m p l e S G P a l g o r i t h m .

5 . 5 R e n e m e n t 2 : V e r t e x C o v e r S t r a t e g y , G i v e n l o a d i n g s e q u e n c e

T h e g o a l o f t h i s r e n e m e n t i s t o r e d u c e t h e r e d u n d a n t I / O b y p r o p e r l y p r o c e s s i n g t h e c u t e d g e s b e t w e e n

p a r t i t i o n s . T h e r e d u n d a n t I / O c a u s e d b y t h e c u t e d g e s c a n b e s a v e d b y u s i n g t h r e e i d e a s . F i r s t , k n o w i n g

t h e n e x t p a r t i t i o n P

j

t o b e l o a d e d w h i l e p r o c e s s i n g a p a r t i t i o n P

i

c a n e l i m i n a t e r e d u n d a n t I / O f o r e d g e s

1 5



rV

sVrV

sV

rV

sV

e1

e2

e3

e4

a

A

B

Cb

Original bipartite graph

a

b

he2 A

B

C

Pure hyperedge graph

he5

he1

he2he3

he4

he6

he7

a

b

A

B

C

Hyperedge graph

he5

he1

F i g u r e 1 1 : C o n s t r u c t i o n o f a h y p e r g r a p h f r o m t h e b i p a r t i t e g r a p h

b e t w e e n P

i

a n d P

j

. F o r e x a m p l e , i n g u r e 1 2 ( a ) , i f w e l o a d t h e p a r t i t i o n s i n t h i s o r d e r f P 1 P 2 P 3 g , w e

c a n a l w a y s n d a p r o c e s s e d n o d e t o b e r e p l a c e d b y a n e w n o d e i n t h e n e x t p a r t i t i o n , t h u s e l i m i n a t e t h e

r e d u n d a n t I / O f o r p r o c e s s i n g c u t - e d g e b e t w e e n c o n s e c u t i v e p a r t i t i o n s . W h i l e t r a n s f e r r i n g f r o m p a r t i t i o n

P

i

t o P

j

, w e d e l e t e t h e n o d e i n P

i

w h i c h i s e i t h e r n o t i n c i d e n t o n a n e d g e - c u t t o P

j

, o r w h o s e j o i n a c r o s s

t h e e d g e - c u t t o t h e P

j

h a s b e e n m a t e r i a l i z e d , a n d a d d t h e n o d e i n P

j

w h i c h h a s t h e h i g h e s t c o n n e c t i v i t y

w i t h t h e n o d e s i n P

i

.

L e m m a 4 G i v e n a p a r t i t i o n o f t h e p a g e - c o n n e c t i v i t y g r a p h P C G = ( V E ) , a n d t h e l o a d i n g s e q u e n c e

o f t h e s e p a r t i t i o n i s f V

1

V

2

: : : V

i

V

j

: : : V

p

g . I f t h e a d j a c e n t m a t r i x o f a n y t w o c o n s e c u t i v e p a r t i t i o n s

V

i

V

j

c a n b e p e r m u t a t e d i n t h e t r i a n g u l a r f o r m , t h e r e d u n d a n t I / O b e t w e e n t h e t w o p a r t i t i o n s c a n b e

s a v e d .

P r o o f : A l l e d g e s w i t h i n t h e m a i n B - d i a g o n a l s c a n b e p r o c e s s e d w i t h o u t r e d u n d a n t I / O .

C o r o l l a r y o f L e m m a N u m b e r o f r e d u n d a n t I / O N u m b e r o f c u t - e d g e o u t s i d e B - d i a g o n a l .

S e c o n d , e d g e s i n c i d e n t o n a c o m m o n p a g e c a n b e p r o c e s s e d t o g e t h e r . I n g u r e 1 2 ( b ) , t h e r e a r e

f o u r e d g e c u t b e t w e e n P 1 a n d P 2 . H o w e v e r , t h e r e a r e o n l y t w o n o d e s i n e a c h p a r t i t i o n i n v o l v e d i n t h e s e

e d g e c u t . T h e r e d u n d a n t I / O i s b o u n d e d b y t h e d i s t i n c t n o d e s i n v o l v e d i n t h e e d g e - c u t s e t .

T h i r d , t h e c u t - e d g e s b e t w e e n p a r t i t i o n s P

i

a n d P

k

a r e c h e a p e r t o p r o c e s s w i t h p a r t i t i o n P

i

i n

m e m o r y , i f t h e n u m b e r o f d i s t i n c t p a g e s o f P

i

i n c i d e n t o n t h e c u t - e d g e i s m o r e t h a n t h o s e o f P

k

. F o r

e x a m p l e , i n g u r e 1 2 ( c ) , i t w i l l b e b e t t e r i f w e p r o c e s s t h e s e e d g e - c u t w h e n P 2 i s i n m e m o r y , w i t h o n l y

o n e r e d u n d a n t I / O . H o w e v e r , i f w e p r o c e s s t h e s e e d g e - c u t e w h e n P 1 i s i n m e m o r y , t h e r e d u n d a n t I / O

c o s t w i l l b e f o u r .

P1 P2

P3

P1 P2

P1 P2

(b) (c)(a)

F i g u r e 1 2 : E x a m p l e s o f r e n e m e n t 3

1 6



5 . 6 R e n e m e n t 3 : C h o o s e P r o p e r L o a d i n g S e q u e n c e

I f s o m e p a g e s o f t h e c u r r e n t p a r t i t i o n i n m e m o r y a r e c o n n e c t e d t o p a g e s i n t h e n e x t p a r t i t i o n t o b e

l o a d e d , t h e n t h e s e p a g e s n e e d n o t b e f e t c h e d a g a i n , a s t h e y a r e a l r e a d y i n m e m o r y . H e n c e t h e o r d e r i n

w h i c h d i e r e n t p a r t i t i o n s a r e l o a d e d i n t o m e m o r y i n u e n c e s t h e n u m b e r o f p a g e f e t c h e s i n a p a g e - a c c e s s

s e q u e n c e . I n p r a c t i c e , a s e q u e n c e o f p a r t i t i o n s w h i c h m a x i m i z e s t h e n u m b e r o f c o n n e c t e d p a g e s b e t w e e n

c o n s e c u t i v e p a r t i t i o n s i s d e s i r e d b e c a u s e i t r e d u c e s t h e l e n g t h o f t h e p a g e a c c e s s s e q u e n c e . F o r t h i s , t h e

f o l l o w i n g L o n g e s t P a t h h e u r i s t i c c a n b e u s e d . C o n s t r u c t a c o m p l e t e g r a p h G

p

( t h e W e i g h t e d P a r t i t i o n

G r a p h ( W P G ) ) w i t h o n e n o d e f o r e a c h o f t h e p a r t i t i o n s . T h e w e i g h t o n e a c h e d g e b e t w e e n t h e n o d e s

i s t h e m i n i m u m o f t h e n u m b e r o f d i s t i n c t p a g e s , c o n n e c t e d b e t w e e n t h e p a r t i t i o n s , t h a t c o r r e s p o n d

t o t h e n o d e s . F o r e x a m p l e , F i g u r e 1 3 i s t h e W P G d e r i v e d f r o m F i g u r e 1 0 . T h e w e i g h t o n t h e e d g e

c o n n e c t i n g t w o n o d e s i s e q u i v a l e n t t o t h e n u m b e r o f p a g e s t h a t n e e d n o t b e f e t c h e d f r o m d i s k w h e n

o n e n o d e ( p a r t i t i o n ) i s i n m e m o r y a n d t h e o t h e r o n e i s n e x t o n t h e l o a d i n g s c h e d u l e . T h u s a p a r t i t i o n

s c h e d u l e c o r r e s p o n d i n g t o t h e L o n g e s t P a t h o n t h e W P G l e a d s t o a m i n i m u m n u m b e r o f p a g e a c c e s s e s

t o l o a d t h e p a r t i t i o n s t h a t c o r r e s p o n d t o a l l t h e n o d e s o f t h e W P G G

p

.

V1

V2 V3

1

0

2

F i g u r e 1 3 : T h e W e i g h t e d P a r t i t i o n G r a p h ( W P G ) . f V

2

V

1

V

3

g i s a n e x a m p l e o f t h e L o n g e s t P a t h .

B e s i d e s , f o r c u t e d g e s b e t w e e n n o n - a d j a c e n t p a r t i t i o n s i n t h e s e q u e n c e , t h e r e d u n d a n t I / O i s n o t

b o u n d b y t h e n u m b e r o f c u t e d g e s . R a t h e r , w e c h o o s e t h e s m a l l e r d i s t i n c t p a g e s i n c i d e n t o n t h e c u t

e d g e s b e t w e e n t h e p a i r s o f p a r t i t i o n s . T h i s m e a n s w e d o t h e a c t u a l j o i n b y l o a d i n g e a c h p a g e i n t h e

s m a l l e r d i s t i n c t p a g e s o f o n e p a r t i t i o n t o t h e o n e b u e r s p a c e . W e f o r m a l i z e t h e a b o v e o b s e r v a t i o n i n

t h e f o l l o w i n g l e m m a .

L e m m a 5 G i v e n a w e i g h t e d p a r t i t i o n g r a p h W P G = ( G

p

E

p

) d e r i v e d f r o m t h e p a r t i t i o n f V

1

V

2

: : : V

p

g

o f t h e p a g e - c o n n e c t i v i t y g r a p h P C G = ( V E ) a n d a L o n g e s t P a t h o n t h e W P G , t h e r e i s a p a g e - a c c e s s

s e q u e n c e o f l e n g t h K j V j + j T W j ; j L P j , w h e r e j T W j i s t h e t o t a l w e i g h t o f t h e e d g e s o f W P G , a n d

j L P j i s t h e w e i g h t o f t h e L o n g e s t P a t h .

P r o o f : j T W j i s t h e a c t u a l r e d u n d a n t I / O . A s l o n g a s w e c a n n d a n o d e o f t h e c u r r e n t p a r t i t i o n w h i c h

i s e i t h e r n o t i n c i d e n t o n a n e d g e - c u t t o t h e n e x t s c h e d u l e d p a r t i t i o n , o r w h o s e j o i n a c r o s s t h e e d g e - c u t

t o t h e n e x t s c h e d u l e d p a r t i t i o n i n t h e b u e r h a s b e e n m a t e r i a l i z e d , t h e n w e c a n r e p l a c e t h i s n o d e w i t h a

n o d e f r o m t h e n e x t p a r t i t i o n o n t h e l o a d i n g s c h e d u l e t o t h e b u e r . T h i s p r o v i d e s u s w i t h a c u m u l a t i v e

s a v i n g s o f j L P j , w h i c h c a n b e s u b t r a c t e d f r o m t h e r e d u n d a n t I / O .

T h e L o n g e s t C i r c u i t p r o b l e m i s k n o w n t o b e N P - C o m p l e t e 1 1 ] . W e d e s c r i b e t w o t r i v i a l h e u r i s t i c s i n

A p p e n d i x A w h o s e e x p e r i m e n t a l e v a l u a t i o n v i s - a - v i s e a c h o t h e r w i l l b e d i s c u s s e d i n S e c t i o n 6 . T h e r e a r e

o t h e r , m o r e s o p h i s t i c a t e d h e u r i s t i c s a v a i l a b l e , a n d t h o s e m a y i m p r o v e t h e p e r f o r m a n c e o f o u r m e t h o d s .

W e p l a n t o e x p l o r e t h o s e i n o u r f u t u r e w o r k .

1 7



5 . 7 F i n a l A l g o r i t h m

T h e n a l a l g o r i t h m , S G P , i n c o r p o r a t e s a l l t h r e e r e n e m e n t s . T h e a l g o r i t h m r s t p a r t i t i o n s t h e P C G

u s i n g h y p e r g r a p h p a r t i t i o n i n g a n d s i m p l e g r a p h p a r t i t i o n i n g . I t c h o o s e s t h e o n e t h a t r e s u l t s i n a s m a l l e r

e d g e - c u t s e t . T h e n , i t o r d e r s t h e r e s u l t i n g p a r t i t i o n s u s i n g t h e l o n g e s t c i r c u i t h e u r i s t i c . F i n a l l y , i t l o a d s

t h e p a r t i t i o n s a s d i c t a t e d b y t h e l o n g e s t c i r c u i t . A f t e r l o a d i n g e a c h p a r t i t i o n t o t h e b u e r , r s t , i t

p r o c e s s e s a l l t h e j o i n w i t h i n t h i s p a r t i t i o n , t h e n , i t p r o c e s s e s t h e j o i n s c a u s e d b y t h e c u t e d g e s w i t h

t h e c o n n e c t e d p a r t i t i o n s . F o r e a c h p a r t i t i o n i n t h e c o n n e c t e d p a r t i t i o n s e t , i t c o m p a r e s t h e n u m b e r o f

d i s t i n c t p a g e s i n c i d e n t o n t h e c u t e d g e s b e t w e e n t h e s e t w o p a r t i t i o n s , a n d c h o o s e s t h e c h e a p e r o n e t o

p r o c e s s . W h e n t r a n s f e r r i n g f r o m t h e o n e p a r t i t i o n P

i

t o t h e n e x t s c h e d u l e d p a r t i t i o n P

i + 1

, i t o r d e r s t h e

l o a d i n g s e q u e n c e o f n o d e s u s i n g t h e f o l l o w i n g s t r a t e g i e s : ( a ) A d d t h e n o d e w i t h i n P

i + 1

w h i c h h a s t h e

h i g h e s t c o n n e c t i v i t y w i t h P

i

. ( b ) R e p l a c e t h e n o d e w i t h i n P

i

w h i c h i s e i t h e r n o t i n c i d e n t o n a n e d g e - c u t

t o P

i + 1

, o r w h o s e j o i n a c r o s s t h e e d g e - c u t t o P

i + 1

h a s b e e n m a t e r i a l i z e d . T h e p s e u d o - c o d e a n d d e t a i l e d

d e s c r i p t i o n s f o r S G P a l g o r i t h m a r e s h o w n i n A p p e n d i x B .

6 E x p e r i m e n t a l E v a l u a t i o n o f R e n e m e n t

6 . 1 E x p e r i m e n t a l D e s i g n

W e n o w e v a l u a t e t h e p e r f o r m a n c e o f r e n e m e n t s t r a t e g i e s 1 , 2 a n d 3 a n d c o m p a r e d i t w i t h S i m p l e S G P .

T h e x e d p a r a m e t e r f o r t h i s e x p e r i m e n t a l e v a l u a t i o n i s t h e g r a p h p a r t i t i o n i n g a l g o r i t h m M e t i s 1 9 ]

a n d h y p e r g r a p h p a r t i t i o n i n g a l g o r i t h m h M e t i s 1 7 ] . T h e v a r i a b l e p a r a m e t e r s a r e t h e B u e r s i z e , P a g e

s i z e a n d E d g e R a t i o . T h e m e t r i c o f e v a l u a t i o n i s t h e n u m b e r o f p a g e a c c e s s e s r e q u i r e d b y e a c h a l g o r i t h m

t o i m p l e m e n t t h e j o i n . F i g u r e 1 4 s h o w s t h e v a r i o u s p r o c e s s s t e p s o f t h e e x p e r i m e n t d e s i g n .

# of Page Access

Page Access Sequence

SquarePoints

Polygons

Join

Page

Generator

Join

Index

PCG (35)(420+700)

Generator

Indices (7)

Square dataset (7)Data-set

Square side size

size (5)

Page

GeneratorGraph

Generator

Page

SequenceConnectivityAccess

Buffersize (4)

OPAS-FBmethods (5)

SGPRefinement (3)

F i g u r e 1 4 : E x p e r i m e n t a l s e t u p a n d d e s i g n .

1 8



6 . 2 E x p e r i m e n t R e s u l t s o n E e c t o f R e n e m e n t s o n S G P

6 . 2 . 1 E e c t o f R e n e m e n t 1 : D o e s g r a p h m o d e l m a t t e r ?

W e t e s t t h e r e l a t i v e i m p r o v e m e n t o f u s i n g d i e r e n t h y p e r - g r a p h s t r u c t u r e p a r t i t i o n s ( h M e t i s ) 1 7 ] , c o m -

p a r e d w i t h u s i n g t h e s i m p l e g r a p h p a r t i t i o n ( M e t i s ) 1 9 ] . A l l o f t h e c o m p a r i s o n s a r e d o n e b y u s i n g t h e

S i m p l e S G P a l g o r i t h m . F o r d i e r e n t e x p e r i m e n t s , w e v a r y t h e b u e r s i z e , p a g e s i z e a n d s q u a r e s i d e s i z e .

E e c t o f p a g e s i z e

W i t h s q u a r e - s i d e s i z e a t 3 0 0 0 m e t e r , e . g . e d g e r a t i o a t 0 . 0 0 6 6 9 , a n d b u e r s i z e x e d a t v e p e r c e n t o f

t h e n u m b e r o f p a g e s o f t h e R r e l a t i o n w e v a r y t h e p a g e s i z e f r o m 2 k t o 1 6 k . T h e H y p e r g r a p h p a r t i t i o n

r e s u l t s i n f e w e r p a g e a c c e s s e s c o m p a r e d t o t h e s i m p l e g r a p h p a r t i t i o n i n g . T h e P u r e h y p e r g r a p h h a s t h e

l o w e s t n u m b e r o f p a g e a c c e s s e s w h e n t h e p a g e s i z e i s g r e a t e r t h a n 8 k . ( F i g u r e 1 5 ( a ) )

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

1 2 3 4 5 6 7 8 9

N u m b e r o f p a g e a c c e s s

Page size (Kbytes)

Simple graphHyper graph

Pure hyper graph

( a ) P a g e s i z e : 2 K - 1 6 K , B u e r s i z e :

5 % o f t h e R r e l a t i o n ) , E d g e r a t i o :

0 . 0 0 6 6 9

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

4 6 8 10 12 14 16 18 20 22


Percentage of R pages)


Pure hyper graph



0 . 0 0 6 6 9

40000

50000

60000

70000

80000

90000

100000

110000

0.0150.020.0250.030.0350.040.0450.050.0550.060.0650.07


Edge Ratio


Pure hyper graph

( c ) E d g e r a t i o : 0 . 0 1 8 1 2 - 0 . 0 6 5 4 8 ,


s i z e : 2 K

F i g u r e 1 5 : E e c t o f p a g e s i z e , b u e r s i z e , a n d e d g e r a t i o w i t h R e n e m e n t 1 f o r S i m p l e S G P

E e c t o f b u e r s i z e

W i t h e d g e r a t i o a t 0 . 0 0 6 6 9 , a n d p a g e s i z e a t 2 k b y t e s , w e i n c r e a s e t h e b u e r s i z e f r o m 5 t o 2 0 p e r c e n t

o f t h e n u m b e r o f p a g e s o f t h e R r e l a t i o n . T h e H y p e r g r a p h p a r t i t i o n r e s u l t s i n b e t t e r p e r f o r m a n c e ,

c o m p a r e d t o t h e t h e s i m p l e g r a p h p a r t i t i o n . T h e P u r e h y p e r g r a p h p a r t i t i o n h a s t h e w o r s t p e r f o r m a n c e

w h e n t h e b u e r s i z e i s l o w . H o w e v e r , w h e n t h e b u e r s i z e i s l a r g e r t h a n a t h r e s h o l d ( 1 5 p e r c e n t ) , t h e

P u r e h y p e r g r a p h h a s t h e b e s t p e r f o r m a n c e , a s s h o w n i n F i g u r e 1 5 ( b ) .

C h a n g e t h e e d g e r a t i o

W e x t h e b u e r s i z e t o 5 p e r c e n t o f t h e n u m b e r o f p a g e s o f t h e R r e l a t i o n , a n d p a g e s i z e a t 2 k b y t e s , t h e n

w e v a r y t h e e d g e r a t i o b y e x t e n d i n g t h e s i z e o f t h e s q u a r e s i d e i n t h e p o i n t d a t a s e t . T h e H y p e r g r a p h

p a r t i t i o n p e r f o r m s b e t t e r t h a n t h e P u r e h y p e r g r a p h a n d t h e s i m p l e g r a p h a s s h o w n i n F i g u r e 1 5 ( c ) .

1 9



W h e n t h e e d g e r a t i o i s l a r g e r t h a n a t h r e s h o l d ( 0 . 0 6 ) , T h e P u r e - h y p e r g r a p h o u t p e r f o r m s t h e s i m p l e

g r a p h .

6 . 2 . 2 E e c t o f R e n e m e n t 2 a n d 3 o n S G P : D o e s c u t - s e t p r o c e s s i n g s t r a t e g y m a t t e r ?

D o e s l o a d i n g S e q u e n c e m a t t e r ?

I n t h i s e x p e r i m e n t , w e x t h e e d g e r a t i o a n d p a g e s i z e , v a r y t h e b u e r s i z e a n d u s e d i e r e n t l i n e a r a l i z a t i o n

a l g o r i t h m s . T h e r e s u l t o f a l g o r i t h m s i s s h o w n i n F i g 1 6 . A s w e c a n s e e f r o m F i g 1 6 , r e n e m e n t 2 ,

t h e t h r e e i d e a s f o r p r o p e r c u t s e t p r o c e s s i n g b e t w e e n p a r t i t i o n s , d o e s i m p r o v e s t h e p e r f o r m a n c e u n d e r

d i e r e n t b u e r s i z e s . T h e o n e - w a y g r e e d y h e u r i s t i c a n d t h e s o r t i n g h e u r i s t i c i n r e n e m e n t 3 g e n e r a t e

n e a r l y t h e s a m e r e s u l t , a n d a l l p e r f o r m b e t t e r t h a n t h e s i m p l e S G P a l g o r i t h m . T h e r e a s o n i s t h a t t h e

s i m p l e S G P r a n d o m l y l i n e a r a l i z e s t h e l o a d i n g s e q u e n c e o f t h e p a r t i t i o n s w i t h o u t d o i n g a n y o p t i m i z a t i o n .

34000

36000

38000

40000

42000

44000

46000

48000

2 4 6 8 10


Buffer size as the percentage of R pages

Simple SGP + Refinement 2, 3: One-way heuristicSimple SGP + Refinement 2, 3: Sorting heuristic

Simple SGP + Refinement 2Simple SGP

F i g u r e 1 6 : P a g e a c c e s s n u m b e r u s i n g d i e r e n t l i n e a r a l i z a t i o n a l g o r i t h m f o r S i m p l e S G P

7 C o m p a r a t i v e E v a l u a t i o n o f S G P , A G P a n d C o m p e t i t o r s

7 . 1 E x p e r i m e n t a l D e s i g n

T h e e x p e r i m e n t a l s e t u p i s s h o w n i n F i g u r e 1 4 . T h e c a n d i d a t e s f o r t h e O P A S - F B m e t h o d a r e F P , O M ,

C h a n , S o r t , S G P , a n d A G P a l g o r i t h m . T h e r e a r e s o m e b a s i c c o n s t r a i n t s o n t h e e x p e r i m e n t w h i c h a r e

w o r t h m e n t i o n i n g a t t h e o u t s e t . T h e s e c o n s t r a i n t s a r e d u e t o t h e p r o p e r t i e s o f t h e d a t a s e t a t h a n d . I f

t h e r e l a t i o n s h i p t y p e b e t w e e n t h e t w o r e l a t i o n s i s 1 : 1 o r 1 : N , t h e n t h e s o r t i n g a n d A G P a l g o r i t h m

l e a d s t o t h e o p t i m a l p a g e a c c e s s s e q u e n c e . E v e n i n t h e s i t u a t i o n w h e r e t h e r e l a t i o n s h i p t y p e i s M : N ,

t h e s o r t i n g a n d A G P a l g o r i t h m c a n g i v e a g o o d p e r f o r m a n c e , p r o v i d e d t h a t s o r t i n g o n o n e r e l a t i o n

c a n l e a d t o a g o o d c l u s t e r i n g o f p a g e s i n t h e o t h e r r e l a t i o n . W e u s e d a s u b s e t o f t h e S e q u o i a d a t a s e t

t h a t c o n s i s t e d o f t w o r e l a t i o n s : P o i n t a n d P o l y g o n . W e c o n v e r t e d t h e P o i n t d a t a s e t i n t o a n a x i s - p a r a l l e l

r e c t a n g u l a r d a t a s e t . T h e o r i e n t a t i o n o f e a c h r e c t a n g l e w a s c h o s e n a t r a n d o m . W e u s e d t h e i n t e r s e c t i o n

b i n a r y r e l a t i o n s h i p a s t h e s p a t i a l j o i n p r e d i c a t e . C o n v e r t i n g t h e p o i n t d a t a i n t o a r e c t a n g u l a r d a t a s e t

t r a n s f o r m e d t h e N : 1 p o i n t - p o l y g o n r e l a t i o n s h i p i n t o a n M : N r e c t a n g l e - p o l y g o n r e l a t i o n s h i p .

2 0



7 . 2 E x p e r i m e n t r e s u l t s

7 . 2 . 1 P a g e s i z e

P a g e s i z e a e c t s t h e c l u s t e r i n g o f t h e b a s e r e l a t i o n s a n d a l s o t h e d e g r e e o f t h e n o d e s i n t h e P C G s . W e

s t u d y t h e e e c t o f p a g e s i z e o n t h e p e r f o r m a n c e o f t h e O P A S - F B m e t h o d s . W e x e d t h e b u e r s p a c e

a t v e p e r c e n t o f t h e n u m b e r o f p a g e s o f r e l a t i o n R , a n d e d g e r a t i o a t 0 . 0 0 6 6 9 . W e v a r i e d t h e p a g e s i z e

f r o m 2 k t o 3 2 k . F i g u r e 1 7 ( a ) s h o w s t h e r e s u l t o f t h i s e x p e r i m e n t . T h e S G P m e t h o d o u t p e r f o r m s t h e

o t h e r m e t h o d s f o r m o s t v a l u e s o f p a g e s i z e . I t c o m e s s e c o n d t o F F f o r a f e w p a g e s i z e .

5000

10000

15000

20000

25000

30000

35000

5 10 15 20 25 30

N u

m b e r o f p a g e a c c e s s

Page size (Kbytes)

FPOM

ChanAGPSGP

( a ) P a g e s i z e : 2 K - 3 2 K , B u e r s i z e :

5 % o f t h e R r e l a t i o n ) , E d g e r a t i o :

0 . 0 0 6 6 9

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

4 6 8 10 12 14 16 18 20 22

N u


Percentage of R pages

FPOM

ChanAGPSGP



0 . 0 0 6 6 9

0

50000

100000

150000

200000

250000

300000

350000

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1

N u


Edge Ratio

FPOM

ChanAGPSGP

( c ) E d g e r a t i o : 0 . 0 0 6 6 9 - 0 . 0 9 6 3 8 ,


s i z e : 2 K

F i g u r e 1 7 : E e c t o f P a g e S i z e , B u e r S i z e , a n d E d g e R a t i o f o r d i e r e n t O P A S - F B h e u r i s t i c s

7 . 2 . 2 B u e r s i z e

I n t h i s e x p e r i m e n t , w e x e d t h e e d g e r a t i o a t 0 . 0 0 6 6 9 , a n d t h e p a g e s i z e a t 2 k . W e v a r i e d t h e n u m b e r

o f b u e r s a s a p e r c e n t a g e o f t h e n u m b e r o f p a g e s o f r e l a t i o n R . T h e p e r c e n t a g e i s c h a n g e d f r o m 5 t o 2 0 .

F i g 1 7 ( b ) s h o w s t h e n u m b e r o f p a g e a c c e s s e s r e c o r d e d b y e a c h o f t h e s i x m e t h o d s . A l a r g e b u e r s i z e

i m p r o v e s t h e p e r f o r m a n c e o f e a c h m e t h o d , w h i l e t h e A G P h e u r i s t i c o v e r a l l h a s t h e b e s t p e r f o r m a n c e ,

e v e n t h o u g h S G P a n d O M d o w e l l a t s o m e p l a c e s .

7 . 2 . 3 E d g e R a t i o

I n t h i s e x p e r i m e n t , w e b u e r s i z e s e t a t 5 p e r c e n t a n d p a g e s i z e s e t a t 2 K . W e c h a n g e d t h e e d g e r a t i o

b y i n c r e a s i n g / d e c r e a s i n g t h e s i z e o f t h e s q u a r e s i d e o f r e l a t i o n R . T h e r e s u l t o f t h e e x p e r i m e n t s h o w s i n

F i g u r e 1 7 ( c ) . T h e S G P m e t h o d r e s u l t s i n a l o w e r n u m b e r o f p a g e a c c e s s e s t h a n t h e o t h e r m e t h o d s f o r

l o w e r e d g e r a t i o , a n d A G P d o e s b e s t f o r h i g h e r v a l u e s o f e d g e r a t i o .

T h e e x a m p l e f o r t h e e e c t o f E d g e R a t i o

W e u s e a n e x a m p l e t o i l l u s t r a t e t h e e e c t o f t h e c h a r a c t e r i s t i c o f t h e P C G f o r s u i t a b i l i t y o f a s y m m e t r i c

a n d s y m m e t r i c m e t h o d s f o r j o i n p r o c e s s i n g g i v e n a j o i n i n d e x . T h e b u e r s i z e i s x e d a t v e f o r t h i s e x a m -

2 1



1

1

1

1

1

1

1

0 3

0

1

2

3

4

5

6

1 2 4 65

0

0 0

0

0

0

0

0

0

0

0 0

0

0

0

0

0 0 0

0 0

0

0

0

0

00

0

0

0

0

0

0

0

00

0

0

0

00

0

1

0

0

0

0

0

0

0

0000000

R

7

7 S

1

1

1

1

1

1

1

0 3

0

1

2

3

4

5

6

1 2 4 65

0

0 0

0

0

0

0 0

0

0

0

0

00

0

0

0

00

0

1

0

0

0

0

0

00000

R

7

7 S

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

(b)Thickness=5(a)Thickness=1

1

1

1

1

1

1

1

0 3

0

1

2

3

4

5

6

1 2 4 65

0

0 0

0

0

0

0 0

0

0

0

00

0

0

0

1

0

0

0

0

00000

R

7

7 S

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

(c)Thickness=6

1

1

1

1

1

1

1

0 3

0

1

2

3

4

5

6

1 2 4 65

1

R

7

7 S

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

0 3

0

1

2

3

4

5

6

1 2 4 65

0

0 0

0

0

0

0

00

0

0

0

1

0

0

0

0

0000

R

7

7 S

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

(c)Thickness=7

1

1

1

1

1

(c)Thickness=15

1

1

1

1

1

1

1

1

1 1

1

1

1

1

1

1

111

1

F i g u r e 1 8 : T a b l e f o r d i e r e n t e d g e r a t i o

C l a s s 1 : 1 M : N M : N M : N M : N

E d g e R a t i o 8 / 6 4 3 4 / 6 4 3 9 / 6 4 4 4 / 6 4 1

A G P / S o r t i n g 1 6 2 0 2 1 2 2 2 4

O M 1 6 1 6 1 8 2 1 3 5

F P 1 6 1 6 2 3 2 6 3 2

C h a n 1 6 1 6 1 8 2 3 3 5

S G P 1 6 1 6 2 1 2 6 3 4

T a b l e 2 : I / O c o u n t f o r d i e r e n t m e t h o d s

p l e . T h e t h i c k n e s s o f t h e d i a g o n a l i n c r e a s e s f r o m o n e t o f t e e n , e . g . f r o m s p a r s e m a t r i x t o f u l l c o n n e c t e d

g r a p h , a s s h o w n i n F i g u r e 1 8 . T a b l e 2 s h o w s t h e n u m b e r o f I / O n e e d e d b y s y m m e t r i c a n d a s y m m e t r i c

m e t h o d t o c o m p u t e j o i n . W h e n t h e t h i c k n e s s o f d i a g o n a l i s s m a l l , e . g . 1 , a l l m e t h o d s h a v e t h e s a m e

I / O c o u n t , a n d t h e s o r t i n g h e u r i s t i c i s t h e c h e a p e s t t o n d t h e p a g e a c c e s s s e q u e n c e . A s t h e d i a g o n a l -

t h i c k n e s s i n c r e a s e , t h e p e r f o r m a n c e o f s o r t i n g d e t e r i o r a t e , a n d s y m m e t r i c m e t h o d s ( O M , F P , C h a n , S G P )

o u t p e r f o r m a s y m m e t r i c h e u r i s t i c s , e . g . A G P , S o r t i n g . F i n a l l y , a s t h e g r a p h g e t s c l o s e r t o b e i n g f u l l y

c o n n e c t e d , t h e t h i c k n e s s o f t h e d i a g o n a l i s g r e a t e r t h a n B , a s y m m e t r i c m e t h o d s o u t p e r f o r m s y m m e t r i c

m e t h o d s . W e s u m m a r i z e o u r e x p e r i e n c e w i t h v a r i o u s k i n d s o f j o i n p r o b l e m t o w a r d c h o o s i n g a m e t h o d

t o c o m p u t e j o i n u s i n g j o i n - i n d e x a s i n T a b l e 3 .

8 C o n c l u s i o n a n d F u t u r e W o r k

I n t h i s p a p e r , w e i n t r o d u c e s p a t i a l c l u s t e r i n g m e t h o d s f o r m i n i m i z i n g r e d u n d a n t I / O , g i v e n a x e d

b u e r . W e a l s o p r o p o s e t h r e e r e n e m e n t s w h i c h f u r t h e r i m p r o v e t h e p e r f o r m a n c e o f t h e b a s i c a l g o r i t h m .

T h e p r o p o s e d A G P a n d S G P h e u r i s t i c u s u a l l y o u t p e r f o r m t h e S o r t - b a s e d h e u r i s t i c a n d G r a p h - b a s e d

h e u r i s t i c s . I n t h e f u t u r e , w e w o u l d l i k e t o e x p l o r e a l g o r i t h m s f o r m u l t i - w a y j o i n - i n d e x e s u s i n g t h e b a s e

d a t a s e t s c o n s i s t i n g o f p o i n t , l i n e a n d p o l y g o n d a t a t y p e s . W e a l s o p l a n t o d o e x p e r i m e n t s w i t h d i e r e n t

s p a t i a l p r e d i c a t e s l i k e d i r e c t i o n a n d d i s t a n c e . F i n a l l y , w e w o u l d a l s o l i k e t o i n v e s t i g a t e t h e r e l a t i o n s h i p

b e t w e e n a m u l t i - w a y j o i n a n d t h e h y p e r - g r a p h p a r t i t i o n i n g m o d e l , a n d t o e s t a b l i s h u p p e r b o u n d s f o r

t h e p a g e - a c c e s s s c h e d u l e o n t h e m u l t i - w a y j o i n .

T h e m i n - c u t h y p e r g r a p h p a r t i t i o n i n g p a c k a g e ( h M e t i s ) w e u s e i n o u r e x p e r i m e n t m i n i m i z e s t h e n u m -

2 2



D o m a i n

O n e -

d i m e n s i o n

N o m e t h o d

h a s r e d u n d a n t

C h e a p e s t = S o r t i n g

N o s y m m e t r i c

m e t h o d h a s r e -

d u n d a n t I / O

C h e a p e s t = F P

S m a l l v e r t e x

c o v e r f o r o B

d i a g o n a l e d g e s )

S G P ,

A s y m m e t r i c

m e t h o d s h a v e

l e s s r e d u n d a n t

I / O . C h e a p e s t =

S o r t i n g .

M u l t i -

d i m e n s i o n

N o m e t h o d b u t

s o r t i n g h a s r e -

d u n d a n t I / O

C h e a p e s t = A G P

S o m e c a s e s ,

O M , F P , o r C h a n

m a y b e s l i g h t l y

b e t t e r .

A G P h a s l e a s t

I / O

R e l a t i o n s h i p

C a r d i n a l i t y

1 : 1

1 : N

M : N

T h i c k n e s s o f

d i a g o n a l

1 B > B , b u t f e w e n t r i e s

o u t s i d e B d i a g o n a l

F u l l y c o n n e c t e d

T a b l e 3 : S u m m a r y

b e r o f h y p e r e d g e c o n n e c t i n g n o d e s a c r o s s c l u s t e r s . H o w e v e r , i t d o e s n o t d i s t i n g u i s h a h y p e r g r a p h c u t t i n g

b y f o u r c l u s t e r s o r t w o c l u s t e r s . W h i l e o u r e x p e r i m e n t s h o w s t h a t A G P o u t p e r f o r m s S o r t i n g b a s e d h e u r i s -

t i c a l r e a d y , t h e p e r f o r m a n c e o f A G P w i l l b e i m p r o v e d w h e n b e t t e r a l g o r i t h m f o r h y p e r g r a p h p a r t i t i o n i n g

a r e a v a i l a b l e w h i c h m i n i m i z e s t o t a l n u m b e r o f c u t s o n c u t - h y p e r e d g e s .

W e u s e d t w o t r i v i a l h e u r i s t i c s t o s o l v e t h e L o n g e s t C i r c u i t p r o b l e m i n R e n e m e n t 3 f o r S G P . T h e r e

a r e o t h e r m o r e s o p h i s t i c a t e d h e u r i s t i c a v a i l a b l e 2 9 ] , a n d t h e y m a y i m p r o v e t h e p e r f o r m a n c e o f o u r

m e t h o d s . W e p l a n t o t e s t t h e s e h e u r i s t i c .

D a t a W a r e h o u s e s 3 , 1 6 ] p r o c e s s l a r g e v o l u m e s o f d a t a o b t a i n e d f r o m o p e r a t i o n a l a n d l e g a c y s y s t e m s .

D a t a w a r e h o u s e s c l e a n a n d t r a n s f o r m t h e d a t a s o t h a t c h a n g e s c a n t r e n d s c a n b e i n f e r r e d f r o m t h e d a t a .

T h e v o l u m e o f d a t a i n t h e s e d a t a w a r e h o u s e s i s v e r y l a r g e a n d t h e d a t a i s u p d a t e d i n f r e q u e n t l y , d u e

t o t h e h i s t o r i c a l n a t u r e o f t h e d a t a . D a t a w a r e h o u s e s o f t e n u s e p r e c o m p u t a t i o n a n d m a t e r a l i z a t i o n

t e c h n i q u e s l i k e S T A R i n d e x 3 ] t o s p e e d u p o n l i n e q u e r y p r o c e s s i n g . W e w o u l d l i k e t o a p p l y o u r g r a p h

p a r t i t i o n i n g a p p r o a c h a s i n J o i n I n d e x t o S T A R i n d e x .

T h e d a t a s e t s u s e d i n o u r e x p e r i m e n t s a r e P o i n t ( C a l i f o r n i a p l a c e n a m e s ) a n d P o l y g o n ( C r o p l a n d

a n d P a s t u r e l a n d u s e i n C A ) d a t a , d e r i v e d f r o m S e q u o i a 2 0 0 0 3 2 ] b e n c h m a r k s d a t a s e t s . T h e r e a r e

o t h e r d a t a s e t i n t h i s b e n c h m a r k t h a t c a n b e u s e d i n o u r e x p e r i m e n t s f o r p e r f o r m a n c e a n a l y s i s . F o r

e x a m p l e , t h e S t r e a m s d a t a c o n t a i n s 2 0 1 , 6 5 9 s t r e a m s e g m e n t s , e x t r a c t e d f r o m t h e t h e U S G e o l o g i c a l

S u r v e y ' s D i g i t a l L i n e G r a p h h y d r o g r a p h y d a t a f o r C a l i f o r n i a . F o r p o l y g o n d a t a , t h e r e a r e A g r i c u l t u r a l

L a n d , F o r e s t L a n d , W e t l a n d , R a n g e l a n d , B a r r e n L a n d , e t c . T h e S t r e a m s l a y e r d a t a c a n d o t h e m a p

o v e r l a y o p e r a t i o n s ( u n i o n , i n t e r s e c t i o n , i d e n t i t y ) 7 , 1 0 ] , w i t h t h e P o l y g o n l a y e r s , a n d t h e J o i n I n d e x c a n

b e p r e c o m p u t e d f o r p r o c e s s i n g l a t e r s p a t i a l j o i n r e q u e s t s .

A c k n o w l e d g e m e n t s

T h i s w o r k i s s p o n s o r e d i n p a r t b y t h e A r m y H i g h P e r f o r m a n c e C o m p u t i n g R e s e a r c h C e n t e r u n d e r t h e a u s p i c e s o f t h e

D e p a r t m e n t o f t h e A r m y , A r m y R e s e a r c h L a b o r a t o r y c o o p e r a t i v e a g r e e m e n t n u m b e r D A A H 0 4 - 9 5 - 2 - 0 0 0 3 / c o n t r a c t n u m b e r

2 3



D A A H 0 4 - 9 5 - C - 0 0 0 8 , t h e c o n t e n t o f w h i c h d o e s n o t n e c e s s a r i l y r e e c t t h e p o s i t i o n o r t h e p o l i c y o f t h e g o v e r n m e n t , a n d

n o o c i a l e n d o r s e m e n t s h o u l d b e i n f e r r e d . T h i s w o r k w a s a l s o s u p p o r t e d i n p a r t b y N S F g r a n t # 9 6 3 1 5 3 9 . T h a n k s t o

C h r i s t i a n e M c C a r t h y f o r h e l p i n g t o i m p r o v e t h e r e a d a b i l i t y o f t h e p a p e r .

R e f e r e n c e s

1 ] L . B e c k e r , K . H i n r i c h s , a n d U . F i n k e . A N e w A l g o r i t h m f o r C o m p u t i n g J o i n s W i t h G r i d F i l e s . I n P r o c e e d i n g s o f

I n t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , 1 9 9 3 .

2 ] E . B e r t i n o a n d W . K i m . I n d e x i n g T e c h n i q u e s f o r Q u e r i e s o n N e s t e d O b j e c t s . I E E E T r a n s . K n o w l e d g e a n d D a t a

E n g . , 1 ( 2 ) : 1 9 6 { 2 1 4 , J u n e 1 9 8 9 .

3 ] R e d B r i c k . W h i t e P a p e r s , h t t p : / / w w w . r e d b r i c k . c o m

4 ] T . B r i n k h o , H . K r i e g e l , R . S c h n e i d e r , a n d B . S e e g e r . M u l t i - S t e p P r o c e s s i n g o f S p a t i a l J o i n s . I n P r o c e e d i n g s o f A C M

S I G M O D I n t e r n a t i o n a l C o n f e r e n c e o n M a n a g e m e n t o f D a t a , M a y 1 9 9 4 .

5 ] T . B r i n k h o , H . K r i e g e l , a n d B . S e e g e r . E c i e n t P r o c e s s i n g o f S p a t i a l J o i n s U s i n g R - t r e e s . I n P r o c e e d i n g s o f A C M

S I G M O D I n t e r n a t i o n a l C o n f e r e n c e o n M a n a g e m e n t o f D a t a , M a y 1 9 9 0 .

6 ] C h e e Y o n g C h a n a n d B e n g C h i n O o i . E c i e n t S c h e d u l i n g o f P a g e A c c e s s i n I n d e x - B a s e d J o i n P r o c e s s i n g . I E E E

T r a n s a c t i o n s o n K n o w l e d g e a n d D a t a E n g i n e e r i n g , N o v e m b e r / D e c e m b e r 1 9 9 7 .

7 ] Y u e - H o n g C h o u . E x p l o r i n t S p a t i a l A n a l y s i s i n G e o g r a p h i c I n f o r m a t i o n S y s t e m s . O n w o r d P r e s s , 1 9 9 6 .

8 ] B . C . D e s a i . P e r f r o m a n c e o f a C o m p o s i t e A t t r i b u t e a n d J o i n I n d e x . I E E E T r a n s . S o f t w a r e E n g . , 1 5 ( 2 ) : 1 4 2 { 1 5 2 ,

F e b r u a r y 1 9 8 9 .

9 ] F . F o t o u h i a n d S . P r a m a n i k . O p t i m a l S e c o n d a r y S t o r a g e A c c e s s S e q u e n c e f o r P e r f o r m i n g R e l a t i o n a l J o i n . I E E E

T r a n s a c t i o n s o n K n o w l e d g e a n d D a t a E n g i n e e r i n g , S e p t e m b e r 1 9 8 9 .

1 0 ] A . F r a n k . O v e r l a y p r o c e s s i n g i n s p a t i a l i n f o r m a t i o n s y s t e m s . C o m p u t e r - A s s i s t e d C a r t o g r a p h y , 1 9 8 8 .

1 1 ] M i c h a e l R . G a r e y a n d D a v i d S . J o h n s o n . C o m p u t e r s a n d I n t r a c t a b i l i t y : A G u i d e t o t h e T h e o r y o f N P - C o m p l e t e n e s s

W . H . F r e e m a n a n d C o m p a n y , 1 9 9 3 .

1 2 ] P . G o y a l , H . F . L i , E . R e g e n e r , a n d F . S a d r i . S c h e d u l i n g o f P a g e F e t c h e s i n J o i n O p e r a t i o n U s i n g B c - T r e e s . I n

P r o c e e d i n g s o f I n t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , 1 9 8 8 .

1 3 ] G . G r a e f e . Q u e r y E v a l u a t i o n T e c h n i q u e s f o r L a r g e D a t a b a s e s . C o m p u t i n g S u r v e y s , 2 5 ( 2 ) : 7 3 { 1 7 0 , 1 9 9 3 .

1 4 ] O . G u n t h e r , L . B e c k e r , K . H i n r i c h s , a n d U . F i n k e . E c i e n t C o m p u t a t i o n o f S p a t i a l J o i n s . I n P r o c e e d i n g s o f I n t e r n a -

t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , 1 9 9 3 .

1 5 ] L . H a g e n a n d A . K a h n g . F a s t S p e c t r a l M e t h o d s f o r R a t i o C u t P a r t i t i o n i n g a n d C l u s t e r i n g . I n P r o c e e d i n g s o f I E E E

I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r A i d e d D e s i g n , 1 9 9 1 .

1 6 ] W . H . I n m o n . B u i l d i n g t h e D a t a W a r e h o u s e . J o h n W i l e y & S o n s I n c , 1 9 9 2 .

1 7 ] G . K a r y p i s , R . A g g a r w a l , V . K u m a r , a n d S . S h e k h a r . h M e t i s H o m e P a g e . h t t p : / / w w w -

u s e r s . c s . u m n . e d u / ~ k a r y p i s / m e t i s / h m e t i s / m a i n . h t m l

1 8 ] G . K a r y p i s , R . A g g a r w a l , V . K u m a r , a n d S . S h e k h a r . M u l t i l e v e l h p e r g r a p h p a r t i t i o n i n g : A p p l i c a t i o n i n V L S I d o m a i n .

P r o c e e d i n g s A C M / I E E E D e s i g n A u t o m a t i o n C o n f e r e n c e , 1 9 9 7 .

1 9 ] G . K a r y p i s a n d V . K u m a r . M e t i s H o m e P a g e . h t t p : / / w w w - u s e r s . c s . u m n . e d u / ~ k a r y p i s / m e t i s / m e t i s / m a i n . h t m l

2 0 ] A . K e m p e r a n d G . M o e r k o t t e . A c c e s s S u p p o r t i n O b j e c t B a s e s . I n P r o c . A C M S I G M O D , A t l a n t i c C i t y , N . J . , p a g e s

3 6 4 { 3 7 4 , 1 9 9 0 .

2 1 ] B . W . K e r n i g h a n a n d S . L i n . A n E c i e n t H e u r i s t i c P r o c e d u r e f o r P a r t i t i o n i n g G r a p h s . T h e B e l l S y s t e m T e c h n i c a l

J o u r n a l , 1 9 7 0 .

2 2 ] D . R . L i u a n d S . S h e k h a r . A S i m i l a r i t y G r a p h - B a s e d A p p r o a c h t o D e c l u s t e r i n g P r o b l e m a n d i t s A p p l i c a t i o n s T o w a r d

P a r a l l e l i z i n g G r i d F i l e s . I n P r o c e e d i n g s o f t h e E l e v e n t h I n t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , I E E E , p a g e s

3 7 3 { 3 8 1 , M a r c h 1 9 9 5 .

2 3 ] M . L o a n d C . V . R a v i s h a n k a r . S p a t i a l J o i n s U s i n g S e e d e d T r e e s . I n P r o c e e d i n g s o f t h e F o u r t h I n t e r n a t i o n a l S y m p o s i u m

o n L a r g e S p a t i a l D a t a b a s e s , 1 9 9 5 .

2 4 ] H . L u , R . L u o , a n d B . C . O o i . S p a t i a l Q u e r y P r o c e s s i n g b y A p p r o x i m a t i o n s . J . A u s t r a l i a n C o m p u t e r S c i e n c e C o m m . ,

1 7 ( 2 ) : 1 3 2 { 1 4 2 , 1 9 9 5 .

2 5 ] T . M e r r e t t , Y . K i m b a y a s i , a n d H . Y a s u u r a . S c h e d u l i n g o f P a g e - F e t c h e s i n J o i n O p e r a t i o n s . I n P r o c e e d i n g s o f t h e 7 t h

I n t e r n a t i o n a l C o n f e r e n c e o n V e r y L a r g e D a t a b a s e s , 1 9 8 1 .

2 6 ] P . M i s h r a a n d M . H . E i c h . J o i n P r o c e s s i n g i n R e l a t i o n a l D a t a b a s e s . C o m p u t i n g S u r v e y s , 2 4 ( 1 ) : 6 3 { 1 1 3 , 1 9 9 2 .

2 4



2 7 ] E d w a r d R . O m i e c i n s k i . H e u r i s t i c s f o r J o i n P r o c e s s i n g U s i n g N o n c l u s t e r e d I n d e x e s . I E E E T r a n s a c t i o n s o n S o f t w a r e

E n g i n e e r i n g , 1 5 , J a n u a r y 1 9 8 9 .

2 8 ] S . P r a m a n i k a n d D . I t t n e r . U s e o f G r a p h T h e o r i t i c M o d e l s f o r O p t i m a l R e l a t i o n a l D a t a b a s e A c c e s s e s t o P e r f o r m

J o i n . A C M T r a n s a c t i o n s o n D a t a b a s e S y s t e m s , M a r c h 1 9 8 5 .

2 9 ] G e r h a r d R e i n e l t . T h e T r a v e l i n g S a l e s m a n : C o m p u t a t i n a l S o l u t i n s f o r T S P A p p l i c a t i o n s . S p r i n g e r - V e r l a g , 1 9 9 4 .

3 0 ] D . R o t e m . S p a t i a l J o i n I n d i c e s . I n P r o c e e d i n g s o f I n t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g , 1 9 9 1 .

3 1 ] S . S h e k h a r a n d D . R . L i u . C C A M : A C o n n e c t i v i t y - C l u s t e r e d A c c e s s M e t h o d f o r N e t w o r k s a n d N e t w o r k s C o m p u t i o n s .

I E E E T r a n s . o n K n o w l e d g e a n d D a t a E n g i n e e r i n g , 9 ( 1 ) , J a n u a r y 1 9 9 7 .

3 2 ] M . S t o n e b r a k e r , J . F r e w , a n d J . D o z i e r . T h e S e q u o i a 2 0 0 0 P r o j e c t . I n P r o c e e d i n g s o f t h e T h i r d I n t e r n a t i o n a l

S y m p o s i u m o n L a r g e S p a t i a l D a t a b a s e s , 1 9 9 3 .

3 3 ] P . V a l d u r i e z . J o i n I n d i c e s . A C M T r a n s a c t i o n s o n D a t a b a s e S y s t e m s , p a g e s 2 1 8 { 2 4 6 , D e c e m b e r 1 9 8 7 .

2 5



A L o n g e s t C i r c u i t h e u r i s t i c

O n e - w a y g r e e d y h e u r i s t i c

1 . C h o o s e t h e n o d e V p

i

c o n n e c t i n g t o t h e l o n g e s t l e n g t h e d g e a s t h e s t a r t n o d e .

2 . F o r a l l o f t h e n o d e s c o n n e c t e d t o V p

i

, n d t h e l o n g e s t l e n g t h e d g e w i t h c o r r e s p o n d i n g n o d e V p

j

s e t V p

i

t o V p

j

.

3 . r e p e a t s t e p 2 .

S o r t i n g h e u r i s t i c

1 . S o r t t h e e d g e s i n g r a p h G p i n d e s c e n d i n g o r d e r

2 . S c a n t h e s e e d g e s c o n s t r u c t a s e t o f ( n - 1 ) e d g e s w i t h l i n e a r p r o p e r t y .

I n t h i s m e t h o d , w e i n i t i a l l y c h o o s e t h e e d g e w i t h l o n g e s t l e n g t h a n d t w o n o d e s a s s o c i a t e d w i t h i t .

T h e n , w e d o a g r e e d y s e a r c h o n b o t h s i d e s a n d c o n s t r u c t t h e l i n e a r o r d e r .

2 6



B S G P A l g o r i t h m

I n p u t : G = ( V E ) i s a p a g e c o n n e c t i v i t y g r a p h .

O u t p u t : S = < P

1

P

2

: : : P

r

> i s a p a g e a c c e s s s e q u e n c e w i t h r j V j ( P

i


a s s e r t ( B 2 ) / * N u m b e r o f b u e r g r e a t e r t h a n t w o * /

H G = C o n s t r u c t H y p e r G r a p h ( G ) / * C o n s t r u c t H y p e r g r a p h H G f r o m G * /

P S e t

m

= M e t i s - P a r t i t i o n ( G B ; 1 ) / * S i m p l e g r a p h p a r t i t i o n , u s i n g M e t i s * /

P S e t

h

= h M e t i s - P a r t i t i o n ( H G B ; 1 ) / * H y p e r g r a p h p a r t i t i o n , u s i n g h M e t i s * /

E

m

= E d g e - C u t - N o ( G P S e t

m

) / * N u m b e r o f e d g e c u t u s i n g M e t i s a l g o r i t h m * /

E

h

= E d g e - C u t - N o ( G P S e t

h

) / * N u m b e r o f e d g e c u t u s i n g h M e t i s a l g o r i t h m * /

i f ( E

m

E

h

) f

/ * O r d e r t h e p a r t i t i o n s u s i n g t h e o n e w a y g r e e d y h e u r i s t i c * /

P

o r d e r

= O n e - W a y - L o n g e s t - C i r c u i t ( P S e t

m

) g

e l s e f P

o r d e r

= O n e - W a y - L o n g e s t - C i r c u i t ( P S e t

h

) g

/ * L o a d t h e p a r t i t i o n i n t o b u e r a s d e t e r m i n e d b y t h e l o n g e s t c i r c u i t h e u r i s t i c * /

f o r ( i = 1 i j P

o r d e r

j i + + ) f

P

i

= G e t P a r t i t i o n ( P

o r d e r

i ) / * G e t t h e i t h p a r t i t i o n * /

i f ( i = = 1 ) f


i

) / * A d d a l l t h e n o d e s w i t h i n P

1

i n t o t h e l o a d i n g s e q u e n c e * / g

e l s e f

O r d e r A n d A d d P a g e S e q u e n c e ( S P

i ; 1

P

i

)

/ * O r d e r a n d a d d t h e n o d e s w i t h i n P

i

i n t o t h e l o a d i n g s e q u e n c e b y t h e f o l l o w i n g r u l e s : * /

/ * 1 . A d d t h e n o d e w i t h i n P

i

w h i c h h a s t h e h i g h e s t c o n n e c t i v i t y w i t h P

i ; 1

* /

/ * 2 . R e p l a c e t h e n o d e w i t h i n P

i ; 1

w h i c h h a s n i s h e d i t s j o i n w i t h t h e n o d e s i n P

i

* /

g

C P S e t = F i n d C o n n e c t P a r t i t i o n ( P

i

, G e t P a r t i t i o n ( P

o r d e r

i + 1 ) )

/ * F i n d a l l t h e p a r t i t i o n s w h i c h h a v e c u t - e d g e s e t w i t h P

i

, e x c e p t t h e n e x t l o a d i n g p a r t i t i o n P

i + 1

* /

f o r ( j = 1 j j C P S e t j j + + ) f

C P

j

= C P S e t j ] / * G e t t h e j - t h c o n n e c t e d p a r t i t i o n * /

N o d e s C P

j

i ] = G e t I n c i d e n t N o d e s ( C P

j

, i )

/ * F i n d a l l t h e d i s t i n c t n o d e s i n p a r t i t i o n C P

j

w h i c h c o n n e c t t o p a r t i t i o n i * /

N o d e s i C P

j

] = G e t I n c i d e n t N o d e s ( i , C P

j

)

/ * F i n d a l l t h e d i s t i n c t n o d e s i n p a r t i t i o n i w h i c h c o n n e c t t o p a r t i t i o n C P

j

* /

i f ( ( j N o d e s C P

j

i ] j j N o d e s i C P

j

] j ) & & ( N o d e s C P

j

i ] : f l a g ! = " p r o c e s s e d " ) ) f

/ * R e n e m e n t 2 * /

A d d P a g e S e q u e n c e ( S N o d e s C P

j

i ] ) / * A d d t h e s e n o d e s i n t o t h e l o a d i n g s e q u e n c e * /

N o d e s C P

j

i ] : f l a g = " p r o c e s s e d "

N o d e s i C P

j

] : f l a g = " p r o c e s s e d "

/ * M a r k t h e a g o f t h e n o d e s b e t w e e n t w o p a r t i t i o n s a s " p r o c e s s e d " * /

g

g

g

Exp Uriarte040

Documents

Transcript of Exp Uriarte040