Graphical Models by z.ghahremani

8/6/2019 Graphical Models by z.ghahremani

1/102

A N I N T R O D U C T I O N T O G R A P H I C A L

M O D E L S

M i c h a e l I . J o r d a n

C e n t e r f o r B i o l o g i c a l a n d C o m p u t a t i o n a l L e a r n i n g

M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y

h t t p : w w w . a i . m i t . e d u p r o j e c t s j o r d a n . h t m l

A c k n o w l e d g m e n t s :

Z o u b i n G h a h r a m a n i , T o m m i J a a k k o l a , M a r i n a M e i l a

L a w r e n c e S a u l

D e c e m b e r , 1 9 9 7


2/102

G R A P H I C A L M O D E L S

G r a p h i c a l m o d e l s a r e a m a r r i a g e b e t w e e n g r a p h

t h e o r y a n d p r o b a b i l i t y t h e o r y

T h e y c l a r i f y t h e r e l a t i o n s h i p b e t w e e n n e u r a l

n e t w o r k s a n d r e l a t e d n e t w o r k - b a s e d m o d e l s s u c h a s

H M M s , M R F s , a n d K a l m a n l t e r s

I n d e e d , t h e y c a n b e u s e d t o g i v e a f u l l y p r o b a b i l i s t i c

i n t e r p r e t a t i o n t o m a n y n e u r a l n e t w o r k a r c h i t e c t u r e s

S o m e a d v a n t a g e s o f t h e g r a p h i c a l m o d e l p o i n t o f v i e w

i n f e r e n c e a n d l e a r n i n g a r e t r e a t e d t o g e t h e r

s u p e r v i s e d a n d u n s u p e r v i s e d l e a r n i n g a r e m e r g e d

s e a m l e s s l y

m i s s i n g d a t a h a n d l e d n i c e l y

a f o c u s o n c o n d i t i o n a l i n d e p e n d e n c e a n d

c o m p u t a t i o n a l i s s u e s

i n t e r p r e t a b i l i t y i f d e s i r e d


3/102

G r a p h i c a l m o d e l s c o n t .

T h e r e a r e t w o k i n d s o f g r a p h i c a l m o d e l s ; t h o s e b a s e d

o n u n d i r e c t e d g r a p h s a n d t h o s e b a s e d o n d i r e c t e d

g r a p h s . O u r m a i n f o c u s w i l l b e d i r e c t e d g r a p h s .

A l t e r n a t i v e n a m e s f o r g r a p h i c a l m o d e l s : b e l i e f

n e t w o r k s , B a y e s i a n n e t w o r k s , p r o b a b i l i s t i c

i n d e p e n d e n c e n e t w o r k s , M a r k o v r a n d o m e l d s ,

l o g l i n e a r m o d e l s , i n u e n c e d i a g r a m s

A f e w m y t h s a b o u t g r a p h i c a l m o d e l s :

t h e y r e q u i r e a l o c a l i s t s e m a n t i c s f o r t h e n o d e s

t h e y r e q u i r e a c a u s a l s e m a n t i c s f o r t h e e d g e s

t h e y a r e n e c e s s a r i l y B a y e s i a n

t h e y a r e i n t r a c t a b l e


4/102

L e a r n i n g a n d i n f e r e n c e

A k e y i n s i g h t f r o m t h e g r a p h i c a l m o d e l p o i n t o f v i e w :

I t i s n o t n e c e s s a r y t o l e a r n t h a t w h i c h c a n

b e i n f e r r e d

T h e w e i g h t s i n a n e t w o r k m a k e l o c a l a s s e r t i o n s a b o u t

t h e r e l a t i o n s h i p s b e t w e e n n e i g h b o r i n g n o d e s

I n f e r e n c e a l g o r i t h m s t u r n t h e s e l o c a l a s s e r t i o n s i n t o

g l o b a l a s s e r t i o n s a b o u t t h e r e l a t i o n s h i p s b e t w e e n

n o d e s

e . g . , c o r r e l a t i o n s b e t w e e n h i d d e n u n i t s c o n d i t i o n a l

o n a n i n p u t - o u t p u t p a i r

e . g . , t h e p r o b a b i l i t y o f a n i n p u t v e c t o r g i v e n a n

o u t p u t v e c t o r

T h i s i s a c h i e v e d b y a s s o c i a t i n g a j o i n t p r o b a b i l i t y

d i s t r i b u t i o n w i t h t h e n e t w o r k


5/102

D i r e c t e d g r a p h i c a l m o d e l s | b a s i c s

C o n s i d e r a n a r b i t r a r y d i r e c t e d a c y c l i c g r a p h , w h e r e

e a c h n o d e i n t h e g r a p h c o r r e s p o n d s t o a r a n d o m

v a r i a b l e s c a l a r o r v e c t o r :

A

B

C

D

E

F

T h e r e i s n o a p r i o r i n e e d t o d e s i g n a t e u n i t s a s

i n p u t s , " o u t p u t s " o r h i d d e n "

W e w a n t t o a s s o c i a t e a p r o b a b i l i t y d i s t r i b u t i o n

P A ; B ; C ; D ; E ; F w i t h t h i s g r a p h , a n d w e w a n t

a l l o f o u r c a l c u l a t i o n s t o r e s p e c t t h i s d i s t r i b u t i o n

e . g . ,

P F jA ; B =

C

D

E

P A ; B ; C ; D ; E ; F

C

D

E

F

P A ; B ; C ; D ; E ; F


6/102

S o m e w a y s t o u s e a g r a p h i c a l m o d e l

P r e d i c t i o n :

D i a g n o s i s , c o n t r o l , o p t i m i z a t i o n :

S u p e r v i s e d l e a r n i n g :

w e w a n t t o m a r g i n a l i z e o v e r t h e u n s h a d e d n o d e s i n

e a c h c a s e i . e . , i n t e g r a t e t h e m o u t f r o m t h e j o i n t

p r o b a b i l i t y

u n s u p e r v i s e d l e a r n i n g " i s t h e g e n e r a l c a s e


7/102

S p e c i c a t i o n o f a g r a p h i c a l m o d e l

T h e r e a r e t w o c o m p o n e n t s t o a n y g r a p h i c a l m o d e l :

t h e q u a l i t a t i v e s p e c i c a t i o n

t h e q u a n t i t a t i v e s p e c i c a t i o n

W h e r e d o e s t h e q u a l i t a t i v e s p e c i c a t i o n c o m e f r o m ?

p r i o r k n o w l e d g e o f c a u s a l r e l a t i o n s h i p s

p r i o r k n o w l e d g e o f m o d u l a r r e l a t i o n s h i p s

a s s e s s m e n t f r o m e x p e r t s

l e a r n i n g f r o m d a t a

w e s i m p l y l i k e a c e r t a i n a r c h i t e c t u r e e . g . , a

l a y e r e d g r a p h


8/102

Q u a l i t a t i v e s p e c i c a t i o n o f g r a p h i c a l m o d e l s

A BC

A BC

Aa n d

Ba r e m a r g i n a l l y d e p e n d e n t

Aa n d

Ba r e c o n d i t i o n a l l y i n d e p e n d e n t

A B

C

A B

C

Aa n d


Aa n d



9/102

S e m a n t i c s o f g r a p h i c a l m o d e l s c o n t

A B

C

A B

C

Aa n d

Ba r e m a r g i n a l l y i n d e p e n d e n t

Aa n d

Ba r e c o n d i t i o n a l l y d e p e n d e n t

T h i s i s t h e i n t e r e s t i n g c a s e . . .


10/102

E x p l a i n i n g a w a y "

Burglar

Alarm

Earthquake

Radio

A l l c o n n e c t i o n s i n b o t h d i r e c t i o n s a r e e x c i t a t o r y "

B u t a n i n c r e a s e i n a c t i v a t i o n " o f E a r t h q u a k e l e a d s

t o a d e c r e a s e i n a c t i v a t i o n " o f B u r g l a r

W h e r e d o e s t h e i n h i b i t i o n " c o m e f r o m ?


11/102

Q u a n t i t a t i v e s p e c i c a t i o n o f d i r e c t e d m o d e l s

Q u e s t i o n : h o w d o w e s p e c i f y a j o i n t d i s t r i b u t i o n o v e r

t h e n o d e s i n t h e g r a p h ?

A n s w e r : a s s o c i a t e a c o n d i t i o n a l p r o b a b i l i t y w i t h

e a c h n o d e :

P(C|A,B)P(A)

P(B)

P(D|C)

P(E|C)

P(F|D,E)

a n d t a k e t h e p r o d u c t o f t h e l o c a l p r o b a b i l i t i e s t o

y i e l d t h e g l o b a l p r o b a b i l i t i e s


12/102

J u s t i c a t i o n

I n g e n e r a l , l e t

f S gr e p r e s e n t t h e s e t o f r a n d o m

v a r i a b l e s c o r r e s p o n d i n g t o t h e N

n o d e s o f t h e g r a p h

F o r a n y n o d e

S

i

, l e t p a S

i

r e p r e s e n t t h e s e t o f

p a r e n t s o f n o d e S

i

T h e n

P S =

P S

1

P S

2

j S

1

P S

N

j S

N , 1

; : : : ; S

1

=

Y

i

P S

i

j S

i , 1

; : : : ; S

1

=

Y

i

P S

i

jp a

S

i

w h e r e t h e l a s t l i n e i s b y a s s u m p t i o n

I t i s p o s s i b l e t o p r o v e a t h e o r e m t h a t s t a t e s t h a t i f

a r b i t r a r y p r o b a b i l i t y d i s t r i b u t i o n s a r e u t i l i z e d f o r

P S

i

jp a

S

i

i n t h e f o r m u l a a b o v e , t h e n t h e f a m i l y

o f p r o b a b i l i t y d i s t r i b u t i o n s o b t a i n e d i s e x a c t l y t h a t

s e t w h i c h r e s p e c t s t h e q u a l i t a t i v e s p e c i c a t i o n t h e

c o n d i t i o n a l i n d e p e n d e n c e r e l a t i o n s d e s c r i b e d

e a r l i e r


13/102

S e m a n t i c s o f u n d i r e c t e d g r a p h s

A BC

A BC

Aa n d


Aa n d



14/102

C o m p a r a t i v e s e m a n t i c s

A B

C

A B

C

D

T h e g r a p h o n t h e l e f t y i e l d s c o n d i t i o n a l

i n d e p e n d e n c i e s t h a t a d i r e c t e d g r a p h c a n ' t r e p r e s e n t

T h e g r a p h o n t h e r i g h t y i e l d s m a r g i n a l

i n d e p e n d e n c i e s t h a t a n u n d i r e c t e d g r a p h c a n ' t

r e p r e s e n t


15/102

Q u a n t i t a t i v e s p e c i c a t i o n o f u n d i r e c t e d m o d e l s

A

B

C

D

E

F

i d e n t i f y t h e c l i q u e s i n t h e g r a p h :

A, C

B, C

C, D, E D, E, F

d e n e a c o n g u r a t i o n o f a c l i q u e a s a s p e c i c a t i o n o f

v a l u e s f o r e a c h n o d e i n t h e c l i q u e

d e n e a p o t e n t i a l o f a c l i q u e a s a f u n c t i o n t h a t

a s s o c i a t e s a r e a l n u m b e r w i t h e a c h c o n g u r a t i o n o f

t h e c l i q u e

A, C

B, C

C, D, E D, E, F


16/102

Q u a n t i t a t i v e s p e c i c a t i o n c o n t .

C o n s i d e r t h e e x a m p l e o f a g r a p h w i t h b i n a r y n o d e s

A p o t e n t i a l " i s a t a b l e w i t h e n t r i e s f o r e a c h

c o m b i n a t i o n o f n o d e s i n a c l i q u e

A B

A

B

0

1

0 1

1.5 .4

.7 1.2

M a r g i n a l i z i n g " o v e r a p o t e n t i a l t a b l e s i m p l y m e a n s

c o l l a p s i n g s u m m i n g t h e t a b l e a l o n g o n e o r m o r e

d i m e n s i o n s

A0

1

1.9

1.9

B0 1

2.2 1.6

marginalizing over Amarginalizing over B


17/102

Q u a n t i t a t i v e s p e c i c a t i o n c o n t .

n a l l y , d e n e t h e p r o b a b i l i t y o f a g l o b a l

c o n g u r a t i o n o f t h e n o d e s a s t h e p r o d u c t o f t h e l o c a l

p o t e n t i a l s o n t h e c l i q u e s :

P A ; B ; C ; D ; E ; F =

A ; B

B ; C

C ; D ; E

D ; E ; F

w h e r e , w i t h o u t l o s s o f g e n e r a l i t y , w e a s s u m e t h a t t h e

n o r m a l i z a t i o n c o n s t a n t i f a n y h a s b e e n a b s o r b e d

i n t o o n e o f t h e p o t e n t i a l s

I t i s t h e n p o s s i b l e t o p r o v e a t h e o r e m t h a t s t a t e s

t h a t i f a r b i t r a r y p o t e n t i a l s a r e u t i l i z e d i n t h e

p r o d u c t f o r m u l a f o r p r o b a b i l i t i e s , t h e n t h e f a m i l y

o f p r o b a b i l i t y d i s t r i b u t i o n s o b t a i n e d i s e x a c t l y t h a t

s e t w h i c h r e s p e c t s t h e q u a l i t a t i v e s p e c i c a t i o n t h e

c o n d i t i o n a l i n d e p e n d e n c e r e l a t i o n s d e s c r i b e d

e a r l i e r

T h i s t h e o r e m i s k n o w n a s t h e H a m m e r s l e y - C l i o r d

t h e o r e m


18/102

B o l t z m a n n m a c h i n e

T h e B o l t z m a n n m a c h i n e i s a s p e c i a l c a s e o f a n

u n d i r e c t e d g r a p h i c a l m o d e l

F o r a B o l t z m a n n m a c h i n e a l l o f t h e p o t e n t i a l s a r e

f o r m e d b y t a k i n g p r o d u c t s o f f a c t o r s o f t h e f o r m

e x pf J

i j

S

i

S

j

g

Si

SjJji

S e t t i n g

J

i j

e q u a l t o z e r o f o r n o n - n e i g h b o r i n g n o d e s

g u a r a n t e e s t h a t w e r e s p e c t t h e c l i q u e b o u n d a r i e s

B u t w e d o n ' t g e t t h e f u l l c o n d i t i o n a l p r o b a b i l i t y

s e m a n t i c s w i t h t h e B o l t z m a n n m a c h i n e

p a r a m e t e r i z a t i o n

i . e . , t h e f a m i l y o f d i s t r i b u t i o n s p a r a m e t e r i z e d b y a

B o l t z m a n n m a c h i n e o n a g r a p h i s a p r o p e r s u b s e t

o f t h e f a m i l y c h a r a c t e r i z e d b y t h e c o n d i t i o n a l

i n d e p e n d e n c i e s


19/102

E v i d e n c e a n d I n f e r e n c e

A b s o r b i n g e v i d e n c e " m e a n s o b s e r v i n g t h e v a l u e s o f

c e r t a i n o f t h e n o d e s

A b s o r b i n g e v i d e n c e d i v i d e s t h e u n i t s o f t h e n e t w o r k

i n t o t w o g r o u p s :

v i s i b l e u n i t s t h o s e f o r w h i c h w e h a v e

f V gi n s t a n t i a t e d v a l u e s

e v i d e n c e n o d e s " .

h i d d e n u n i t s t h o s e f o r w h i c h w e d o n o t

f H gh a v e i n s t a n t i a t e d v a l u e s .

I n f e r e n c e " m e a n s c a l c u l a t i n g t h e c o n d i t i o n a l

d i s t r i b u t i o n

P H j V =

P H ; V

f H g

P H ; V

p r e d i c t i o n a n d d i a g n o s i s a r e s p e c i a l c a s e s


20/102

I n f e r e n c e a l g o r i t h m s f o r d i r e c t e d g r a p h s

T h e r e a r e s e v e r a l i n f e r e n c e a l g o r i t h m s ; s o m e o f w h i c h

o p e r a t e d i r e c t l y o n t h e d i r e c t e d g r a p h

T h e m o s t p o p u l a r i n f e r e n c e a l g o r i t h m , k n o w n a s t h e

j u n c t i o n t r e e a l g o r i t h m w h i c h w e ' l l d i s c u s s h e r e ,

o p e r a t e s o n a n u n d i r e c t e d g r a p h

I t a l s o h a s t h e a d v a n t a g e o f c l a r i f y i n g s o m e o f t h e

r e l a t i o n s h i p s b e t w e e n t h e v a r i o u s a l g o r i t h m s

T o u n d e r s t a n d t h e j u n c t i o n t r e e a l g o r i t h m , w e n e e d t o

u n d e r s t a n d h o w t o c o m p i l e " a d i r e c t e d g r a p h i n t o a n

u n d i r e c t e d g r a p h


21/102

M o r a l g r a p h s

N o t e t h a t f o r b o t h d i r e c t e d g r a p h s a n d u n d i r e c t e d

g r a p h s , t h e j o i n t p r o b a b i l i t y i s i n a p r o d u c t f o r m

S o l e t ' s c o n v e r t l o c a l c o n d i t i o n a l p r o b a b i l i t i e s i n t o

p o t e n t i a l s ; t h e n t h e p r o d u c t s o f p o t e n t i a l s w i l l g i v e

t h e r i g h t a n s w e r

I n d e e d w e c a n t h i n k o f a c o n d i t i o n a l p r o b a b i l i t y , e . g . ,

P C jA ; B a s a f u n c t i o n o f t h e t h r e e v a r i a b l e s A ; B

,

a n dC

w e g e t a r e a l n u m b e r f o r e a c h c o n g u r a t i o n :

P(C|A,B)A

B C

P r o b l e m : A n o d e a n d i t s p a r e n t s a r e n o t g e n e r a l l y i n

t h e s a m e c l i q u e

S o l u t i o n : M a r r y t h e p a r e n t s t o o b t a i n t h e m o r a l

g r a p h "

A

B C

P(C|A,B) =A,B,C


22/102

M o r a l g r a p h s c o n t .

D e n e t h e p o t e n t i a l o n a c l i q u e a s t h e p r o d u c t o v e r

a l l c o n d i t i o n a l p r o b a b i l i t i e s c o n t a i n e d w i t h i n t h e

c l i q u e

N o w t h e p r o d u c t s o f p o t e n t i a l s g i v e s t h e r i g h t

a n s w e r :

P A ; B ; C ; D ; E ; F

= P A P B P C jA ; B

P D j C P E j C P F jD ; E

=

A ; B ; C

C ; D ; E

D ; E ; F

w h e r e

A ; B ; C

= P A P B P C jA ; B

a n d

C ; D ; E

= P D j C P E j C

a n d

D ; E ; F

= P F jD ; E

A

B

C

D

E

F A

B

C

D

E

F


23/102

P r o p a g a t i o n o f p r o b a b i l i t i e s

N o w s u p p o s e t h a t s o m e e v i d e n c e h a s b e e n a b s o r b e d .

H o w d o w e p r o p a g a t e t h i s e e c t t o t h e r e s t o f t h e

g r a p h ?


24/102

C l i q u e t r e e s

Ac l i q u e t r e e i s a n u n d i r e c t e d t r e e o f c l i q u e s

A, C

B, C

C, D, E D, E, F

C o n s i d e r c a s e s i n w h i c h t w o n e i g h b o r i n g c l i q u e s

V

a n dW

h a v e a n o v e r l a p S

e . g . , A ; C o v e r l a p s w i t h

C ; D ; E .

V S W

V SW

t h e c l i q u e s n e e d t o a g r e e " o n t h e p r o b a b i l i t y o f

n o d e s i n t h e o v e r l a p ; t h i s i s a c h i e v e d b y

m a r g i n a l i z i n g a n d r e s c a l i n g :

S

=

X

V n S

V

W

=

W

S

S

t h i s o c c u r s i n p a r a l l e l , d i s t r i b u t e d f a s h i o n

t h r o u g h o u t t h e c l i q u e t r e e


25/102

C l i q u e t r e e s c o n t .

T h i s s i m p l e l o c a l m e s s a g e - p a s s i n g a l g o r i t h m o n a

c l i q u e t r e e d e n e s t h e g e n e r a l p r o b a b i l i t y

p r o p a g a t i o n a l g o r i t h m f o r d i r e c t e d g r a p h s !

M a n y i n t e r e s t i n g a l g o r i t h m s a r e s p e c i a l c a s e s :

c a l c u l a t i o n o f p o s t e r i o r p r o b a b i l i t i e s i n m i x t u r e

m o d e l s

B a u m - W e l c h a l g o r i t h m f o r h i d d e n M a r k o v m o d e l s

p o s t e r i o r p r o p a g a t i o n f o r p r o b a b i l i s t i c d e c i s i o n

t r e e s

K a l m a n l t e r u p d a t e s

T h e a l g o r i t h m s e e m s r e a s o n a b l e . I s i t c o r r e c t ?


26/102

A p r o b l e m

C o n s i d e r t h e f o l l o w i n g g r a p h a n d a c o r r e s p o n d i n g

c l i q u e t r e e :

A B

C D

A,B

A,C

B,D

C,D

N o t e t h a t

Ca p p e a r s i n t w o n o n - n e i g h b o r i n g c l i q u e s .

Q u e s t i o n : W h a t g u a r a n t e e d o w e h a v e t h a t t h e

p r o b a b i l i t y a s s o c i a t e d w i t h C

i n t h e s e t w o c l i q u e s

w i l l b e t h e s a m e ?

A n s w e r : N o t h i n g . I n f a c t t h i s i s a p r o b l e m w i t h t h e

a l g o r i t h m a s d e s c r i b e d s o f a r . I t i s n o t t r u e t h a t i n

g e n e r a l l o c a l c o n s i s t e n c y i m p l i e s g l o b a l c o n s i s t e n c y .

W h a t e l s e d o w e n e e d t o g e t s u c h a g u a r a n t e e ?


27/102

T r i a n g u l a t i o n l a s t i d e a , h a n g i n t h e r e

A t r i a n g u l a t e d g r a p h i s o n e i n w h i c h n o c y c l e s w i t h

f o u r o r m o r e n o d e s e x i s t i n w h i c h t h e r e i s n o c h o r d

W e t r i a n g u l a t e a g r a p h b y a d d i n g c h o r d s :

A B

C D

A B

C D

N o w w e n o l o n g e r h a v e o u r p r o b l e m :

B,C,D

A B

C D

A,B,C

A c l i q u e t r e e f o r a t r i a n g u l a t e d g r a p h h a s t h e

r u n n i n g i n t e r s e c t i o n p r o p e r t y : i f a n o d e a p p e a r s i n

t w o c l i q u e s , i t a p p e a r s e v e r y w h e r e o n t h e p a t h

b e t w e e n t h e c l i q u e s

T h u s l o c a l c o n s i s t e n c y i m p l i e s g l o b a l c o n s i s t e n c y

f o r s u c h c l i q u e t r e e s


28/102

J u n c t i o n t r e e s

A c l i q u e t r e e f o r a t r i a n g u l a t e d g r a p h i s r e f e r r e d t o a s

aj u n c t i o n t r e e

I n j u n c t i o n t r e e s , l o c a l c o n s i s t e n c y i m p l i e s g l o b a l

c o n s i s t e n c y . T h u s t h e l o c a l m e s s a g e - p a s s i n g

a l g o r i t h m i s p r o v a b l y c o r r e c t .

I t ' s a l s o p o s s i b l e t o s h o w t h a t o n l y t r i a n g u l a t e d

g r a p h s h a v e t h e p r o p e r t y t h a t t h e i r c l i q u e t r e e s a r e

j u n c t i o n t r e e s . T h u s , i f w e w a n t l o c a l a l g o r i t h m s , w e

m u s t t r i a n g u l a t e .


29/102

S u m m a r y o f t h e j u n c t i o n t r e e a l g o r i t h m

1 . M o r a l i z e t h e g r a p h

2 . T r i a n g u l a t e t h e g r a p h

3 . P r o p a g a t e b y l o c a l m e s s a g e - p a s s i n g i n t h e j u n c t i o n

t r e e

N o t e t h a t t h e r s t t w o s t e p s a r e o - l i n e "

N o t e a l s o t h a t t h e s e s t e p s p r o v i d e a b o u n d o f t h e

c o m p l e x i t y o f t h e p r o p a g a t i o n s t e p


30/102

E x a m p l e : G a u s s i a n m i x t u r e m o d e l s

A G a u s s i a n m i x t u r e m o d e l i s a p o p u l a r c l u s t e r i n g

m o d e l

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

x1

x2

01

0

10

0

100

q =

q =

q =

h i d d e n s t a t e

qi s a m u l t i n o m i a l R V

o u t p u t

xi s a G a u s s i a n R V

p r i o r p r o b a b i l i t i e s o n h i d d e n s t a t e s :

i

= P q

i

= 1

c l a s s - c o n d i t i o n a l p r o b a b i l i t i e s :

P x j q

i

= 1 =

1

2

d = 2

j

i

j

1 = 2

e x p f ,

1

2

x ,

i

T

, 1

i

x ,

i

g


31/102

G a u s s i a n m i x t u r e m o d e l s a s a g r a p h i c a l m o d e l

qq

x x

T h e i n f e r e n c e p r o b l e m i s t o c a l c u l a t e t h e p o s t e r i o r

p r o b a b i l i t i e s :

P q

i

= 1j x

=

P x j q

i

= 1 P q

i

= 1

P x

=

i

j

i

j

1 = 2

e x p f ,

1

2

x ,

i

T

, 1

i

x ,

i

g

P

j

j

j

j

j

1 = 2

e x p f ,

1

2

x ,

j

T

, 1

j

x ,

j

g

T h i s i s a t r i v i a l e x a m p l e o f t h e r e s c a l i n g o p e r a t i o n

o n a c l i q u e p o t e n t i a l


32/102

E x a m p l e : H i d d e n M a r k o v m o d e l s

A h i d d e n M a r k o v m o d e l i s a p o p u l a r t i m e s e r i e s

m o d e l

I t i s a m i x t u r e m o d e l w i t h d y n a m i c s "

A A

B B B B

q qq q q q1 2 3 T

y1 2 3 T

y y y

Tt i m e s t e p s

Ms t a t e s

q

t

i s a m u l t i n o m i a l R V

No u t p u t s

y

t


s t a t e t r a n s i t i o n p r o b a b i l i t y m a t r i x

A :

A = P q

t + 1

j q

t

e m i s s i o n m a t r i x

B :

B = P y

t

j q

t

i n i t i a l s t a t e p r o b a b i l i t i e s

:

= P q

1


33/102

H M M a s a g r a p h i c a l m o d e l

E a c h n o d e h a s a p r o b a b i l i t y d i s t r i b u t i o n a s s o c i a t e d

w i t h i t .

T h e g r a p h o f t h e H M M m a k e s c o n d i t i o n a l

i n d e p e n d e n c e s t a t e m e n t s .

F o r e x a m p l e ,

P q

t + 1

j q

t

; q

t , 1

=P q

t + 1

j q

t

c a n b e r e a d o t h e g r a p h a s a s e p a r a t i o n p r o p e r t y .


34/102

H M M p r o b a b i l i t y c a l c u l a t i o n s

A A

B B B B

q qq q q q1 2 3 T

y1 2 3 T

y y y

T h e t i m e s e r i e s o f

y

t

v a l u e s i s t h e e v i d e n c e

T h e i n f e r e n c e c a l c u l a t i o n i n v o l v e s c a l c u l a t i n g t h e

p r o b a b i l i t i e s o f t h e h i d d e n s t a t e s q

t

g i v e n t h e

e v i d e n c e

T h e c l a s s i c a l a l g o r i t h m f o r d o i n g t h i s c a l c u l a t i o n i s

t h e f o r w a r d - b a c k w a r d a l g o r i t h m

T h e f o r w a r d - b a c k w a r d a l g o r i t h m i n v o l v e s :

m u l t i p l i c a t i o n c o n d i t i o n i n g

s u m m a t i o n m a r g i n a l i z a t i o n i n t h e l a t t i c e .

I t i s a s p e c i a l c a s e o f t h e j u n c t i o n t r e e a l g o r i t h m c f .

S m y t h , e t a l . , 1 9 9 7


35/102

I s t h e a l g o r i t h m e c i e n t ?

T o a n s w e r t h i s q u e s t i o n , l e t ' s c o n s i d e r t h e j u n c t i o n

t r e e

N o t e t h a t t h e m o r a l i z a t i o n a n d t r i a n g u l a t i o n s t e p s

a r e t r i v i a l , a n d w e o b t a i n t h e f o l l o w i n g j u n c t i o n t r e e :

q2q1, q3q2,

q1, y1 q2, 2y

. . .

T h e c l i q u e s a r e n o b i g g e r t h a n

N

2

, t h u s t h e

m a r g i n a l i z a t i o n a n d r e s c a l i n g r e q u i r e d b y t h e

j u n c t i o n t r e e a l g o r i t h m r u n s i n t i m e O N

2

p e r c l i q u e

T h e r e a r e

Ts u c h c l i q u e s , t h u s t h e a l g o r i t h m i s

O N

2

T o v e r a l l


36/102


37/102

R e p r e s e n t a t i o n a s a g r a p h i c a l m o d e l

y

x

i

ij

ijk

F o r l e a r n i n g a n d i n f e r e n c e , t h e n o d e s f o r

xa n d

ya r e

o b s e r v e d s h a d e d

y

x

i

ij

ijk

W e n e e d t o c a l c u l a t e p r o b a b i l i t i e s o f u n s h a d e d n o d e s

E s t e p o f E M


38/102

L e a r n i n g p a r a m e t e r e s t i m a t i o n

T h e E M a l g o r i t h m i s n a t u r a l f o r g r a p h i c a l m o d e l s

T h e E s t e p o f t h e E M a l g o r i t h m i n v o l v e s c a l c u l a t i n g

t h e p r o b a b i l i t i e s o f h i d d e n v a r i a b l e s g i v e n v i s i b l e

v a r i a b l e s

t h i s i s e x a c t l y t h e i n f e r e n c e p r o b l e m

A

B

C

D

E

F

T h e M s t e p i n v o l v e s p a r a m e t e r e s t i m a t i o n f o r a f u l l y

o b s e r v e d g r a p h

t h i s i s g e n e r a l l y s t r a i g h t f o r w a r d

A

B

C

D

E

F


39/102

E x a m p l e | H i d d e n M a r k o v m o d e l s

A A

B B B B

q qq q q q1 2 3 T

y1 2 3 T

y y y

P r o b l e m : G i v e n a s e q u e n c e o f o u t p u t s

y

1 ; T

= f y

1

; y

2

; : : : ; y

T

g

i n f e r t h e p a r a m e t e r s A , B

a n d .

T o s e e h o w t o s o l v e t h i s p r o b l e m , l e t ' s c o n s i d e r a

s i m p l e r p r o b l e m


40/102

F u l l y o b s e r v e d M a r k o v m o d e l s

S u p p o s e t h a t a t e a c h m o m e n t i n t i m e w e k n o w w h a t

s t a t e t h e s y s t e m i s i n :

A A

B B B B

qq q q1 2 3 T

y1 2 3 T

y y y

P a r a m e t e r e s t i m a t i o n i s e a s y i n t h i s c a s e :

t o e s t i m a t e t h e s t a t e t r a n s i t i o n m a t r i x e l e m e n t s ,

s i m p l y k e e p a r u n n i n g c o u n t o f t h e n u m b e r n

i j

o f

t i m e s t h e c h a i n j u m p s f r o m s t a t e i

t o s t a t e j .

T h e n e s t i m a t e a

i j

a s :

a

i j

=

n

i j

P

j

n

i j

t o e s t i m a t e t h e G a u s s i a n o u t p u t p r o b a b i l i t i e s ,

s i m p l y r e c o r d w h i c h d a t a p o i n t s o c c u r r e d i n w h i c h

s t a t e s a n d c o m p u t e s a m p l e m e a n s a n d c o v a r i a n c e s

a s f o r t h e i n i t i a l s t a t e p r o b a b i l i t i e s , w e n e e d

m u l t i p l e o u t p u t s e q u e n c e s w h i c h w e u s u a l l y h a v e

i n p r a c t i c e


41/102

H M M p a r a m e t e r e s t i m a t i o n

W h e n t h e h i d d e n s t a t e s a r e n o t i n f a c t o b s e r v e d t h e

c a s e w e ' r e i n t e r e s t e d i n , w e r s t e s t i m a t e t h e

p r o b a b i l i t i e s o f t h e h i d d e n s t a t e s

t h i s i s a s t r a i g h t f o r w a r d a p p l i c a t i o n o f t h e j u n c t i o n

t r e e a l g o r i t h m i . e . , t h e f o r w a r d - b a c k w a r d

a l g o r i t h m

W e t h e n u s e t h e p r o b a b i l i t y e s t i m a t e s i n s t e a d o f t h e

c o u n t s i n t h e p a r a m e t e r e s t i m a t i o n f o r m u l a s t o g e t

u p d a t e f o r m u l a s

T h i s g i v e s u s a b e t t e r m o d e l , s o w e r u n t h e j u n c t i o n

t r e e a l g o r i t h m a g a i n t o g e t b e t t e r e s t i m a t e s o f t h e

h i d d e n s t a t e p r o b a b i l i t i e s

A n d w e i t e r a t e t h i s p r o c e d u r e


42/102

C O N C L U S I O N S P A R T I

G r a p h i c a l m o d e l s p r o v i d e a g e n e r a l f o r m a l i s m f o r

p u t t i n g t o g e t h e r g r a p h s a n d p r o b a b i l i t i e s

m o s t s o - c a l l e d u n s u p e r v i s e d n e u r a l n e t w o r k s " a r e

s p e c i a l c a s e s

B o l t z m a n n m a c h i n e s a r e s p e c i a l c a s e s

m i x t u r e s o f e x p e r t s a n d r e l a t e d m i x t u r e - b a s e d

m o d e l s a r e s p e c i a l c a s e s

s o m e s u p e r v i s e d n e u r a l n e t w o r k s c a n b e t r e a t e d a s

s p e c i a l c a s e s

T h e g r a p h i c a l m o d e l f r a m e w o r k a l l o w s u s t o t r e a t

i n f e r e n c e a n d l e a r n i n g a s t w o s i d e s o f t h e s a m e c o i n


43/102

I N T R A C T A B L E G R A P H I C A L M O D E L S

T h e r e a r e a n u m b e r o f e x a m p l e s o f g r a p h i c a l m o d e l s

i n w h i c h e x a c t i n f e r e n c e i s e c i e n t :

c h a i n - l i k e g r a p h s

t r e e - l i k e g r a p h s

H o w e v e r , t h e r e a r e a l s o a n u m b e r o f e x a m p l e s o f

g r a p h i c a l m o d e l s i n w h i c h e x a c t i n f e r e n c e c a n b e

h o p e l e s s l y i n e c i e n t :

d e n s e g r a p h s

l a y e r e d g r a p h s

c o u p l e d g r a p h s

A v a r i e t y o f m e t h o d s a r e a v a i l a b l e f o r a p p r o x i m a t e

i n f e r e n c e i n s u c h s i t u a t i o n s :

M a r k o v c h a i n M o n t e C a r l o s t o c h a s t i c

v a r i a t i o n a l m e t h o d s d e t e r m i n i s t i c


44/102

C o m p u t a t i o n a l c o m p l e x i t y o f e x a c t c o m p u t a t i o n

p a s s i n g m e s s a g e s r e q u i r e s m a r g i n a l i z i n g a n d s c a l i n g

t h e c l i q u e p o t e n t i a l s

t h u s t h e t i m e r e q u i r e d i s e x p o n e n t i a l i n t h e n u m b e r

o f v a r i a b l e s i n t h e l a r g e s t c l i q u e

g o o d t r i a n g u l a t i o n s y i e l d s m a l l c l i q u e s

b u t t h e p r o b l e m o f n d i n g a n o p t i m a l

t r i a n g u l a t i o n i s h a r d P i n f a c t

i n a n y c a s e , t h e t r i a n g u l a t i o n i s o - l i n e " ; o u r

c o n c e r n i s g e n e r a l l y w i t h t h e o n - l i n e " p r o b l e m o f

m e s s a g e p r o p a g a t i o n


45/102

Q u i c k M e d i c a l R e f e r e n c e Q M R

U n i v e r s i t y o f P i t t s b u r g h

6 0 0 d i s e a s e s , 4 0 0 0 s y m p t o m s

a r r a n g e d a s a b i p a r t i t e g r a p h

diseases

symptoms

N o d e p r o b a b i l i t i e s

P s y m p t o m

i

jd i s e a s e s w e r e

o b t a i n e d f r o m a n e x p e r t , u n d e r a n o i s y - O R m o d e l

W a n t t o d o d i a g n o s t i c c a l c u l a t i o n s :

P d i s e a s e s

jf i n d i n g s

C u r r e n t m e t h o d s e x a c t a n d M o n t e C a r l o a r e

i n f e a s i b l e


46/102

Q M R c o n t .

diseases

symptoms

n o i s y - O R " p a r a m e t e r i z a t i o n :

P f

i

= 0j d

= 1 , q

i 0

Y

j 2 p a

i

1, q

i j

d

j

r e w r i t e i n a n e x p o n e n t i a l f o r m :

P f

i

= 0j d

=e

,

i 0

,

P

j 2 p a

i

i j

d

j

w h e r e

i j

, l o g 1 , q

i j

p r o b a b i l i t y o f p o s i t i v e n d i n g :

P f

i

= 1j d

= 1, e

,

i 0

,

P

j 2 p a

i

i j

d

j


47/102

Q M R c o n t .

diseases

symptoms

J o i n t p r o b a b i l i t y :

P f ; d =

P f j d P d

=

2

6

4

Y

i

P f

i

j d

3

7

5

2

6

4

Y

j

P d

j

3

7

5

=

"

1 , e

,

1 0

,

P

j 2 p a

1

1 j

d

j

!

1 , e

,

2 0

,

P

j 2 p a

2

2 j

d

j

!

1 , e

,

k 0

,

P

j 2 p a

k

k j

d

j

!

2

6

4

Y

j

P d

j

3

7

5

P o s i t i v e n d i n g s c o u p l e t h e d i s e a s e n o d e s

M e d i a n s i z e o f m a x i m a l c l i q u e i s 1 5 1 n o d e s


48/102

M u l t i l a y e r n e u r a l n e t w o r k s a s g r a p h i c a l m o d e l s

c f . N e a l , 1 9 9 2 ; S a u l , J a a k k o l a , & J o r d a n , 1 9 9 6

A s s o c i a t e w i t h n o d e

ia l a t e n t b i n a r y v a r i a b l e w h o s e

c o n d i t i o n a l p r o b a b i l i t y i s g i v e n b y :

P S

i

= 1j S

p a

i

=

1

1 +e

,

P

j 2 p a

i

i j

S

j

,

i 0

w h e r e p a

i

i n d e x e s t h e p a r e n t s o f n o d e i

A m u l t i l a y e r n e u r a l n e t w o r k w i t h l o g i s t i c h i d d e n

u n i t s :

Input

Hidden

Output

h a s a j o i n t d i s t r i b u t i o n t h a t i s a p r o d u c t o f l o g i s t i c

f u n c t i o n s :

P S =

Y

i

2

6

6

6

6

4

e

P

j 2 p a

i

i j

S

j

+

i 0

S

i

1 +e

P

j 2 p a

i

i j

S

j

+

i 0

:

3

7

7

7

7

5


49/102

C o m p l e x i t y o f n e u r a l n e t w o r k i n f e r e n c e

W h e n a n o u t p u t n o d e i s k n o w n a s i t i s d u r i n g

l e a r n i n g , m o r a l i z a t i o n l i n k s t h e h i d d e n u n i t s :

Hidden

Output

S o i n f e r e n c e s c a l e s a t l e a s t a s b a d l y a s

O 2

N

A n d t r i a n g u l a t i o n a d d s e v e n m o r e l i n k s


50/102

H i d d e n M a r k o v m o d e l s

R e c a l l t h e h i d d e n M a r k o v m o d e l :

A A

B B B B

q qq q q q1 2 3 T

y1 2 3 T

y y y

Tt i m e s t e p s

Ms t a t e s

q

t


No u t p u t s

y

t


s t a t e t r a n s i t i o n p r o b a b i l i t y m a t r i x

A :

A = P q

t + 1

j q

t

e m i s s i o n m a t r i x

B :

B = P y

t

j q

t

i n i t i a l s t a t e p r o b a b i l i t i e s

:

= P q

1


51/102

F a c t o r i a l h i d d e n M a r k o v m o d e l s

c f . W i l l i a m s & H i n t o n , 1 9 9 1 ; G h a h r a m a n i & J o r d a n , 1 9 9 7

I m a g i n e t h a t a t i m e s e r i e s i s c r e a t e d f r o m a s e t o f

M

l o o s e l y - c o u p l e d u n d e r l y i n g m e c h a n i s m s

E a c h o f t h e s e m e c h a n i s m s m a y h a v e t h e i r o w n

p a r t i c u l a r d y n a m i c l a w s , a n d w e w a n t t o a v o i d

m e r g i n g t h e m i n t o a s i n g l e m e t a - s t a t e , " w i t h a

s i n g l e t r a n s i t i o n m a t r i x

a v o i d c h o o s i n g a s i n g l e t i m e s c a l e

a v o i d o v e r - p a r a m e t e r i z a t i o n

H e r e i s t h e g r a p h i c a l m o d e l t h a t w e w o u l d l i k e t o u s e :

...

...

...

X(1)

1X

(1)

2X

(1)

3

2X(2)

3X(2)

X(2)

1

1X(3)

2X(3)

3X(3)

1Y 2Y 3Y

W h e n w e t r i a n g u l a t e d o w e g e t a n e c i e n t s t r u c t u r e ?


52/102

T r i a n g u l a t i o n ?

U n f o r t u n a t e l y , t h e f o l l o w i n g g r a p h i s n o t

t r i a n g u l a t e d :

...

...

...

H e r e i s a t r i a n g u l a t i o n :

...

...

...

W e h a v e c r e a t e d c l i q u e s o f s i z e

N

4

. T h e j u n c t i o n t r e e

a l g o r i t h m i s n o t e c i e n t f o r f a c t o r i a l H M M s .


53/102

H i d d e n M a r k o v d e c i s i o n t r e e s

J o r d a n , G h a h r a m a n i , & S a u l , 1 9 9 7

W e c a n c o m b i n e d e c i s i o n t r e e s w i t h f a c t o r i a l H M M s

T h i s g i v e s a c o m m a n d s t r u c t u r e " t o t h e f a c t o r i a l

r e p r e s e n t a t i o n

U1

Y1

U2

Y2

U3

Y3

A p p r o p r i a t e f o r m u l t i r e s o l u t i o n t i m e s e r i e s

A g a i n , t h e e x a c t c a l c u l a t i o n i s i n t r a c t a b l e a n d w e

m u s t u s e v a r i a t i o n a l m e t h o d s


54/102

M a r k o v c h a i n M o n t e C a r l o M C M C

C o n s i d e r a s e t o f v a r i a b l e s

S = f S

1

; S

2

; : : : ; S

N

g

C o n s i d e r a j o i n t p r o b a b i l i t y d e n s i t y

P S

W e w o u l d l i k e t o c a l c u l a t e s t a t i s t i c s a s s o c i a t e d w i t h

P S :

m a r g i n a l p r o b a b i l i t i e s , e . g . ,

P S

i

, o r P S

i

; S

j

c o n d i t i o n a l p r o b a b i l i t i e s , e . g . ,

P H j V

l i k e l i h o o d s , i . e . ,

P V

O n e w a y t o d o t h i s i s t o g e n e r a t e s a m p l e s f r o m

P S

a n d c o m p u t e e m p i r i c a l s t a t i s t i c s

b u t g e n e r a l l y i t i s h a r d t o s e e h o w t o s a m p l e f r o m

P S

W e s e t u p a s i m p l e M a r k o v c h a i n w h o s e e q u i l i b r i u m

d i s t r i b u t i o n i sP S


55/102

G i b b s s a m p l i n g

G i b b s s a m p l i n g i s a w i d e l y - u s e d M C M C m e t h o d

R e c a l l t h a t w e h a v e a s e t o f v a r i a b l e s

S = f S

1

; S

2

; : : : ; S

N

g

W e s e t u p a M a r k o v c h a i n a s f o l l o w s :

i n i t i a l i z e t h e

S

i

t o a r b i t r a r y v a l u e s

c h o o s e

ir a n d o m l y

s a m p l e f r o m

P S

i

j S n S

i

i t e r a t e

I t i s e a s y t o p r o v e t h a t t h i s s c h e m e h a s

P S a s i t s

e q u i l i b r i u m d i s t r i b u t i o n

H o w t o d o G i b b s s a m p l i n g i n g r a p h i c a l m o d e l s ?


56/102

M a r k o v b l a n k e t s

T h e M a r k o v b l a n k e t o f n o d e

S

i

i s t h e m i n i m a l s e t o f

n o d e s t h a t r e n d e r s S

i

c o n d i t i o n a l l y i n d e p e n d e n t o f a l l

o t h e r n o d e s

F o r u n d i r e c t e d g r a p h s , t h e M a r k o v b l a n k e t i s j u s t t h e

s e t o f n e i g h b o r s

F o r d i r e c t e d g r a p h s , t h e M a r k o v b l a n k e t i s t h e s e t o f

p a r e n t s , c h i l d r e n a n d c o - p a r e n t s :

Si

T h e c o n d i t i o n a l

P S

i

j S n S

i

n e e d e d f o r G i b b s

s a m p l i n g i s f o r m e d f r o m t h e p r o d u c t o f t h e

c o n d i t i o n a l p r o b a b i l i t i e s a s s o c i a t e d w i t h S

i

a n d e a c h

o f i t s c h i l d r e n

T h i s i m p l i e s t h a t t h e c o n d i t i o n i n g s e t n e e d e d t o f o r m

P S

i

j S n S

i

i s t h e M a r k o v b l a n k e t o f S

i

w h i c h i s

u s u a l l y m u c h s m a l l e r t h a n S n S

i


57/102


58/102

V a r i a t i o n a l m e t h o d s

V a r i a t i o n a l m e t h o d s a r e d e t e r m i n i s t i c a p p r o x i m a t i o n

m e t h o d s

p e r h a p s u n i q u e a m o n g d e t e r m i n i s t i c m e t h o d s i n

t h a t t h e y t e n d t o w o r k b e s t f o r d e n s e g r a p h s

T h e y h a v e s o m e a d v a n t a g e s c o m p a r e d t o M C M C

m e t h o d s

t h e y c a n b e m u c h f a s t e r

t h e y y i e l d u p p e r a n d l o w e r b o u n d s o n p r o b a b i l i t i e s

A n d t h e y h a v e s e v e r a l d i s a d v a n t a g e s

t h e y a r e n o t a s s i m p l e a n d w i d e l y a p p l i c a b l e a s

M C M C m e t h o d s

t h e y r e q u i r e m o r e a r t t h o u g h t o n t h e p a r t o f t h e

u s e r t h a n M C M C m e t h o d s

B u t b o t h v a r i a t i o n a l a p p r o a c h e s a n d M C M C

a p p r o a c h e s a r e e v o l v i n g r a p i d l y

N o t e a l s o t h a t t h e y c a n b e c o m b i n e d a n d c a n b e

c o m b i n e d w i t h e x a c t m e t h o d s


59/102

I n t r o d u c t i o n t o v a r i a t i o n a l m e t h o d s

I n t u i t i o n | i n a d e n s e g r a p h , e a c h n o d e i s s u b j e c t t o

m a n y s t o c h a s t i c i n u e n c e s f r o m n o d e s i n i t s M a r k o v

b l a n k e t

l a w s o f l a r g e n u m b e r s

c o u p l e d , n o n l i n e a r i n t e r a c t i o n s b e t w e e n a v e r a g e s

Si

W e w a n t t o e x p l o i t s u c h a v e r a g i n g w h e r e a p p l i c a b l e

a n d w h e r e n e e d e d , w h i l e u s i n g e x a c t i n f e r e n c e

a l g o r i t h m s o n t r a c t a b l e b a c k b o n e s "


60/102

E x a m p l e o f a v a r i a t i o n a l t r a n s f o r m a t i o n

5

3

1

-1

-3

-50 1 2 30.5 1.5 2.5

l o g x

= m i n

f x

,l o g

, 1 g

x

,l o g

, 1

i s a v a r i a t i o n a l p a r a m e t e r

t r a n s f o r m s a n o n l i n e a r i t y i n t o a l i n e a r i t y


61/102

E x a m p l e o f a v a r i a t i o n a l t r a n s f o r m a t i o n

1.8

1.4

1.0

0.6

0.2

-0.2

-3 -2 -1 0 1 2 3

g x =

1

1 +e

, x

= m i n

f e

x , H

g

e

x , H

w h e r e

H i s t h e b i n a r y e n t r o p y

a n o n l i n e a r f u n c t i o n n o w a s i m p l e e x p o n e n t i a l

c f . t i l t e d d i s t r i b u t i o n s "


62/102

C o n v e x d u a l i t y a p p r o a c h

J a a k k o l a & J o r d a n , N I P S ' 9 7

f o r c o n c a v e

f x :

f x = m i n

T

x , f

f

= m i n

x

T

x , f x

y i e l d s b o u n d s :

f x

T

x , f

f

T

x , f x

2

1

0

-1

-2

-3

1 2

l o w e r b o u n d s o b t a i n e d f r o m c o n v e x

f x


63/102

V a r i a t i o n a l t r a n s f o r m a t i o n s a n d i n f e r e n c e

T w o b a s i c a p p r o a c h e s | s e q u e n t i a l a n d b l o c k

w e d i s c u s s t h e s e q u e n t i a l a p p r o a c h r s t a n d r e t u r n

t o t h e b l o c k a p p r o a c h l a t e r

I n t h e s e q u e n t i a l a p p r o a c h , w e i n t r o d u c e v a r i a t i o n a l

t r a n s f o r m a t i o n s s e q u e n t i a l l y , n o d e b y n o d e

t h i s y i e l d s a s e q u e n c e o f i n c r e a s i n g l y s i m p l e

g r a p h i c a l m o d e l s

e v e r y t r a n s f o r m a t i o n i n t r o d u c e s a n e w v a r i a t i o n a l

p a r a m e t e r , w h i c h w e l a z i l y p u t o e v a l u a t i n g

u n t i l t h e e n d

e v e n t u a l l y w e o b t a i n a m o d e l t h a t c a n b e h a n d l e d

b y e x a c t t e c h n i q u e s , a t w h i c h p o i n t w e s t o p

i n t r o d u c i n g t r a n s f o r m a t i o n s


64/102

V a r i a t i o n a l Q M R

J a a k k o l a & J o r d a n , 1 9 9 7

R e c a l l t h e n o i s y - O R p r o b a b i l i t y o f a p o s i t i v e n d i n g :

P f

i

= 1j d

= 1, e

,

i 0

,

P

j 2 p a

i

i j

d

j

T h e l o g a r i t h m o f t h i s f u n c t i o n i s c o n c a v e , t h u s w e

c a n u t i l i z e c o n v e x d u a l i t y

e v a l u a t i n g t h e c o n j u g a t e f u n c t i o n , w e o b t a i n :

f

=

, l n

+

+ 1 l n

+ 1

T h u s w e u p p e r b o u n d t h e p r o b a b i l i t y o f a p o s i t i v e

n d i n g :

P f

i

= 1j d e

i

i 0

+

P

j 2 p a

i

i j

d

j

, f

i

= e

i

i 0

, f

i

Y

j 2 p a

i

"

e

i

i j

d

j

T h i s i s a f a c t o r i z e d f o r m ; i t e e c t i v e l y c h a n g e s t h e

p r i o r s " P d

j

b y m u l t i p l y i n g t h e m b y e

i

i j

a n d

d e l i n k i n g t h e i

t h

n o d e f r o m t h e g r a p h


65/102

V a r i a t i o n a l Q M R c o n t .

R e c a l l t h e j o i n t d i s t r i b u t i o n :

P f ; d =

"

1 , e

,

1 0

,

P

j 2 p a

1

1 j

d

j

!

1 , e

,

2 0

,

P

j 2 p a

2

2 j

d

j

!

1 , e

,

k 0

,

P

j 2 p a

k

k j

d

j

!

2

6

4

Y

j

P d

j

3

7

5

A f t e r a v a r i a t i o n a l t r a n s f o r m a t i o n :

P f ; d

"

1 , e

,

1 0

,

P

j 2 p a

1

1 j

d

j

!

1 , e

,

2 0

,

P

j 2 p a

2

2 j

d

j

!

0

B

B

@

e

k

k 0

, f

k

Y

j 2 p a

k

"

e

k

k j

d

j

1

C

C

A

3

7

7

5

2

6

4

Y

j

P d

j

3

7

5

U s e a g r e e d y m e t h o d t o i n t r o d u c e t h e v a r i a t i o n a l

t r a n s f o r m a t i o n s

c h o o s e t h e n o d e t h a t i s e s t i m a t e d t o y i e l d t h e

m o s t a c c u r a t e t r a n s f o r m e d p o s t e r i o r

O p t i m i z e a c r o s s t h e v a r i a t i o n a l p a r a m e t e r s

i

t h i s t u r n s o u t t o b e a c o n v e x o p t i m i z a t i o n p r o b l e m


66/102

Q M R r e s u l t s

W e s t u d i e d 4 8 c l i n i c o p a t h o l o g i c C P C c a s e s

4 o f t h e s e C P C c a s e s h a d l e s s t h a n 2 0 p o s i t i v e

n d i n g s ; f o r t h e s e w e c a l c u l a t e d t h e d i s e a s e p o s t e r i o r s

e x a c t l y

S c a t t e r p l o t s o f e x a c t v s . v a r i a t i o n a l p o s t e r i o r s f o r a

4 p o s i t i v e n d i n g s t r e a t e d e x a c t l y , b 8 p o s i t i v e

n d i n g s t r e a t e d e x a c t l y :

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

S c a t t e r p l o t s o f e x a c t v s . v a r i a t i o n a l p o s t e r i o r s f o r a

1 2 p o s i t i v e n d i n g s t r e a t e d e x a c t l y , b 1 6 p o s i t i v e

n d i n g s t r e a t e d e x a c t l y :

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1


67/102

Q M R r e s u l t s c o n t .

F o r t h e r e m a i n i n g 4 4 C P C c a s e s , w e h a d n o w a y t o

c a l c u l a t e t h e g o l d s t a n d a r d

T h u s w e a s s e s s e d t h e v a r i a t i o n a l a c c u r a c y v i a a

s e n s i t i v i t y e s t i m a t e

w e c a l c u l a t e d t h e s q u a r e d d i e r e n c e i n p o s t e r i o r s

w h e n a p a r t i c u l a r n o d e w a s t r e a t e d e x a c t l y o r

v a r i a t i o n a l l y t r a n s f o r m e d , a n d a v e r a g e d a c r o s s

n o d e s

a s m a l l v a l u e o f t h i s a v e r a g e s u g g e s t s t h a t w e h a v e

t h e c o r r e c t p o s t e r i o r s

w e v a l i d a t e d t h i s s u r r o g a t e o n t h e 4 c a s e s f o r

w h i c h w e c o u l d d o t h e e x a c t c a l c u l a t i o n

S e n s i t i v i t y e s t i m a t e s v s . n u m b e r o f p o s i t i v e n d i n g s

w h e n a 8 p o s i t i v e n d i n g s t r e a t e d e x a c t l y , b 1 2

p o s i t i v e n d i n g s t r e a t e d e x a c t l y :

10 20 30 40 50 60 700

0.05

0.1

0.15

0.2

0.25

10 20 30 40 50 60 700

0.05

0.1

0.15

0.2

0.25


68/102

Q M R r e s u l t s c o n t .

T i m i n g r e s u l t s i n s e c o n d s S p a r c 1 0 a s a f u n c t i o n o f

t h e n u m b e r o f p o s i t i v e n d i n g s t r e a t e d e x a c t l y s o l i d

l i n e | a v e r a g e a c r o s s C P C c a s e s ; d a s h e d

l i n e | m a x i m u m a c r o s s C P C c a s e s :

0 2 4 6 8 10 120

20

40

60

80

100

120

140


69/102

A c a u t i o n a r y n o t e

t h e s e d i s e a s e m a r g i n a l s a r e b a s e d o n t h e u p p e r

v a r i a t i o n a l d i s t r i b u t i o n , w h i c h a p p e a r s t i g h t

t h i s d i s t r i b u t i o n i s g u a r a n t e e d t o u p p e r b o u n d t h e

l i k e l i h o o d

t o o b t a i n d i r e c t u p p e r a n d l o w e r b o u n d s o n t h e

d i s e a s e m a r g i n a l s , w h i c h a r e c o n d i t i o n a l

p r o b a b i l i t i e s , w e n e e d u p p e r a n d l o w e r b o u n d s o n

t h e l i k e l i h o o d

t h e l o w e r b o u n d s w e o b t a i n i n o u r c u r r e n t

i m p l e m e n t a t i o n , h o w e v e r , a r e n o t t i g h t e n o u g h

t h u s , a l t h o u g h t h e m a r g i n a l s w e r e p o r t a p p e a r t o

y i e l d g o o d a p p r o x i m a t i o n s e m p i r i c a l l y , w e c a n n o t

g u a r a n t e e t h a t t h e y b o u n d t h e t r u e m a r g i n a l s


70/102

V a r i a t i o n a l t r a n s f o r m a t i o n s a n d i n f e r e n c e

T w o b a s i c a p p r o a c h e s | s e q u e n t i a l a n d b l o c k

T h e b l o c k a p p r o a c h t r e a t s t h e a p p r o x i m a t i o n

p r o b l e m a s a g l o b a l o p t i m i z a t i o n p r o b l e m

C o n s i d e r a d e n s e g r a p h c h a r a c t e r i z e d b y a j o i n t

d i s t r i b u t i o n P

H ; Vj

W e r e m o v e l i n k s t o o b t a i n a s i m p l e r g r a p h

c h a r a c t e r i z e d b y a c o n d i t i o n a l d i s t r i b u t i o n

Q H jV ; ;

E x a m p l e s w i l l b e p r o v i d e d b e l o w . . .


71/102

V a r i a t i o n a l i n f e r e n c e c o n t .

D a y a n , e t a l . , 1 9 9 5 ; H i n t o n , e t a l . , 1 9 9 5 ; S a u l & J o r d a n , 1 9 9 6

Q H jV ; ; h a s e x t r a d e g r e e s o f f r e e d o m , g i v e n b y

v a r i a t i o n a l p a r a m e t e r s

i

w e c a n t h i n k o f t h e s e a s b e i n g o b t a i n e d b y a

s e q u e n c e o f v a r i a t i o n a l t r a n s f o r m a t i o n s a p p l i e d t o

t h e n o d e s

b u t w e n o w w a n t t o t a k e a m o r e g l o b a l v i e w

C h o o s e

i

s o a s t o m i n i m i z e

K L Q k P

=

X

H

Q H jV ; ; l o g

Q H jV ; ;

P H jV ;

W e w i l l s h o w t h a t t h i s y i e l d s a l o w e r b o u n d o n t h e

p r o b a b i l i t y o f t h e e v i d e n c e t h e l i k e l i h o o d

M i n i m i z i n g t h e K L d i v e r g e n c e r e q u i r e s u s t o

c o m p u t e a v e r a g e s u n d e r t h e Q

d i s t r i b u t i o n ; w e m u s t

c h o o s e Q

s o t h a t t h i s i s p o s s i b l e

i . e . , w e c h o o s e o u r s i m p l i e d g r a p h s o t h a t i t i s

a m e n a b l e t o e x a c t m e t h o d s


72/102

V a r i a t i o n a l i n f e r e n c e c o n t .

T h e f a c t t h a t t h i s i s a l o w e r b o u n d f o l l o w s f r o m

J e n s e n ' s i n e q u a l i t y

l o gP V

= l o g

H

P H ; V

= l o g

H

Q H j V

P H ; V

Q H j V

H

Q H j V l o g

2

6

6

4

P H ; V

Q H j V

3

7

7

5

T h e d i e r e n c e b e t w e e n t h e l e f t a n d r i g h t h a n d s i d e i s

t h e K L d i v e r g e n c e :

K L Q

j jP

=

H

Q H j V l o g

2

6

6

4

Q H j V

P H j V

3

7

7

5

w h i c h i s p o s i t i v e ; t h u s w e h a v e a l o w e r b o u n d


73/102

L i n k i n g t h e t w o a p p r o a c h e s

J a a k k o l a , 1 9 9 7

T h e b l o c k a p p r o a c h c a n b e d e r i v e d w i t h i n t h e c o n v e x

d u a l i t y f r a m e w o r k

f x

T

x , f

t r e a t t h e d i s t r i b u t i o n

Q H jV ; ; a s

; a

v e c t o r - v a l u e d v a r i a t i o n a l p a r a m e t e r o n e v a l u e f o r

e a c h c o n g u r a t i o n H

t h e a r g u m e n t

xb e c o m e s l o g

P H ; V

j ; a l s o a

v e c t o r - v a l u e d v a r i a b l e o n e v a l u e f o r e a c h

c o n g u r a t i o n H

t h e f u n c t i o n

f x b e c o m e s l o g

P V j

i t t u r n s o u t t h a t t h e c o n j u g a t e f u n c t i o n

f

x i s

t h e n e g a t i v e e n t r o p y f u n c t i o n

T h u s c o n v e x d u a l i t y y i e l d s :

l o gP V

X

H

Q H j V l o g

P H ; V

,

X

H

Q H j V l o g

Q H j V

w h i c h i s t h e b o u n d d e r i v e d e a r l i e r f r o m J e n s e n ' s

i n e q u a l i t y


74/102

L e a r n i n g v i a v a r i a t i o n a l m e t h o d s

N e a l & H i n t o n , i n p r e s s

M A P p a r a m e t e r e s t i m a t i o n f o r g r a p h i c a l m o d e l s :

t h e E M a l g o r i t h m i s a g e n e r a l m e t h o d f o r M A P

e s t i m a t i o n

i n f e r e n c e " i s t h e E s t e p o f E M f o r g r a p h i c a l

m o d e l s c a l c u l a t e P H j V

t o l l i n " t h e h i d d e n

v a l u e s

v a r i a t i o n a l m e t h o d s p r o v i d e a n a p p r o x i m a t e E

s t e p

m o r e s p e c i c a l l y w e i n c r e a s e t h e l o w e r b o u n d o n

t h e l i k e l i h o o d a t e a c h i t e r a t i o n


75/102

N e u r a l n e t w o r k s a n d v a r i a t i o n a l a p p r o x i m a t i o n s

S a u l , J a a k k o l a , & J o r d a n , 1 9 9 6

A m u l t i l a y e r n e u r a l n e t w o r k w i t h l o g i s t i c h i d d e n

u n i t s :

Input

Hidden

Output

h a s a j o i n t d i s t r i b u t i o n t h a t i s a p r o d u c t o f l o g i s t i c

f u n c t i o n s :

P H ; V

j =

Y

i

2

6

6

6

6

4

e

P

j 2 p a

i

i j

S

j

+

i 0

S

i

1 +e

P

j 2 p a

i

i j

S

j

+

i 0

:

3

7

7

7

7

5

T h e s i m p l e s t v a r i a t i o n a l a p p r o x i m a t i o n , w h i c h w e

w i l l r e f e r t o a s a m e a n e l d a p p r o x i m a t i o n c o n s i d e r s

t h e f a c t o r i z e d a p p r o x i m a t i o n :

Q H jV ; =

i 2 H

S

i

i

1,

i

1 , S

i

:


76/102

D i v i s i o n o f l a b o r

T h e K L b o u n d h a s t w o b a s i c c o m p o n e n t s :

0

B

B

@

v a r i a t i o n a l

e n t r o p y

1

C

C

A

= ,

H

Q H j V l o g

Q H j V

0

B

B

@


e n e r g y

1

C

C

A

= ,

H

Q H j V l o g

P H ; V

W h a t w e n e e d i s t h e d i e r e n c e :

l o gP V j

0

B

B

@


e n t r o p y

1

C

C

A

,

0

B

B

@


e n e r g y

1

C

C

A


77/102

M a x i m i z i n g t h e l o w e r b o u n d

W e n d t h e b e s t a p p r o x i m a t i o n b y v a r y i n g

f

i

gt o

m i n i m i z e K L Q

j jP

.

T h i s a m o u n t s t o m a x i m i z i n g t h e l o w e r b o u n d :

l o gP V j

0

B

B

@


e n t r o p y

1

C

C

A

,

0

B

B

@


e n e r g y

1

C

C

A

:

A b u s e o f n o t a t i o n : w e d e n e c l a m p e d v a l u e s 0 o r 1

f o r t h e i n s t a n t i a t e d n o d e s ,

i

= S

i

f o ri 2

V :


78/102

V a r i a t i o n a l e n t r o p y

T h e v a r i a t i o n a l e n t r o p y i s :

,

H

Q H j V l o g

Q H j V

O u r f a c t o r i z e d a p p r o x i m a t i o n i s :

Q H j V =

i

S

i

i

1,

i

1 , S

i

;

T h e j o i n t e n t r o p y i s t h e s u m o f t h e

i n d i v i d u a l u n i t e n t r o p i e s :

,

i

i

l o g

i

+ 1,

i

l o g 1 ,

i

:


79/102

V a r i a t i o n a l e n e r g y

T h e v a r i a t i o n a l e n e r g y i s :

,

H

Q H j V l o g

P H ; V

I n s i g m o i d n e t w o r k s :

l o gP

H ; V =,

X

i j

i j

S

i

S

j

+

X

i

l o g

"

1 +e

P

j

i j

S

j

:

T h e r s t t e r m a r e c o m m o n t o u n d i r e c t e d n e t w o r k s .

T h e l a s t t e r m i s n o t .

A v e r a g i n g o v e r

Q H j V g i v e s :

,

X

i j

i j

i

j

X

i

*

l o g

"

1 +e

P

j

i j

S

j

+

T h e l a s t t e r m i s i n t r a c t a b l e , s o a g a i n

w e u s e J e n s e n ' s i n e q u a l i t y t o o b t a i n a n

u p p e r b o u n d . . .


80/102

L e m m a S e u n g : f o r a n y r a n d o m v a r i a b l e

z, a n d

a n y r e a l n u m b e r :

hl o g 1 +

e

z

i

h z i+ l o g

*

e

, z

+ e

1 , z

+

:

E x

: zi s G a u s s i a n w i t h z e r o m e a n a n d u n i t v a r i a n c e .

0 0.2 0.4 0.6 0.8 10.75

0.8

0.85

0.9

0.95

1

exact

bound

E x

: zi s t h e s u m o f w e i g h t e d i n p u t s t o

S

i

;

z =

X

j

i j

S

j

+ h

i

:

T h e l e m m a p r o v i d e s a n u p p e r b o u n d o n t h e

i n t r a c t a b l e t e r m s i n t h e v a r i a t i o n a l e n e r g y :

X

i

*

l o g

"

1 +e

P

j

i j

S

j

+


81/102

V a r i a t i o n a l m e a n e l d e q u a t i o n s

T h e b o u n d o n t h e l o g - l i k e l i h o o d ,

l o gP V j

0

B

B

@


e n t r o p y

1

C

C

A

,

0

B

B

@


e n e r g y

1

C

C

A

;

i s v a l i d f o r a n y s e t t i n g o f t h e v a r i a t i o n a l p a r a m e t e r s ,

f

i

g

T h e o p t i m a l

f

i

ga r e f o u n d b y s o l v i n g t h e

v a r i a t i o n a l e q u a t i o n s :

i

=

0

B

@

X

j

i j

j

+

j i

j

,

j

, K

j i

1

C

A

Si

T h e e e c t i v e i n p u t t o

S

i

i s c o m p o s e d o f

t e r m s f r o m i t s M a r k o v b l a n k e t


82/102

N u m e r i c a l e x p e r i m e n t s

F o r s m a l l n e t w o r k s , t h e v a r i a t i o n a l b o u n d c a n

b e c o m p a r e d t o t h e t r u e l i k e l i h o o d o b t a i n e d

b y e x a c t e n u m e r a t i o n .

W e c o n s i d e r e d t h e e v e n t t h a t a l l t h e u n i t s i n

t h e b o t t o m l a y e r w e r e i n a c t i v e .

T h i s w a s d o n e f o r 1 0 0 0 0 r a n d o m n e t w o r k s

w h o s e w e i g h t s a n d b i a s e s w e r e u n i f o r m l y

d i s t r i b u t e d b e t w e e n - 1 a n d 1 .


83/102

M e a n e l d a p p r o x i m a t i o n

:

0 0.01 0.02 0.03 0.04 0.05 0.06 0.070

500

1000

1500

2000

2500

3000

3500

4000

4500

relative error in loglikelihood

mean field approximation

U n i f o r m a p p r o x i m a t i o n

:

1 0.5 0 0.5 1 1.50

500

1000

1500

2000

2500

3000

3500

4000

relative error in loglikelihood

uniform approximation


84/102

D i g i t r e c o g n i t i o n

I m a g e s :

C o n f u s i o n m a t r i x :

0 1 2 3 4 5 6 7 8 9

0 3 8 8 2 2 0 1 3 0 0 4 0

1 0 3 9 3 0 0 0 1 0 0 6 0

2 1 2 3 7 6 1 3 0 4 0 1 3 0

3 0 2 4 3 7 3 0 1 2 0 0 6 3

4 0 0 2 0 3 8 3 0 1 2 2 1 0

5 0 2 1 1 3 0 3 7 7 2 0 4 1

6 1 4 2 0 1 6 3 8 6 0 0 0

7 0 1 0 0 0 0 0 3 8 8 3 8

8 1 9 1 7 0 7 1 1 3 6 9 4

9 0 4 0 0 0 0 0 8 5 3 8 3

C o m p a r a t i v e r e s u l t s :

a l g o r i t h m t e s t e r r o r

n e a r e s t n e i g h b o r 6 . 7

b a c k p r o p a g a t i o n 5 . 6

H e l m h o l t z m a c h i n e 4 . 8

v a r i a t i o n a l 4 . 6


85/102

E x a m p l e | F a c t o r i a l H M M

G h a h r a m a n i & J o r d a n , 1 9 9 7

R e c a l l t h e f a c t o r i a l h i d d e n M a r k o v m o d e l , w h i c h

y i e l d e d i n t r a c t a b l y l a r g e c l i q u e s w h e n t r i a n g u l a t e d :

...

...

...

X(1)

1X

(1)

2X

(1)

3

2X(2)

3X(2)

X(2)

1

1X(3)

2X(3)

3X(3)

1Y 2Y 3Y

W e c a n v a r i a t i o n a l l y t r a n s f o r m t h i s m o d e l i n t o :

...

...

...

w h e r e w e s e e t h a t w e h a v e t o s o l v e s e p a r a t e s i m p l e

H M M p r o b l e m s o n e a c h i t e r a t i o n . T h e v a r i a t i o n a l

p a r a m e t e r s c o u p l e t h e c h a i n s .


86/102

E x a m p l e | F a c t o r i a l H M M c o n t .

...

...

...

X(1)

1X

(1)

2X

(1)

3

2X(2)

3X(2)

X(2)

1

1X(3)

2X(3)

3X(3)

1Y 2Y 3Y

Mi n d e p e n d e n t M a r k o v c h a i n s g i v e n t h e o b s e r v a t i o n s

Q f X

t

g j

=

M

Y

m = 1

Q X

m

1

j

T

Y

t = 2

Q X

m

t

j X

m

t , 1

; ;

w h e r e

Q X

m

1

j =

m

h

m

1

Q X

m

t

j X

m

t , 1

; =P

m

h

m

t

:

T h e p a r a m e t e r s o f t h i s a p p r o x i m a t i o n a r e t h e

h

m

t

,

w h i c h p l a y t h e r o l e o f o b s e r v a t i o n l o g p r o b a b i l i t i e s

f o r t h e H M M s .


87/102

E x a m p l e | F a c t o r i a l H M M c o n t .

M i n i m i z i n g t h e K L d i v e r g e n c e r e s u l t s i n t h e f o l l o w i n g

x e d p o i n t e q u a t i o n :

h

m

t

e x p

f W

m

0

C

, 1

Y

t

,

Y

t

!

+ W

m

0

C

, 1

W

m

h X

m

t

,

1

2

m

g ;

w h e r e

Y

t

=

M

X

= 1

W

h X

t

i ;

a n d

m

i s t h e v e c t o r o f d i a g o n a l e l e m e n t s o f

W

m

0

C

, 1

W

m

.

R e p e a t u n t i l c o n v e r g e n c e o f K L

Q k P :

1 . C o m p u t e h

m

t

u s i n g x e d - p o i n t e q u a t i o n , w h i c h

d e p e n d s o n h X

m

t

i

2 . C o m p u t e h X

m

t

iu s i n g f o r w a r d - b a c k w a r d

a l g o r i t h m o n H M M s w i t h o b s e r v a t i o n l o g

p r o b a b i l i t i e s g i v e n b y h

m

t


88/102

R e s u l t s

F i t t i n g t h e F H M M t o t h e B a c h C h o r a l e d a t a s e t :

G h a h r a m a n i & J o r d a n , 1 9 9 7 :

Modeling J. S. Bachs chorales

Discrete event sequences:

Attribute Description Representation

pitch pitch of the event int

keysig key signature of the chorale

(num of sharps and flats)

int

timesig time signature of the chorale int (1/16 notes)

fermata event under fermata? binary

st start time of event int (1/16 notes)dur duration of event int (1/16 notes)

First 40 events of 66 chorale melodies:

training: 30 melodies

test: 36 melodies

See Conklin and Witten (1995).


89/102

F i t t i n g a s i n g l e H M M t o t h e B a c h c h o r a l e d a t a

0 20 40 60 8010

9

8

7

6

5

4

Size of state space

Validationsetloglikeliho

od

HMM model of Bach Chorales


90/102

F i t t i n g a f a c t o r i a l H M M t o t h e B a c h c h o r a l e d a t a

101

102

103

10

9

8

7

6

5

4Factorial HMM Model of Bach Chorales


91/102

E x a m p l e | h i d d e n M a r k o v d e c i s i o n t r e e

J o r d a n , G h a h r a m a n i , & S a u l , 1 9 9 7

R e c a l l t h e h i d d e n M a r k o v d e c i s i o n t r e e , w h i c h a l s o

y i e l d e d i n t r a c t a b l y l a r g e c l i q u e s w h e n t r i a n g u l a t e d :

U1

Y1

U2

Y2

U3

Y3

W e c a n v a r i a t i o n a l l y t r a n s f o r m t h i s m o d e l i n t o o n e o f

t w o s i m p l i e d m o d e l s :

...

...

...

o r

x

z11

z12

z13

y1

1 x

z21

z22

z2

3

y2

2 x

z31

z32

z33

y3

3


92/102

F o r e s t o f c h a i n s a p p r o x i m a t i o n

E l i m i n a t i n g t h e v e r t i c a l l i n k s t h a t c o u p l e t h e s t a t e s

y i e l d s a n a p p r o x i m a t i n g g r a p h t h a t i s a f o r e s t o f

c h a i n s :

T h e

Qd i s t r i b u t i o n i s g i v e n b y :

Q f z

1

t

; z

2

t

; z

3

t

g j fy

t

g ; f x

t

g =

1

Z

Q

T

Y

t = 2

~a

1

t

z

1

t

j z

1

t , 1

~a

2

t

z

2

t

j z

2

t , 1

~a

3

t

z

3

t

j z

3

t , 1

T

Y

t = 1

~q

1

t

z

1

t

~q

2

t

z

2

t

~q

3

t

z

3

t

w h e r e ~ a

i

t

z

i

t

j z

i

t , 1

a n d ~ q

i

t

z

i

t

a r e p o t e n t i a l s t h a t

p r o v i d e t h e v a r i a t i o n a l p a r a m e t e r i z a t i o n

T h e r e s u l t i n g a l g o r i t h m i s e c i e n t b e c a u s e w e k n o w

a n e c i e n t s u b r o u t i n e f o r s i n g l e c h a i n s t h e

f o r w a r d - b a c k w a r d a l g o r i t h m


93/102

F o r e s t o f t r e e s a p p r o x i m a t i o n

E l i m i n a t i n g t h e h o r i z o n t a l l i n k s t h a t c o u p l e t h e

s t a t e s y i e l d s a n a p p r o x i m a t i n g g r a p h t h a t i s a f o r e s t

o f t r e e s :

T h e

Qd i s t r i b u t i o n i s g i v e n b y :

Q f z

1

t

; z

2

t

; z

3

t

g j fy

t

g ; f x

t

g =

T

Y

t = 1

~r

1

t

z

1

1

~r

2

t

z

2

1

j z

1

1

~r

3

t

z

3

1

j z

1

1

; z

2

1

T h e r e s u l t i n g a l g o r i t h m i s e c i e n t b e c a u s e w e k n o w

a n e c i e n t s u b r o u t i n e f o r d e c i s i o n t r e e s t h e u p w a r d

r e c u r s i o n f r o m J o r d a n a n d J a c o b s


94/102

A V i t e r b i - l i k e a p p r o x i m a t i o n

W e c a n d e v e l o p a V i t e r b i - l i k e a l g o r i t h m b y u t i l i z i n g

a n a p p r o x i m a t i o n Q

t h a t a s s i g n s p r o b a b i l i t y o n e t o a

s i n g l e p a t h f

z

1

t

;

z

2

t

;

z

3

t

g :

Q f z

1

t

; z

2

t

; z

3

t

g j fy

t

g ; f x

t

g =

8

:

1 i fz

i

t

=

z

i

t

; 8t ; i

0 o t h e r w i s e

N o t e t h a t t h e e n t r o p y

Ql n

Qi s z e r o

T h e e v a l u a t i o n o f t h e e n e r g y

Ql n

Pr e d u c e s t o

s u b s t i t u t i n g

z

i

t

f o rz

i

t

i nP

T h e r e s u l t i n g a l g o r i t h m i n v o l v e s a s u b r o u t i n e i n

w h i c h a s t a n d a r d V i t e r b i a l g o r i t h m i s r u n o n a s i n g l e

c h a i n , w i t h t h e o t h e r x e d c h a i n s p r o v i d i n g e l d

t e r m s


95/102

M i x t u r e - b a s e d v a r i a t i o n a l a p p r o x i m a t i o n

J a a k k o l a & J o r d a n , 1 9 9 7

N a i v e m e a n e l d a p p r o x i m a t i o n s a r e u n i m o d a l

E x a c t m e t h o d s r u n n i n g a s s u b r o u t i n e s p r o v i d e a w a y

t o c a p t u r e m u l t i m o d a l i t y

B u t w e w o u l d l i k e a m e t h o d t h a t a l l o w s

m u l t i m o d a l i t y i n t h e a p p r o x i m a t i o n i t s e l f

T h i s c a n b e d o n e b y l e t t i n g t h e

Qd i s t r i b u t i o n b e a

m i x t u r e :

Q

m i x

H j V =

X

m

m

Q

m f

H jV ; m

w h e r e e a c h c o m p o n e n t Q

m i x

H j V i s a f a c t o r i z e d

m o d e l


96/102

M i x t u r e - b a s e d a p p r o x i m a t i o n c o n t .

T h e b o u n d o n t h e l i k e l i h o o d t a k e s t h e f o l l o w i n g f o r m :

F Q

m i x

=

X

m

m

F Q

m f

j m +

I m ; H

w h e r e I m ; H

i s t h e m u t u a l i n f o r m a t i o n b e t w e e n

t h e m i x t u r e c o m p o n e n t s

D e r i v a t i o n :

F Q

m i x

=

X

H

Q

m i x

H l o g

P H ; V

Q

m i x

H

=

X

m ; H

m

2

6

6

4

Q

m f

H j m l o g

P H ; V

Q

m i x

H

3

7

7

5

=

X

m ; H

m

2

6

6

4

Q

m f

H j m l o g

P H ; V

Q

m f

H j m

+ Q

m f

H j m l o g

Q

=

X

m

m

F Q

m f

j m +

X

m ; H

m

Q

m f

H j m l o g

Q

m f

H j m

Q

m i x

H

=

X

m

m

F Q

m f

j m +

I m ; H

W e s e e t h a t t h e b o u n d c a n b e i m p r o v e d v i s - a - v i s

n a i v e m e a n e l d v i a t h e m u t u a l i n f o r m a t i o n t e r m


97/102

M i x t u r e - b a s e d v a r i a t i o n a l a p p r o x i m a t i o n

B i s h o p , e t a l . , 1 9 9 7

0 0.02 0.04 0.06 0.080

1000

2000

30005 components, mean: 0.011394

0 0.02 0.04 0.06 0.080

1000

2000


0 0.02 0.04 0.06 0.08

0

1000

2000


0 0.02 0.04 0.06 0.08

0

1000

2000


0 0.02 0.04 0.06 0.080

1000

2000

30001 component, mean: 0.015731

1 2 3 4 50.01

0.012

0.014

0.016

no. of components

meanerror


98/102

C O N C L U S I O N S P A R T I I

G e n e r a l f r a m e w o r k s f o r p r o b a b i l i s t i c c o m p u t a t i o n i n

g r a p h i c a l m o d e l s :

e x a c t c o m p u t a t i o n

d e t e r m i n i s t i c a p p r o x i m a t i o n

s t o c h a s t i c a p p r o x i m a t i o n

V a r i a t i o n a l m e t h o d s a r e d e t e r m i n i s t i c a p p r o x i m a t i o n

m e t h o d s

t h e y a i m t o t a k e a d v a n t a g e o f

l a w - o f - l a r g e - n u m b e r s p h e n o m e n a i n d e n s e

n e t w o r k s

t h e y y i e l d u p p e r a n d l o w e r b o u n d s o n d e s i r e d

p r o b a b i l i t i e s

T h e t e c h n i q u e s c a n b e c o m b i n e d t o y i e l d h y b r i d

t e c h n i q u e s w h i c h m a y w e l l t u r n o u t t o b e b e t t e r t h a n

a n y s i n g l e t e c h n i q u e


99/102

A D D I T I O N A L T O P I C S

T h e r e a r e m a n y o t h e r t o p i c s t h a t w e h a v e n o t

c o v e r e d , i n c l u d i n g :

l e a r n i n g s t r u c t u r e s e e H e c k e r m a n t u t o r i a l

c a u s a l i t y s e e U A I h o m e p a g e

q u a l i t a t i v e g r a p h i c a l m o d e l s s e e U A I h o m e p a g e

r e l a t i o n s h i p s t o p l a n n i n g s e e U A I h o m e p a g e

i n u e n c e d i a g r a m s s e e U A I h o m e p a g e

r e l a t i o n s h i p s t o e r r o r c o n t r o l c o d i n g s e e F r e y

t h e s i s

T h e U n c e r t a i n t y i n A r t i c i a l I n t e l l i g e n c e U A I

h o m e p a g e :

h t t p : w w w . a u a i . o r g


100/102

R E F E R E N C E S

J e n s e n , F . 1 9 9 6 . A n I n t r o d u c t i o n t o B a y e s i a n N e t w o r k s . L o n d o n : U C L P r e s s a l s o

p u b l i s h e d b y S p r i n g e r - V e r l a g .

L a u r i t z e n , S . L . , & S p i e g e l h a l t e r , D . J . 1 9 8 8 . L o c a l c o m p u t a t i o n s w i t h p r o b a b i l i t i e s o n

g r a p h i c a l s t r u c t u r e s a n d t h e i r a p p l i c a t i o n t o e x p e r t s y s t e m s w i t h d i s c u s s i o n . J o u r n a l o f

t h e R o y a l S t a t i s t i c a l S o c i e t y B , 5 0 , 1 5 7 - 2 2 4 .

J e n s e n , F . V . , L a u r i t z e n , S . L . a n d O l e s e n , K . G . , 1 9 9 0 B a y e s i a n u p d a t i n g i n r e c u r s i v e

g r a p h i c a l m o d e l s b y l o c a l c o m p u t a t i o n s . C o m p u t a t i o n a l S t a t i s t i c a l Q u a r t e r l y . 4 , 2 6 9 2 8 2 .

D a w i d , A . P . 1 9 9 2 . A p p l i c a t i o n s o f a g e n e r a l p r o p a g a t i o n a l g o r i t h m f o r p r o b a b i l i s t i c

e x p e r t s y s t e m s . S t a t i s t i c s a n d C o m p u t i n g , 2 , 2 5 - 3 6 .

P e a r l , J . 1 9 8 8 . P r o b a b i l i s t i c R e a s o n i n g i n I n t e l l i g e n t S y s t e m s : N e t w o r k s o f P l a u s i b l e

I n f e r e n c e . S a n M a t e o , C A : M o r g a n K a u f m a n .

W h i t t a k e r , J . 1 9 9 0 . G r a p h i c a l M o d e l s i n A p p l i e d M u l t i v a r i a t e S t a t i s t i c s . N e w Y o r k : J o h n

W i l e y .

L a u r i t z e n , S . 1 9 9 6 . G r a p h i c a l M o d e l s . O x f o r d : O x f o r

Graphical Models by z.ghahremani

Documents

Transcript of Graphical Models by z.ghahremani