U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v...

32
MATRICES, TENSORS, AND NEURAL NETWORKS

Transcript of U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v...

Page 1: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

MATRICES, TENSORS, AND NEURAL NETWORKS

Page 2: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Probabilistic Models: Downsides

Limitation to Logical Relations

• Representation restricted by manual design• Clustering? Assymetric implications?• Information flows through these relations

• Difficult to generalize to unseen entities/relations

Computational Complexity of Algorithms

• Complexity depends on explicit dimensionality• Often NP-Hard, in size of data• More rules, more expensive inference

• Query-time inference is sometimes NP-Hard• Not trivial to parallelize, or use GPUs

Embeddings

• Everything as dense vectors• Can capture many relations• Learned from data

• Complexity depends on latent dimensions

• Learning using stochastic gradient, back-propagation

• Querying is often cheap• GPU-parallelism friendly

2

Page 3: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Two Related Tasks

relation

Graph Completion

relation

relation

relationrelation

relationrelation

relation

relation

RelationExtraction

surface pattern

surface pattern

relation

relation

relation

relation

3

Page 4: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Two Related Tasks

RelationExtraction

Graph Completion

surface pattern

surface pattern

relation

relation

relation

relation

relation

relation

relation

relation

relationrelation

relation

relation

relation

4

Page 5: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

What is NLP?

John was born in Liverpool, to Julia and Alfred Lennon.

Natural LanguageProcessing

NNP VBD VBD IN NNP TO NNP CC NNP NNP

John was born in Liverpool, to Julia and Alfred Lennon.Person Location Person Person

Lennon..John Lennon...

Mrs. Lennon.... his mother ..

his fatherAlfredhe

the Pool

5

Page 6: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

What is Information Extraction?

John Lennon

Alfred Lennon

Julia Lennon

Liverpoolbirthplace

childOf

childOf

spouse

Information Extraction

6

NNP VBD VBD IN NNP TO NNP CC NNP NNP

John was born in Liverpool, to Julia and Alfred Lennon.Person Location Person Person

Lennon..John Lennon...

Mrs. Lennon.... his mother ..

his fatherAlfredhe

the Pool

Page 7: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Relation Extraction From TextJohn was born in Liverpool, to Julia and Alfred Lennon.

John Lennon

Alfred Lennon

Julia Lennon

Liverpool“was born in”

“was born to”

“was born to”

“and”

“born in __, to”

“born in __, to”

7

Page 8: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Relation Extraction From Text

John Lennon

Alfred Lennon

Julia Lennon

Liverpoolbirthplace

John was born in Liverpool, to Julia and Alfred Lennon.

“was born in”“was born to”

“was born to”

childOf

childOf“and”

“born in __, to”

“born in __, to”

livedIn

livedIn

8

Page 9: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

“Distant” Supervision

9

John LennonLiverpool

birthplace

“was born in”

No direct supervision gives us this information.Supervised: Too expensive to label sentencesRule-based: Too much variety in languageBoth only work for a small set of relations, i.e. 10s, not 100s

Barack ObamaHonolulu birthplace

“was born in”

“is native to”

“visited”

“met the senator from”

Page 10: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Relation Extraction as a Matrix

John was born in Liverpool, to Julia and Alfred Lennon.

John Lennon, Liverpool

John Lennon, Julia Lennon

John Lennon, Alfred Lennon

Julia Lennon, Alfred Lennon

1

1

1

1

Barack Obama, Hawaii

Barack Obama, Michelle Obama

1

1 1

1

?

?

Entit

y Pa

irs

10Universal Schema, Riedel et al, NAACL (2013)

Page 11: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

≈n

kkm

X

relations

pairs

Matrix Factorization

nm

Universal Schema, Riedel et al, NAACL (2013)

bornIn(John,Liverpool)bornIn(John,Liverpool)

11

relations

pairs

Page 12: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Training: Stochastic Updates

Pick an observed cell, :

◦ Update & such that is higher

Pick any random cell, assume it is negative:

◦ Update & such that is lower

relations

pairs

pairs

relations

12

Page 13: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Relation Embeddings

13

Page 14: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Embeddings ~ Logical RelationsRelation Embeddings, w◦ Similar embedding for 2 relations denote they are paraphrases

◦ is married to, spouseOf(X,Y), /person/spouse

◦ One embedding can be contained by another◦ w(topEmployeeOf) ⊂ w(employeeOf)◦ topEmployeeOf(X,Y) → employeeOf(X,Y)

◦ Can capture logical patterns, without needing to specify them!

From Sebastian Riedel 14

Entity Pair Embeddings, vSimilar entity pairs denote similar relations between themEntity pairs may describe multiple “relations”

independent foundedBy and employeeOfrelations

Page 15: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Similar Embeddings

X own percentage of Y X buy stake in Y

Time, IncAmer. Tel. and Comm.

1 1

VolvoScania A.B.

1

CampeauFederated Dept Stores

AppleHP

Successfully predicts “Volvo owns percentage of Scania A.B.”from “Volvo bought a stake in Scania A.B.”

similar underlying embedding

sim

ilar e

mbe

ddin

g

From Sebastian Riedel 15

Page 16: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Implications

X professor at Y X historian at Y

Kevin BoyleOhio State

1

R. FreemanHarvard

1

Learns asymmetric entailment:PER historian at UNIV → PER professor at UNIV

But,PER professor at UNIV → PER historian at UNIV

X historian at Y → X professor at Y

(Freeman,Harvard) → (Boyle,OhioState)

From Sebastian Riedel 16

Page 17: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Two Related Tasks

RelationExtraction

Graph Completion

surface pattern

surface pattern

relation

relation

relation

relation

relation

relation

relation

relation

relationrelation

relation

relation

relation

17

Page 18: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Graph Completion

John Lennon

Alfred Lennon

Julia Lennon

Liverpoolbirthplace

“was born in”“was born to”

“was born to”

childOf

childOf“and”

“born in __, to”

“born in __, to”

livedIn

livedIn

18

Page 19: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

spouse

spouse

Graph Completion

John Lennon

Alfred Lennon

Julia Lennon

Liverpoolbirthplace

childOf

childOf

livedIn

livedIn

19

Page 20: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

|R|

|E|

Tensor Formulation of KG

e1

e2r

|E|

Does an unseenrelation exist?

20

Page 21: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

|R|

|E|

Factorize that Tensor

|E|

|E|

|E||R|

kk

k

21

Page 22: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Many Different Factorizations

CANDECOMP/PARAFAC-Decomposition

Tucker2 and RESCAL Decompositions

Model E

HOLE: Nickel et al, AAAI (2016), Model E: Riedel et al, NAACL (2013), RESCAL: Nickel et al, WWW (2012), CP: Harshman (1970), Tucker2: Tucker (1966)

Not tensorfactorization(per se)

22

Holographic Embeddings

Page 23: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Translation Embeddings

e1

e2

r

TransE

TransE: Bordes et al. XXX (2011), TransH: Bordes et al. XXX (2011), TransR: Bordes et al. XXX (2011) 23

TransH

TransR

Liverpool

John Lennon

birthplace

birthplace

Barack Obama

Honolulu

Page 24: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

|R|

|E|

Parameter Estimation

e1

e2r

|E|

24

Observed cell: increase score

Unobserved cell: decrease score

Page 25: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Matrix vs Tensor Factorization

• Vectors for each entity pair• Can only predict for entity pairs that

appear in text together• No sharing for same entity in different

entity pairs

• Vectors for each entity• Assume entity pairs are “low-rank”

• But many relations are not!• Spouse: you can have only ~1

• Cannot learn pair specific information

25

Page 26: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

What they can, and can’t, do..

From Singh et al. VSM (2015), http://sameersingh.org/files/papers/mftf-vsm15.pdf 26

Page 27: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Joint Extraction+Completionsurface pattern

surface pattern

RelationExtraction

relation

relation

relation

Graph Completion

relation

relation

relation

relation

relation

relationrelation

relation

relation

relation

Joint Model

27

Page 28: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Compositional Neural ModelsSo far, we’re learning vectors for each entity/surface pattern/relation..

But learning vectors independently ignores “composition”

Composition in Surface Patterns

• Every surface pattern is not unique

• Synonymy:

• Inverse:

• Can the representation learn this?

A is B’s spouse.A is married to B.

X is Y’s parent.Y is one of X’s children.

Composition in Relation Paths

• Every relation path is not unique

• Explicit:

• Implicit:

• Can the representation capture this?

X “bornInState” ZX bornInCity Y, Y cityInState Z

A grandparent CA parent B, B parent C

28

Page 29: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Composing Dependency Paths

… was born to … … ‘s parents are … \parentsOf

(never appears in training data)

But we don’t need linked data to know they mean similar things…

Use neural networks to produce the embeddings from text!

… was born to … … ‘s parents are … \parentsOf

NN NN

Verga et al (2016), https://arxiv.org/pdf/1511.06396v2.pdf 29

Page 30: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Composing Relational Paths

Microsoft Seattle Washington USAisBasedIn stateLocatedIn countryLocatedIn

NN

stateBasedIn

countryBasedIn

NN

Neelakantan et al (2015), http://www.aaai.org/ocs/index.php/SSS/SSS15/paper/viewFile/10254/10032

Lin et al, EMNLP (2015), https://arxiv.org/pdf/1506.00379.pdf30

Page 31: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Review: Embedding TechniquesTwo Related Tasks:

• Relation Extraction from Text• Graph (or Link) Completion

Relation Extraction:• Matrix Factorization Approaches

Graph Completion:• Tensor Factorization Approaches

Compositional Neural Models• Compose over dependency paths• Compose over relation paths

31

Page 32: U d E^KZ^ U E E hZ - Mining Knowledge Graphs from Text | A ......d v W } o X yyy ~ î ì í í U d v , W } o X yyy ~ î ì í í U d v Z W } o X yyy ~ î ì í í î ï d v , d v Z

Tutorial Overview

32

Part 2: Knowledge Extraction

Part 3:Graph Construction

Part 1: Knowledge Graphs

Part 4: Critical Analysis

https://kgtutorial.github.io


Z P ] Ç } ( s ~ ] ( ] ] v s } o µ v u ] v ] ] } v } ( : µ ... · Y µ ] v ] v µ KZ h v ] ^ í î l ï í l î ì î í Z Z o v /E h v ] ^ í î l ï í l î ì î î

Z P ] Ç } ( s ~ ] ( ] ] v s } o µ v u ] v ] ] } v } ( : µ ... · Y µ ] v ] v µ KZ h v ] ^ í î l ï í l î ì î í Z Z o v /E h v ] ^ í î l ï í l î ì î î

WELCOME Newsletter February î ì î í

WELCOME Newsletter February î ì î í

E } ] ( } í Ç µ v î ì î í r î ì î î

E } ] ( } í Ç µ v î ì î í r î ì î î

GSJ: Volume ó, Issue í, November î ì í õ, Online: ISSN î ï ...€¦ · GSJ: Volume ó, Issue í, November î ì í õ, Online: ISSN î ï î ì- õ í ô ò CAPACITY FORECASTING

GSJ: Volume ó, Issue í, November î ì í õ, Online: ISSN î ï ...€¦ · GSJ: Volume ó, Issue í, November î ì í õ, Online: ISSN î ï î ì- õ í ô ò CAPACITY FORECASTING

î l í l î ì í ó - Lantern Initiative€¦ · î l í l î ì í ó í 8orrpdo +dglwk 6flhqfh ri wkh +dglwk ri wkh 0hvvhqjhu 3uhvhqwhg e\ 0dwhhq $ .kdq Ô Õ Ý Ò Ë Ê Í Ë

î l í l î ì í ó - Lantern Initiative€¦ · î l í l î ì í ó í 8orrpdo +dglwk 6flhqfh ri wkh +dglwk ri wkh 0hvvhqjhu 3uhvhqwhg e\ 0dwhhq $ .kdq Ô Õ Ý Ò Ë Ê Í Ë

Z h> Z E l Z & Ð W í î í l î ì d W í ó l ì ô l î ì î ì · /z h> z e l z & Ð w í î í l î ì d w í ó l ì ô l î ì î ì $668172 0hglgdv h[fhsflrqdlv idfh dr

Z h> Z E l Z & Ð W í î í l î ì d W í ó l ì ô l î ì î ì · /z h> z e l z & Ð w í î í l î ì d w í ó l ì ô l î ì î ì $668172 0hglgdv h[fhsflrqdlv idfh dr

Secondary Textbooks 2017-2018€¦ · õ ó ô í ñ ô í î í î î í í Á v^ ] P vW z: E: z >Kd ^>/ ^ ] P v ] v PE µ o o Ç í r ò õ ó ô í ñ ô í î í î í ì ñ Á

Secondary Textbooks 2017-2018€¦ · õ ó ô í ñ ô í î í î î í í Á v^ ] P vW z: E: z >Kd ^>/ ^ ] P v ] v PE µ o o Ç í r ò õ ó ô í ñ ô í î í î í ì ñ Á

í í l ó l î ì í ô - Wake Forest Universityusers.wfu.edu/natalie/f18phy711/lecturenote/Lecture29fornotes.pdf · í í l ó l î ì í ô î 3+< )doo /hfwxuh w w) ) fw 6roxwlrqv

í í l ó l î ì í ô - Wake Forest Universityusers.wfu.edu/natalie/f18phy711/lecturenote/Lecture29fornotes.pdf · í í l ó l î ì í ô î 3+< )doo /hfwxuh w w) ) fw 6roxwlrqv

î ì î ì Û%4%4 ¸ /*ñ ± ~ µ r í ô X í ò X í ð X í î © å ¢ Ý ... · î ñ D ó ô ð ï ï Ý *ñ,e û4 í ô B ô r î û4 í ô B î ò ¾ í Û7T9× #ã §4{

î ì î ì Û%4%4 ¸ /*ñ ± ~ µ r í ô X í ò X í ð X í î © å ¢ Ý ... · î ñ D ó ô ð ï ï Ý *ñ,e û4 í ô B ô r î û4 í ô B î ò ¾ í Û7T9× #ã §4{

ï í9 7 î í í î lcmside.org Fax: 9 ï7 ï 98 î7 · ï í9-7 - î í í î . Fax: 9 - ï7 ï-98 î7. Iowa District East . Lutheran hurch Missouri Synod í í ì ì LAIRS FERRY

ï í9 7 î í í î lcmside.org Fax: 9 ï7 ï 98 î7 · ï í9-7 - î í í î . Fax: 9 - ï7 ï-98 î7. Iowa District East . Lutheran hurch Missouri Synod í í ì ì LAIRS FERRY

Gate Painting Standard - PennsylvaniaGate Painting Standard ò _ í î _ î ð _ ò _ í î _ î ð _ î ð _ î ð _ î ð _ î ð _ î ð _ î ð _ î ð _ î ð _ í î _ í î

Gate Painting Standard - PennsylvaniaGate Painting Standard ò _ í î _ î ð _ ò _ í î _ î ð _ î ð _ î ð _ î ð _ î ð _ î ð _ î ð _ î ð _ î ð _ í î _ í î

CSA B651.1-12 Conception accessible des dispositifs ...5.1.3 Biométrie í í 5.2 Stabilité des enceintes í î 5.3 Écrans í î 5.3.1 Position des écrans í î 5.3.2 Écrans tactiles

CSA B651.1-12 Conception accessible des dispositifs ...5.1.3 Biométrie í í 5.2 Stabilité des enceintes í î 5.3 Écrans í î 5.3.1 Position des écrans í î 5.3.2 Écrans tactiles

Agenda Item #8 - FIINAL í í l ó l î ì í õ€¦ · agenda item #9 - fiinal í í l ó l î ì í õ î &rqwuro 6wuxfwxuh r ít^ > r ð ït ^ î ì ^ î ì (qjlqhhulqj 6wxg\

Agenda Item #8 - FIINAL í í l ó l î ì í õ€¦ · agenda item #9 - fiinal í í l ó l î ì í õ î &rqwuro 6wuxfwxuh r ít^ > r ð ït ^ î ì ^ î ì (qjlqhhulqj 6wxg\

WW&> l^ l î ì î ì r î ì î í l í î ò E } À u ì ð U î ì î ì

WW&> l^ l î ì î ì r î ì î í l í î ò E } À u ì ð U î ì î ì

Basket Class - University of Kentucky · Pikeville, KY ð í ñ ì í- í î ó í ~ ò ì ò ð ï î- î ñ ï ð ~ ô ì ì î ï ï- í ï õ ì. Fax: ~ ò ì ò ð ï î- î

Basket Class - University of Kentucky · Pikeville, KY ð í ñ ì í- í î ó í ~ ò ì ò ð ï î- î ñ ï ð ~ ô ì ì î ï ï- í ï õ ì. Fax: ~ ò ì ò ð ï î- î

µ í ô ] o î ì î ì U í î ì ì Z í ô ] o î ì î ì ] o Ç Z } } v Ks/ r í õ E ... · Title: Microsoft Word - 20200417_Daily_Report_on_COVID-19_Cabinet Author: arnoldng

µ í ô ] o î ì î ì U í î ì ì Z í ô ] o î ì î ì ] o Ç Z } } v Ks/ r í õ E ... · Title: Microsoft Word - 20200417_Daily_Report_on_COVID-19_Cabinet Author: arnoldng

How To Interpret The Organic Acids Test From Great Plains ... · ñ l í î l î ì í ò í í

How To Interpret The Organic Acids Test From Great Plains ... · ñ l í î l î ì í ò í í

ù ¬ Ø N ³Ù Ë År Û Ï r ± ¢ Ô Á ·År · þ...& p m ¸ í M g 5 í ¢ Ý î É 9 5 í*f!Í Ø 9 5 í 9 æ _ í ¸ î Ò ¸ î ³ å ¢ | m ¸ í0ð *º C í *f í$Î/²

ù ¬ Ø N ³Ù Ë År Û Ï r ± ¢ Ô Á ·År · þ...& p m ¸ í M g 5 í ¢ Ý î É 9 5 í*f!Í Ø 9 5 í 9 æ _ í ¸ î Ò ¸ î ³ å ¢ | m ¸ í0ð *º C í *f í$Î/²

K } W } P u l í X d/s/ ^ D/ ^ ~ ð U ì î X WZK h K / Ed1&/ ~ î U ñ ï X d/s/ … · 2017. 2. 1. · í í í í í d } o î î î î d } o ï d } o ð ð ð ð ð ð ( d } o

K } W } P u l í X d/s/ ^ D/ ^ ~ ð U ì î X WZK h K / Ed1&/ ~ î U ñ ï X d/s/ … · 2017. 2. 1. · í í í í í d } o î î î î d } o ï d } o ð ð ð ð ð ð ( d } o

v ' v . o í õ ô í r í î r î ì î ì í ð r ì ó r í ì · ' v s ] } v o o o Z µ o + ð ò ð ò õ õ ð// v µ v } . o Z î í ì ð î ó í ï'' > } Á sK î u Æ

v ' v . o í õ ô í r í î r î ì î ì í ð r ì ó r í ì · ' v s ] } v o o o Z µ o + ð ò ð ò õ õ ð// v µ v } . o Z î í ì ð î ó í ï'' > } Á sK î u Æ