Introduction aux réseaux complexes et applications au traitement de la langue

Introduction aux reseaux complexes et applicationsau traitement de la langue

Nicolas Dugue - Seminaire Synalp

Figure issue de [New04]

25 septembre 2015

LES RESEAUX COMPLEXES LES RESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION

Reseau : une definition ultra formelle

2/48N. Dugue



Des points...Relies par des traits !

2/48N. Dugue



Des points...Relies par des traits !

Terminologie

Reseau ou graphe ;Noeud ou sommet ;Lien ou arete ;Lien oriente ou arc.

2/48N. Dugue


FIGURE : Reseau des blogs politique aux etats unis par Adamic et Glance en2005, les conservateurs en rouge, les liberaux en bleu [AG05]

3/48N. Dugue


FIGURE : Le Zachary Karate Club [Zac77]

3/48N. Dugue


FIGURE : Barrett Lyon / The Opte Project Visualization of the routing paths ofthe Internet. 3/48N. Dugue


FIGURE : Barrett Lyon / The Opte Project Visualization of the routing paths ofthe Internet.

3/48N. Dugue


La bible : http ://konect.uni-koblenz.de/networks/Reseaux de :

citations ;collaborations ;sociaux ;transport ;pages web ;biologiques ;trucs moins conventionnels ;

4/48N. Dugue


1 Les reseaux complexesReseaux du reelUn premier modeleDistribution des degresPetit-mondeCommunautes

2 Les reseaux complexes issus de textesLes reseaux de co-occurence de motsLes reseaux syntaxiquesLes reseaux de concepts

3 ApplicationsClassification des languesAuthorship recognitionConstruction automatique de reseaux de concepts

5/48N. Dugue


Modele Erdos-Renyi : reseaux aleatoires

IntuitionBarabasi : ”people follow their unique interests when deciding whatsites to link their Web documents to, and given the diversity ofeveryone’s interests and the tremendous number of pages they canchoose from, the resulting pattern of connections should appear fairlyrandom.” [BB03]

6/48N. Dugue



n noeuds.Entre chaque paire, une arete existe avec probabilite p

6/48N. Dugue



n noeuds.Entre chaque paire, une arete existe avec probabilite p

Propagation d’epidemies ;Algorithmes de routing ;Percolation.

6/48N. Dugue



Erdos-Renyi Giant Component growth - p > ln(n)n

6/48N. Dugue


Le modele Erdos-Renyi est il un bon modele ?

FIGURE : Issu de Barabasi [BB03]7/48

N. Dugue


Le modele Erdos-Renyi est il un bon modele ?

FIGURE : Issu de Barabasi [BB03]

Distribution de Poisson.Le degre moyen depend de la taille du reseau.La distribution de des degres est homogene.

8/48N. Dugue





9/48N. Dugue


FIGURE : Flickrfriendships [MKG+08]

FIGURE : Youtubefriendships [YL15]

FIGURE : Email inEnron [KY04]

FIGURE : Chinesewikipedia [NSW+11]

FIGURE : Linux sourcecode includes

FIGURE : Flights betweenus airports [Ops11] 10/48

N. Dugue


Distribution des degres des reseaux du reel

Distribution en loi de puissance !

La distribution ne depend pas de la taille du reseau.La distribution des degres est tres heterogene.

11/48N. Dugue


Loi de puissance

FIGURE : Issu de Barabasi [BB03]12/48

N. Dugue


Distribution des degres des reseaux du reel

Modele de Barabasi-Albert [BA99]Idee : mecanisme local→ propriete emergente

Le reseau grandit avec l’ajout de nouveaux sommets ;

L’attachement preferentiel : pi =d(ni )

m .

→ Richs get richer.

13/48N. Dugue


Attachement preferentiel

Barabasi-Albert model [BA99] 14/48N. Dugue





15/48N. Dugue


Le petit-mondeLe ”paradoxe de Milgram”Les ”six degres de separation”Experience de Milgram

50 lettres donnees a 50 recrues du NebraskaDestinataire : un agent de change du MassachussetsLettres passees de connaissances en connaissances

3 lettres arrivent a destination dont une en moins de 4 jours.

16/48N. Dugue


Plus court chemin et coefficient de clustering

Plus court cheminChemin avec le nombre de noeuds minimum

Coefficient de clustering

Ci =2mi

di (di−1) avec mi le nombre d’aretes entre les di voisins du noeud i

17/48N. Dugue


FIGURE : Issu de Watts et Strogatz [WS98]

18/48N. Dugue


Modele Watts-Strogatz : petit monde


19/48N. Dugue



Un cercle de n noeuds connectes a leurs voisinsOn parcourt le cercle, et pour chaque noeud, on le rebranchealeatoirement avec une probabilite p→ p = 0 : cercle regulier ; p = 1 : reseau aleatoire

19/48N. Dugue



Small World network model 19/48N. Dugue




19/48N. Dugue





20/48N. Dugue


Une organisation communautaire

Exemples

Des communautes d’amisDes communautes scientifiquesDes blogs sur le meme sujetDes aeroports particulierement connectes

21/48N. Dugue



Girvan et Newman parle de modularite du reseau [GN02]Ravasz et Barabasi decrivent une organisation modulairehierarchique [RB03]

21/48N. Dugue



Des communautes hierarchiques : plusieurs echelles

Une equipe dans un labo→ Un labo→ Une communaute scientifique→ La communautes des scientifiques

21/48N. Dugue


Detecter la structure de communautes

61510

192

4

9

2114

85

22

16

18 12

1

7

3 1311

1720

22/48N. Dugue



Modularite [GN02]

Q =1

2m

∑i,j

(Aij −d(i)d(j)

2m)δ(ci , cj)

d(i) le degre du noeud im le nombre d’aretes du reseauAij le poids de l’arete entre i et j ou 0 s’il n’y en a pasci la communaute du noeud iδ(ci , cj) egal a 1 si i et j sont dans la meme communaute, 0 sinon.

22/48N. Dugue



Algorithme de Louvain [BGLL08]

Optimisation : NP-difficile→ Louvain : Algorithme glouton

22/48N. Dugue


FIGURE : Distribution linguistique des communautes du reseau d’appel destelephones portables belges issue de Blondel et al. [BDK15]

23/48N. Dugue





24/48N. Dugue


Reseaux de co-occurence de mots

Cancho et Sole [iCS01]The British National Corpus

Chaque mot unique est un sommetIl existe une arete entre deux mots voisins a distance au plus 2

→ n ∼ 500.000 et m ∼ 18.000.000

25/48N. Dugue



FIGURE : Le reseau est small-world d’apres Cancho et Sole [iCS01]

25/48N. Dugue



FIGURE : La distribution des degres : deux regimes de power-law d’apresCancho et Sole [iCS01]

25/48N. Dugue



Deux regimes

5.000 mots plus connectes (kernel lexicons)→ Attachementpreferentiel→ Utilisation preferentielle de mots communs, faciles amobiliser et a comprendre→ Modele Dorogovstev et Mendes d’evolution du langage [DM01]

25/48N. Dugue



FIGURE : Modele Dorogovstev et Mendes [DM01] a deux regimes depower-law [iCS01]

25/48N. Dugue





26/48N. Dugue


Langage naturelJohn put an envelope on thetable.The envelope on the tablefell to the floor.The address on theenvelope is wrong.

FIGURE : Figure issue de Cong et Liu [CL14].A gauche, le reseau de co-occurence. Adroite, le reseau syntaxique.

27/48N. Dugue


Cancho et Sole [iCSK04]Trois corpus en trois langues differentes annotes :

TchequeAllemandRoumain

→ Langues de familles differentes

28/48N. Dugue


FIGURE : Les reseaux sont small-world d’apres Cancho et Sole [iCSK04]

28/48N. Dugue


FIGURE : La distribution cumulative des degres entrant et sortant d’apresCancho et Sole [iCSK04]

28/48N. Dugue





29/48N. Dugue


Les reseaux de concepts

Deux mots sont connectes s’ils expriment le meme concept.

FIGURE : Issu de Motter et al. [MdMLD02]

30/48N. Dugue



Motter et al. [MdMLD02]Creation du reseau a partir d’un Thesaurus anglaisn ∼ 30.000 et m ∼ 1.800.000

31/48N. Dugue



Motter et al. [MdMLD02]Creation du reseau a partir d’un Thesaurus anglaisn ∼ 30.000 et m ∼ 1.800.000

Des raccourcis dans les associations d’idees : ”character” et ”universe”lies par ”nature”

31/48N. Dugue



→ Attachement preferentiel des concepts31/48

N. Dugue





32/48N. Dugue


Classification des langues

Textes parallelesUn roman ”How the steel was tempered”.14 textes paralleles.12 en langue slaves separees en trois branches : Eastern, Western,Southern.1 en chinois.1 en anglais.

Reseau de co-occurence de motsUn reseau par langue, pas de pre-traitements.Calcul du degre moyen, du coefficient de clustering, du diametre,exposant de la loi de puissance, etc

33/48N. Dugue


Hierarchie de langages

FIGURE : Figure issue de Cong et Liu [CL14]

34/48N. Dugue





35/48N. Dugue


Attribution de paternite

Mehri et al. [MDS12]36 livres.5 auteurs perses.5 epoques differentes.Des styles de poesie perses communs.

36/48N. Dugue



Reseau de co-occurence de motsUn reseau par livre, pas de pre-traitements.Calcul du degre moyen, du coefficient de clustering, du diametre,exposant de la loi de puissance, etc.Nombre de liens en fonction du nombre de noeuds.

36/48N. Dugue



Reseau de co-occurence de motsUn reseau par livre, pas de pre-traitements.Calcul du degre moyen, du coefficient de clustering, du diametre,exposant de la loi de puissance, etc.Nombre de liens en fonction du nombre de noeuds.

ClassificationDes proprietes globales qui semblent discriminantes.Une classification a partir de ces proprietes qui fonctionne.

36/48N. Dugue





37/48N. Dugue


Construction automatique de reseaux deconcepts

Veling et van der Weerd [VVDW99]

Construction d’un reseau de co-occurence :LemmatisationReperage de toutes les co-occurences entre deux mots a unedistance 50 ;Evaluation de la pertinence de ces co-occurences ;Ponderation du lien entre chaque paire de mots co-occurents.

38/48N. Dugue



FIGURE : Co-occurences de ”bomb” issu de la base Reuters par Veling et vander Weerd [VVDW99]

38/48N. Dugue



Groupement de concepts

Methode ad-hoc de ”percolation” de cliques.

FIGURE : Groupes crees par Veling et van der Weerd [VVDW99]

38/48N. Dugue





39/48N. Dugue


Conclusion

Des proprietes globales non triviales

Distribution des degres en loi de puissance ;Effet petit-monde ;Structure de communautes.

40/48N. Dugue


Conclusion



Des mecanismes locaux pour les expliquer

Attachement preferentiel ;”raccourcis” ;Transitivite.

40/48N. Dugue


Conclusion



Des mecanismes locaux pour les expliquer

Attachement preferentiel ;”raccourcis” ;Transitivite.

Des algorithmes pour identifier et analyser

Detection de communautes ;Roles communautaires ;

40/48N. Dugue


Conclusion

D’autres applications possibles ?

Desambiguısation du sens d’un motSpell-checkerPour ajuster la generation de textes ?Quels sont les mecanismes locaux (grammaire, syntaxe, ...) quifont emerger les proprietes globales des reseaux ?... ?

40/48N. Dugue


References I

[AG05] Lada A. Adamic and Natalie Glance.The political blogosphere and the 2004 u.s. election : Dividedthey blog.In Proceedings of the 3rd International Workshop on LinkDiscovery, LinkKDD ’05, pages 36–43, New York, NY, USA,2005. ACM.

[BA99] Albert-Laszlo Barabasi and Reka Albert.Emergence of scaling in random networks.science, 286(5439) :509–512, 1999.

[BB03] Albert-Laszlo Barabasi and Eric Bonabeau.Scale-free networks.Scientific American, 288(5) :50–59, 2003.

41/48N. Dugue


References II

[BDK15] Vincent D Blondel, Adeline Decuyper, and Gautier Krings.A survey of results on mobile phone datasets analysis.arXiv preprint arXiv :1502.03406, 2015.

[BGLL08] Vincent Blondel, Jean-Loup Guillaume, Renaud Lambiotte, andEtienne Lefebvre.Fast unfolding of communities in large networks.J. Stat. Mech., 10 :P10008, Oct 2008.

[CL14] Jin Cong and Haitao Liu.Approaching human language with complex networks.Physics of life reviews, 11(4) :598–618, 2014.

42/48N. Dugue


References III

[DM01] Sergey N Dorogovtsev and Jose Fernando F Mendes.Language as an evolving word web.Proceedings of the Royal Society of London B : BiologicalSciences, 268(1485) :2603–2606, 2001.

[GA05] R. Guimera and L. Amaral.Functional cartography of complex metabolic networks.Nature, 433 :895–900, 2005.

[GN02] M. Girvan and M. E. J. Newman.Community structure in social and biological networks.Proceedings of the National Academy of Sciences,99(12) :7821–7826, 2002.

43/48N. Dugue


References IV

[iCS01] Ramon Ferrer i Cancho and Richard V Sole.The small world of human language.Proceedings of the Royal Society of London B : BiologicalSciences, 268(1482) :2261–2265, 2001.

[iCSK04] Ramon Ferrer i Cancho, Ricard V Sole, and Reinhard Kohler.Patterns in syntactic dependency networks.Physical Review E, 69(5) :051915, 2004.

[KY04] Bryan Klimt and Yiming Yang.The enron corpus : A new dataset for email classificationresearch.In Machine learning : ECML 2004, pages 217–226. Springer,2004.

44/48N. Dugue


References V[MdMLD02] Adilson E Motter, Alessandro PS de Moura, Ying-Cheng Lai, and

Partha Dasgupta.Topology of the conceptual network of language.Physical Review E, 65(6) :065102, 2002.

[MDS12] Ali Mehri, Amir H. Darooneh, and Ashrafalsadat Shariati.The complex networks approach for authorship attribution ofbooks.Physica A : Statistical Mechanics and its Applications,391(7) :2429 – 2437, 2012.

[MKG+08] Alan Mislove, Hema Swetha Koppula, Krishna P Gummadi, PeterDruschel, and Bobby Bhattacharjee.Growth of the flickr social network.In Proceedings of the first workshop on Online social networks,pages 25–30. ACM, 2008.

45/48N. Dugue


References VI

[New04] Mark EJ Newman.Analysis of weighted networks.Physical Review E, 70(5) :056131, 2004.

[NSW+11] Xing Niu, Xinruo Sun, Haofen Wang, Shu Rong, Guilin Qi, andYong Yu.Zhishi. me-weaving chinese linking open data.In The Semantic Web–ISWC 2011, pages 205–220. Springer,2011.

[Ops11] Tore Opsahl.Why anchorage is not (that) important : Binary ties and sampleselection.online] http ://toreopsahl. com/2011/08/12/why-anchorage-is-not-that-important-binary-tiesand-sample-selection (accessedSeptember 2013), 2011.

46/48N. Dugue


References VII

[RB03] Erzsebet Ravasz and Albert-Laszlo Barabasi.Hierarchical organization in complex networks.Physical Review E, 67(2) :026112, 2003.

[VVDW99] Anne Veling and Peter Van Der Weerd.Conceptual grouping in word co-occurrence networks.In Proceedings of the 16th International Joint Conference onArtificial Intelligence - Volume 2, IJCAI’99, pages 694–699, SanFrancisco, CA, USA, 1999. Morgan Kaufmann Publishers Inc.

[WS98] Duncan J Watts and Steven H Strogatz.Collective dynamics of ’small-world’ networks.nature, 393(6684) :440–442, 1998.

47/48N. Dugue


References VIII

[YL15] Jaewon Yang and Jure Leskovec.

Defining and evaluating network communities based onground-truth.

Knowl. Inf. Syst., 42(1) :181–213, January 2015.

[Zac77] Wayne W. Zachary.

An information flow model for conflict and fission in small groups.

Journal of Anthropological Research, 33(4) :pp. 452–473, 1977.

48/48N. Dugue

Introduction aux réseaux complexes et applications au traitement de la langue

Data & Analytics

Transcript of Introduction aux réseaux complexes et applications au traitement de la langue