Les apports du TAL à la lisibilité du...

Problematique Methodologie Resultats Conclusion References

Les apports du TAL à la lisibilité du FLE

Thomas François1, 2

(1) B.A.E.F and Fulbright Fellow (Université de Pennsylvanie)(2) CENTAL, IL&C (Université Catholique de Louvain)

Séminaire à l’UQAM

8 juin 2012

1/60


Plan

1 Problématique

2 Méthodologie

3 Résultats

4 Discussion and conclusions

2/60


Plan

1 Problématique

2 MéthodologiePrédicteurs linguistiques de la difficultéConstitution du corpus

3 RésultatsAnalyse bivariéeConception de la formule


3/60


Un souci pragmatique !

Ces travaux s’inscrivent dans le domaine de la lisibilité.

Origine : Elle apparaît dans les années 20 aux USA. Il faut attendre1956 pour son introduction dans la sphère francophone.

Objectif : Discipline vise à évaluer la difficulté d’un texte pour unepopulation de lecteurs, sans reposer sur un jugement humain.

Résultats : Elle développe des formules de lisibilité, équationsmathématiques qui estiment automatiquement la difficulté detextes en fonction d’une population cible.

Les plus connues sont celles de [Dale and Chall, 1948] et de[Flesch, 1948].

4/60


Un exemple de formule

Un exemple d’une formule [Kandel and Moles, 1958] :

Y = 207− 1.015LP − 0.736LM

où :

Y : score de lisibilité compris entre 100 (très facile) et 0 (trèscomplexe).

LP : nombre moyen de mots par phrase ;

LM : nombre moyen de syllabes pour 100 mots.

LP et LM sont des indices de la difficulté (variables explicatives).

5/60


À quoi servent les formules de lisibilité ?

De nombreux usages en ont été fait :

Sélection de matériaux pour des manuels scolaires ;

Étalonnage de livres pour les enfants [Kibby, 1981, Stenner, 1996] ;

Utilisées dans des expériences scientifiques pour contrôler la difficultédes données textuelles ;

Utilisées par diverses administrations (justice, armée, etc.) et la pressepour contrôler le niveau de difficulté de leurs publications ;

Plus récemment, contrôle de la difficulté de textes générésautomatiquement [Antoniadis and Grusson, 1996, Aluisio et al., 2010,Kanungo and Orr, 2009].

6/60


Applications spécifiques au FLE

Conception automatique d’exercices de langueFrançais : ALEXIA [Chanier and Selva, 2000] ;ALFALEX [Selva, 2002, Verlinde et al., 2003] ;MIRTO [Antoniadis and Ponton, 2004, Antoniadis et al., 2005].

Anglais : tests de closure [Coniam, 1997, Brown et al., 2005] ;

WERTi [Amaral et al., 2006] ; VISL [Bick, 2001]

Web browser pour la recherche de textes sur un sujet précis etcorrespondant à un niveau de difficulté donné

Français : Dmesure [François and Naets, 2011] ;

English : IR4LL [Ott, 2009] ; REAP [Heilman et al., 2008b],

READ-X [Miltsakaki and Troutt, 2008]

Une formule de lisibilité pour le FLE ouvre donc nombre deperspectives en ALAO.

7/60


Qu’en est-il des formules pour le FLE ?

L’approche habituelle pour les langues étrangères : utiliser desformules de lisibilité développées pour des natifs. [Cornaire, 1985]

→ Déni des spécificités du processus de lecture en L2.

Cette approche est basée sur trois hypothèses critiquables

la compréhension des lecteurs en L2 est comparable à celle de natifs ;

les caractéristiques textuelles considérées comme variablesexplicatives dans les formules en L1 sont également pertinentes en L2(et les seules pertinentes) ;

la pondération de ces variables est la même pour le contexte L1 que L2.

8/60


L’alternative : considérer les spécificités du contexte L2

Quelques études ont pris en compte les spécificités duprocessus de lecture en L2 [Koda, 2005] :

[Tharp, 1939] critique l’approche précédente et propose l’une despremières formules spécifiques au FLE.→ Celle-ci prend en compte les congénères.

[Uitdenbogerd, 2005] propose aussi une formule qui prend en compteles congénères :

FR = 10 ∗WpS − Cog

dans laquelle :

WpS : le nombre moyen de mots par phrase ;Cog : le nombre de congénères pour 100 mots.

Peu de travaux dans le domaine !

9/60


Objectifs

Premier objectifConcevoir une formule de lisibilité pour le FLE, qui prenne encompte les spécificités de ce contexte.

10/60


Plan

1 Problématique




11/60


Étapes méthodologiques pour la conception d’uneformule

1 Rassembler un corpus de textes dont ladifficulté a été mesurée à l’aide d’uncritère tel que des tests decompréhension ou des tests de closure

2 Definir une liste de prédicteurslinguistiques de la difficulté, par ex. lalongueur des phrases ou la chargelexicale

3 À partir de ces variables et du corpus,entraîner un modèle statistique(traditionnellement une régressionlinéaire)

4 Évaluer le modèle

12/60


Variables

Plan

1 Problématique




13/60


Variables

Comment trouver de bons prédicteurs de la difficulté ?

Nous avons envisagé deux pistes différentes :

1 Tester les variables déjà utilisées dans la littérature en anglais ;

2 Explorer les processus de lecture en L1 et L2 afin de découvrirde nouvelles caractéristiques textuelles susceptibles del’influencer.

14/60


Variables

Les grands types de prédicteurs en lisibilité

3 grandes phases dans la sélection de prédicteurs :

1 La période classique : les formules recourrent à deux prédicteurs (unlexical et un syntaxique).[Flesch, 1948, Dale and Chall, 1948]

2 La période structuro-cognitive : correspond à une critique desformules classiques, incapables de prendre en compte des aspectsorganisationnels (cohérence, cohésion) ou cognitifs (inférence, densitéconceptuelle).[Kintsch and Vipond, 1979, Kemper, 1983]

15/60


Variables

Les grands types de prédicteurs en lisibilité

3 Les études récentes, que nous avons regroupées sous un nouveaunom : la lisibilité computationnelle :

Premiers efforts computationnels :SATO-CALIBRAGE [Daoust et al., 1996],la cohérence (estimée par LSA) comme prédicteurs[Foltz et al., 1998],et le premier modèle de langue [Si and Callan, 2001].

2004-2007 : utilisation du TAL pour automatiser des variables lexicales etsyntaxiques [Collins-Thompson and Callan, 2005,Schwarm and Ostendorf, 2005, Heilman et al., 2007].Après 2008 : prise en compte de variables cognitives et sémantiques[Crossley et al., 2007, Pitler and Nenkova, 2008, Feng et al., 2009].

La lisibilité computationnelle vise la synthèse entre la lisibilité classique et lecourant structuro-cognitiviste.

16/60


Variables

Les prédicteurs issus de la littérature

Nous avons implémenté 406 variables, dont la plupart sont baséessur la littérature en anglais :

lexicaux : statistiques de la fréquence lexicale ; absents d’une liste deréférence ; modèles n-grammes ; mesures de la diversitélexicale ; longueur des mots ;

grammaticaux : longueur de la phrase ; ratio des catégories de discours ;

sémantique : taux d’abstraction et de personnalisation ; densité desidées ; taux de cohérence mesuré via LSA ;

spécifique au FLE : présence de dialogue.

Plusieurs d’entre-eux n’ont jamais été testés dans le contexte du FLE(en gras).

17/60


Variables

L’apport de la psychologie cognitive

La description des processus de lecture sous un anglepsycholinguistique a permis de proposer de nouveaux prédicteurs :

lexicaux : le voisinage orthographique ; le TTR normalisé ; nombre desens d’un mot.

grammaticaux : type de verbes et de modes ;

spécifique au FLE : caractéristiques des unités polylexicales, étapesd’acquisition.

Des pistes inexplorées subsistent à ce niveau (en gras)

18/60


Variables

Objectif : ajout

Premier objectifConcevoir une formule de lisibilité pour le FLE, qui prenne encompte certaines des spécificités de ce contexte.

Second objectif

Évaluer la pertinence de la lisibilité computationnelle : est-ceque le TAL apporte quelque chose à la lisibilité ?

19/60


Conception

Plan

1 Problématique




20/60


Conception

Le critère d’annotation du corpus

La constitution du corpus requiert l’emploi d’un critère capabled’évaluer la difficulté de textes pour la population d’intérêt ;→ Après comparaison, nous avons opté pour le jugement d’experts ;

Le type de critère influence le choix de l’échelle de difficulté utilisée ;→ Par conséquent, nous avons extraits 2042 textes de 28 manuels (+2compléments) de FLE, qui respectent l’échelle du CECR[Conseil de l’Europe, 2001].

Hypothèse sous-jacenteLe niveau d’un texte sera considéré comme équivalent à celuidu manuel dont il est issu.

21/60


Conception

Critères de sélection des textes

L’ensemble des textes des manuels ne sont pas retenus. Lescritères suivants ont été employés :

1 Compatibilité avec le CECR (manuels après 2001) ;2 Modernité de la langue (lié au critère 1) ;3 Type de public : jeunes gens et adultes ;4 Lecture générale : pas de manuels sur objectifs spécifiques.

Un autre tri s’opère sur les textes :1 Textes associés à une tâche de compréhension à la lecture

uniquement ;2 Les consignes n’ont pas été reprises.

22/60


Conception

Répartition des textes par manuel

A1 A1+ A2 A2+ B1 B1+ B2 C1 C2Activités CECR / / / / 41 39 50 63 8

Alter Ego 46 44 61 31 74 42 / / /Comp. écrite / / 34 53 39 50 / / /Connexions 34 26 / / / / / / /

Connexions : prep. DELF / 11 / 12 / / / / /Delf/Dalf / / / / / / 31 78 19Festival 42 34 / / 28 26 / / /

Ici 13 28 25 17 / / / / /Panorama 31 27 50 48 56 57 41 / /Rond-point 3 19 4 7 21 19 76 / /Réussir Dalf / 17 / / / / / 43 22

Taxi ! 27 / 23 21 56 51 / / /Tout va bien ! / 50 36 56 45 37 / / /

Total 196 256 233 245 360 321 198 184 49

TABLE: Nombre de textes par niveau, pour chaque série de manuels pris en compte

23/60


Conception

Deux problèmes :

Deux problèmes ont été détectés au sein de ce corpus :

1 Le faible nombre de textes annotés comme C2.→ Or, nos expériences ont montré qu’il importait d’avoir un corpuséquilibré (même nombre de textes par niveau).

2 Des problèmes d’incohérence entre les annotations des différentsexperts (= manuels).

Deux solutions ont été envisagées :1 Les textes du niveau C2 ont été divisés en 2 ou 3 fragments→ on a

obtenu 108 textes ;2 Les manuels aux annotations les plus incohérentes ont été écartés.

Nous avons ainsi obtenu 8 corpus légèrement différents !

24/60


Plan

1 Problématique




25/60


Deux étapes de résultats

Nos expérimentations ont été opérées en deux temps :1 Évaluation de la capacité prédictive des variables employées seules ;2 Évaluation de la capacité prédictive de combinaisons de variables (=

formules).

En effet, deux bons prédicteurs peuvent apporter une informationfortement redondantes au modèle.

→ Seuls deux corpus sur les huit ont été retenus pour cesexpérimentations.

26/60


Bivariée

Plan

1 Problématique




27/60


Bivariée

Les mesures d’évaluation

4 mesures ont appliquées à chacune des 406 variables, afin de poserun diagnostic sur leur capacité prédictive :

1 Le r de Pearson : utile pour lesassociations linéaires ;

2 Le ρ de Spearman : évalue lesassociations monotones croissantes ;

3 Le test F de [Guilford, 1965] :linéarité de l’association ;

4 Le W de Shapiro-Wilk : normalité duprédicteur ;

28/60


Bivariée

Principales variables d’intérêt

Test6CE Test9CEr ρ W (p) F (p) r ρ F (p)

X75FFFDC −0.2962 −0.6273 < 0, 001 0.089 −0.3673 −0.6233 0.092X90FFFC −0.3193 −0.6413 < 0, 001 < 0, 001 −0.2463 −0.6283 < 0, 001

PAGoug_2000 0.5933 0.5973 < 0, 001 0.017 0.5743 0.5883 0.313PA_Alterego1a 0.6573 0.6523 < 0, 001 < 0, 001 0.6683 0.6723 0.002

ML3 −0.563 −0.5463 < 0, 001 < 0, 001 −0.5563 −0.5523 0.026meanNGProb.G 0.3823 0.4073 0.011 0.05 −0.2443 −0.1041 0.417

NLM 0.4793 0.4833 0.028 0.084 0.4313 0.443 0.027NL90P 0.5193 0.5213 < 0, 001 0.022 0.4783 0.4853 0.021

NMP 0.4863 0.6183 < 0, 001 0.014 0.4873 0.6523 0.031PRO.PRE −0.1813 −0.3453 < 0, 001 0.226 −0.1943 −0.3493 0.021

PPres 0.443 0.443 < 0, 001 0.003 0.4633 0.4633 0.023Pres_C −0.3553 −0.3373 < 0, 001 < 0, 001 −0.4393 −0.4333 < 0, 001

PP1P2 −0.4083 −0.3333 < 0, 001 0.008 −0.4053 −0.3463 < 0, 001avLocalLsa_Lem 0, 633 0, 633 < 0, 001 0, 01 0, 573 0, 573 0, 05

NAColl / 0.2863 / / / 0.2533 /BINGUI 0, 4623 0, 4623 < 0, 001 0, 018 0, 453 0, 453 0, 311

29/60


Bivariée

Résumé des conclusions de l’analyse univariée

Chaque famille de prédicteurs comporte au moins une variable d’intérêt→ idée : concevoir une formule avec ces prédicteurs ;

Parmi celles-ci, deux sont classiques : PA_Alterego1a et NMP ;

L’efficacité de PA_Alterego1a montre l’intérêt d’adapter une formule àun contexte précis (liste spécifique au FLE) ;

Très peu de variables normales et une partie seulement sont associéeslinéairement à la difficulté.

Intérêt du TAL en lisibilité ?La présence de la LSA parmi les meilleurs prédicteurs (et ML3)confirme l’intérêt du TAL en lisibilité ;

Mais, pas mal de variables TAL peu efficaces : n-grammes ! ; unitéspolylexicales.

30/60


Formule

Plan

1 Problématique




31/60


Formule

Plan d’évaluation

4 familles de modèles ont été comparées :

Baseline (classique) : NMP + NLM ;

4 meilleurs prédicteurs/famille : PA_Alterego1a + NMP +avLocalLsa_Lem + BINGUI ;

8 meilleurs prédicteurs/famille : PA_Alterego1a + X90FFFC + NMP +PPres + avLocalLsa_Lem + PP1P2 + BINGUI + NAColl.

→ Hypothèse : prendre en compte le plus de dimensions textuelles ;

Sélection automatisée de variables.

2 échelles différentes : 6 et 9 classes.

32/60


Formule

Mesures d’évaluation

Chacun de ces modèles a été évalué à l’aide de 5 mesures :

Le cœfficient de corrélation multiple (R) ;

L’exactitude (acc) ;

L’exactitude contiguë (acc − cont) ;

L’erreur-type (RMSE) ;

L’erreur moyenne absolue (MAE).

33/60


Formule

Résumé des résultats

Modèle Classifieur Paramètres R acc acc − cont rmse maeCorpus à 6 classes

Hasard / / / 16, 6% 44, 4% / /Baseline SVM γ = 0, 05; C = 25 0, 62 34% 68, 2% 1, 51 1, 06Expert1 RLM / 0, 70 39% 74, 2% 1, 34 0, 97Expert2 SVM γ = 0, 002; C = 75 0, 73 41% 78% 1, 28 0, 94

Modèle 2009 RLM / 0, 62 41% 71% / /Auto SVM γ = 0, 004; C = 5 0, 73 49% 79, 6% 1, 27 0, 90

Corpus à 9 classesHasard / / / 11, 1% 30, 8% / /

Baseline SVM γ = 0, 01; C = 40 0, 68 26, 5% 54, 5% 2, 27 1, 29Expert1 RLM / 0, 74 27, 5% 58, 1% 1, 95 1, 20Expert2 SVM γ = 0, 006; C = 20 0, 75 31% 62, 3% 1, 90 1, 17

Modèle 2009 RLM / 0, 72 32% 63% / /Auto SVM γ = 0, 004; C = 15 0, 74 35% 65, 4% 1, 92 1, 15

Résultat de la thèse+32, 4% (6 classes) et +23, 9% (9 classes) par rapport au hasard (en acc) ;

+8% (6 classes) et +3% (9 classes) par rapport au modèle de 2009 (en acc) ;

34/60


Formule

Comparaison avec les études actuelles

Étude ] cl. lg. Exac. Exac. cont. R RMSE[Kandel and Moles, 1958] (rég.) F. 33% / 0.55 /

[Si and Callan, 2001] 3 E. 75, 4% / / /[Collins-Thompson and Callan, 2004] 6 E. / / 0, 64 /[Collins-Thompson and Callan, 2004] 12 E. / / 0, 79 /[Collins-Thompson and Callan, 2004] 5 F. / / 0, 64 /

[Schwarm and Ostendorf, 2005] 4 E. / 79% à 94, 5% / /[Heilman et al., 2007] 12 E. / / 0, 72 2, 17[Heilman et al., 2007] 4 E. (L2) / / 0, 81 0, 66

[Heilman et al., 2008a] 12 E. / 45% 0, 58 2, 94[Heilman et al., 2008a] 12 E. / 52% 0, 77 2, 24

[Pitler and Nenkova, 2008] 5 E. / / 0, 78 /[François, 2009] 6 F. (L2) 41% 71% 0, 62 /[François, 2009] 9 F. (L2) 32% 63% 0, 72 2, 24

[Feng et al., 2009] 4 E. / / −0, 34 0, 57[Feng et al., 2010] 4 E. 70% / / /[Kate et al., 2010] 5 E. / / 0, 82 /

Modèle à 6 classes 6 F. (L2) 49% 80% 0, 73 1, 23Modèle à 9 classes 9 F. (L2) 35% 65% 0, 74 1, 92

Chez [Schwarm and Ostendorf, 2005], le gain au hasard (acc − cont) est de+24, 5% à +29%, contre +36% en moyenne pour notre modèle.

35/60


Plan

1 Problématique




36/60


Point sur les deux objectifs

1. Une nouvelle formule de lisibilité pour le FLENouvelle formule de lisibilité de FLE par SVM, avec 46 variables ;

1re formule de FLE au sein du paradigme de la lisibilitécomputationnelle ;

Surpasse une formule classique [Kandel and Moles, 1958], ainsi que[François, 2009].

Certaines variables peuvent probablement être omises dans uncontexte où la vitesse d’exécution prime (ex. MWE).

37/60


Point sur les deux objectifs

2. L’apport du TAL à la lisibilité du FLEPlusieurs variables « TAL » se sont révélées de bons prédicteursemployés seuls (LSA, unigramme, ratio cat. grammaticales, etc.) ;

L’efficacité combinée est moindre (LSA n’est pas retenue) ;→ certaines variables souffrent des approximations liées auxtechnologies TAL.

Variables classiques vs. variables TAL

[François and Miltsakaki, 2012] comparent des modèles SVM avec unmême nombre de variables (20) “classiques“ et ”non classiques“→ ”Classique“ : acc. = 38% vs. ”Non-classique“ : acc. = 42%(t(9) = 1.5; p = 0.08) !

Lorsqu’on ajoute les ”non-classiques“ à un modèle SVM basé sur les”classiques“, on passe de acc. = 37, 5% à 49%.

38/60


Autres conclusions d’intérêt

La lisibilité computationnelle profite non seulement des apports duTAL, mais aussi d’algorithmes issus de l’apprentissage automatisé.

Quel est l’apport de ces algorithmes

[François and Miltsakaki, 2012] comparent un modèle SVM avec unmodèle classique de régression linéaire (RL) :

Modèle R Acc. Adj. acc.

Classic RL 0.66 30.6% 78%SVM 0.67 37.5% 76%

Non-classic RL 0.68 32% 76%SVM 0.68 41.8% 73%

SVM et LR expliquent de façon semblable la lisibilité des textes, maisles SVMs classent plus précisément...→ La lisibilité n’est probablement pas une tâche de classification(>< vision actuelle) !

39/60


Autres conclusions d’intérêt

Hypothèse annexe : multi-dimensionnalité

Obtenir un gain de performances grâce à des dimensions textuellesdifférentes, MAIS...

4 dimensions (RLO) : acc : 36, 8% et acc − cont : 77, 8% vs. 4 var.lexico-syntaxiques (sélection automatique) : acc : 40% etacc − cont : 76, 1% !→ Cette hypothèse ne tient pas !

De plus, dans certains cas, la LSA souffre de colinéarité avec les autresvariables...→ Soupçon : la séparation entre famille distincte serait-elle articifielle ?

Le nettoyage des corpus a porté ses fruits : amélioration par rapport aumodèle de 2009.

La meilleure variable est une variable spécifique au domaine :importance de l’adaptation !

40/60


Perspectives

Ce travail a ouvert de nombreuses perspectives, théoriquescomme pratiques :

Une formule de lisibilité pour le FLE ouvre la porte à diversesapplications en ALAO (Dmesure) ;

Réfléchir sur un moyen de récolter un corpus annoté de façon plushomogène (comparaison des critères) ;

Diverses variables plus complexes restent à implémenter (nombre desens, variables du discours, diversité lexicale, etc.) ;

Évaluer la question de la pertinence d’une classification en dimensionstextuelles ;

L’inefficacité des modèles n-grammes sur nos données pose question.

41/60


Perspectives : Dmesure

Parmi les perspectives concrètes, nous avons implémenté unprototype de plateforme web qui permet d’évaluer la difficulté detextes issus du web : Dmesure [François and Naets, 2011].

Dmesure offrira trois services :1 Estimer la difficulté d’un texte ;2 Filtrer des textes issus d’une requête sur le web ;3 Plateforme collaborative.

42/60


Dmesure : l’interface d’analyse d’un texte

Ce texte est tiré du manuel Panorama 2 (A2, p.26)

43/60


Dmesure : l’interface d’analyse d’un texte

44/60


L’interface de recherche avancé

45/60


Recherche avancée : exemple de résultats sur un sitede FLE

46/60


Aspect collaboratif : l’interface de l’expert

47/60


Dmesure : conclusions

Dmesure vise à devenir une plateforme web en recherched’informations pédagogiques. Il nous semble pouvoirrépondre à des besoins réels des professeurs de FLE.MAIS... plusieurs choses restent à traiter :

Il y a un problème avec le boilerplate : surestimation destextes ;Développer un filtre linguistique pour certifier que le niveaude langue d’une page est suffisant pour un usagepédagogique ;Améliorer la formule de lisibilité dans le contexte du web.

48/60


Merci

49/60


References I

Aluisio, S., Specia, L., Gasperin, C., and Scarton, C. (2010).Readability assessment for text simplification.In Fifth Workshop on Innovative Use of NLP for Building Educational Applications,pages 1–9, Los Angeles.

Amaral, L., Metcalf, V., and Meurers, D. (2006).Language awareness through re-use of NLP technology.In Pre-conference Workshop on NLP in CALL – Computational and LinguisticChallenges. CALICO, University of Hawaii.

Antoniadis, G., Echinard, S., Kraif, O., Lebarbé, T., and Ponton, C. (2005).Modélisation de l’intégration de ressources TAL pour l’apprentissage deslangues : la plateforme MIRTO.Apprentissage des langues et systèmes d’information et de communication(ALSIC), 8(1) :65–79.

Antoniadis, G. and Grusson, Y. (1996).Modélisation et génération automatique de la lisibilité de textes.In ILN 96 : Informatique et Langue Naturelle.

50/60


References II

Antoniadis, G. and Ponton, C. (2004).MIRTO : un système au service de l’enseignement des langues.In Proc. of UNTELE 2004, Compiègne, France.

Bick, E. (2001).The VISL system : research and applicative aspects of IT-based learning.In Proceedings of NoDaLiDa, Uppsala.

Brown, J., Frishkoff, G., and Eskenazi, M. (2005).Automatic question generation for vocabulary assessment.In Proceedings of the conference on Human Language Technology and EmpiricalMethods in Natural Language Processing, pages 819–826, Vancouver, Canada.

Chanier, T. and Selva, T. (2000).Génération automatique d’activités lexicales dans le système ALEXIA.Sciences et Techniques Educatives, 7(2) :385–412.

Collins-Thompson, K. and Callan, J. (2004).A language modeling approach to predicting reading difficulty.In Proceedings of HLT/NAACL 2004, pages 193–200, Boston, USA.

51/60


References III

Collins-Thompson, K. and Callan, J. (2005).Predicting reading difficulty with statistical language models.Journal of the American Society for Information Science and Technology,56(13) :1448–1462.

Coniam, D. (1997).A preliminary inquiry into using corpus word frequency data in the automaticgeneration of English language cloze tests.Calico Journal, 14 :15–34.

Conseil de l’Europe (2001).Cadre européen commun de référence pour les langues : apprendre, enseigner,évaluer.Hatier, Paris.

Cornaire, C. (1985).La lisibilité : essai d’application de la formule courte d’Henry au français langueétrangère.PhD thesis, Université de Montréal, Montréal.

52/60


References IV

Crossley, S., Dufty, D., McCarthy, P., and McNamara, D. (2007).Toward a new readability : A mixed model approach.In Proceedings of the 29th annual conference of the Cognitive Science Society,pages 197–202.

Dale, E. and Chall, J. (1948).A formula for predicting readability.Educational research bulletin, 27(1) :11–28.

Daoust, F., Laroche, L., and Ouellet, L. (1996).SATO-CALIBRAGE : Présentation d’un outil d’assistance au choix et à larédaction de textes pour l’enseignement.Revue québécoise de linguistique, 25(1) :205–234.

Feng, L., Elhadad, N., and Huenerfauth, M. (2009).Cognitively motivated features for readability assessment.In Proceedings of the 12th Conference of the European Chapter of theAssociation for Computational Linguistics, pages 229–237.

53/60


References V

Feng, L., Jansche, M., Huenerfauth, M., and Elhadad, N. (2010).A Comparison of Features for Automatic Readability Assessment.In COLING 2010 : Poster Volume, pages 276–284.

Flesch, R. (1948).A new readability yardstick.Journal of Applied Psychology, 32(3) :221–233.

Foltz, P., Kintsch, W., and Landauer, T. (1998).The measurement of textual coherence with latent semantic analysis.Discourse processes, 25(2) :285–307.

François, T. (2009).Modèles statistiques pour l’estimation automatique de la difficulté de textes deFLE.In 11eme Rencontre des Etudiants Chercheurs en Informatique pour leTraitement Automatique des Langues.

54/60


References VI

François, T. and Miltsakaki, E. (2012).Do NLP and machine learning improve traditional readability formulas ?In Proceedings of the 2012 Workshop on Predicting and improving text readabilityfor target reader populations (PITR2012).

François, T. and Naets, H. (2011).Dmesure : a readability platform for French as a foreign language.In Computational Linguistics in the Netherlands (CLIN21), University CollegeGhent, 11 February.

Guilford, J. (1965).Fundamental statistics in psychology and education.McGraw-Hill, New-York.

Heilman, M., Collins-Thompson, K., Callan, J., and Eskenazi, M. (2007).Combining lexical and grammatical features to improve readability measures forfirst and second language texts.In Proceedings of NAACL HLT, pages 460–467.

55/60


References VII

Heilman, M., Collins-Thompson, K., and Eskenazi, M. (2008a).An analysis of statistical models and features for reading difficulty prediction.In Proceedings of the Third Workshop on Innovative Use of NLP for BuildingEducational Applications, pages 1–8.

Heilman, M., Zhao, L., Pino, J., and Eskenazi, M. (2008b).Retrieval of reading materials for vocabulary and reading practice.In Proceedings of the Third Workshop on Innovative Use of NLP for BuildingEducational Applications, pages 80–88.

Kandel, L. and Moles, A. (1958).Application de l’indice de Flesch à la langue française.Cahiers Études de Radio-Télévision, 19 :253–274.

Kanungo, T. and Orr, D. (2009).Predicting the readability of short web summaries.In Proceedings of the Second ACM International Conference on Web Search andData Mining, pages 202–211.

56/60


References VIII

Kate, R., Luo, X., Patwardhan, S., Franz, M., Florian, R., Mooney, R., Roukos, S.,and Welty, C. (2010).Learning to predict readability using diverse linguistic features.In Proceedings of the 23rd International Conference on Computational Linguistics(Coling 2010), pages 546–554.

Kemper, S. (1983).Measuring the inference load of a text.Journal of Educational Psychology, 75(3) :391–401.

Kibby, M. (1981).Test Review : The Degrees of Reading Power.Journal of Reading, 24(5) :416–427.

Kintsch, W. and Vipond, D. (1979).Reading comprehension and readability in educational practice and psychologicaltheory.In Nilsson, L., editor, Perspectives on Memory Research, pages 329–365.Lawrence Erlbaum, Hillsdale, NJ.

57/60


References IX

Koda, K. (2005).Insights into second language reading : A cross-linguistic approach.Cambridge University Press, Cambridge.

Miltsakaki, E. and Troutt, A. (2008).Real-time web text classification and analysis of reading difficulty.In Proceedings of the Third Workshop on Innovative Use of NLP for BuildingEducational Applications, pages 89–97.

Ott, N. (2009).Information Retrieval for Language Learning : An Exploration of Text DifficultyMeasures.Master’s thesis, University of Tübingen, Seminar für Sprachwissenschaft.http ://drni.de/zap/ma-thesis.

Pitler, E. and Nenkova, A. (2008).Revisiting readability : A unified framework for predicting text quality.In Proceedings of the Conference on Empirical Methods in Natural LanguageProcessing, pages 186–195.

58/60


References X

Schwarm, S. and Ostendorf, M. (2005).Reading level assessment using support vector machines and statisticallanguage models.Proceedings of the 43rd Annual Meeting on Association for ComputationalLinguistics, pages 523–530.

Selva, T. (2002).Génération automatique d’exercices contextuels de vocabulaire.In Actes de TALN 2002, pages 185–194.

Si, L. and Callan, J. (2001).A statistical model for scientific readability.In Proceedings of the Tenth International Conference on Information andKnowledge Management, pages 574–576. ACM New York, NY, USA.

Stenner, A. (1996).Measuring reading comprehension with the lexile framework.In Fourth North American Conference on Adolescent/Adult Literacy.

59/60


References XI

Tharp, J. (1939).The Measurement of Vocabulary Difficulty.Modern Language Journal, pages 169–178.

Uitdenbogerd, S. (2005).Readability of French as a foreign language and its uses.In Proceedings of the Australian Document Computing Symposium, pages19–25.

Verlinde, S., Selva, T., and Binon, J. (2003).Alfalex : un environnement d’apprentisage du vocabulaire français en ligne,interactif et automatisé.Romaneske, 28(1) :42–62.

60/60

Les apports du TAL à la lisibilité du...

Documents

Transcript of Les apports du TAL à la lisibilité du...