INTÉGRATION DE MODULES D'ÉVALUATION ADAPTATIVE À LA PLATE FORME DE

GESTION ÉDUCATIVE MOODLE

Komi SODOKÉGilles Raîche

Université du Québec à Montréal

CAMRI 10 Novembre 2006

Contact: sodoke.komi@courrier.uqam.ca

PLAN DE PRESENTATION

I- Introduction et mise en contexte

- Tests classiques : Structure et limites- Tests classiques : Problèmes et solutions

II- La Théorie de la Réponse à l’Item- Définition et fondements- Modélisation utilisée

III- Les réseaux bayésiens- Définitions et principes- Exemple simple de réseau bayésien

IV- Épistémologie - Psychologie Éducation - Informatique/Intelligence Artificielle

V - Architecture d’implémentation du STI PersonFit- Le modèle apprenant- Le modèle des connaissances du domaine- Le modèle pédagogique- Le modèle de communication Apprenant-PersonFit- La détection du jeu(gaming) dans PersonFit

VI- Structure des items- Les méta données- Les informations de manipulations- Le corps de l’item

VII- Structure du fichier des paramètres

VIII- Regroupement des items -Physiquement -Logiquement

IX- Algorithme de fonctionnement simplifié

X- Présentation du travail effectué - PersonFit - Moodle - Interaction PersonFit-Moodle

XI- Java Vs PHPXII- Quelques échéanciers

Tests classiques : Structure et limites

Même test pour tous les répondants.

Nombre fixe de questions.

Différents degrés de difficulté des questions.

Durée fixe et prédéterminée.

Note du répondant qui correspond généralement à la

somme des scores obtenus à toutes les questions.

Ce format de test que nous appellerons «test classique» couvre la majorité desépreuves d’évaluations actuelles, y compris les évaluations en ligne (e-évaluation).

I- Introduction et Mise en contexte

Le niveau de difficulté des questions auxquelles doit répondre le répondant ne

correspond pas toujours au niveau de connaissance de ce dernier manque de

motivation, aucun défit n’est relevé.

Le test est peu informatif surtout dans les points extrêmes de l’échelle d’habileté.

Des problèmes de sécurité car le plagiat est plus facile d’autant plus que les

apprenants reçoivent tous le même test avec la même séquence de questions.

SOLUTION

Conception de tests adaptatifs pour mettre en oeuvre des approches méthodologiques appropriées afin d’évaluer d’une manière juste et équitable les compétences des apprenants.

Tests classiques : Problèmes et solutions

I- Introduction et Mise en contexte

Nous présenterons une plate forme de test adaptatif par ordinateur basée sur la sur la Théorie de la Réponse à l’Item.

Théorie de la Réponse à l’Item

La Théorie de la Réponse à l’Item (TRI) est un ensemble de modèles permettant une représentation mathématique probabiliste des caractéristiques des questions en vue de leur utilisation pour déterminer un niveau d’habilité ou un trait considéré latent d’un répondant à un test.

Le niveau d’habilité désigne le degré d’aptitude particulier, le niveau de compétence ou un trait considéré latent d’un individu dans un domaine précis. Il est d’ordre cognitif .

Chaque répondant à un test a un niveau d’habilité θ donné auquel on pourrait associer une valeur numérique à sur un échelle d’habileté.

Ce répondant de niveau d’habileté θ a une probabilité P(θ) de trouver la bonne réponse à une question.

Deux considérations servent de fondement à la TRI

Définition et fondements

À ces considérations, s’ajoutent certains postulats et hypothèses.

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

-5,00 -3,00 -1,00 1,00 3,00 5,00

Thêta

P(u

=1|T

hê

ta,

b)

b = -1,00

b = 0,00

b = 1,00

Le paramètre de difficulté de l’item, noté b Le paramètre de discrimination de l’item noté a

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

-5,00 -3,00 -1,00 1,00 3,00 5,00

Thêta (a = 1,00; b = 0,00)

P(u

|Th

êta

, a

, b

, c)

c = 0,00

c = 0,20

c = 0,50

Le paramètre de pseudo-chance de l’item noté c

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

-5,00 -3,00 -1,00 1,00 3,00 5,00

Thêta (a = 0,60; b = 0,00; c = 0,00)

P(u

|Th

êta

, a

, b

, c,

d)

d = -0,70

d = 0,90

d = 1.00

L’asymptote maximale de l’item notée d

ecdcdca,buP

ba )(11)(),, ,|1(

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

-5,00 -3,00 -1,00 1,00 3,00 5,00

Thêta (b = 0,00)

P(u

|Th

êta

, a

, b

)

a = 0,50

a = 1,00

a = 4,00

Il existe plusieurs modèles. Actuellement nous travaillons avec le modèle dichotomique à quatre paramètres

Théorie de la Réponse à l’ItemModélisation utilisée

Les réseaux bayésiens

Définitions et principes

Ce sont des graphes orientés acycliques dont les noeuds sont des variables aléatoires, et dont la structure traduit les dépendances conditionnelles entre ces variables.

Dans ce graphe, les relations de cause à effet entre les variables ne sont pas déterministes, mais probabilisées.

L’existence d’un arc orienté entre deux nœuds A et B traduit un lien de causalité entre A et B.

On dispose d’algorithmes pour propager l’information ou des évidences à partir d’un nœud dans le reste du réseau ou graphe.

Les réseaux bayésiens peuvent tenir compte simultanément de connaissances a priori d'experts et de l'expérience contenue dans les données.

En fonction des informations observées, on calcule la probabilité des données non observées.

Exemple simple de réseau bayésien

L'absence d'un arc allant de X1 à X5 signifie que la saison n'a pas une influence directe sur l'état glissant ou pas du chemin. Également un chemin mouillé peut être dû à un arrosage ou la pluie.

Figure 1: Un réseau bayésien représentant les dépendances entre cinq variables

Les réseaux bayésiens

Épistémologie - Psychologie Éducation - Informatique/Intelligence Artificielle

Informatique/Intelligence Artificielle

Empirisme

Rationalisme

Pragmatisme/Socio-historique

BéhaviorismeCognitivisme

constructivisme

Environnements d’apprentissage par la découverte

Enseignement Assisté par ordinateur (CAI)

Systèmes Tuteurs Intelligents (STI)

Épistémologie

Psychologie Éducation

Modèle apprenant

État affectif

État cognitif

Modèle pédagogique

Agent Tuteur

Connaissances du domaine

Item Optimal Administré

PersonFit

Architecture d’implémentation du STI PersonFit

Constructivisme

Béhaviorisme

Cognitiviste

Caractéristiques

Outils utilisé TRI

Les STI s’opposent aux systèmes classiques dans la mesure où les STI connaissent la matière à

enseigner (Connaissance du domaine), comment l’enseigner (Modèle pédagogique) et comment

acquérir des informations pertinentes sur l’étudiant (modèle de l’apprenant).

Ainsi, à travers l’interaction entre tous les modules les constituant les STI permettent de fournir

un enseignement adapté à un apprenant sans intervention humaine.

Emilie 1, Emilie 2, Modèle OCC

QuestionRecommender

CurriculumRecommender

Le modèle apprenant de PersonFit

État cognitif

La représentation computationnelle ou l’estimation par le système de l’état et du niveau de connaissance de l’apprenant, son profil affectif, ainsi que d’autres caractéristiques tels

que la culture, les préférences etc.

Les stratégies utilisées peuvent se diviser en deux grandes catégories :

L’approche orientée expert : se base sur un modèle de l’expert pour identifier les compétences

nécessaires pour résoudre un problème ou réussir un item. L’approche orientée données : se base sur les données ou informations disponibles pour ressortir des

structures et équations permettant de relier l’habileté d’un apprenant à sa performance (Théorie de la Réponse à l’Item ).

Dans PersonFit, nous utiliserons l’approche orientée données.

État affectif

Il s’agit de prendre en considération des traits émotionnels non observés et dynamiques comme la motivation, le doute, la frustration, intérêt, excitation, confusion afin d’y adapter la stratégie d’interaction.

Reconnaissance d’émotions: Dans PersonFit, il sera possible de récupérer, si une caméra est installée sur

le poste client, des images faciales de l’apprenant. Ces images seront envoyées à des programmes de

reconnaissance d’émotions notamment Émilie 1.Expression d’émotions: Émilie 2 permet au tuteur d’exprimer ses options en réponse aux actions de l’apprenant.

Le modèle des connaissances du domaine

Représentation déclarative des connaissances du domaine. Il s’agit ici d’une énonciation des lois et principes du domaine sous formes de faits et de règles. La représentation des relations entre les éléments du domaine sera réalisée par des réseaux bayésiens.

La base des connaissances du domaine sera montée dans une perspective pédagogique (pré-requis, acquisition, etc.), une analyse et une planification des objectifs d’apprentissage.

Le modèle de connaissances pédagogiques

Diagnostic cognitif de l’apprenant

Approche épistémiqueConsiste à inférer les connaissances de l’apprenant à partir de sa performance. La valeur du niveau d’habileté de l’apprenant dans le concept ou dimension concernée la sera utilisée. La taxonomie et le niveau taxonomique associés aux items permettront de faire des inférences beaucoup plus informatives et reliées à ces niveaux.

Approche partiellement comportementalConsiste à reconnaître l’action de l’apprenant, inférer sa démarche, prédire la prochaine étape et offrir un indice approprié à la démarche de l’apprenant (Conati et Al. 2002). Utiliser le potentiel prédictif qu’offre la TRI en connaissant le niveau d’habileté actuel de l’apprenant et les probabilité de réussite des items subséquents.

Le support didactique Représentation des stratégies de support à l’apprentissage, ainsi que des tactiques correspondantes. PersonFit ne disposera pas de support didactique mais aura un engin de recommandation des cours accessible dans Moodle sur la base d’un mécanisme d’indexation et du profil de l’apprenant.

Deux approches utilisées

Le modèle de communication Apprenant-PersonFit

Modèle de discours, Modéliser les interactions possibles Apprenant/Système afin que PersonFit puisse comprendre les entrées (input) de l’apprenant ainsi que le traitement à faire sur ces entrées. Plus précisément PersonFit sera un STI à base conversationnel.

Le flot du dialogue entre PersonFit et l’apprenant sera constitué de sollicitations, de conseils, d’assertions et de rétroactions. Il y aura deux types de rétroactions, à savoir :

pédagogique : résultant d’évaluation de la réponse de l’apprenant, donc associée à l’item. correctif : remédiatif.

La détection du jeu(gaming) dans PersonFit

Ensemble de stratégies utilisé par des apprenants pour réussir dans l'environnement éducatif en exploitant des propriétés du système plutôt qu'en apprenant le matériel à étudier et ensuite utiliser cette connaissance pour répondre correctement aux questions. Le jeu peut être divisé dans la plupart des systèmes en deux catégories: - le jeu «nocif» : associé à l’évitement de pauvres résultats d’apprentissage par les étudiants- le jeu «non-nocif»: se produit typiquement dans des situations comme le sous-classement volontaire.

L’algorithme de déroulement utilisé, le système tend à administrer des items plus faciles après qu'une personne ait répondu incorrectement à un item subséquent ou vice versa.

Étant donné que les résultats du test seront utilisés pour bâtir le modèle de l’apprenant qui serviront à faire plusieurs inférences, il est important d’avoir les informations le plus fiables et exactes que possible.

Volonté de sous classement volontaires.

SOLUTIONUtilisation et adaptation des indices de détection de patrons de réponses inappropriés

(notamment lz issu des travaux de Raîche) , analyses des réactions béhavioristes dans l’utilisation du système.

Nous concernera pour trois raison dans PersonFit

Structure des itemsMéta données : sont communes à tous les items, permettent la description et l’indexation de l’item et sont utilisées pour les recherches et si possible les inférences.

Titre*: le titre de l’item, sera affiché comme indicatif de l’item et doit donc être assez court et assez descriptif du contenu de l’item.

Identifiant*: Il est unique et constitue également le nom du fichier. Il peut être généré par le système ou donné par l’auteur à la création de l’item.

Xsi, xmlns, Schema Location: sont des fichier web utilisés pour la validation du format et du contenu.

Adaptatif: permet de spécifier si l’item sera adaptatif ou associé à des paramètres d’item.

Temporelle: permet de spécifier si la durée de présentation de l’item au répondant sera comptabilisée et utilisée comme variable.

Auteur(s)*: représente l’identifiant de l’auteur de la question. S’il y a des auteurs multiples, ils seront tous spécifés.

Mots/Verbes clés*: il s’agit de quelques mots clés servant à la description des items.

Objectifs, commentaires: objectif d’enseignement ou d’évaluation poursuivis par le concepteur de l’item. Commentaires fournis par lui-même ou d’autres membres de son groupe.

Taxonomie: Différentes taxonomies peuvent être créées et associées à l’item ainsi que le niveau correspondant.

Les attributs précédents ‘ * ’ sont obligatoire Sont spécifiées et non générées par le système. Communauté de confiance — »groupe

Structure des itemsInformations de manipulations: communes à tous les items. Ces informations seront

utilisées par PersonFit dans la manipulation des items.

Traitement des réponses : il s’agit de la façon dont les réponses des apprenants à l’items seraient traitées. Des gabarits sont fournit par défaut à savoir:

http://www.imsglobal.org/question/qti_v2p0/rptemplates/match_correct

http://www.imsglobal.org/question/qti_v2p0/rptemplates/map_response

Mais le concepteur pourrait en spécifier lui-même.

Format de présentation: il s’agit ici du format d’affichage de l’item aux répondants. Flash, XSL, CSS, Applet et Java 2D ou 3D

Stratégie d’interaction: Il s’agit des stratégies à utiliser pour les rétroactions à envoyer au répondant

Immédiate: à la fin de l’item

à la fin:à la du test.

par le système: au moment opportun sujet par PersonFit.

Traitement/Affichage

Paramètres d’item: a,b,c,d

Options de partage

Voir Utiliser Modifier

Créateur 1 2 4 7

Groupe 1 2 4 7

Autres 1 2 4 7

Rétroactions globalesPositives: explication, encouragement, etc.

Négatives: explication, avertissement, etc.

Structure des itemsLe corps de l’item : spécifique à chaque item selon son type. Les types de questions disponibles dont certains sont en cours de développement sont : Multiple choice, True false, Multiple response, Image hot spot, Fill in the blank, Select text, Slide, Drag object, drag target, Order objects, Match items, Connect points.

Format classique d’un item : Il s’agit de fichiers XML dont la structure est basée sous les normes IMS auxquelles nous avons ajouté des extensions.

<assessmentItem metaData /><responseDeclaration>

<correctResponse> </correctResponse>

</responseDeclaration>

<outcomeDeclaration>

<itemBody><Interaction1>

<prompt1> </prompt1></Interaction1>

</itemBody>

<responseProcessing template=""/>

<mapping> </mapping>

</outcomeDeclaration>

<Interaction2><prompt2> </prompt2>

</Interaction2>

</assessmentItem>

Structure du fichier des paramètres d’items

<itemParameters identifier="question6Param"> <model id=“4" dimension="categorie_Id">

<paramDetails a="" b="" c="" d="" /></model>

</itemParameters>

Regroupement des items

Dossier racine protégé représentant la base de données locaesl : PersonFit/Data

Dossier protégé à l’intérieur du dossier racine représentant les catégories. Les items sont stockés et organisés par catégorie (dimension au sens de la TRI). Il y aura une organisation hiérarchique des catégories. Donc, une catégorie peut avoir un ou plusieurs sous catégories.

Physiquement

Logiquement

Un fichier manifeste est associé à chaque catégorie. Il décrit la catégorie, tous ces items, le nombre d’utilisations de chacun de ces items (aging) etc.

Un fichier manifeste racine représente toutes les catégories, les relations entre elles qui peuvent être d’ordre hiérarchique, participatif et/ou probabilisé.

Un fichier manifeste représentant les activités. Chaque activité est constituée par un certain nombre d’item sélectionné afin d’atteindre les objectifs visés.

Un fichier manifeste représentant les tests. Chaque test est constituée par un certain nombre d’items sélectionnés ou recommandés par PersonFit.

Assessment

Section

Section

Item

Item

2. Détermination de l’estimateur initial du

niveau d’habileté θi

Oui

Non

Non

Oui

3. Sélection d’un item optimale

en fonction de  la valeur de : θi

1. Début du test

4. Administration de l’item 5. Observation et Évaluation de la réponse du répondant

6. Révision de la valeur de θi en fonction du patron de réponse de l’apprenant

7. Est-ce que la règle d’arrêt est satisfaite?

8. Calcul de l’estimateur final du niveau d’habileté

9. Fin de la section de

test

10. Fin du test ?

11. Passer à la prochaine section du

test

12. Fin du test

Algorithme de fonctionnement simplifié

Présentation du travail effectué

PersonFit : logiciel utilitaire développé en Java fonctionnant en mode client pour

La création de banques d'items sous la norme IMS QTI.

Le chargement et le téléchargement de ces banques dans la plate forme Moodle.

La génération ou création des tests adaptatifs ou plus informatifs selon différents niveaux d’habileté visés.

La visualisation et simulation de ces tests hors ligne.

L’importation des items conçus dans d’autres plates-formes notamment NetQuiz et Hot Potatoes format Microsoft Word exporté en HTML filtré.

La simulation des résultats à un test adaptatif ou non sur la base du modèle des apprenants qui peut être récupérée via Moodle.

Des traitements relatifs à la TRI. La simulation de patrons de réponses selon différents modèles logistiques. La détection de patrons de réponses inappropriés à partir des indices Lz, Infit, Outfit et Zeta. La visualisation les courbes caractéristiques des items contenus dans la banque locale

d’item, les fonctions d’information d’item et de test. La création de différents fichiers de données et de traitements (table d’information etc.).

Présentation du travail effectué

Interface de présentation d’item de PersonFit

Présentation du travail effectué

Intégration dans MoodlePlate-forme web de gestion des activités éducatives Moodle. Cette plate forme gagne actuellement en popularité à tous les ordres d'enseignement.

Interaction PersonFit-Moodle

Base de données des items

ÉtudiantsProfesseur

Interface Professeur

Profil Étudiants

Theta Estimator

Item Finder

Réponses etRétroaction

Itemcandidat

items optimaaux

Créer, Modifier,

Supprimer

Interface Étudiants

Récupérer

Rechercher

Selctionner

Administrer

Récupérer et Évaluer

PersonFit

Calibrer

Évaluer

Récupérer

Mettre à jour

Récupérer

Fig.1 Architecture actuelle

Moodle

Java Vs PHPContrainte actuelle: questions, tests, activités, catégories. Plus facile à gérer et à solutionner avec PHP (Importation/exportation de banque).

Manipulation utilisateur: Plus facile et plus conviviale avec Java.

Importation/Exportation banque d’items local/serveur via interface Java

Quelques échéanciers

Première Utilisation/Simulation du logiciel : étudiants dans le cours FPE 7550 (UQAM)

Hiver : 2007

Finaliser quelques fonctionnalités restantes

Recueillir de la part de ces derniers: commentaires, suggestions, autres fonctionnalités désirées.

Printemps-Été : 2007

Analyse des rétroactions obtenues

Modification du design Pattern

Finalisation de la version 1.0 de PersonFit: Test de qualité logiciel, création des fichiers d’installation etc.

Distribution ou mise sur le marché de PersonFit 1.0

Merci – Questions, Suggestions, Critiques