Agent-Assisted Task Managment that Reduces

Email OverloadAndrew Faulring, Brad Myers, Ken Mohnkern, Bradley

Schmerl, AaronAteinfeld, John Zimmerman, Asim Smailagic, Jeffery Hansen, and Daniel Siewiorek

Cours : INF 6304, interfaces inteligents - Présenté par : M. Cherif HACHANI

1

> Introduction

> RADAR

> RADAR fonctionnement

> RADAR, sondage, résultats et solutions

> Similaires à RADRA

> RADAR (task centric email processing)

> RADAR (task ordering advice)

> Evaluation et discussion

> Conclusion et travaux futurs

Plan :

2Agent-Assisted Task Managment that Reduces Email Overload

> Logiciels client passifs

> Quel ordre de traitement ? Méthode centrique inefficace

> Une solution intermédiaire : logiciels clients proposant la gestion des taches non prise en charge des facteurs temporels

Courriels ?

3Agent-Assisted Task Managment that Reduces Email Overload

> Systeme Multi-Agents (intelligence artificielle) pour l'apprentissage

> Aide les agents de bureau à gérer d'imense quantité de courriels

> Observe des experts et déduit un modele

> Classificateur : cherche des taches dans les courriels, puis cherche des courriels avec des taches similaire

Reflective Agents with Distributed Adaptive Reasoning

4Agent-Assisted Task Managment that Reduces Email Overload

Fonctionnement de RADAR : the mixed-initiative

5Agent-Assisted Task Managment that Reduces Email Overload

choix des experts

Le classificateur observe les types de taches

Apprentissage d'un Modele

Tests sur le modele

MCA observe le traitement des taches

par les experts

Apprentissage du

modele

Assiste les utilisateurs

sur les ensembles de

taches similaires

Conseils,suggestions sur

l'ordre,Alert en cas de déviation du

modele

moins de temps de

traitement.Meuilleurs acomplissement des

taches

RADAR, plus encore...

6Agent-Assisted Task Managment that Reduces Email Overload

RADAR

Grand projet interdeciplinairePlus de 100 étudiants et chercheursContient plusieurs modules :

- Email Classifier,- MultiTask Coordination Assistant,- Natural Language Processor,- Knowledge Base,- Schedule Optimizer,- Webmaster,- Briefing Assistant,- Task Managment Architecture

RADAR, plus encore...

7Agent-Assisted Task Managment that Reduces Email Overload

Mesure de performance :

- Tests d'évaluation de 3 versions sur 3 ans.

- Utilisation de données quantitatives d'évaluation.

- Recours au sondage post-essai pour recueil des satisfactions clients.

RADAR, résultat du sondage

8Agent-Assisted Task Managment that Reduces Email Overload

- le moteur IA a eu un impact sur les utilisateurs.- incorpore un classificateur de courriel.- les taches sont ajoutées comme objets aux courriels.- I'interface utilisateur n'est pas ergonomique.- l'interface contient des mesures de performance.- les utilisateurs sont peu confiant.

RADAR 1.1 RADAR 2.0- un client courriel avec une approche centrique de taches.- interface utilisateur contient un compartiment pour la liste des taches.- le moteur IA a un impact positif sur l 'experience client. * sentiment d'avoir trouvé toutes les taches et de les avoirs toutes bien accomplis.- clients insatisfaits lors du traitement sur groupes de taches.

RADAR 3.0- utilisation du Multitasks Coordination Assistant.- utilisation des calendriers.- plus d'importance aux taches importantes.- variance minimale avec le modele basé sur l'apprentissage sur experts.

RADAR, résultat du sondage

9Agent-Assisted Task Managment that Reduces Email Overload

IA, bonne approche mais :

• diminue le controle et le monitoring du systeme de part l'utilisateur.

• en cas d'erreur de la recommandation, l'utilisateur ne s'appercevra pas et ne corrigera pas l'erreur.

• Problemes liés à la mesure de performance :• quand le systeme agit correctement ?• l'utilisateur vera ce que le systeme avait fait ?• l'utilisateur comprendra la suggestion ?

Prédiction & compréhension

Automatisation

RADAR, solution

10Agent-Assisted Task Managment that Reduces Email Overload

• Detecte automatiquement les taches par courriel.

• Met les taches dans une listView.

• Etabli une recommandation sur l'ordre des taches dans cette liste.

• Incorpore une ProgressBar pour le suivi de la progression de l'accomplissement des taches et les taches futures.

• Flexibilité par rapport au comportement de l'utilisateur / évite les érreurs couteuses et la fuite de confidentialités.

RADAR, résultat du sondage

11Agent-Assisted Task Managment that Reduces Email Overload

• 37% des taches sont mieux accomplies chez les utilisateurs avec interfaces comportants l'assistance de l'IA.

• 89% des taches que le classificateurs suggere anormalement sont corrigées par les utilisateurs contre 11% sans l'assistance de l'IA.

• Les utilisateurs avec assistant ont fait 2.6 taches erronées contre 10.3 taches en moyenne chez les utilisateurs sans l'assistant, soit environ 20% de l'ensemble des taches.

> TaskMaster : n'utilise pas de IA, utilise la liste " to-do tasks".

> TaskView : organise bien les taches en arrageant les courriels dans une grille (temps - expediteur/objet), entrée manuelle des informations.

> PExA : offre soit à l'utilisateur ou logiciel agent d'extraire les taches des courriels.

> The SmartMail System : identifies les phrases qui impliquent des taches et marque les courriels par des drapeaux, mais aucun classement ni par types ni sur une liste des taches.

> Logiciels à base de priorité : utilisent l'entete pour identifier l'urgence du courriel, mais n'extrait pas les taches et les analyse.

Travaux similaires

12Agent-Assisted Task Managment that Reduces Email Overload

Etude Contextuelle

RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING)

13Agent-Assisted Task Managment that Reduces Email Overload

Pour comprendre la problematique :

24 travailleurs.

emergence de 2 roles : les initiés (personnes en besoin d'aide), HSA (personnes qui fournissent l'aide).

Méthode de travail pour les HSA : réception courriel (consiste à remplir des formulaires). conception de la : Action list

interface. rassemblent les taches par petits ensembles puis les traitent.

Resultat :Conception d'une action list interface par une approche autour des taches (TASK-CENTRIC) au lieu du courriel (EMAIL-CENTRIC).

Avantages :Une vue de toutes les taches à traiter.Pouvoir appliquer une prise en charge des priorité sur les ensembles de taches.

RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING)

14Agent-Assisted Task Managment that Reduces Email Overload

L' Action List

RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING)

15Agent-Assisted Task Managment that Reduces Email Overload

Sert à :

création et suivi de la liste des taches issues des courriels.

le classificateur examine le contenu de chaque courriel et déduit une liste de taches selon les huit types existants.

Le classificateur parcourt le courriel rassemble tout les mots dans un modele puis utilise un algorithme (RLRA) puis attribue 0, 1 ou plusieurs étiquettes de tache au courriel.

Limitation : le RLRA ne peut détecter plusieurs taches de me types dans le meme courriel.

Solution : Scone (base de connaissance de RADAR) rajoute des informations en plus (utilisation du principe de l'onthologie).

RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING)

16Agent-Assisted Task Managment that Reduces Email Overload

Résultats :

L'évaluateur de RADAR est paramétré pour les utilisateurs novices qui ignore si le classificateur a fait un bon classement :donc beaucoup de faux positifs ne sont pas remarqués par les utilisateurs.

Classificateur avec une meilleurs precision : un meilleurs classement a été opéré.

Une précision de 0.887 donne un taux de rappel de 0.461.

Chaque étiquette de tache, un objet tache est crée par le TaskManager.

RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING)

17Agent-Assisted Task Managment that Reduces Email Overload

RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING)

Taches

Courriels

18Agent-Assisted Task Managment that Reduces Email Overload

> RADAR 2.0 :

> Task-centric workflow aide les utilisateurs à organiser les courriels par taches mais seulement les professionnels. Les novices ne trouvent pas une stratégie gagnante (importance, temps de traitement, dependences entre les taches).

> RADAR 3.0 :

> Avenement du MCA pour résoudre ce probleme.

> Prend en charge l'ordre des taches et la limitation du temps de traitement (de 1 à 8 heures : équivalent à une journée de travail d'un HSA).

> Par le moyen d'une bar de progression.

RADAR, fonctionnement (PROVIDING TASK ORDERING ADVICE)

19Agent-Assisted Task Managment that Reduces Email Overload

> RADAR 3.0 :

> le MAC recommande les taches à accomplir à partir du point (C).

RADAR, fonctionnement (PROVIDING TASK ORDERING ADVICE)

20Agent-Assisted Task Managment that Reduces Email Overload

> RADAR 3.0 : Entrainnement du MCA,> Se fait sur le meme interface utilisateur.

> Se fait sur l'ensemble des utilisateurs experimentés.

> Se fait pendant 2 heures de temps, sur une version autre que celle de recommandation.

> Auncune personne connaissant le fonctionnement de RADAR n'entraine le MCA.

> Buts :> Trouver le temps moyen de traitement par type de tache.

> Identifier les taches urgentes avec un temps d'attente minimal.

> Identifier la PHASE : l'ensenble des types de taches entre deux taches urgentes.

> Identifier le comment et le pourquoi du passage d'un type de tache à un autre type.

> Identifier l'ordonnacement des taches selon les types.

> Identifier le nombre moyen de tache par courriel et par type.

RADAR, fonctionnement (PROVIDING TASK ORDERING ADVICE)

algorithmes statistiques

21Agent-Assisted Task Managment that Reduces Email Overload

> RADAR 3.0 : Generation du calendrier de suggestions

> génération des taches et des délais représentatifs comme ceux d'un experts, selon les étapes suivantes :

- génération de nouvelles taches par la considération des dépendances.

- le Advice Integrator calcule l'ordre des taches sur les differents types (taches incompletes, taches attendues, taches non traitées,...).

- le TaskChedder pondere la taches par une durée et une importance selon la pondération de l'Expert.

RADAR, fonctionnement (PROVIDING TASK ORDERING ADVICE)

22Agent-Assisted Task Managment that Reduces Email Overload

> Utilisation d'un planning de conférence pour des utilisateurs novices sur RADAR 3.0.

> Spécification :- les taches doivent etre heterogenes (comme dans la réalité).- quelques taches sont simples alors que d'autres nécessitent plus

d'éfforts.- quelques taches sont interdépendantes, le non respecet de

l'ordre genere une perte de temps et un résultat faux.- l'approche email-centric n'est pas d'une aide.- les utilisateurs n'ont pas un délais fixe pour l'accomplissement

des taches.

RADAR, fonctionnement (EVALUATION)

23Agent-Assisted Task Managment that Reduces Email Overload

> Déroulement de l'experience :> Un ensemble de particiants

> Gestion du calendrier de planning d'une conférence de 4 jours

> Divers activités durant la conférence

> Exemples d'un boite de réception de Blake :

- Calendrier : les exigences, les repas, la disponibilités des participants,...- Le siteWeb : la prise en charge du siteWeb da la conférences par les utilisateurs.- L'information : les participants demande les mises à jours du calendrier et doivent recevoir une

réponse.- Les fournisseurs : les participants spéfifient la préférences des repas, les founisseurs doivent etre

contactés par leur formulaires.- Le briefing : le président de la conférence demande la progession des participants, un seul courriel de

ce type est envoyé.

RADAR, fonctionnement (EVALUATION)

le tout ce reçoit par courriel

24Agent-Assisted Task Managment that Reduces Email Overload

Autres donnéesde l'experience :> quelques taches prennent une minute de traitement.

> quelques taches prennent 15 ou 20 minutes de traitement.

> quelques courriel contiennent 20 taches.

> quelques taches necessitent l'accomplissement d'autres taches avant.

> quelques taches necessitent une réponse externe : exemple la réponse d'un fournisseur pour un bon de commande.

> quelques courriel n'ont aucun rapport avec la conférence.

Un test dur, sur 3 ans, environ 400 personnes ont participé sur les 4 évaluations de RADAR 3.0, 300 autres sur l'évaluation intermédiaire.

Aucun des personnes, meme les cherchers sur RADAR n'ont pu terminer l'experience.

RADAR, fonctionnement (EVALUATION)

25Agent-Assisted Task Managment that Reduces Email Overload

Résultats graphiques

RADAR, fonctionnement (EVALUATION)

26Agent-Assisted Task Managment that Reduces Email Overload

Résultats graphiques

RADAR, fonctionnement (EVALUATION)

27Agent-Assisted Task Managment that Reduces Email Overload

> RADAR donne des résultats trés satisfaisant sous un HSA's workload.

> Mais avec des limitations :- Projet clinique : testé seulement en labo.- Un systeme MultiAgents restreint, pas assez robuste pour un

environnement réel.- HAS's workload utilisé représente un sous-ensemble du travail global.

Conclusion & travaux futurs

Travaux futurs :

> Appliquer ces techniques sur un éspace réel de courriel avec un apprentissage en ligne.

> Voir le comprtement de l'algorithme sur d'autre workload.

28Agent-Assisted Task Managment that Reduces Email Overload

Merci pour votre attention.des questions ?

29Agent-Assisted Task Managment that Reduces Email Overload

mohamed-cherif.hachani@polymtl.ca