Www.site.uottawa.ca/~elsaddik 1 Unit B-Introduction (c) elsaddik SEG 3520 Conception et...

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik

1Unit B-Introduction(c) elsaddik

SEG 3520

Conception et implémentation d’interfaces usagers

Prof. Dr.-Ing. Abdulmotaleb El Saddik

University of Ottawa (SITE 5-037)

(613) 562-5800 x 6277

elsaddik @ site.uottawa.ca

abed @ mcrlab.uottawa.ca

http://www.site.uottawa.ca/~elsaddik/

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Unité B: Évaluation de l’IU

1. Objectifs de l’évaluation de l’interface usager

2. Place de l’évaluation dans le processus de développement

3. Étude de cas préliminaire: Réservations dans un hôtel

4. Regard sur les méthodes d’évaluation d’interfaces

5. Détails: évaluation heuristique

6. Analyses des défauts de fonctionnement

7. Détails: Évaluation d’une bande vidéo

8. Détails: Expérimentations

9. Détails: technologie de convivialité (usability engineering)

10. Détails: détection Cognitive

11. Points essentiels à revoir

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


1. Objectifs d’évaluation de l’interface usager

Objectif clé de la conception et de l’évaluation de l’IU:

•Minimiser les défauts de fonctionnements

Principale raison de l’importance de l’évaluation:• Sans évaluation, le concepteur travaillera comme s’il avait les

yeux bandés.• Les Designers ne sauront pas s’ils sont en train de résoudre les

problèmes des clients de la façon la plus productive.

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


1. Objectifs d’évaluation de l’interface usager

Questions répondues par diverses techniques d'évaluation :

1. Quelle est la vraie tâche de l’usager?• Prévenir les défauts de fonctionnement

• en faisant de l'évaluation une étape de l'analyse des spécifications

• Présenter et travailler avec un IU• pour aider à formuler les exigences

• Tâches/exigences inappropriées constituent les sources majeures des défauts de fonctionnements

2. Quels sont les problèmes éprouvés par les usagers des IU? • Trouver directement les défauts de fonctionnement

3. Lesquelles des différentes alternatives d’IU est la meilleure?• Sélectionner la version qui mène à peu de défauts de fonctionnement

4. Est ce que l’IU a atteint les buts de convivialité?• Assurez-vous que le nombre de défauts de fonctionnement est minime

5. Est ce que l’IU est conforme aux standards?• Puissance de la « sagesse » collective pour réduire des défauts de

fonctionnement

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


1. Objectifs d’évaluation de l’interfaces usager

Mais, afin que l’évaluation donne une rétroaction aux designers...

...on doit comprendre pourquoi un défaut de fonctionnement se produit…

Analyse des défauts de fonctionnement:• Déterminer pourquoi un défaut de fonctionnement se produit• Déterminer comment éliminer un défaut de fonctionnement

On discutera de ceci dans cette unité.

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


2. Place de l’évaluation dans le processus de développement

Tout au long du cycle de vie !• Durant l’esquisse ou le prototypage• Durant le design itératif.

L’évaluation est meilleure • Surtout lorsque l’usager est impliqué

Évaluation formative:• Lorsqu’on design ou maintient un logiciel qu’on développe

Évaluation sommative:• Lorsque le produit fini est jugé par quelqu’un d’autre

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



Évaluation d’IU effectuée pour «Forte Travelodge» dans un lab spécial de convivialité

Buts:• Identifier et éliminer les défauts de fonctionnements

• Par conséquent, le système est plus simple à utiliser• Éviter les difficultés à l’emploi causées par ces défauts de

fonctionnements.• Développer du matériels améliorés et documentés.

• Prévenir les défauts de fonctionnement en enseignant aux utilisateurs comment les éviter.

Installation de laboratoire de convivialité d'IBM :• Ressemble à un studio de TV

• Équipements visuels et microphones• Miroir opaque• Techniciens et observateurs assis d’un côté• Usagers assis de l’autre côté dans un environnement réaliste

• Environnement usager ressemble à un bureau de réception• Pas de menaces

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



Aspects du système à évaluer:• Comment rapidement une réservation peut-être effectuée?

• (Pendant que l’utilisateur est au téléphone)• Est ce que chaque écran est bien employé?• Est ce que les messages d’aide et d’erreurs sont efficaces?• Est ce qu’un utilisateur non familié avec les ordinateurs peut

utiliser le système?• Est ce que la complexité est minimisée?

• Est ce que la formation et la documentation sont efficaces?

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



Procédure:• 15 scénarios de tâches courantes sont développés:

• Entre autres: inscription élémentaire, annulation, demande pour une chambre spécifique, extension d’un séjour, etc.

• Le test a duré quatre jours avec différents usagers effectuant un ensemble de tâches variées

• Les usagers ont été informés que l’évaluation concerne le système et non leur performance.

• Toutes les actions ont été enregistrées.• Des comptes rendus des séances ont été réalisés.

• Analyse des vidéos pour détecter les défauts de fonctionnement

• 62 défauts identifiés.• Priorités:

• Vitesse de navigation à améliorer• Titres des écrans et formats doivent être adaptés.• Difficile de faire référence à la documentation• Difficultés physiques avec les écouteurs téléphoniques et les

équipements.

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



Résultats:• Productivité plus élevée du personnel effectuant des

réservations• Tâches complétées plus rapidement

• Meilleures atteintes des exigences des clients• Coûts de formation restent peu élevés• Bon moral

• augmentation des réservations par téléphone.• 14500 27000 par semaine.

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


4. Regard sur les méthodes d’évaluation d’interface

• Trois types de méthodes• Évaluation passive

• Évaluation active

• Évaluation prédictive / inspections de convivialité• Tous les types de méthodes sont utiles pour des résultats

optimals• Utiliser en parallèle

• Tous tentent de prévenir les défauts de fonctionnements

• Avant d’essayer une méthode, il faut faire des études préliminaires.

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


4. Évaluation passive

• L’utilisation du logiciel est «surveillée» (création d’un log file)• Exécuter durant le prototypage (tests alpha et après).• Ne pas chercher activement des défauts de fonctionnement

• les chercher seulement lorsqu’ils se produisent rarement (mais qu’ils sont graves). Les défauts de fonctionnement peuvent ne pas être trouvés.

• Exige généralement une utilisation réaliste du système• Les défauts de fonctionnement frustrent les utilisateurs

Recueillir l'Information:a) Suivi des problèmes:

• Les utilisateurs devraient avoir une manière facile de faire connaître leur insatisfaction et leurs suggestions

• Meilleur si integré au logiciel.

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


4. Évaluation passive: collecte d’informations

b) Journal automatique crée par le logiciel (logs)• Peut fournir plus d’informations à propos…

• des tâches les plus souvent exécutées• de la fréquence de certaines erreurs et des opérations réalisées

avant l’obtention d’une erreur• des opérations non complétées (un signe de défauts de

fonctionnement)

• La sécurité des données est un souci

• Le système doit être conçu pour pouvoir être testé (DFT – Design for Testability)

• Le journal peut inclure:• Les touches sur lesquelles l’usager appuie, clics de souris• détails complets des interactions usager-système

• Permet de reproduire l’erreur plus facilement

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


4. Évaluation passive: collecte d’informations

c) Questionnaires / sondages• Utile pour obtenir des données statistiques d'un grand nombre

d'utilisateurs• Les moyens statistiques appropriés sont nécessaires pour analyser

les résultats

• Recueillir des données subjectives au sujet de l'importance du défaut de fonctionnement• Un journal automatisé ne précise pas l'importance du défaut de

fonctionnement• les défauts de fonctionnement moins fréquents peuvent être plus

importants• les utilisateurs peuvent donner la priorité à des certaines

améliorations

• Limite sur le nombre de questions

• Très difficile de bien exprimer les questions

• Les questions peuvent être à choix multiples ou à développement

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


4. Évaluation active

• Étudier certaines activités exécutées par les utilisateurs• Effectuer lors du prototypage et après.

Recueillir l’information:d) Expérimentations et technologie de convivialité

• Prouver les hypothèses au sujet des attributs mesurables d'une ou plusieurs IU• e.g. vitesse/apprentissage/précision/frustration

• Dans un test de technologie de convivialité, tester des éléments pré-établis

• Peut être coûteux

• Connaissance des statistiques exigées

• Difficile de contrôler toutes les variablese) Séances d’observation

• Aussi appelé “évaluation interprétative”

• Simple observation ou évaluation coopérative

• Décrite en détail plus loin

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


4. Évaluation prédictive

• Études du système par des experts plutôt que des utilisateurs• Effectuée quand les besoins de l’IU sont spécifiés et plus tard

• Utile avant le prototypage• Peut éliminer beaucoup de défauts de fonctionnement avant

que les utilisateurs n’aient vu le logiciel• Appelée aussi “inspection de convivialité”

Recueillir l’information:f) Évaluation heuristique

• Basé sur le document principal de conception de l’IU

• Analyse si chaque instruction adhère au contexte de la tâche et des utilisateurs

• Peut également verifier l’adhérence aux normesg) Détection cognitive (Cognitive walkthroughs)

• Analyse étapes par étapes:• des étapes devant être exécutées pour réaliser la tâche• des buts poursuivis par les utilisateurs en accomplissant ces tâches• de la manière dont le système guide l’utilisateur à travers les tâches

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Sommaire des évaluations techniquesTechnique Quand l’utiliser

a) Signalisation d’un problème

Toujours

b) Journal automatique (logs)

Dans tout système modérément complexe et partout où il y a de grands nombres et beaucoup de commandes

c) Questionnaires Quand il y a beaucoup d’utilisateurs

d) Expérimentation et technologie de convivialité

Dans des cas spéciaux où il est difficile de choisir entre les différentes alternatives, ou quand il faut être très précis («fine tuning»)

e) Séances d’observation

Presque toujours, particulièrement quand l'utilisateur doit interagir avec un client tout en utilisant le système

f) Évaluation heuristique

Toujours

g) Cognitive Walkthrough

Quand la convivialité doit être optimisée

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Comparaison des questions essentielles des évaluations techniques

A Prob

B Log

C Q?

D Exp

E Obs

F Heu

G Wlk

Quelle est la tâche? ++ ++ +

Quels sont les défauts courants?

+ + ++ ++ ++ ++ ++

Quel IU est meilleure?

++ ++ + +

Est-ce que l’IU a atteint ses buts?

+ + + ++ + 0

Est-ce que les IU sont conformes aux normes?

+ ++

++: très bonne technique

+ : techique OK

0 : technique possible

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


5. Détails: Évaluation heuristique

• Type d’évaluation prédictive• Employer des experts du HCI pour critiquer et non pas des

utilisateurs• Avantages de l’évaluation prédictive:

• Les experts savent quels problèmes chercher

• Peut être fait avant de bâtir le système

• Les experts donnent une rétroaction préscriptive• Points importants concernant l’évaluation prédictive :

• Les réviseurs devraient être indépendants des concepteurs

• Les réviseurs devraient avoir de l’expérience dans le domaine de l’application ainsi que dans le HCI

• Inclure plusieurs experts pour éviter la partialité

• Les experts doivent connaître les classes des utilisateurs

• Prenez garde : les débutants peuvent faire des choses très bizarres que les experts peuvent ne pas prévoir

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


5. Détails: Évaluation heuristique

• Planification pour l'évaluation heuristique• Basé sur les instructions d'IU (heuristique sur ce qui est le mieux)• Passages multiples requis

• un passage pour rechercher chaque type de problème• passages pour suivre différents itinéraires d’écrans et des fenêtres de

dialogues (c.-à-d. différentes tâches)• Séances de 1-2 heures (bien)• 1 évaluateur expert trouve seulement 33% des problèmes• 5 évaluateurs sont nécessaires pour trouver 75% des problèmes• 15 ou plus pour trouver les problèmes à environ 99%

• Exemple d’heuristiques pour l’évaluation heuristique (couvert beaucoup plus tard dans le cours)

• Employer un langage simple et courant• Parler le langage de l’utilisateur• Minimiser la mémorisation• Être consistant• Fournir une rétroaction (feedback)• Indiquer clairement comment quitter le système• Créer des raccourcis• Fournir des messages d’erreurs efficaces• Prévenir les erreurs

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


6. Analyse des défauts de fonctionnement

Une approche disciplinée pour analyser les défauts de fonctionnement

• Fournir une rétroaction dans le processus de reconception

1. Play protocol, chercher les défauts de fonctionnements

2. Répondre à quatres questions distinctes:• Q1. comment le défaut se manifeste-il?

• Que remarquez-vous et qui l’a remarqué?• Q2. dans quelle étape de l’interaction le défaut se produit-il?

• Goal forming, action décision, action exécution, interprétation des résultats

• Q3. à quel niveau de l’IU le défaut se produit-il?• Niveau matériel, niveau définition d’une tâche,…

• Q4. pourquoi le défaut se produit-il?• Quelle est la cause principale, la racine du problème.

3. Lister et ordonner par priorité les solutions possibles

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Q1. Comment les défauts de fonction. se manifestent-ils?

a) Défauts de fonctionnements détectés par le système (les plus faciles à détecter)

• omission d’un argument• format de date incorrect

Solutions: • Meilleures fenêtres de dialogue (prompt), consistance,

exemples visibles, plus d’alternatives (more forgiving of alternatives), d’explications, de référence à l’aide ou la doc.

b) Défauts de fonctionnement détectés par l’utilisateur durant l’opération

• Suivre un mauvais chemin dans la hiérarchie des menus• Aide non-trouvée / non-disponible• Être incapable d’exécuter une certaine action• Être incapable de dire l’état actuel du système

Solutions:• améliorer la fonctionnalité, rétroaction, clarté, simplicité

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Q1. Comment les défauts de fonction. se manifestent-ils?

c) Défauts de fonctionnements non-détectés (vu plus tard unité E)• Sortie erronée due à une entrée erronée• Travail inutile exécuté

Solutions: • Améliorer la rétroaction en indiquant les conséquences des

entrées; simplifier

d) Inefficacités• Temps de réponse très long• Temps de réflexion très long• Séquences de commandes longues et inutiles• Répétitions inutiles• Opérations complexes

Solutions: • Simplifier, accélérer le système

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Q2. À quelle étape dans l’interaction se présentent les défauts?

a) Lorsque l’utilisateur décide comment atteindre son but (cherche à faire une action inappropriée)• décide de vider ou de ne pas remplir un champ en pensant qu’il

n’est pas important (quand il est important)• décide d’utiliser le taux de change par défaut (quand il devrait

utiliser le taux de change courant)

Solutions: • Mieux guider l’utilisateur à travers la tâche; meilleure

rétroaction; meilleure formation

b) Quand l’utilisateur spécifie l’action (action non-conforme avec le but)• supprimer l’historique au lieu de vider un champ• ‘’charge réciprocal’’ du taux de change

Solutions:• Améliorer la clarté, les fenêtres de dialogue (prompt), clarté,

modèle conceptuel

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Q2. À quelle étape dans l’interaction se présentent les défauts?

c) Lorsque le système exécute l’action • Défauts de fonctionnalité

Solutions:• Corriger la fonctionnalité pour obtenir le bon résultat

d) Lorsque l’utilisateur interprète l’état résultant du système• Penser qu’un compte de banque a été débité lorsqu’il ne l’est

pas.• Penser que le système a “raccroché” alors que ce n’est pas le

cas• Penser que des données doivent être saisies alors que le

système utilise des données par défaut• Ne pas comprendre les messages d’erreurs résultants

solutions:• Meilleure rétroaction, meilleur modèle conceptuel

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Q3. À quel niveau les défauts se produisent-ils?

a) Niveau de tâches (tâches et buts non supportés)• Ce que l’utilisateur veut faire ne peut être fait pas le système• La fonctionnalité n’est pas disponible

traitement: • Ajouter des fonctionnalités

b) Niveau conceptuel (l’utilisateur a un modèle mental erroné; il ne comprend pas le modèle conceptuel utilisé)• Penser que de l’argent a été déduit du compte bancaire alors que le

montant a été ajouté à une carte de crédit• Penser que glisser un fichier sur le bureau (desktop) signifie qu’on le

supprime du disque dur• Penser que glisser l’icône du disque dur sur l’icône Poubelle formate le

disque • Penser que supprimer un élément du menu Démarrer supprime le

programme correspondant.

traitements: • Clarifier le modèle conceptuel; améliorer les métaphores

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



c) Niveau de modèle d'interaction (problème du système)• Ne pas savoir comment faire dérouler un menu• Faire défiler une page au lieu d’une ligne• Aller au prochain écran au lieu de faire défiler la page courante• Retaper une commande à la suite d’un message d’erreur au lieu

d’éditer la commande

traitements: • Rendre les opérations de l’interface plus intuitives et consistantes

d) Niveau d’élément d’interaction (détails spécifiques inappropriés)• Sélectionner le mauvais bouton parce que l’étiquette est mal

interprétée.• Spécifier une syntaxe de commande invalide• Spécifier un mauvais code d’options.

traitements: • Faire attention aux détails de l’interface, simplification

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



e) Niveau d’éléments physiques (exécution physique incorrecte)• Appuyer accidentellement sur une mauvaise touche• Cliquer sur le mauvais pixel d’une image• Machine ”out-types” (actions perdues)• Écrire lorsque le système est occupé: les entrées du clavier

risque d’être lues/traités par un autre processus

Traitements: • Protéger l'utilisateur des conséquences; meilleure conception

matérielle; corriger les bugs dans le code

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Q4. Pourquoi les défauts de fonctionnement ont lieu?

Manque de (de la part de l’utilisateur):• Motivation:

• Satisfaction personnel faible• Attention:

• Utilisateur est préoccupé par autres choses.• Traitement de l'information entrée:

• Pas de rétroaction pour informer l’usager de ce qui se passe

• Réponses fournies par le système ne sont pas identifiables

• Réponses mal interprétées. Solutions: rétroaction plus claire, plus consistante

• «Discrimination»: • l'utilisateur est incapable de différencier certains éléments

• e.g. distinction des couleurs rouge/vert

• e.g. deux icônes qui sont similairesSolutions: Améliorer l’affichage de l’information,

grouper

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



• Coordination physique:• e.g. Sélectionner le mauvais item à cause de la difficulté à

positionner le curseur avec la souris.Solutions: Permettre plusieurs méchanismes

d’interaction, meilleure rétroaction

• Mémoire: • Les utilisateurs ne se rappellent pas les commandes, la syntaxe

etc.Solutions: meilleurs (plus de) mnemonics, aide en

ligne, recherche rapide, saisie automatique• Connaissance / manque de formation:

• L’utilisateur n’a pas une connaissance suffisante des affaires ou du logiciel pour faire le bon choix

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



Apprendre les difficultés qui causent des défauts de fonctionnements: • Il est difficile d’apprendre

• Les usagers se frustrent

• L’apprentissage prend du temps; peut-être difficile à utiliser• Ceux qui apprennent font des interprétations “ad-hoc”

• Peuvent ne pas reconnaître leur problème

• Peuvent penser qu’ils ont un problème même s’ils n’en ont pas• Ceux qui apprennent généralisent selon leurs connaissances

• Supposent que les ordinateurs fonctionnent comme ce qu’ils connaissent

• Supposent que tout est consistant• Ceux qui apprennent ne suivent pas toujours les instructions

• les ignorent même s’ils les voient

• ne les comprennent pas facilement

• ne veulent/prennent pas le temps de lire la doc

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



• Interaction des problèmes et des caractéristiques• Ne voient pas qu’un problème peut en causer un autre

• Les pré-requis et effets secondaires mêlent• Les rubriques d’aide n’aident pas toujours

• Ne savent pas quoi demander

• Trop de détails sont souvent donnés

• Autres causes de défauts de fonctionnement:• Demande excessive de ressources (CPU load)

• Évènements extérieurs (e.g. bruit)

• Mauvaise gestion ou formation inadéquate

• Définition des tâches non réalistes• Ex: utilisation du clavier, de la souris ET du téléphone en même

temps… pour rendre la tâche réaliste, le système devra réduire l’utilisation au clavier seulement ou encore supposer l’utilisation d’un casque téléphonique pour libérer les mains

• Différences humaines intrinsèques

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


7. Détails: évaluation d’une bande vidéo

Un ingénieur logiciel étudie les utilisateurs qui utilisent activement l’IU• Pour noter quels sont les problèmes rencontrés

• Plutôt que de mesurer des chiffres• Les séances sont enregistrées sur vidéo• Peut être fait dans l’environnement de l’utilisateur

Activités de l’utilisateur:• Effectuer des tâches prédéfinies

• Avec ou sans instructions détaillées sur la façon de les effectuer• De préférence, l’utilisateur devrait agir comme s’il était seul

dans la pièce• L’utilisateur devrait expliquer ce qu’il voudrait faire et les gestes

qu’il pause à voix haute

• Ce processus est appelé une évaluation «coopérative»: l’ingénieur et l’utilisateur se parlent

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


7. Détails: évaluation d’une bande vidéo

L’importance du vidéo:• Sans lui, on vois seulement ce qu’on veux voir

• Parce qu’on interprète ce qu’on voit en se basant sur son modèle mental

• Sur le coup, on peut rater plusieurs choses• Avec la caméra, des détails minimes sont capturés et peuvent

être analysé (ex: langage du corps)• Il est alors possible de visionner plusieurs fois la vidéo pour

rechercher différents problèmes.

Instructions pour utiliser la vidéo:• Utiliser plusieurs caméras peut être utile• Un logiciel est disponible pour aider à analyser le vidéo en

divisant les scènes en segments et en permettant d’étiqueter chaque segment

• L’évaluation peut prendre beaucoup de temps donc une bonne planification est primordiale

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Étapes de l’évaluation de la bande vidéo

1. Sélectionner 6 à 8 utilisateurs représentatifs par les classes d’utilisateurs• Ex: clients, vendeur, administrateur, préposé aux comptes recevables

2. Inviter les utilisateurs à des séances individuelles• Une séances devraient durer entre 30 et 90 minutes• Planifier de 4 à 6 séances par jour

3. Si le système fait participer des clients en plus des utilisateurs1. que les utilisateurs amènent des clients importants ou

2. que d’autres personnes (ex: le personnel) jouent le rôle des clients4. Sélectionner des observateurs et des personnes pour prendre des

notes5. Préparer les tâches:

• Sélectionner les tâches les plus couramment réalisées ainsi que quelques tâches moins importantes

• Écrire les instructions à suivre pour réaliser les tâches à l’intention des usagers

• Estimer le temps requis pour compléter chaque tâche et réserver du temps pour en discuter

6. Préparer un carnet de notes ou un formulaire pour organiser les commentaires

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



7. Installer et tester l’équipement1. Matériel sur lequel le système s’exécutera2. Caméra vidéo et l’enregistrement du son3. Journals logiciels (Software logs)

8. Faire un test d’exécution (étude pilote)9. Au début d’une séance d’observation avec un utilisateur

• expliquer:• la nature du project• la contribution qui est attendue des usagers• pourquoi l’opinion des usagers est importante• que seule l’interface usager est évaluée. Ce ne sont pas les

utilisateurs qui sont évalués.• que toutes les notes, commentaires, etc., sont confidentiels• que l’usager peut se retirer à n’importe quel moment• comment fonctionne les appareils d’enregistrement (qu’est-ce qui

sera enregistré)• relaxer!

• Faire signer le formulaire de consentement (informed consent form): • Très important

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



10. l’utilisateur devrait parler à mesure qu’il exécute chaque tâche, comme s’il pensait à voix haute• Pour une évaluation coopérative, l’ingénieur logiciel devrait parler

aussi

• Quelques questions pertinentes que l’ingénieur devrait poser:

Question Défauts de fonctionnement si

Que voulez-vous faire? Ils ne savent pas; le système ne peut pas faire ce qu’ils veulent

Que pensez-vous qu’il arriverait si...?

Ils ne savent pas; ils donnent une mauvaise réponse

Que pensez-vous que le système ait fait?


Que signifie cette information?


Pourquoi le système a fait ça?


À quoi vous attendiez-vous? Ils n’ont aucune prévision; ils s’attendaient à autre chose

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



11. réaliser une entrevue à la fin (compte rendu)1. Quels sont les problèmes les plus significatifs?

2. Qu’est-ce qui est le plus difficile à apprendre?

3. Etc.12. analyser la bande vidéo afin de trouver les défauts de

fonctionnement

Exercice: • Évaluation sur bande vidéo d’un produit logiciel

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


8. Détails: Expérimentations (Détails de l’expérimentation)

1. Choisir un ensemble de sujets (utilisateurs)1. Varier pour éviter la partialité (biais)

2. En nombre suffisant pour obtenir des statistiques significatives (éviter les effets résultant du hasard)

2. Choisir les variables à tester• Indépendantes: chacune pour produire différentes conditions

• Il ne doit pas avoir trop de variables• Une variable ne devrait pas trop en affecter une autre• Vérifier qu’il n’y ait pas de variables cachées

• Dépendantes: une valeur change lorsque qu’une variable indépendante change

3. Développer des hypothèses• Prédire le résultat

• Le but de l’expérience est de démontrer que l’hypothèse est correct

• E.g. des changements dans une variable indépendante causent des changements dans une variable dépendante

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


8. Détails: Expérimentations (Détails de l’expérimentation)

4. Concevoir des expériences pour tester les hypothèses• Créer une hypothèse nulle (inverse)

• Ex: un changement dans une variable indépendante ne cause pas des changements dans une variable dépendante

• Réfuter l’hypothèse nulle!

• La conception d’une telle expérience peut être difficile5. Réaliser les expériences6. Analyser statistiquement les résultats pour en tirer des

conclusions• e.g. utiliser les «t-tests»

• Les conclusions seront validées à l’intérieur d’une marge d’erreur de 19 fois sur 20 (95%)

7. Décider des actions à appliquer se basant sur les conclusions

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


2 types majeurs d’expériences sur les IU

• Traditionnel• Niveau micro

• (e.g. tester quelle est la meilleure couleur pour un icône)• Pour une utilisation très général (usage will be very high?) ou

pour des recherches universitaires!

• Technologie de convivialité (Usability engineering)• Tester des parties significatives du système• Relâcher les contraintes scientifiques (être moins sévère)

• Parce qu’on ne peut pas contrôler toutes les variables• Utiliser pour prouver que les hypothèses concernant certains

éléments de convivialité ont été rencontrés• Plus à venir

Il faut comprendre les expérimentations• Beaucoup de recherches sur les IU sont expérimentales• Vous devez interpréter et appliquer les résultats des autres

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Exemple : Schémas pour sélectionner du texte

Les premières recherches sur les GUI ont lieu à Xerox sur la station de travail «Star»

• Expériences traditionnelles• Résultats utilisés pour développer Macintosh

But de l’étude:• Évaluer comment sélectionner un texte en utilisant la souris

Étapes:

1. Sujets• Six groupes de quatre personnes

• Dans chaque groupe, seulement deux personnes sont expérimentés dans l’usage de la souris

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



2. Variables• Indépendante:

• Schémas de sélection:• 6 modèles stratégiquement choisis• --> quel bouton de la souris (s’il y en a ) peut être double/triple/quad

cliqué pour sélectionner un charactère/mot/phrase• --> quel bouton de la souris peut servir à glisser du texte• --> quel bouton de la souris peut ajuster le début/fin d’une sélection

• Dépendante• Temps de sélection

• Erreurs de sélection

3. Hypothèse• Un schéma est meilleur que n’importe quels autres

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



4. Conception détaillée de l’expérience• Hypothèse nulle: tous les schémas sont équivalents• Assigner un schéma de sélection à chaque groupe• Expliquer à chaque groupe comment utiliser leur schéma

respectif• Mesurer le temps nécessaire pour exécuter une tâche et les

erreurs obtenus• Chaque personne repète l’expérience 6 fois• Pour un total de 24 tests pas schéma

5. Réaliser l’expérience

6. Analyse• «F-test» utilisé – le schéma F est significativement meilleur

• Pointer et dessiner avec le bouton de gauche• Ajuster avec le bouton du milieu

7. Action• Essayer une autre combinaison similaire au schéma F• Le bouton de gauche peut être double-cliqué

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Questions à poser lors de la revue de l’expérience

Les expériences publiées ne sont pas toutes bien réalisées!• Les usagers sont-ils bien préparés?• Est ce que les tâches sont assez complexes pour permettre

une évaluation adéquate?• À force d’être répété, la tâche devient-elle ennuyante pour les

usagers?• Même si les effets sont statistiquement significatifs, est-ce

important?• Peut être que non si la tâche est rarement réalisée

• Est ce qu’il y a d’autres interprétations possibles?• Peut être que les utilisateurs ont bien appris à faire la tâche B

parce qu’ils ont fait la tâche A avant!• Est ce que les variables dépendantes sont consistantes?

• e.g. Les utilisateurs peuvent préférer des méthodes plus lentes• Est ce que les résultats peuvent être généralisés?

• les résultats peuvent s’appliquer ou non aux graphiques

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


9. Détails: technologie de convivialité

«Un processus par lequel l’utilité d’un produit peut-être mesuré à l’avance. Ainsi, pendant que le produit est en développement, il est possible de démontrer s’il atteint ou non les niveaux de convivialité désirés (levels of usability)»

Technologie partielle:• concevoir-évaluer-reconcevoir

Science partielle:• Méthodologie d’expérimentation• Pas de contrôle absolu

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Étapes de la technologie de convivialité

1. Sélectionner les tâches clés (benchmark tasks)• Tâches simples pouvant être répétées facilement et dont ont peut

mesurer la performance2. Choisir les mesures de convivialité (Pick usability metrics)3. Déterminer les niveaux de convivialité (Set planned levels of

usability)4. Concevoir une interface initiale en utilisant les critères de

convivialité5. Analyser l’impact de la conception en utilisant les expériences

1. i.e. un nouveau groupe d’utilisateurs exécute les tâches clés6. Si les buts sont atteints, arrêter7. Inclure les commentaires des utilisateurs dans la conception8. Retourner à l’étape 5

Problème majeur avec la technologie de convivialité• Les tâches clés sont rarement exécutées dans un

environnement réel

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Quelques mesures de convivialité utiles

• Temps nécessaire pour compléter la tâche• Pourcentage de la tâche complétée par unité de temps• Taux de succès par rapport aux échecs• Pourcentage de temps passé à traiter les erreurs• Pourcentage des produits compétitifs ayant de meilleures

performances que notre produit• Nombre de fois que des commandes erronées ont été répétées• Pourcentage des commandes disponibles utilisées• Nombre de fois que l’utilisateur a annulé une action• Nombre d’erreurs non trouvées• Nombre de fois que l’utilisateur n’a pas utilisé la méthode

prévue pour accomplir la tâche• temps de réflexion requis pour effectuer la tâche

• i.e. ignorer le temps de réponse du système

• Une bonne IU guide l’utilisateur à travers le système avec une “charge cognitive” minimale

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


10. Détails: Détection cognitive

Une forme d’évaluation prédictive

Révision détaillée basée sur la théorie psychologique , focalisant sur:• Buts qu’un nouveau usager doit former pour exécuter une

tâche• Comment le système guide l’utilisateur pour atteindre ses buts

• i.e. comment le système supporte l’utilisateur

• La méthode est fortement structurée• Les formulaires sont fournis pour guider l’évaluateur

• Consomme plus de temps que l’évaluation heuristique ordinaire

• Consomme moins de temps que les expériences

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik


Étapes de la détection cognitive

1. Choisir une tâche à évaluer

2. Décrire précisément la tâchea) Premièrement, décrire la tâche en une seule phrase

• Utiliser un langage simple• Le choix des mots doit être intuitif du point de vue de l’utilisateurEx: Enregistrer un item nouvellement recu dans l’inventaire.

b) Décrire l’état initial du systèmee.g. le menu principal est affiché

c) Lister les action atomiques nécessaires pour exécuter correctement la tâcheEx :1. Cliquez sur «Ajouter à l’inventaire» dans le menu;2. Si vous ne connaissez pas le numéro de la pièce, appuyez sur «Entrer»

pour rechercher le numéro de la pièce puis allez à l’action 4;3. Tapez le numéro de la pièce dans le champ «Numéro de la pièce»;4. Appuyez sur «tab»;5. Tapez le numéro de l’item dans le champ «Numéro»;6. Appuyez sur «Entrer» ou cliquez sur «Ajouter»;7. Si le système imprime une étiquette à code-barre, collez-la sur le nouvel

item.d) Décrire les classes d’utilisateurs qui peuvent exécuter la tâche

e.g. récepteur - a une connaissance de l’inventaire, mais pas encore du système

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



e) Décrire le «but de la structure» (ou structure de la tâche) tels que les utilisateurs peuvent se l’imaginer avant de commencer la tâche• Haut-niveau et système indépendant

• Subdiviser par buts / sous-tâches

• Noter que s’il y a des actions auquels l’utilisateur n’associe pas de buts, le système doit stimuler l’usager à penser à ces buts pendant qu’il effectue la tâche

• Si différentes classes d’utilisateurs peuvent avoir des structures de buts différentes, listez-les aussi

Ex:

• Enregistrer un article reçu dans un inventaire

• Démarrer le programme d’inventaire

• Entrer l’article

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



3. Pour chaque action spécifiée à l’étape 2c, suivre les étapes suivantes (I à IV):

I. Écrire le but de la structure

... que l’utilisateur pourrait avoir besoin pour pouvoir exécuter la tâche correctement

Ex: Pour l’action 4• Enregistrer un item reçu dans un inventaire

• Enregister le nombre d’items

• Appuyer sur Tab

• Entrer le numéro

• Faire en sorte que le système traite la transaction

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



II. Vérifier que l’utilisateur aura le bon but pour cette structure• Étant donné leurs buts initials• Étant donné la réponse du système aux actions précédentes• Estimer le pourcentage d’utilisateurs qui pourraient avoir

chacun des problèmes suivants:• Échec de l’ajout de buts

• Ex: Pour l’action 2le système doit montrer clairement que appuyer sur «Entrer» lorsque le champ est vide lancera une recherche

• Échec de la suppression de buts• Ex: l’utilisateur pourrait vouloir aviser la personne qui a commandé

les pièces alors que ce n’est pas nécessaire si le système effectue automatiquement cette tâche

• Addition de faux buts• Ex: il peut y avoir un champ «Description» qui doit être rempli

seulement si l’item n’est pas déjà dans la base de données

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



• Impasse («aucun progrès»)• Ex: après avoir ajouté un item, le système réinitialise l'écran et est prêt

pour une autre entrée • L’usager peut croire que la transaction a échouée et qu’il n’a pas

atteint le but

• Perte prématurée des buts• e.g. l’utilisateur entre un item et appuie sur «Entrer»• Le message «transaction acceptée» est imprimé à l’écran (indiquant

que le système a commencé à traiter la transaction)• L’utilisateur éteint l’ordinateur croyant que le but est atteint• Le système ne s'est jamais rendu jusqu’à la phase d’impression de

l'étiquette

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



III. Vérifier que les actions concordent avec les buts.Problèmes possibles:

• Une action correcte ne concorde pas avec le but• Ex: L’utilisateur veut supprimer un article qui a été volé

• Une action correcte serait de sélectionner «Ajouter à l’inventaire» et de spécifier un chiffre négatif

• Donc le système n’aide pas l’usager à faire concorder le but et l’action (comprendre que l’option «Ajouter à l’inventaire» permet aussi de supprimer un item.)

• Actions incorrectes concordent avec le but• Ex: L’utilisateur veut ajouter un nouveau type d’article à l’inventaire (pour

lequel aucun article n’a été encore recu)

• En voyant «Ajouter à l’inventaire», l'utilisateur choisit cette option alors que l’option permet de modifier le nombre d’éléments de chaque type et non pas les éléments eux-même

IV. Vérifier que l’utilisateur peut physiquement effectuer l’action.Problèmes possibles:

• Difficultés physiques• e.g. reconnaître un icône, tenir appuyer shift+ctrl+alt+a pour lancer une

commande

• Délais• i.e. manquer de temps (running out of time) – le système abandonne

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



• Objectif de l’évaluation: minimiser les défauts de fonctionnements

• Questions-clés :• Quelle est la tâche réelle? Problèmes? Lequel est mieux?

• Buts atteints? Est-ce standard?• Évaluez tout au long du cycle de vie!• Évaluation formative vs. évaluation sommative• Importance des études préliminaires• Employer toutes les techniques dans une approche équilibrée• Analyser les coûts-avantages pour déterminer si une technique

plus dispendieuse vaut la peine d’être utiliser

• Méthodes passives• Rapporter un problème

• Jounal logiciel (Software logging)

• Questionnaires et sondages

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



• Méthodes actives• Expérimentations traditionnelles

• Étudier un élément de l‘IU à la fois• Sélectionner des sujets• Variables dépendantes et indépendantes• Hypothèses• Conceptions expérimentales:

• Sujet indépendant• Sujet concordant (contrôler les différences entre les sujets)• Approches répétées (réutiliser les sujets)

• Technologie de convivialité• Tester des tâches-clé réalistes• Déterminer ce qu’il faut atteindre pour mesurer de convivialité• Évaluer-reconcevoir-évaluer jusqu’a ce que les buts soient atteints• Technologie partielle, science partielle

• Séances d’observation (évaluation d’une bande vidéo)• Étudier l’utilisation active avec des tâches réelles• Protocole «Pensez à voix haute» sur l’enregistrement vidéo• Une évaluation coopérative implique un dialogue

ww

w.s

ite.

uo

ttaw

a.ca

/~el

sad

dik



• Évaluation prédictive: implique des experts• Évaluation heuristique: basée sur des instructions• Détection cognitive: buts et actions

• Décrire les tâches, actions, usagers, but de la structure• Pour chaque action, vérifier que l’usager…

• ajoute et supprime des buts selon les besoins• n’ajoute pas de buts inutiles• puisse juger si un but est atteint• ne supprime pas de buts utiles• puisse voir quelle action entreprendre• n’est pas guidé vers une fausse action• n’ont pas de difficultés physiques avec l’action

• Analyse des défauts de fonctionnements• Comment se manifestent-ils?

• Détecter par: système, utilisateur• Non-détectés, inefficacités

• Quelle étape entre dans l’interaction? Lorsque l’utilisateur...• décide ce qu’il veut faire (du but)? spécifie l’action?• exécute l’action? interprète les résultats?

• Niveau? («physique» à «tâche»)• Pourquoi les défauts se produisent-ils?

• Défaillance des usagers: ex: motivation, entrée, mémoire

Www.site.uottawa.ca/~elsaddik 1 Unit B-Introduction (c) elsaddik SEG 3520 Conception et...

Documents

Transcript of Www.site.uottawa.ca/~elsaddik 1 Unit B-Introduction (c) elsaddik SEG 3520 Conception et...