Evaluation de site Ebusiness
description
Transcript of Evaluation de site Ebusiness
1
Evaluation de site Ebusiness
1. Introduction sur le concept d’évaluation
2. Evolution des modèles utilisés
3. Trois écoles de l’évaluation de site web
4. Techniques d’évaluation
5. Démarche proposée dans le cadre du travail à réaliser en TD
2
Evaluation : » définir la valeur d'un objet VIA des mesures
directes des attributs de l'objet et en tenant compte de l'objectif et d'une norme
» La valeur sera PARFAITE si tous les attributs pertinents ont été mesurés
L’évaluation est subjective, liée à un objectif et dépend d'un norme
1 Définition de l’évaluation
3
Définition de l’évaluation
Objet à évaluer
Attribut 1
Choix selon
l'objectif et la
normeTechni
que mesure
Valeur attribut 1
Jugement 1 attribut
Selon l'objectif la normeL'individu
Jugement n attribut
Valeur globale
La valeur est subjective : elle dépend de la norme et de l ’objectif
Evaluer n’est pas contrôler !
4
Si on change 1 des 3 éléments Alors changements dans les 2 autres
Si il n ’y a pas de sens Alors pas d ’utilisation
Code
Attribut objetRègle (sens)
Définition des critères d ’évaluation
5
Les 3 Types d’évaluations de SI
Projet SI
Ex ante Décision
Equipe projetUtilisateurs
DirectionMétier
Pilotage Ex PostApprentissage
UtilisateursManagersAuditeurs
Quand ?Quoi ?
Pourquoi ?
Par qui ?
Conformité ou comparaison
6
Principes de l’évaluation SI
Plus l’objet est complexe, plus l’évaluation est multidimensionnelle» Ajouter des amplificateurs de variété (théorème de
Ashby)» Confrontation, négociation, partage de vision» Utiliser plusieurs techniques
Les techniques d’évaluation ne sont que des outils
Avant d’évaluer, se mettre d’accord sur :» L’objet à évaluer, la norme à mobiliser, le processus,
les acteurs, … Dans un contexte social, l’évaluation a toujours
un impact humain et organisationnel fort
7
Evaluation de site e-business
1. Introduction sur le concept d’évaluation
2. Evolution des modèles utilisés
3. Trois écoles de l’évaluation de site web
4. Techniques d’évaluation
5. Démarche proposée dans le cadre du travail à réaliser en TD
8
Les modèles de recherche sur l’évaluation
Différents modèles / différents objectifs» Selon le type d’école
– Qualité du site (SI) ou qualité du service
» Selon l’époque, les modes» Selon l’origine des chercheurs
– Marketing, sociologie, SI
» Selon les données disponibles– Enquêtes ou études de cas
Quelques modèles sont présentés ci-après
9
Modèle SI TAM (Davis 1989)
L'intention d'utiliser une technologie est déterminée par deux croyances,utilité perçue (une attente de résultat) et la facilité d'utilisation perçue
10
Modèle SI de Delone et McLean (1992)
Mesures du succès
Modèle de référence d’évaluation d’un SI prenant en compte l’impact sur la performance
11
Modèle d’étude des clients ebusiness
Visiteur Client
Variablesliées au site
DesignAtmosphère
Aménagement du siteDécoration
Variablesliées aux produits
QuantitéQualité
d’information lié à l’offre – produits
Variables Individuelles
-Revenus-niveau d’études, âge, sexe..
-tolérance au risque- Personnalité
Variablessituationnelles
Lieu de connexionMatériel utilisé
Contexte d’achatEnvironnement
Modèle d’étude de la transformation de visiteur en acheteur. Audrey ALCIM – 5ème Congrès de l’AIM- Grenoble 2003
12
Modèle de comportement du consommateur « on line »
Intention to shoponline
Online shoppingbehavior
Attitude towardOnline shopping
Perceived Risk
Experience
Innovativeness
PerceivedUsefulness
Ease of Use
Habit
PerceivedBehavioral Control
Social Norms
PerceivedConsequences
Age
Income
Gender
InternetUsage
Education
Enjoyment
Trust
Limayen et al.Aim 2003
13
Méthodes et métriques d’évaluation des sitesMéthodes et métriques d’évaluation des sites
1.1. Approches IHMApproches IHM
2.2. Approches SDCApproches SDC
3.3. Approche INTEGRATIVEApproche INTEGRATIVE
14
Evaluation de site Ebusiness
1. Introduction sur le concept d’évaluation
2. Evolution des modèles utilisés
3. Trois écoles de l’évaluation de site web
4. Techniques d’évaluation
5. Démarche proposée dans le cadre du travail à réaliser en TD
15
Les 3 écoles d’évaluation de site Ebusiness
trois écoles différentes : » Celles qui, considérant le site Web comme un
type particulier de SI, se situent à l'intérieur du paradigme de l'interaction homme-machine (IHM) et s'intéressent essentiellement à la qualité de l'interface
» Celles qui, considérant le site Web comme une variété de magasin optent pour une approche plus large, se rattachant au paradigme de la Satisfaction Du Consommateur (SDC) et à la qualité de service
» Approche intégrative : contingente
16
Approches IHMApproches IHM
a.a. Qualité de l’informationQualité de l’information
b.b. Utilisabilité (Usability)Utilisabilité (Usability)
c.c. TAMTAM
17
IHM IHM Qualité de l’information : 4 Qualité de l’information : 4 construitsconstruits
Q de contenuQ de contenu Q de l’interactionQ de l’interaction Q contextuelleQ contextuelle Q de connexionQ de connexion
Q perçue par l’utilisateurQ perçue par l’utilisateur Termes différents pour contenus proches Termes différents pour contenus proches
liés au fond et à la formeliés au fond et à la forme
18
Ecole IHM : utilisabilité
Palmer (2002 p. 153) : « l'utilisabilité inclut la cohérence et la facilité avec laquelle l'utilisateur fait ce qu'il souhaite faire, donc la clarté de l'interaction. »
En découle des paramètres liés à l’IHM» Temps de chargement» Navigation» Interactivité» Réactivité» Contenu informationnel
19
Agarwal et Venkatesh (2002) : l'utilisabilité est « la mesure selon laquelle un produit ou un service peut être utilisé par une personne pour atteindre des objectifs spécifiques avec efficacité, efficience et satisfaction »
En découle des paramètres différents :» Contenu» Facilité d’utilisation» Promotion du site» Personnalisation» Emotion» (Microsoft Usability Guidelines – MUG)
Ecole IHM : utilisabilité
20
IHM IHM Usability : bilanUsability : bilan
Construit « usability » mesuré Construit « usability » mesuré différemmentdifféremment
Le contenu est le plus importantLe contenu est le plus important Très sensible aux facteurs de Très sensible aux facteurs de
contingence (nature du site, produit, contingence (nature du site, produit, service, …)service, …)
Concepts voisins Concepts voisins regroupés de manière différenteregroupés de manière différente Désignés par différents termesDésignés par différents termes
21
Approches IHM TAM (Approches IHM TAM (Davis 1989)Davis 1989)
IntentionIntentiond’utiliserd’utiliser
une technologieune technologie
UtilitéUtilitéperçueperçue
FacilitéFacilitéd’utilisationd’utilisation
22
Approche IHM TAM appliquée au CEApproche IHM TAM appliquée au CE
IntentionIntentiond’utiliserd’utiliser
une technologieune technologie
UtilitéUtilitéperçueperçue
FacilitéFacilitéd’utilisationd’utilisation
FUFU
FU : forte pour recherche d’information sur produitFU : forte pour recherche d’information sur produitFU : faible pour achat de biens tangiblesFU : faible pour achat de biens tangibles
23
Ecole SDC : valeur pour le consommateurEcole SDC : valeur pour le consommateur
« Valeur nette (bénéfices – coûts)« Valeur nette (bénéfices – coûts)
de l’ensemble de l’ensemble
produit & processus produit & processus
de recherche, commande et réception »de recherche, commande et réception »
Principe de disconfirmation : comparaison Principe de disconfirmation : comparaison par rapport à un idéal de servicepar rapport à un idéal de service
24
Ecole SDC
Différence électronique versus traditionnels» Interaction homme / machine versus interpersonnelle» Moins d’affectif que dans le service traditionnel
– Moins de frustration et moins de chaleur ou d’attachement
» Des caractéristiques nouvelles et importantes :– Facilité de navigation, esthétique, …
Le consommateur Internet n’est pas un simple utilisateur Internet» Il a un but (goal directed) et il est peu sensible au
divertissement (phénomène du flow)» La confiance est essentielle» Il privilégie la qualité du produit ou service à la qualité du
site
25
Rappel sur le concept de « flow »
Novak et Al.(2000) ont défini le concept de "flow" : » « état cognitif atteint pendant la navigation sur le
site, déterminé par un haut niveau d'adresse et de contrôle, un haut niveau de défi et d'excitation, un grand degré d'attention et accru par l'interactivité et la téléprésence »
» Cet état est caractérisé par ": une séquence enchaînée de réponses , un sentiment de jouissance intrinsèque, une certaine perte de conscience de soi et est susceptible de s'auto-renforcer "
26
L’évaluation de la qualité de service traditionnelle n’est pas résolue
Celle de la qualité de service électronique encore moins ! Le construit de qualité de services électronique :
» Multidimensionnel» Prend en compte une qualité perçue» Est toujours relatif (à la personne, le temps, le produit)» Résulte d’une comparaison plus ou moins formalisée entre
la performance attendue et la performance perçue (disconfirmation)
» Mélange l’évaluation du média et l’évaluation du produit ou service
» Pas de consensus
Ecole SDC : qualité de service
27
Les éléments à évaluer pour la qualité de service électronique
Ecole SDC On retrouve de manière globale 5 dimensions
» (1) la disponibilité et le contenu de l’information» (2) la facilité d’utilisation
– ou « l’utilisabilité » du site (usability)
» (3) la sécurité et le respect de la vie privée,» (4) le style graphique » (5) le respect des engagements
– Prix, délai, qualité
28
Exemple de mesure de la qualité
Test socedal conseil (voir revue stratégie) Déroulement :
» Envois de plusieurs mail de demande d’information sur différents sujets
» Mesure du temps de réponse» Mesure de la pertinence de la réponse
29
APPROCHE INTEGRATIVEAPPROCHE INTEGRATIVE
STRATEGIQUESTRATEGIQUE
CONTINGENTECONTINGENTE
NORMATIVENORMATIVE
30
StratégiqueStratégique
Un site web Un site web
est un instrument d'interaction médiatée est un instrument d'interaction médiatée conçu pour traduire conçu pour traduire
une stratégie marketing et communicationune stratégie marketing et communication
31
Stratégique
Evaluation située dans le cadre d’analyse Evaluation située dans le cadre d’analyse stratégiquestratégique» Les mesures doivent donc être reliées aux Les mesures doivent donc être reliées aux
objectifs de l’entrepriseobjectifs de l’entreprise» Le succès du site dépend de l’alignement de Le succès du site dépend de l’alignement de
la conception du site à ces objectifsla conception du site à ces objectifs» Les tests d’utilisation de site et les audits de Les tests d’utilisation de site et les audits de
site visent à améliorer l’alignement site visent à améliorer l’alignement
32
CONTINGENTECONTINGENTE
SECTEURSECTEUR CONCURRENTSCONCURRENTS NATURE du PRODUITNATURE du PRODUIT OBJECTIFS STRATEGIQUESOBJECTIFS STRATEGIQUES
33
NORMATIVENORMATIVE
FAIRE CONVERGER LES DIFFERENTS FAIRE CONVERGER LES DIFFERENTS INSTRUMENTSINSTRUMENTS
ABOUTIR à des NORMES ABOUTIR à des NORMES CONTEXTUELLES CONTEXTUELLES
34
Les techniques mobilisées
Ecole IHM» Wammi» Etc.
Ecole SDC :» Servqual» Etc.
Ecole Intégrative :» Stratégique» Audit
35
Les techniques mobilisées
Expert externe
Client du site
Interne du site
Designdu site
Test d’utilisation
ES-QualWebqualSitequal
Test conformité
Questionnaire fonction du siteWAMMI
Audit de siteAnalyse
stratégique
Gomez.com
Bizrate.com
36
Test d’utilisation de siteTest d’utilisation de site
Un ou plusieurs utilisateurs participent à l'exécution de Un ou plusieurs utilisateurs participent à l'exécution de tâches représentatives des tâches réelles (selon des tâches représentatives des tâches réelles (selon des scénarios définis avant le test) ou encore, à l'exploration scénarios définis avant le test) ou encore, à l'exploration librelibre
Le test est filméLe test est filmé L’utilisateur verbalise ce qu’il faitL’utilisateur verbalise ce qu’il fait On mesure :On mesure :
» le temps ou le nombre d'actions requis pour l'exécution d'une le temps ou le nombre d'actions requis pour l'exécution d'une tâchetâche
» l'exactitude du résultatl'exactitude du résultat» le nombre d'erreurs commisesle nombre d'erreurs commises
Utilisé en vue d’une re-conceptionUtilisé en vue d’une re-conception 5 utilisateurs sont suffisants !5 utilisateurs sont suffisants !
37
Techniques d’évaluation : SERVQUAL
Pour les services traditionnels : Parasuraman, Zeithaml et Berry (1988): cinq
dimensions:» les éléments tangibles» la fiabilité» la réactivité» l’assurance» l’empathie de l’expérience de service.
L'empathie implique un processus de recul intellectuel qui vise la compréhension des états
émotionnels des autres, tandis que la sympathie est un comportement réflexe (Wikipedia)
38
Techniques d’évaluation : SERVQUAL
Les difficultés posées par SERVQUAL:» Source : Bressoles 2002 18 congrès AFM» Difficile de mesurer les attentes des Internautes
(disconfirmation)» Utopique de trouver les mêmes dimensions pour tous les
produits ou les services» Peu de différence faite entre les « habitués » et les
«novices» du service électronique– Or l’expérience est essentielle !
» Les dimensions (ou les facteurs) ne sont pas tous de la même importance
– Nécessité de pondérer les facteurs
39
Technique Sitequal : service électronique
Yoo et Donthu (2001) ont développé une échelle de mesure, appelée SITEQUAL
qualité perçue des sites de shopping en ligne. Items pour le site :
» Design» Utilisabilité» rapidité» Sécurité» Marque
Items pour le service» prix» comande» originalité» qualité
40
Technique Webqual : service électronique
Barnes et Vidgen (2001) ont développé Webqual
Trois dimensions :» Utilisabilité du site» Qualité de l’information» Qualité de l’interaction
http://www.webqual.co.uk/
41
Technique E-S-Qual
Zeithaml, Parasuraman et Malhotra (2002b) développent E-S-Qual
quatre dimensions dans le cas général :» Efficacité : capacité à accéder au site et trouver le produit» Fiabilité» Respects des engagements» Respect de la vie privée
Plus trois dans le cas de problème » Réactivité» Compensation : remboursements – retour de
marchandise» Contact
42
Technique d’évaluation SI : WAMMI
WAMMI (Website Analysis and MeasureMent Inventory)
Un questionnaire en ligne permettant aux utilisateurs de « noter » l'utilité et l'utilisabilité du site sur lequel il est implémenté.
Items : » l'attrait (Attractiveness)» le contrôle (Control)» l'efficacité (Efficiency)» l'utilité/aide (Helpfulness)» la facilité d'apprentissage (Learnability)
http://www.wammi.com/whatis.html
43
Evaluation d’expert – praticien (1)
Bizrate.com» Utilise les consommateurs pour évaluer les sites
de diverses catégories (CD, livres, jeux, …) après qu’ils aient fait leurs achats.
» L’échelle identifie les forces et les faiblesses des sites.
» Selon plusieurs études : l’élément clé pour l’intention de revisite du site est l’aspect service consommateur et l’élément le moins important est le prix.
» http://fr.bizrate.com/
44
Evaluation d’expert – praticien (2)
gomez.com» utilise des experts professionnels plutôt que des
consommateurs pour évaluer les sites» Les mesures impliques un examen du site» Possibilité de test gratuit» http://www.gomez.com/products/backbone.html
45
Audit de site web - expert
Akoka et Comyn-Wattiau 2003 Analyse hiérarchique multicritère Arbre avec pondération aux noeuds Réalisée par un expert après analyse de contexte
Critère 1
0,2
Critère 2
0.3
Critère 3
0,5
Facteur 10,2
Facteur 20,8
Action de contrôle Action de contrôle
46
Outil de conformité du site
Analyse la conformité du site» HTML – XML» Principes d’ergonomie» Principes éditeurs (Microsoft – Apple)
Exemples :» http://www.opquast.com/» http://validator.w3.org/» http://www.netmechanic.com/index.shtml
47
Evaluation de site Ebusiness
1. Introduction sur le concept d’évaluation
2. Evolution des modèles utilisés
3. Trois écoles de l’évaluation de site web
4. Techniques d’évaluation
5. Démarche proposée dans le cadre du travail à réaliser en TD
48
Démarche à suivre
Analyse du sitePar groupe de 2
-Stratégie / Technique / Projet*Entretien avec acteur du site
Benchmark des concurrents (minimum 4)Démarche à construire par le groupe de 2
Questionnaire Sitequal par 5
autres étudiants
Evaluation automatique
du sitePar le groupe
de 2
Synthèse
49
Benchnmark du site (1)
Identifier les concurrents du site : minimum 4» Justifier leur choix
Définir ce qui sera comparé» Par rapport au cycle complet d’achat
Préparer une grille de comparaison» Référencement / navigation / juridique / offres …
Préparer un protocole de comparaison» Ordre, durée, recoupement des résultats
Faire une synthèse du benchmark» Points forts – points faibles» Graphiques
50
Benchnmark du site (2)
La conception de personas est un outil pour conduire des analyses concurrentielles.
Les personas sont des personnages virtuels. Ces personnages doivent être les représentants des utilisateurs typiques du site
On leur définit des caractéristiques précises: un persona a un nom, un prénom, un âge, un métier, un niveau d'expertise avec Internet, des sites web préférés, des objectifs de vie et des raisons pour lesquelles il pourrait être amené à consulter le type de site que l'on étudie.
Permet de rester centré sur le point de vue de l'utilisateur, et non sur celui d'un visiteur non concerné.
Permet de comparer les expériences de chaque persona sur chaque site du benchmark.
Source : http://www.ergolab.net/articles/analyse-concurrentielle-ergonomie.html
51
Questionnaire Sitequal
Faire remplir le questionnaire :» Par au moins 10 personnes» En utilisant le questionnaire fourni QU’IL FAUT
ADAPTER !» Attention au protocole» Tester le questionnaire avant de l’envoyer
Faire une synthèse de l’évaluation» Radar et explications
52
Evaluation automatique de site
Test de conformité du site :» http://www.opquast.com/
– Plusieurs tes de conformité
» http://validator.w3.org/» http://www.netmechanic.com/index.shtml
Popularité du site et étude des mots clefs» http://www.secrets2moteurs.com/
– Avec analyse des mots clefs
53
Analyse
Croisement des différentes vues sur le site» Benchmark» Questionnaire» Evaluation automatique
Utilisation de l’analyse préalable» Pour étudier les critères les plus importants» Expliquer des écarts ou des résultats étonnants
Apport d’une valeur ajoutée» Pertinence de l’analyse par le groupe d’étudiants