valuation des logiciels interactifs

1
Évaluation des logiciels interactifs
Cours 6
Méthodes impliquant les utilisateurs
É. Delozanne, Paris 5, 2006-07 Elisabeth.Delozanne
_at_math-info.univ-paris5.fr http//www.math-info.uni
v-paris5.fr/delozanne
2
Évaluation

• Cours 4
• Évaluer ?
• Méthodes dinspection
• Critères dévaluation heuristique, scénarios
• Cours 6
• Tests avec utilisateurs
• Les méthodes
• Recueil de données
• Quelles méthodes choisir ?

3
Évaluation et cycle de conception
4
(Rappel) cours 4

• Méthodes dévaluation sans utilisateurs
• Indispensables en cours de conception évaluer les
  maquettes et prototypes
• Rapides, pas chères et efficaces
• Fondées sur des scénarios ou sur des heuristiques
• Permettent déliminer les erreurs de conception
  de type  amateur 
• Méthodes dévaluation avec utilisateurs
• Indispensables pour les problèmes liés au
  domaine, à lactivité, aux usages

5
Méthodes dévaluation

• Méthodes dinspection
• Des gens expriment une opinion
• Tests dutilisabilité (Usability Testing)
• Des utilisateurs accomplissent une tâche avec un
  système (ou un prototype, une maquette)

6
Tests dutilisabilité

• Quest-ce que cest ?
• Monter des expérimentations pour obtenir des
  informations sur un problème de conception
• Quand en faire ?
• Tout au long du cycle de conception
• Comment en faire ?
• A lorigine, des méthodes de psychologie
  expérimentale avec des protocoles et des analyses
  statistiques rigoureuses
• Maintenant des techniques plus  légères 
• Napportent pas de certitudes scientifiques
• Apportent des informations qualitatives ou
  quantitatives indispensables à la conception
• Principe simple
• Trouver des utilisateurs
• Étudier comment ils utilisent le produit et
  recueillir des données
• Analyser les données et en dégager des décisions
• Où trouver des informations complémentaires ?

7
Les différentes méthodes

• Expérimentations contrôlées
• Quasi-expérience
• Étude de cas
• Études de terrain (ergonomiques, ethnographiques)
• Évaluation coopérative (Giboin)

8
Expériences contrôlées

• Discipline psychologie expérimentale
• But
• tester une hypothèse ou étudier des corrélations
• produire une connaissance scientifique
• Conception
• Spécifier l'hypothèse qu'est-ce qu'on étudie ?
• Spécifier les variables indépendantes qu'est-ce
  qui varie ?
• Opérationnaliser le comportement
• comment on va étudier ces variations ?
• Spécifier les variables dépendantes
• qu'est-ce qu'on mesure ?
• Spécifier les procédures
• répartition des groupes
• rôle de l'expérimentateur etc.
• Identifier les tests statistiques appropriés
• Y a-t-il une différence ?

9
Exemple (1)

• Mireille Bétrancourt, Effet de trois modalités
  d'intégration texte figure dans les systèmes
  multi-média, IHM'94, Lille, France, 8-9 Décembre
  1994, p. 219-224
• Spécifier l'hypothèse
• qu'est-ce qu'on étudie ?
• le format de présentation des informations a une
  influence sur l'apprentissage
• Spécifier les variables indépendantes
• qu'est-ce qui varie ?
• trois formats de présentation du matériel
  d'apprentissage
• texte et figure séparés
• présentation intégrée (texte et figure côte à
  côte)
• texte en escamot (pop-up), bulles d'informations
• Opérationnaliser le comportement
• Comment étudier cela ?
• une tâche de mémorisation et une tâche de
  résolution de problème

10
Exemple (2)

• Spécifier les variables dépendantes
• qu'est-ce qu'on mesure ?
• temps d'apprentissage et mémorisation (nombre de
  termes correctement replacés sur le graphique)
• Spécifier les procédures
• répartition des groupes expérimentaux/ de
  contrôle
• rôle de l'expérimentateur etc.
• ex(résumé).  Test individuel pour 24 étudiants
  répartis aléatoirement en 3 groupes consigne
  étudier le graphique et le commentaire tâche
  on présente le graphique et il faut donner le
  commentaire)
• Identifier les tests statistiques appropriés
• ex.  la différence entre le groupe escamot et le
  groupe conventionnel est significative (f 2, 94
  et p .028)

11
Quelques problèmes

• Méthodologie
• de comparaison entre groupe expérimental et
  groupe témoin
• exposer les sujets à toutes les valeurs de la
  variable indépendante
• Problèmes de fiabilité
• contrôle de l'affectation aléatoire dans les
  groupes, des conditions d'expérimentation
• reproductibilité de l'expérience, différences
  individuelles ?
• utiliser un nombre "raisonnable" de sujets
• utiliser des statistiques appropriées et
  déterminer le degré de confiance p
• Problèmes de validité
• et en dehors du laboratoire ?
• utilisateurs représentatifs ? cobayes
  professionnels ?
• contexte social est-il indifférent ?
• tâches typiques ?
• environnement matériel indifférent ?

12
Expériences contrôlées

• Manipuler des variables indépendantes
• Observer les effets sur les variables dépendantes
• Tirer des conclusions à partir de tests
  statistiques significatifs
• Réalisées en labo
• permettent un plus grand contrôle des variables
• ne peuvent pas être généralisées à des situations
  réelles
• Utilisées
• par des spécialistes (psychologues, ergonomes)
• explorer une nouvelle technique d'interaction
• choisir entre des alternatives de conception
• évaluation d'un système
• comparer deux systèmes
• comparer des techniques d'évaluation !
• Laboratoire dutilisabilité
• lourds
• portables

13
Quasi-expériences

• But Cf. expérimentation contrôlée mais en
  situation réelle
• Problème on ne contrôle pas tous les facteurs
• Solution
• Rendre explicites les menaces d'invalidité,
  identifier les sources potentielles
  dinterprétation erronée
• Trianguler, trianguler, trianguler faire
  varier
• le dispositif expérimental
• les méthodes
• expériences
• études de cas
• interviews
• recouper les informations

14
Études de cas

• pas du tout étude statistique
• compréhension profonde d'un sujet, dune
  activité
• difficile à mener
• généralement un expérimentateur pose des
  questions
• enregistrement vidéo
• plusieurs personnes étudient et discutent
  l'enregistrement
• aide
• à émettre des hypothèses
• à expliciter des modèles
• à comprendre des difficultés, des
  fonctionnements, une situation
• à repérer des régularités, des invariants

15
Études de terrain

• Les observations de terrains sont souvent la
  meilleure façon
• danticiper les besoins
• de sassurer de lutilisabilité dun produit
• Pour un prototype assez avancé, il sagit de le
  tester dans lenvironnement de travail habituel
  des utilisateurs
• Mises en uvre par des professionnels (e.g.
  ergonomes, ethnologues)

16
Evaluation coopérative (Giboin)

• Méthode conçue par des spécialistes pour être
  mise en oeuvre par des informaticiens
• Objectif détecter des problèmes potentiels pour
  améliorer la conception
• Étapes
• Recruter des utilisateurs
• Préparer lévaluation
• Réaliser lévaluation interagir avec les
  utilisateurs
• Analyser les résultats de lévaluation
• Tirer les conséquences de lévaluation
• Rédiger le compte rendu de lévaluation

17
Recruter des utilisateurs

• Dimensions des utilisateurs
• Statut, niveau dexpérience
• Typologie des utilisateurs
• Occasionnel, intensif, répété
• Nombre dutilisateurs
• Entre 1 et 5 à chaque itération
• Recrutement
• Annonces, financement, autorisations

18
Préparation de lévaluation

• Définir les tâches
• Représentatives des tâches réelles
• Permettre une exploration minutieuse de
  linterface
• Préparer une feuille de tâches à effectuer par
  lutilisateur
• Donnée à lutilisateur au début de la séance
• Tâches précises
• Contre Ex Faites ce que vous faites normalement
• Ex Inscrivez-vous en ligne au Master
• Tâches réalisables avec le prototype
• Préparez une grille dobservation avec les points
  que vous voulez observer

19
Conseils

• Evaluer le temps nécessaire,
• Énoncer clairement les tâches
• Prévoir les cas où lutilisateur ne finit pas
• Préparer des questions
• Tester la prise en main puis tester une nouvelle
  fois en fin de séance
• Distinguer découverte et utilisation

20
Avant lévaluation

• Vérifiez que tout est en place
• Le prototype est-il prêt ?
• Lenvironnement est-il tranquille ?
• Le matériel est-il prêt pour enregistrer ce que
  dit lutilisateur ? Ce quil fait ? Vérifier le
  fonctionnement
• Chronomètre ?
• Une feuille préformatée est-elle prête pour
  prendre des notes ?
• Liste des questions à poser ?
• Phrase pour accueillir lutilisateur ?
• Avez-vous testé vous-même la feuille de tâches
  pour la vérifier ?

21
Conseils

• Conduite de la séance
• mode informel (discussion libre)
• Si possible 2 observateurs
• Une conduit lentretien
• lautre prend des notes et soccupe de la
  technique
• Statut des utilisateurs
• évaluateurs et non sujets dexpérience
• Ce nest pas le participant qui est évalué mais
  le système

22
À larrivée des utilisateurs

• Mettez les participants en confiance
• Présentez vous et énoncez vos objectifs
• Regarder en quoi le système leur facilite ou leur
  complique la tâche, peut les induire en erreur
• Et non relever leurs erreurs
• Garantissez lanonymat et la sécurité
• Décrivez les équipements et la façon dont vous
  allez étudier et utiliser les données recueillies
• Précisez au participant quil peut à tout moment
  arrêter lobservation
• Présentez clairement ce que le participant doit
  faire (penser à haute voix, chercher de laide
  etc., la tâche ou le scénario)
• Demander sil y a des questions préalables
• Démarrer lenregistrement (autorisation)

23
Évaluation coopérative

• Introduction (5 min)
• Pourquoi évaluer, pourquoi vous, quelle suite
• Présentation du déroulement de lévaluation (3
  min)
• Donner la feuille de tâches, lui demander de
  commenter à voix haute ses actions
• Questionnaire didentification du testeur (2 min)
• Scénario de tâches pour lexploration de
  lactivité (60 min maxi)
• Distinguer familiarisation et réalisation des
  tâches
• Observations et prise de notes sur les
  commentaires, le comportement, les réactions,
  linteraction
• On peut aussi chronométrer ou compter (des
  erreurs, des clics) ou filmer
• Aider lutilisateur sil pose une question

24
Évaluation coopérative (2)

• Questionnaire dévaluation (10 min)
• Fonctionnalité non couvertes, points positifs et
  négatifs
• Conclusion (10 min)
• Points forts, points faibles, ce quil faut
  impérativement garder/changer
• Listes des difficultés et propositions de
  solutions
• Questions spécifiques
• Remercier
• Temps maxi 1 h 30 utilisateur

25
Analyser les résultats

• Classez les résultats
• Objets dinterface, navigation, conception
  générale
• Faites ressortir les points positifs et les
  points négatifs
• Tirez les conséquences des évaluations
• Modifications à apporter
• Module daide
• Rédiger un rapport
• Présenter létat du système avant
• Présenter lévaluation (les utilisateurs, les
  tâches, les données recueillies et leur analyse,
  les résultats )
• Présenter les améliorations à apporter (et une
  nouvelle maquette)

26
Évaluation

• Cours 4
• Évaluer ?
• Méthodes dinspection
• Critères dévaluation heuristique, scénarios
• Cours 6
• Tests avec utilisateurs
• Les méthodes
• Recueil de données
• Quelles méthodes choisir ?

27
Observation directe

• observer et enregistrer les utilisateurs se
  servant du système
• en laboratoire ou sur le terrain
• conseil
• soignez les détails
• utilisation
• pour détecter les gros problèmes, tests
  d'utilisabilité
• très utilisée en cours de conception
• méthode intrusive, complément d'une autre
• méthode adaptable au budget
• Cahier, chronomètre et qualités dobservation
• Laboratoires dutilisabilité
• Compléments
• Entretien d'explicitation, d'auto-confrontation,
  d'auto-confrontation croisée

28
Laboratoires dutilisabilité

• Exemple EVALAB, université de Lille
• Un laboratoire fixe
• faculté de médecine de Lille (Pôle Recherche),
• équipé de glaces sans tain
• observations
• d'un système d'enregistrement audio-vidéo
• garder la trace des comportements et
  verbalisations
• Des laboratoires portatifs
• effectuer les mêmes types d'enregistrements sur
  site
• Comportent
• Un convertisseur transformant le signal de
  l'écran en format vidéo
• Un microphone
• Un magnétoscope numérique enregistrant l'audio et
  la vidéo
• Un écran de contrôle
• Autres ordinateurs portables, chronomètres,
  suivi du mouvement des yeux

29
Laboratoire fixe plan

30
Laboratoire fixe

31
Procédure dobservation

• Décider ce que l'on veut observer/ mesurer
• Objectif général
• facilité dapprentissage
• Objectifs opérationnels (si possible mesurables)
• combien dutilisateurs savent réaliser la tâche
  sans erreurs et sans aide au bout de 20 min
• Définir une mission spécifique
• exécuter une tâche, résoudre un problème,
  dérouler un scénario
• Utiliser au moins 2 observateurs (pour
  confronter)
• Fournir des instructions
• pour les observateurs, pour les utilisateurs
• Choisir le cadre du test
• Labo, terrain (attention aux pb de matériel
  écran, DD, mémoire)
• Demander aux utilisateurs d'effectuer des tâches
• Recueillir les observables
• Coder les observations
• Définir des catégories, évènements sont discrets
  ou continus
• Analyser les résultats

32
Recueil de données (1)

• Fiches remplies par les observateurs
• pas cher, peu de détails, incomplet
• Protocoles verbaux
• penser à haute voix (biais), travail avec un
  pair
• pour saisir les plans des utilisateurs, leurs
  difficultés, leurs réactions
• coûteux en temps, nécessite des grilles d'analyse
  difficiles à mettre au point
• études de cas

33
Recueil de données (2)

• protocoles vidéo
• permet d'intercepter des événements passés
  inaperçus
• encore plus longs et coûteux à dépouiller et à
  analyser très coûteux
• études de cas et fonction de communication à
  l'intérieur de l'équipe de conception et à
  l'extérieur
• mouchard électronique
• mémorise des événements datés générés par
  l'utilisateur
• Permet lanalyse automatique, permet des calculs,
  de rejouer une session pour l'analyser
• pas cher et non intrusif (normalement) pas
  toujours bien accepté
• ne permettent pas d'inférer les modalités
  d'utilisation
• recueil d'un très grand nombre d'informations
  mais le problème est de leur donner une
  signification

34
Magicien d'Oz

• utile dans les phases initiales
• principe
• un compère humain supplée les déficiences du
  prototype et simule le futur système
• intelligence naturelle pas artificielle
• le "Magicien" interprète les entrées de
  l'utilisateur et contrôle le comportement du
  système
• l'utilisateur a la sensation d'utiliser un "vrai"
  système
• les sessions sont enregistrées
• utilisé par exemple
• pour recueillir des expertises
• pour recueillir des corpus
• Ex Duplàa Emmanuel, Visser Willemien, e-Ti ,
  expérimentale, Actes IHM2002

35
Entretiens

• utilisés
• pour les enquêtes d'opinion (coûteux en temps)
• pour le recueil d'expertise
• pour l'analyse de besoins et l'étude ergonomique
  préalable
• peuvent être
• structurés
• mêmes questions et mêmes formats pour tout le
  monde
• facile à mener, facile de comparer
• ouverts
• permettent de saisir des réactions spontanées
• permettent de saisir la façon de faire de
  l'utilisateur
• technique de l'incident critique
• Cf. le cours N2 et le polycopié de W. Mackay

36
Questionnaires

• Intérêts
• peu coûteux, rapides à mettre en uvre et à
  dépouiller
• utilisés pour les enquêtes d'opinions, pour avoir
  un résumé utile des avis de nombreux utilisateurs
• délicats à mettre en uvre
• réponses stéréotypées, questions biaisées
  (termes, subjectivité, formulation trop
  restrictive, trop floue)
• effet du mode d'administration (papier-crayon,
  en-ligne, téléphone, entretien)
• questions
• fermées
• Faciles à analyser, faire comparaisons, des
  classes, grand nombre de questionnaires
• Dictent les réponses
• ouvertes
• comprendre les réponses fermées, donnent des
  idées
• difficiles à dépouiller

37
Préparer une enquête

• 4 phases
• Définition des objectifs, du public et des moyens
• Que cherche-ton à connaître ?
• Évitez les enquêtes fourre-tout
• Choisir la population cible et sa taille (prévoir
  des refus)
• Modes dadministration
• Courrier, web
• Moins de 20 de réponses
• Entretiens, téléphone
• Plus cher
• Durée, modes de récupération, moyens matériels et
  humains
• Élaboration et administration
• Traitement des réponses
• Rédaction dun rapport denquête

38
Concevoir les questions

• penser au dépouillement
• numéroter les questions
• adopter des structures parallèles pour les
  questions
• ordre des réponses à choix multiple cohérent
  (positif vers négatif)
• distinguer une réponse moyenne (bof) d'une
  abstention (je ne sais pas)
• inciter les sondés à prendre partie
• en évitant les réponses moyennes
• en citant des points positifs et négatifs
• degré de confiance dans la réponse
• contrôle de cohérence
• éviter les questions aux réponses prévisibles
• se faire assister par quelqu'un de compétent
  et/ou copier des questionnaires existants
• http//www.dsi.cnrs.fr/bureau_qualite/ergonomie
• http//www.lap.umd.edu/lap/
• tenir compte des caractéristiques des
  utilisateurs (age etc.)
• Aux USA réponses quantifiées (1 à 10) en France
  elles sont plutôt qualifiées (mauvais, bon très
  bon etc.)

39
Biais dans les questionnaires

• Prestige
• Se faire mal juger
• Défense par rapport à des questions personnelles
• Réponse suggérées par la formulation de la
  question
• Attraction des réponses positives
• Proposer des échelles
• Peur de certains mots
• Méfiance par rapport aux sondages
• Effet de la longueur ou de la complexité du
  questionnaire

40
Analyse des données

• analyses quantitatives
• méthodes statistiques
• nécessitent une formation
• analyses qualitatives
• interprétations
• se font à l'intérieur d'un cadre de travail 
  théorique
• nécessitent aussi une formation (socio-psycho)
• critiquer vos interprétations, chercher des
  interprétations alternatives
•  Trianguler 
• confronter les données obtenues avec plusieurs
  dispositifs
• confronter vos analyses avec des travaux
  antérieurs ou voisins

41
Évaluations avec utilisateurs (1)

• Indispensables

42
Évaluations avec utilisateurs Bilan 2

• À tous les prix pour s'adapter au budget
• tests exploratoires
• Fixer vous des objectifs précis et quantifiables
• évaluations expérimentales
• faire appel à des spécialistes
• mise au point de protocoles expérimentaux
  rigoureux
• les objectifs, les hypothèses et les variables
  sont clairement identifiées analyse a priori
• les mesures ne sont pas biaisées
• analyses relevant de l'étude de cas ou de l'étude
  statistique sont menées de façon fiable
• soignez les détails de mises de mise en place
• attention en particulier
• aux interprétations inévitables chercher et
  discuter les interprétations alternatives
• aux généralisations

43
Critères de choix dune méthode

• Temps, budget, moments, compétences
• Triangulez
• Méthodes légères
• Interviews
• Inspection heuristique, scénarios ( expert du
  domaine)
• Évaluations coopératives
• Projet à risque méthodes rigoureuses
• Faire appel à des spécialistes ergonomes,
  sociologues, voir ethnologues

44
Quelle méthode choisir ?

• Utiliser plusieurs méthodes pour croiser les
  résultats et les interprétations
• Dépend des objectifs de lévaluation, du budget,
  du temps
• Analyse de lexistant
• Méthodes dinspection
• Évaluation coopérative
• Enquêtes, études de terrain
• En cours de conception
• Méthodes dinspection
• Évaluation coopérative
• Expérimentations contrôlées (alternative de
  conception)

45
En résumé

• Méthodes dévaluation sans utilisateurs
• Indispensables en cours de conception évaluer les
  maquettes et prototypes
• Rapides, pas chères et efficaces
• Permettent déliminer les erreurs de conception
  de type  amateur 
• Méthodes dévaluation avec utilisateurs
• Indispensables pour les problèmes liés au
  domaine, à lactivité, aux usages

46
Conclusion sur l'évaluation

• processus qui débute dès la spécification du
  logiciel
• un état d'esprit
• dès le début
• se préoccuper des utilisateurs, de leurs
  activités
• construire des maquettes et des prototypes
• les critiquer
• les faire critiquer
• mener des tests exploratoires informels
• tenir compte des guides, principes, critères
  ergonomiques, des standards, des normes (ISO,
  AFNOR), des Design Patterns
• plus le cycle de développement avance plus les
  tests doivent être rigoureux
• cumuler et confronter les diverses données
• croiser les mesures, les avis, les méthodes et
  les points de vue
• créer des relations de confiance avec les
  utilisateurs et des mécanismes de retours
  d'informations des utilisateurs vers les
  concepteurs
• adapter les méthodes d'évaluation aux moyens et
  contraintes de votre projet mais attention aux
  économies coûteuses

47
L'évaluation au cur de la conception
48
Une autre représentation
49
Ref. pratiques

• Au cas où vous auriez oublié
• http//www.designofsites.com/pb/register.html
• Brangier E., Barcenilla J., Concevoir un produit
  facile à utiliser  Adapter les technologies à
  lhomme, Editions dorganisation, 2003. (ch 5)
• cours et des TP sur la conception participative
  de Wendy Mackay à la conférence IHM2002,
  Poitiers, Novembre 2002
• Cours Alain Giboin
• http//www-sop.inria.fr/acacia/ESSI/ESSI-Eval-Coo
  .ppt
• http//www-ihm.lri.fr/mackay/
• Corinne Ratier (CNRS)
• http//www.dsi.cnrs.fr/bureau_qualite/ergonomie
• Cours dergonomie en ligne
• http//www.univ-pau.fr/lompre
• Cours de Michel Futtersack (paris 5)
• http//www.droit.univ-paris5.fr/futtersack/francai
  s/Enseignement/IHM

50
Take Home Messages

• Lévaluation au cur de la conception
• Pensez aux critères dévaluation du logiciel dès
  la phase de spécification
• Triangulez, croisez méthodes et résultats
• Même sur des petits projets, organisez très tôt
  des tests informels avec des utilisateurs finaux
• Mieux vaut des tests informels que pas de tests
  du tout