IHM et multiplicit des supports : aperu de la recherche actuelle et future AnneMarie Dry pinnaessi'f

1
IHM et multiplicité des supports aperçu de la
recherche actuelle et futureAnne-Marie Déry
pinna_at_essi.frProjet Rainbow - Laboratoire
I3SMerci tout particulièrement à Laurence
Nigay, Gaelle Calvary de lIMAG et au GT Mobilité
et Ubiquité, GDR I3

2
Motivations et exemples dapplications visées

3
IHM sur supports mobiles

• Complexification de la conception ergonomique et
  logicielle

4
IHM sur supports mobiles

• Complexification de la conception ergonomique et
  logicielle

5
IHM sur supports mobiles

• Complexification de la conception ergonomique et
  logicielle

6
Les enjeux de la mutation

• De nouveaux problèmes à résoudre
• prendre en compte le contexte dans l'interaction
• Perception/modélisation/adaptation
• Des solutions à des problèmes anciens à revoir
• les techniques d'interaction windows, icons,
  menus, pointing
• Des problèmes classiques prennent une importance
  particulière
• concevoir pour plusieurs plates-formes
• Ingénierie au cas par cas insuffisante
• Coûts de développement et de maintenance
• Cohérence ergonomique entre versions

7
Plasticité des interfaces

• Un peu dhistoire
• Introduction du terme à Interact99
• Capacité dune interface à sadapter à son
  contexte dusage dans le respect de son
  utilisabilité
• Contexte dusage
• Plate-forme
• Environnement
• Utilisateur (2001)

8
Dimensions de l espace problème
A
n
a
l
y
s
e

d
e
s

b
e
s
o
i
n
s
Evaluation ergonomique
T
e
s
t
s

U
t
i
l
i
s
a
t
e
u
r
s
C
o
n
c
e
p
t
i
o
n
T
e
s
t
s

d

i
n
t
é
g
r
a
t
i
o
n
C
o
n
c
e
p
t
i
o
n

l
o
g
i
c
i
e
l
l
e
T
e
s
t
s

U
n
i
t
a
i
r
e
s
C
o
d
a
g
e
9
Dimensions de l espace problème
Conception ergonomique
Conception logicielle
10
Dimensions de l espace problème

• Selon trois axes

Techniques dinteraction
Collaboration
Contexte
11
Dimensions de l espace problème

• Selon trois axes

Techniques dinteraction
Collaboration
Contexte
12
Système interactif sensible au contexte

• Système interactif sensible au contexte
• capable didentifier les circonstances qui
  entourent laction utilisateur
• en vue doffrir des services contextualisés
• offre sélective dinformation
• décoration contextuelle pour recherche ultérieure
  
• Contexte ensemble de propriétés de phénomènes
  physiques qui peuvent être captées

13
Système interactif sensible au contexte
14
Système interactif sensible au contexte

• Exemple Plate-forme MAGIC

15
Applicatifs envisagés

• Localisation de lutilisateur
• Identification et localisation de dispositifs
  dinteraction

16
Applications de proximité

17
Dimensions de l espace problème

• Selon trois axes

Techniques dinteraction
Collaboration
Contexte
18
Mobilité nouveau découpage spatio-temporel

• Déplacement dans lespace
• Variation dans le temps synchronisme/
  asynchronisme

asynchrone
synchrone
distant
local
19

• Vagabond / Ensemble Hummingbird
• Viktoria Research Institute de Gothenburg (Suède)
• Conscience de groupe
• Indication visuelle et orale
• Confiné / Dispersé Système collaboratifKraut
  96
• Système mixte mobile
• Magic, Troc (IMAG)

20
Plate-forme Magic
Casque Ecouteurs
Capteur dorientation
Camera Micro
21
MAGIC Travail sur le terrain de fouille

• Explorer le site (Mobilité)
• Travailler en groupe sur le site (Collecticiel)
• Sinformer auprès dexperts distants (Collecticiel
  )
• Comparer des objets physiques avec des objets
  dune base de données (Augmentation)
• Accéder aux objets enlevés du site (Augmentation)

22
MAGIC vue densemble

• Sur la tablette
• Communication (forum, mail, etc.)
• Coordination (carte)
• Production (outils dédition)
• A travers le casque
• Combinaison du physique avec linformatique grâce
  à la passerelle

23
Terrain augmenté

• Un archéologue travaille
• Il trouve un objet
• La découverte est retirée du site
• Lobjet est sauvegardé dans une base de données
• Un archéologue approche de où était lobjet
• La découverte est virtuellement disponible

24
Dimensions de l espace problème

• Selon trois axes

Techniques dinteraction
Collaboration
Contexte
25
Mobilité Interface  Baby face 

• De très nombreuses techniques d interaction
• Technique dinteraction plusieurs niveaux
  dabstraction
• dispositif physique
• clavier, souris, écran, haut-parleur, ...
• Système représentationnel
• langue pseudo-naturelle, manipulation directe,
  ...

26
Interface  Baby face 

• Technique d interaction en sortie
• Son spatialisé T lthaut-parleur, LNgt

RDV à 15h
SoundbeamNeckset
27
Dimensions de l espace problème

• Interaction homme-machine

Techniques dinteraction
Collaboration
Contexte
28
Conclusion

• Grande variété des études
• Vaste espace de possibilités
• Travaux pluridisciplinaires
• Groupe de Travail 4.3 "Mobilité et Ubiquité du
  GDR I3
• Grande variété des domaines dapplication

29
Des solutions des traducteurs, la plasticité,
la prise en compte du contexte, des
architectures, lergonomie

30
Traducteurs
XML et XSL pour la présentation, UIML, SUNML,
Xforms .
XSL
HTML
XML
VoiceML
WML
31
Langage de description dinterfaces
32
De lIHM abstraite vers lIHM concrète
IHM abstraite (Exécution)
Fichier SUNML (Spécification)
ltsunmlgt ltinterface id"FicheClient"gt
ltstructuregt ltdialog id"MainDialog"
sequence"true"gt ... ltfield
id"LabelFieldNom" mode"read"gt
ltelement type"String"gtNom lt/elementgt
lt/fieldgt ltfield id"FieldNom"
mode"read-write"gt ltelement
type"String"gtTotolt/elementgt lt/fieldgt
... lt/dialoggt lt/structuregt
lt/interfacegt lt/sunmlgt
FicheClient
HMI
Réification
MainDialog
Dialog
...
LabelFieldNom
FieldNom
Field
Field
Projection
IHM concrète (Exécution)
JFrame1
JFrame
JPanel1
JPanel
...
JLabel1
JField1
JTextField
JLabel
Légende
Instance
33
Plasticité des interfaces une nécessité

• Problème ?
• Exemple
• SI la batterie du PC faiblit ALORS passer sur PDA
• SI condition ALORS action

Action ? Réaction
34
Espace problème
35
Espace problème

• Domaine de plasticité

36
Cadre de référence phase conception
Spécifier 1 fois -gt N Interfaces ? approche
par modèles
Modèles archétypes
Config 1
Modèle Tâches et Concepts
Modèle Tâches et Concepts
Config 2

Concepts
Concepts
Tâches
Tâches
IHM abstraite

IHM abstraite
User
User
Plate-forme
Plate-forme
IHM concrète
IHM concrète
Environment
Environment
Evolution
Evolution
IHM finale
IHM finale
Transition
Transition
Réification, Factorisation, Traduction,
Abstraction / Reconception, Crossing,
Intervention Humaine
37
Cadre de référence phase conception
Config 1
Tâches Concepts
38
Cadre de référence phase exécution
Identification
Identification du
Reconnaissance de situation
Des solutions
Calcul dune réaction
changement de
contexte
candidates
Détection de
changement de
contexte
Capture du
Exécution du
prologue
contexte
Execution de la
Execution de
Exécution de la réaction
reaction
Lépilogue
39
Ingénierie Capture de contexte

• Donnée captée et méta-donnée
• Précision
• Fréquence
• Stabilité
• Zone de couverture
• Complétude
• Ambiguïté
• Complémentarité
• Redondance
• Architecture logicielle

40
Ontologie

• Contexte (U,T) ensemble de rôles et de
  relations entre entités pour la réalisation de T
  par U
• Changement de Contexte lensemble des rôles
  change,et/ou lensemble des relations change
• Tâches et activités ont lieu dans un réseau de
  contextes
• Contexte (U,T) un réseau de situations qui
  partagent le même ensemble de rôles et de
  relations

• Les tâches mettent en jeu des entités (ex. une
  table, un crayon, une couleur)
• Entité un regroupement dobservables
• Entités peuvent jouer un rôle une fonction
  relative à une tâche, qui est satisfaite par une
  entité, (par exemple, une table satisfait la
  fonction  surface de dépôt )
• Entités peuvent entretenir des relations

• Domaine (monde) un réseau détats reliés par
  des actions
• État un prédicat sur des observables
• But état souhaité
• Tâche ltétat courant, butgt, c.-à-d. absence de
  plan
• Activité lttâche courante, tâches de fondgt

41
Approches par composants

42
Applications viséesProblématique

• Applications évolutives et adaptables
• accessibles via un PDA, un portable ou une
  station
• variabilité des fonctionnalités selon le contexte
  d'utilisation
• (mode dégradé, connecté ou déconnecté, dépendance
  des ressources)
• Applications construites à base de composants
  (composants métiers, composants dIHM, composants
  services)
• ? Sappuyer sur les infrastructures systèmes
  (RMI, EJB, )
• ? Fournir une plate-forme à composants
• Exemples
• Agenda collaboratif
• Gestion commerciale (facturations, commandes,
  client, fournisseur)

43
Spécificités des applications et contraintes IHMs

• Changement du contexte d'exécution du composant
  (dutilisation de fonctionnalités) d'une station
  à un PDA, un téléphone portable
• "Reconfiguration" du composant
• Retrait / ajout de composants (demande de
  fonctionnalités, de services)
• Composition de composants

• Comment réutiliser une IHM existante sur un
  support différent ?
• Comment composer les IHMs des composants métiers
  ?

Déporter le composant prise de commande sur un
PDA pour le consultant sur site Ajouter
dynamiquement le service de gestion de stock pour
informer du délai
44
Proposition modèle de composants et abstraction
Composer les IHMs des composants métiers
Réutiliser des composants métiers
Spécification d  IHM indépendantes du support
Un modèle de composant ISL SUNML
Un modèle de composants qui découple composant
métier et composants d IHM.

• Composition de composants métiers par
  interactions
• Règles de composition adaptées aux IHMs
• Fusion de règles vérifiant la cohérence de la
  composition
• Atelier de composition

• La communication entre composants IHM et métier
  est exprimée par des interactions
• Un langage abstrait de description structurelle
  des IHMs SUNML dans la lignée de XForms,
  RIML,... (inspiré de UIML)

45
De lIHM abstraite vers lIHM concrète
IHM abstraite (Exécution)
Fichier SUNML (Spécification)
ltsunmlgt ltinterface id"FicheClient"gt
ltstructuregt ltdialog id"MainDialog"
sequence"true"gt ... ltfield
id"LabelFieldNom" mode"read"gt
ltelement type"String"gtNom lt/elementgt
lt/fieldgt ltfield id"FieldNom"
mode"read-write"gt ltelement
type"String"gtTotolt/elementgt lt/fieldgt
... lt/dialoggt lt/structuregt
lt/interfacegt lt/sunmlgt
FicheClient
HMI
Réification
MainDialog
Dialog
...
LabelFieldNom
FieldNom
Field
Field
?
?
Projection
IHM concrète (Exécution)
JFrame1
JFrame
?
JPanel1
JPanel
durand
...
JLabel1
JField1
Composant métier (Exécution)
JTextField
JLabel
Légende
Instance
46
De lIHM abstraite vers lIHM concrète
Séparation du composant dIHM du composant
métier Expression des communications possibles
entre ces composants avec ISL Adaptation des
composants suivant le contexte dexécution
FicheClient
Controleur
IHM abstraite
durand
JFrame1
IHM concrète
Composant métier
Instance
Légende
interaction
47
Exemple de Liste de Clients
Composition Représentant Client (1-n) Liste
de clients
Fichier SUNML (spécification)
ltsunmlgt ltinterface id"ListeClients"gt
ltstructuregt ltdialog id"MainDialog"
sequence"true"gt ltlist id"ListeClients"
reference"FicheClient"
select"FieldFieldNom"/gt lt/listgt
lt/structuregt lt/interfacegt lt/sunmlgt
Exemple en Swing
48
Ordinateur, ubiquité et mobilité
Mobilité (utilisateur équipé)
Ubiquité (environnement équipé)
49
Ordinateur Vestimentaire

• L ordinateur vestimentaire apparaît comme
  lordinateur de lutilisateur mobile
• Encore souvent son téléphone, son ordinateur de
  bureau...
• Or la mobilité appelle dautres applications pour
  l ordinateur ordinateur de plongée, ...
• Il s agit souvent de systèmes Ad-Hoc, non
  ouverts, non flexibles

50
Plate-forme matérielle/logicielle ouverte et
flexible

• Un catalogue de composants matériels/logiciels
  sur étagère
• Mutualisation des développements
• Prototypage d applications de l Ordinateur
  Vestimentaire facilité

51
Méthodologie Générale ...

• Assemblage de composants matériels
• Conception de composants logiciels applicatifs
• Assemblage et configuration des composants
  logiciels
• Réalisation de code minimal de mise en uvre de
  l'application

52
Quelques composants ...

• Déjà à notre catalogue...
• Dautres en préparation en collaboration avec des
  entreprises Sophipolitaines Clipcard, Europe
  Technologies, IBM...
• GSM/SMS, capteurs divers biométriques...

Capteurs sur I2C Humidité, Température, divers
boutons poussoirs ... Compas numérique Serveur
Web (HTTPD)
53
Etude Ergonomique

54
Interface  Baby face  multimodalité

• Plusieurs techniques ou modalités d interaction
• Apports de la multimodalité
• Flexibilité/adaptabilité (contexte d usage)
• Robustesse (complémentarité, redondance)
• Expressivité (complémentarité)
• Problèmes posés
• Validation empirique de ces apports
• Etude de lusage des modalités (choix,
  appropriation, etc.)

55
Interface  Baby face  multimodalité

• Technique ltd, sgt

T ltcaméra-doigt, gestesgt
T ltmicro, pseudo LNgt
T ltordinateur, gestesgt
T ltstylet, manipulation directegt
56
Interface  Baby face  multimodalité

• Magicien d oz

Compère
Sujet observé
57
Interface  Baby face  multimodalité

• Usage des modalités par les sujets
• Toutes commandes / Toutes sessions

Vocale
Tactile
Gestuelle
Embodied
58
Interface  Baby face  multimodalité

• Usage des techniques d interaction par les
  sujets
• Variabilité inter-individuelle importante dans
  l usage (fréquence, préférences variées)
• Spécialisation
• Peu de redondance et de complémentarité

59
Merci à

• Laurence Nigay (IMAG)
• Exposé de synthèse aux Asisses I3
• Marie THILLIEZ (Université de Valenciennes)
• LES APPLICATIONS DE PROXIMITE
• Gaëtan Rey, Joëlle Coutaz (IMAG)
• LE CONTEXTEUR UN MODELE COMPUTATIONEL POUR LE
  CONTEXTE
• Joelle Coutaz et Gaelle Calvary (IMAG)
• Plasticité des interfaces
• Philippe Renevier, Laurence Nigay, Pascal
  Salembier,
• Jullien Bouchet, Laurence Pasqualetti (IMAG)
• SYSTEMES MIXTES MOBILES ET COLLABORATIFS
• TROC UN JEU COLLABORATIF SUR SUPPORT
  MOBILEEXPLOITANT DES TECHNIQUES DE REALITE
  AUGMENTEE
• Jean-Yves Tigli (I3S)
• WCOMP UNE PLATE-FORME EXPERIMENTALE OUVERTE
  D'ORDINATEUR VESTIMENTAIRE
• Anne-Marie Dery-Pinna et Jérémy Fierstone (I3S)
  
• COMPOSANTS ADAPTABLES ET MOBILES
• Et tout le groupe http//iihm.imag.fr/nigay/GTM
  OB/Dec2002/

60
IHM et multiplicité des supports Enseignements
à lESSIJY Tigli