Le retour de force : technique dinteraction pour lapprentissage

1

• Le retour de force technique dinteraction pour
  lapprentissage

2
TOBIA

• Problématique Rendre accessible les documents
  graphiques aux non voyants
• Définition de politique utilisateur pour
  personnaliser la présentation et linteraction
  avec linformation.
• Création dun outil de prototypage rapide
  dapplications utilisant un périphérique à retour
  de forces. Applications géographie, musique.
• Par extension étude de périphériques à retour
  de force pour linteraction
• Projets européens
• Lambda éditeur de formules mathématiques pour
  un non voyant.
• www.lambdaproject.org/
• notre participation
• création dun code Braille 8 points pour les
  mathématiques
• spécifications de léditeur
• étude des conversions de Mathml présentation en
  Mathml contenu
• Participation aux groupes de travail
  (accessibilité et notation) du réseau
  dexcellence MUSICNETWORK
• www.interactivemusicnetwork.org

3
Le plan

• Introduction
• Quelques définitions
• La Localisation Relative
• Aspects Techniques
• Accessibilité à lHarmonie
• Perspectives

4
Introduction

• Situation classique pour un non-voyant
• Utilisateur clavier
• Machine Synthétiseur vocal et/ou terminal
  braille
• Problèmes daccessibilité aux documents
  graphiques
• Utilisation de périphériques à retour de force
  (associés à un retour audio)

5
Quelques définitions percevoir

• Les sens, une classification (fin XIXème)

6
Percevoir le sens haptique

• Le système Tactilo-kinesthésique ou  haptique 
  Revesz 50
• Le sens cutané
• Le sens kinésthésique
• Le sens proprioceptif
• Ainsi, on parle parfois de sens
  tactilo-proprio-kinésthésique.

7
La localisation relative le sens  haptique 
de lhomme

• Le système haptique est à la fois effecteur et
  récepteur
• Pour la manipulation dun périphérique à retour
  de force avec la main
• Mouvements dexploration de la main
• Capacités sensorielles
• Le sens cutané
• Le sens kinesthésique / proprioceptif

8
La localisation relative pour les non-voyants

• La localisation relative
• Boucle dinteraction kinesthésique/proprioceptive
• Retour audio
• Permet la reconstruction mentale dune
  disposition spatiale

9
Aspects techniques la souris à retour de force

• La souris Wingman force feedback

10
Aspects techniques Le SVG

• SVG Scalable Vector Graphics
• Implémentation XML pour les dessins vectoriels
• Les formes sont définies explicitement
• Support du DOM (Document Object Model)
• Peut réagir aux actions de lutilisateur
• Génération aisée par scripts (côté serveur et/ou
  client)
• Besoin dun plugin pour être affiché dans un
  navigateur internet

11
Aspect techniques le retour sonore

• Pour le moment fichiers mp3 pré-enregistrés
• Pour la suite
• Attente de la validation SVG 1.2 multimedia
  plus étendu
• Génération dynamique de fichiers midi

12
Aspects techniques larchitecture du système
Côté serveur Côté client
13
Music Haptic comment utiliser la localisation
relative ?

• La notation musicale noire
• Une translation haptique directe est envisageable
  pour suivre une ligne mélodique
• Par contre, impossibilité de prendre connaissance
  de linformation harmonique (plusieurs notes en
  même temps)
• Nous avons besoin dune autre représentation de
  linformation musicale

14
Cognition et musique

• Travaux de Longuet-higgins
• Représentation spatiale des notes

15
Music Haptic la représentation

• La représentation hexagonale Steadman
• Représentation instantanée de la musique
• Chaque note est un hexagone
• Construction selon 3 axes
• Vertical les quintes justes
• 2 diagonales tierces mineures et majeures
• Propriété 2 formes identiques mêmes accords
  indépendamment de la tonalité

16
Music Haptic la représentation
17
Music Haptic construction
18
Music Haptic les accords

• Les accords
• simples sont
• implémentés

19
Music Haptic utilisation

• 2 modes
• Exploration retour sur une note
• Apprentissage retour sur la forme dun accord

20
Music Haptic protocole de test (à venir )

• Apprentissage de lharmonie
• Reconnaissance dintervalles entre 2 notes
• Reconnaissance daccords de 3 et 4 notes (selon
  le niveau du testeur)
• Prototype entièrement générique côté serveur
  (génération dynamique du visuel, de lhaptique et
  de laudio
• Application en ligne dapprentissage de
  lharmonie

21
Perspectives de music haptic

• Possibilités dédition
• Reconnaissance gestuelle
• Autres caractéristiques harmoniques
• Gammes
• Progressions harmoniques
• Architecture  enseignant-élève 
• Autres périphériques (souris tactiles, phantom)
• Protocole de test auprès de différents publics

22
Perspectives de music haptic
23
Perspectives générales

• Évaluation du phantom
• Comparaison avec la souris
• en 2D perception basée sur le poignet et les
  doigts
• en 3D perception haptique basée sur lépaule,
  le coude et le poignet
• Evalutation en terme de précision et de fatigue à
  lusage.
• La localisation relative en 3D

24
Perspectives générales la localisation relative
dans lespace
25
Merci de votre attention

• Cest lheure des questions
• éventuelles
• Bertrand Tornil tornil_at_irit.fr