Environnement de ralit augmente : vers les jeux vidos

1
Environnement de Réalité Augmentée Collaboratif
Manipulation dObjets Réels et Virtuels
Raphaël GrassetJean-Dominique Gascuel iMAGIS-GRA
VIR/IMAG
iMAGIS est un projet joint entre CNRS,INRIA,INPG
and UJF
2
Motivations
3
Motivations

• Applications
• Visualisation scientifique
• Architecture, urbanisme
• Ingénierie
• Jeu
• Éducation
• ..Etc..

4
Motivations
But proposer un environnement de réalité
augmentée collaboratif multi-utilisateur.

• Difficultés
• Calibrage et Alignement des deux mondes.
• Erreur de mesures latence (délai
  mesure-vision).
• Techniques dinteraction intuitive.
• Intégration visuelle des deux mondes
  (occultations, éclairage).
• Gestion multi-utilisateurs.

Approche (simplicité, rapidité) / (fiabilité,
robustesse)
5
Etat de l Art
Approche Réalité Virtuelle Feiner92,
Bajura92, Sims94, Azuma94, Tuceryan94,
State96 Approche Interface
Homme-Machine Well1ner91, Krueger91,
Rekimoto94, Berrard99
6
Etat de l Art
Système collaboratif en RA Ahlers95,
Schmalstieg96, Agrawala97, Butz99,
Broll00, Tiles01 Ullmer97,
Rauterberg98, Raskar98, Streitz99,
Rekimoto99
7
Plan

• Motivations et Etat de lArt
• Configuration Petit Groupe et Environnement
  Informatique
• Calibrage Rapide et Intuitive
• Nouvelles Techniques dinteractions
• Gestion multi-utilisateurs
• Conclusion et Futurs Travaux

8
Architecture Logicielle
But configuration session (rapide, optimisé) et
supporter différents utilisateurs, périphériques,
objets manipulés. Approche Architecture
modulaire Configuration par fichier XML.
Application
GestionObjets( chargement, droit,
initialisation..)
GestionInteractions( Navigation, Manipulations,
Outils)
Gestionmatériel(capteur, graphique, vidéo,
son..)
GestionUtilisateurs(configuration,
initialisation )
OpenGL Performer, AL, VL, Qt
Unix, X
9
Gestion matériel
But support périphériques personnels (jeu)
environnement fixe (industrie). Calibrage et
incorporation des périphériques au
système. Approche technique de calibrage simple
et intuitive réalisé par utilisateur.  plugn
calib n play  (Studierstube).Complexité
masqué par fichier configuration XML (RS01).
Application
Calibrage Configuration
p-gtGetData()
Fichier XML
Environnement
10
Configuration Petit Groupe

• Configuration centralisé
• utilisateur autour dune table collaboration
  face à face.
• Aire partagée et Aire privée.

Aire partagée
Aire personnelle(menu virtuel, donnée privée)
11
Configuration Environnement Informatique

• Visualisation Casque semi-transparent optique
  vue directe, information privée, faible poids.
• Interaction stylo
• facilement utilisable.
• Tracking capteur magnétique
• rapide,
• pas de ligne de visibilité.

12
Plan

• Motivations et Etat de lArt
• Configuration Petit Groupe et Environnement
  Informatique
• Calibrage Rapide et Intuitive
• Nouvelles Techniques dinteractions
• Gestion multi-utilisateurs
• Conclusion et Futurs Travaux

13
Calibrage
But Erreur statique mauvais alignement entre
réel et virtuel (Azuma94).Approche méthode
de calibrage interactive avec effort minimum.
Suffisamment précis et rapide.
14
Calibrage Méthode

• Calibrage du casque (Azuma94, Tuceryan95,
  Tuceryan00 ) figer la vue et aligner un objet
  réel avec un objet virtuel.
• Calibrage du stylo (Fuhrmann99, Tuceryan95)
  orienter le stylo dans 4 directions très
  représentatives.
• Calibrage du monde (Fuhrmann99, Tuceryan95)
  sélection de 4 points du plateau.

P2
P3
15
Calibrage Résultats
2 cm
Erreur largement acceptable pour un grand nombre
dapplications. Erreur Dynamique Filtrage de
Kalman (Azuma94).
16
Plan

• Motivations et Etat de lArt
• Configuration Petit Groupe et Environnement
  Informatique
• Calibrage Rapide et Intuitive
• Nouvelles Techniques dinteractions
• Gestion multi-utilisateurs
• Conclusion et Futurs Travaux

17
Manipulations d objets
But manipulation intuitive des objets.Approche
 retour haptique  favorise interaction. gt
contact avec la table. gt respect de la
gravité. Métaphore naturelle / Métaphore
virtuelle (Kato00).Outils dans la zone
personnelle de lutilisateur (déplacer, tourner,
détruire, ajout dobjets).
18
Manipulations d objets Déplacement objets
Approche adapté des méthodes réels (pas de
 clic ).
Saisir, Soulever, Déplacer
Toucher, Pousser
19
Déplacement dobjets

• Méthode  Lever-Déplacer 

Stylo
Objet virtuel
Plan de travail
20
Déplacement dobjets

• Méthode  Glisser 
• Animation du déplacement

Stylo
Objet virtuel
Plan de travail
21
Ajout d objets
But ajouter objets réels et virtuels de façon
dynamique (Szalavari97, Kato00). Approche
-Ajouter des objet virtuels menu
virtuels. -Ajouter des objets réels
digitaliser ces objets. ?Pourquoi ?
Décor (statique), TUI (dynamiques).
?Quel Type ? Modèle connu/inconnu.
22
Ajout d objets modèle connu
But obtenir la transformation entre le repère de
lobjet et le repère du monde (géométrieapparence
connue). Contrainte Objet posé sur un support
plan (3DOF). Methode superposer représentation
virtuel avec la representation réel du modèle.
Object CS
Objet réel
Objet virtuel
23
Ajout d objets modèle connu
pion réel
24
Ajout d objets modèle inconnu
Butobtenir la position et la géométrie de
lobjet générique (cube, cylindre, cone,
..etc..). Notre approche Description de la
forme avec quelques points. exemple ajout
rectangle.
5 DOF
P1
25
Ajout d objets modèle inconnu
Butobtenir la position et la géometrie de
lobjet génerique (cube, cylindre, cone,
..etc..). Notre approche Description de la
forme avec quelques points. exemple ajout
rectangle.
5 DOF
P1
26
Ajout d objets modèle inconnu
Butobtenir la position et la géometrie de
lobjet génerique (cube, cylindre, cone,
..etc..). Notre approche Description de la
forme avec quelques points. exemple ajout
rectangle.
2 DOF
P1
P2
27
Ajout d objets modèle inconnu
Butobtenir la position et la géometrie de
lobjet génerique (cube, cylindre, cone,
..etc..). Notre approche Description de la
forme avec quelques points. exemple ajout
rectangle.
0 DOF
P1
P2
28
Ajout d objets modèle inconnu
29
Tangible User Interface (TUI)
But utiliser un objet réel pour manipuler des
objets virtuels ( Fitzmaurice95, Ishii97,
Fjeld97, Poupyrev01). Contraintes un capteur
et plusieurs objets réels à manipuler. Approche
temporairement attacher un capteur magnétique aux
objets précédemment ajoutés.
Objets réel
30
Passage RA/RV
But Visualisation de la scène sous différents
points de vue. Passage RA (face à face) à RV
(immersion) (Kiyokawa99, Kato00).Approche
 plonger dans la scène . ( WIM Stoakley95).
t1
t1
t2
t2
Arbres
Personnage
Plan de travail
31
Multi-utilisateurs
But Informations suivant le rôle dun
utilisateur.Approche vue personnelle (
Smith96, Agrawala97, Szalavari98,
Butz99). Matrice creuse pour chaque objet.
32
Multi-Utilisateurs résultats
Vue Maître de Jeu
Vue Joueur 1
Vue Joueur 2
33
Vidéos
34
Conclusions et Futurs Travaux

• Environnement de RA basé sur une architecture
  souple.
• Support utilisateurs, périphériques,
  données.
• Techniques de manipulation dobjets réels et
  virtuels dans un même espace (stylo  mixte 
  TUI).
• Simulation dans lespace de travail.
• Réalisme de lintégration éclairage, ombres.
• Occultations mains, doigt, bras.
• Déplacement dobjets sans capteurs (TUI  Real
  Reality ).
• Évaluation.

35
Travaux précédents

• Interactions avec des objets réels
• Whitaker1995
• Shared Space1999
• Build-IT1997

36
Reconaissance de geste

• Problème passage de commandes rapidement
  Starner,1995
• Geste simple déplacement horizontal sur le
  plateau de jeu

• Extension à une trajectoire complexe
  successions de segments
• Ex CFC

37
Premier prototype
38
Le stylo mixte
39
Interaction 3D
40
Plan

• Motivations et Etat de lArt
• Configuration Petit Groupe et Environnement
  Informatique
• Architecture Logiciel
• Gestion Souple du Materiel
• Configuration de Test
• Nouvelles Techniques d interactions
• Manipulation d Objets
• Ajout d objets
• Passage RAlt-gtRV exocentric egocentric
• Gestion multi-utilisateurs
• Conclusion et Futurs Travaux