CPER MISN 20072013 MIS Modlisation Interaction Simulation

1
CPER MISN 2007-2013MISModélisation
Interaction Simulation

• Présentation Frédéric ALEXANDRE

2
MIS en un mot

• Modélisation de phénomènes complexes
• Systèmes physiques, biologiques ou moléculaires
• Étude de lhumain et de ses caractéristiques
  perceptives, motrices et cognitives lors de son
  interaction avec son environnement
• Sadossant à un centre de compétences
• Immersion, Interactions, Calcul distribué,
  Robotique

3
Thèmes scientifiques

• Modélisation numérique
• Interactions homme-machine
• Simulation et visualisation

4
Modélisation numérique

• Modéliser quoi ?
• Le sujet humain (perception, motricité,
  cognition)
• Son environnement (modèles géométriques et
  signaux temporels)
• Modéliser comment ?
• Systèmes dynamiques (équa diff, méthodes
  numériques)
• Modèles stochastiques et neuromimétiques
• Défis
• Interactions, auto-organisation et émergence
• Couplage de modèles, modèles hybrides
• Calculs distribués

5
Interactions homme-machine

• Nature des interactions
• Déjà /- explorées (regard, parole, mouvement)
• Nouvelles (haptique, Brain-Computer Interface,
  Robotique)
• Propriétés recherchées
• Interaction la plus simple et naturelle possible
• Perçue comme intelligente
• Défis
• Techno (maîtrise de nouveaux périphériques)
• Scientifiques (modèles de caractéristiques
  physiques, physiologiques et cognitives)

6
Simulation et visualisation

• Simulation
• Synthèse (images, parole, comportement robotique)
• Retours visuels, acoustiques, haptiques
• Calcul cellulaire
• Visualisation
• Immersion et qualité du rendu
• Données distantes et volumineuses
• Défis
• Lier simulation et visualisation au cours de la
  simulation
• Calculs distribués et données volumineuses

7
Centre de compétences

• Immersion et calcul distribué
• Modélisation de systèmes physiques, biologiques
  et moléculaires
• Performances de visualisation
• Interaction et robotique
• Analyse de signaux physiologiques, BCI, robotique
• Boucles sensori-motrices et propriétés émergentes
• Indépendance et coopération des thématiques

8
Partenariat lorrain

• Une centaine denseignants-chercheurs STIC
• LORIA, IECN, LASC, LITA, Supélec, LMAM, LICM
• Laboratoires et organismes dautres disciplines
• Santé CAV, CHU, IRR, URAPA
• SHS LabPsyLor
• Matériaux LCM3B, LMOPS, LPMIA, PPMS
• Géologie (ENSG), génie électrique (GREEN), GTL
  (nano-structures), INCM (systèmes moléculaires)

9
Plus précisément pour les STIC

• IECN Nancy
• Corida (EDP)
• Calvi (calcul scientifique)
• Omega (probabilités)
• LORIA Nancy
• Adagio (bioinfo)
• Algorille (calculs distribués)
• Alice (calcul géométrique et visu haute perf)
• Cortex (calcul neuronal)
• Magrit (réalité augmentée)
• Maia (agents stochastiques)
• Merlin (modélisation de lutilisateur)
• Parole (traitement automatique de la parole)
• Trio (temps réel et inter-opérabilité)
• Supélec Metz
• IMS (calcul distribué et multimodalité)

10
Positionnement national et international

• Nombreux travaux en immersion, interaction,
  calcul distribué, robotique
• Cohérent avec de grands programmes
• 7th PCRD, USA (ex univ. Urbana Champ.), ANR,
  plan stratégique INRIA, etc.
• Originalité de la Lorraine
• Regroupement de compétences STIC en modélisation
• Historique PRST IL TOAI et CRVHP
• Utilisateurs finaux (biologie, physique, santé,
  etc.)

11
Secteurs applicatifs visés

• La santé, le handicap
• La pharmacologie et la biologie cellulaire
• La CAO/CFAO
• Lénergie
• Linteraction homme-machine multi-modale
• Lenseignement

12
Fonctionnement par opérations

• 10 opérations soumises au premier appel (4
  retenues)
• 3 opérations soumises au deuxième appel
• Rejet pour manque de maturité (incitation à
  re-soumettre) ou hors sujet (scientifique ou
  structurel)

13
InterCell

• Simulateur interactif distribué pour le calcul à
  grain fin large échelle
• Partenariat
• Développement logiciel Algorille, IMS et LMPOS
• Modélisation corticale Cortex et IMS
• Physique LPMIA, GeorgiaTech, LMOPS, Calvi
• Passer du Shared memory au Cluster
• ParXXL Grumpf Escapade
• Calculer 5OOM dunités

14
Le cluster InterCell

• 256 nuds composés de 128 bi-PC avec pour chacun
  2 PC compacts indépendants. Pour chaque PC
• Un Xeon 3075 bi-core
• 4 Go de RAM, cache de 4Mo
• Un hard drive
• Un switch CISCO 6509 avec
• Une matrice high speed
• Une carte CPU (10 Gbits complient)
• 6 cartes ethernet avec 48x1Gbits ports

15
InterCell Travaux à venir

• Installation et mise en route du cluster et
  expérimentations
• Projet ANR MAPS
• (modélisation corticale)

16
MODAPP Modélisation articulatoire de la parole

• Objectifs
• Est-il possible de récupérer lévolution
  temporelle de la forme du conduit vocal à partir
  du signal de parole éventuellement complété par
  la vue du visage?
• Comment utiliser des données articulatoires pour
  effectuer la reconnaissance automatique de la
  parole?
• Partenaires
• Equipes Parole et Magrit (LORIA)
• IMS (Supélec)

17
Articulographe AG500

• Acheté fin juillet 2007
• Opérationnel depuis septembre même sil manque
  encore un logiciel dacquisition temps réel.
• Expérimentation du collage et de la stérilisation
  des capteurs.
• Une première acquisition au mois daoût et
  actuellement dautres acquisitions pour tester
  linversion.
• Les acquisitions pour la reconnaissance sont plus
  longues, concernent plus de locuteurs et auront
  lieu en 2008.

18
Travaux actuels

• En parallèle des travaux menés dans le cadre du
  projet Européen ASPI que nous coordonnons (KTH,
  ULB, ICCS, ENST, LORIA).
• En utilisant larticulographe (échantillonnage
  plus rapide) et le système conçu dans ASPI
  (contour de la langue connu avec plus de
  précision).
• Travail actuel
• Adaptation du modèle à un locuteur à laide
  dimages IRM
• Recalage des capteurs par rapport au modèle
  articulatoire qui sert à linversion
• Travail de 2008
• Comparaison de la forme de la langue récupérée
  par inversion à celle mesurée avec
  larticulographe et interpolée.
• Acquisition du corpus pour la reconnaissance
  automatique
• Perspectives applicatives
• Apprentissage des sons dune langue étrangère
  (feedback articulatoire)
• Acquisition du langage

Capteurs collés (ronds rouges) et recalés sur une
image IRM.
19
MOVIS Modélisation et Visualisationdes Objets
Naturels et Manufacturés

• Partenariat
• ALICE
• Gocad
• Orpailleur
• Scalable Graphic
• Domaines abordés
• Modélisation moléculaire
• CAO
• Géologie

20
Modélisation moléculaire
Visualisation de surfaces moléculaire (skin
surface) par la méthode du lancer de rayons sur
GPU Matthieu Chavent, doctorant Orpailleur/Alice
21
Visualisation industrielle
Primitives sur GPU, R. Toledo (doctorant
ALICE) Intl. Symp. on Visual Computing 2007
22
Géologie
Solveur CNC Luc Buatois (doctorant
Gocad/Alice) High Performance Computing
Conference 07 Best student paper award
Application Simulateurs d'écoulement pour
l'exploration pétrolière
23
MODIS

• Modélisation interactive de systèmes biologiques
  complexes en réalité virtuelle immersive
• Concevoir et expérimenter une interface
  dinteraction avec les visualisations 3D stéréo
  de VMD
• Interaction multimodale (geste 3D, regard,
  parole)
• Réalité virtuelle immersive de type mur ou cave
• Partenaires
• Equipe de Dynamique des Assemblages Membranaires
  (eDAM), CNRS-UHP, C. Chipot
• Equipe Transdisciplinaire sur lInteraction et la
  Cognition (ETIC), EA, E. Brangier
• Méthodes pour lErgonomie des Logiciels
  Interactifs (MErLIn), INRIA-UHP, N. Carbonell

24
MODIS Bilan à 6 mois

• Analyse de lactivité des chercheurs deDAM
• 12h denregistrements vidéo
• Verbalisations concomitantes auto-confrontation
• Choix de la situation dinteraction
• Présentation à des étudiants dun système
  moléculaire complexe (SMC)
• Présentation à des pairs dun SMC et discussion
  (situation de collaboration)
• Choix des scénarios dinteraction
• Sélection et habillage des objets dintérêt
• Orientation globale et manipulation de la
  visualisation

25
MODIS Activité 2008

• Dans le contexte de la situation 1
• Pour la tâche 1
• Conception, implémentation, évaluation dun
  système de menus 3D
• Représentation des menus
• Interaction gestuelle 3D (gant de données)
• Pour la tâche 2
• Définition et mise en uvre
• dun langage gestuel 3D dorientation de la
  visualisation
• Dune extension multimodale de ce langage pour la
  manipulation de la visualisation (désignation des
  objets par le regard)

26
MODIS Activités 2008 (2)
Interface VMD actuelle
Gant de données sans fil
18 capteurs Capteur de la position de la main
dans lespace
27
MODIS Exemple dactivité, tâche 1

• Membrane lipidique protéine transmembranaire

Vue initiale 250 000 atomes Sélection de la
protéine (tétramère) Sélection de 2 monomères sur
les 4 et visualisation de la partie constituant
le canal ionique Ajout des parties
extracellulaires des 2 monomères Ajout de la
partie intra-cellulaire Ajout de la
membrane Ajout du solvant et dions
28
Un premier bilan

• Début des activités en Interactions et Calcul
  distribué
• Immersion et robotique restent à préciser
• Veiller au bon déroulement et à la coopération
  entre opérations
• Susciter une animation scientifique plus large

29
Enjeux

• Devenir un centre de référence national sur ce
  thème (recherche et enseignement)
• Avoir un impact mesurable dans des domaines
  applicatifs comme la santé
• Rayonnement du centre de compétence et
  dexpertise

30
CPER MISN 2007-2013MISModélisation
Interaction Simulation

• Présentation Frédéric ALEXANDRE