Formalisation des Gestes Non Manuels intervenant en Langue des Signes Franaise

1
Formalisation des Gestes Non Manuels intervenant
en Langue des Signes Française

• Emilie Chételat
• TALEP/LIF Geste/LIMSI

10/10/08
2
Sommaire

• Introduction
• La surdité
• Histoire des sourds
• La Langue des Signes
• Les Gestes Non Manuels (GNMs)

• Contexte
• Méthodologie
• Traitement des données
• Premiers résultats
• Perspectives

3
La surdité Généralités

• 3 types de surdité légère, sévère et profonde
• Langue des signes surdité profonde et sévère
• Difficulté à disposer de données fiables sur le
  nombre de sourds signants
• Surdité Illettrisme?

4
Bref historique (1) de lAntiquité au 18ème
siècle

• -400, -300 Aristote, Platon Pas de parole pas
  de raison
• Fin du 4ème siècle Saint Jérôme les sourds
   peuvent apprendre lÉvangile grâce à une langue
  gestuelle de tout leur corps 
• 530 Le code Justinien pas de droits civiques
  pour les sourds muets illettrés.
• 12ème siècle Descartes un sourd est un animal
  car pas de langue.

5
Bref historique (2) La Renaissance, un premier
rebond

• 1500 Début dune prise en charge par les moines
• 1620 Juan Pablo-Bonnet 1er livre sur la
  pédagogie des sourds
• 1710 Etienne de Fay 1er sourd à enseigner une
  langue gestuelle à dautres sourds
• 1760 Abbé de lEpée Gestes peuvent exprimer la
  pensée, éducation en LSF

6
Bref historique (3) 19ème siècle, la répression

• 1800 Jean-Marc Itard Expérience sur la
   réparation  de la surdité
• 1880 Congrès de Milan Interdiction de la LS,
  ouvrages brûlés, mains attachées dans le dos, les
  LS éloignent lenfant de la parole troubles
  psychologiques
• De 1933 à 1939

7
Bref historique (4) 20ème siècle, vers la
reconnaissance

• 1959 Loi Buron Autorisation des sourds à
  passer le permis de conduire
• 1971 1975 Réveil sourd, 6ème congrès de la
  Fédération Mondiale des sourds
• 1977 Ministère de la Santé abolie linterdiction
• 1980 2LPE
• 1991 Loi Fabius Choix bilingue pour léducation
• 1996 1er accueil en LSF à lhôpital
• 2004 LSF Langue
• 2005 Nouvelle loi sur le handicap

8
La Langue des SignesGénéralités

• LSF Langue naturelle (double articulation)
• Langue visuo-gestuelle ex
• Est composée de gestes manuels et de gestes non
  manuels (GNMs)
• Les GNMs sont indispensables à la compréhension
  ex

9
Les GNMs
10
GNMs indispensables à la compréhension

• Content / Mal au coeur

11

• Introduction
• Contexte
• Contexte les signeurs virtuels
• Contexte linguistique
• États des lieux description des GNMs
• Limites

• Méthodologie
• Traitement des données
• Premiers résultats
• Perspectives

12
Contexte les signeurs virtuels
Automatique
Assistée par ordinateur

• Production automatique des GNMs
• Description formelle
• Primitives de description niveau granularité ?
• Annotation
• Méthodologie

13
Contexte Modèle linguistique
Iconicité (Cuxac)
14
États des lieux Annotation des GNMs
HamNoSys
SignWriting
Langue Vocale Sourcils levés

• Limites
• Discret Description symbolique
• Ambiguïté Pas de distinction de deux GNMs
  proches
• Grossier Pas de description de la structure
  des GNMs

15
Limites Pas de description des phases des
mouvements dans lespace et le temps
Exemple la hausse des sourcils est structurée
en 3 phases
Temps de réalisation variable
16

• Introduction
• Contexte

• Méthodologie
• Logiciel dannotation
• Outil descriptif
• Annotation directement sur la vidéo
• Calcul des coordonnées
• Traitement des données
• Premiers résultats
• Perspectives

17
Logiciel dannotation Anvil (DFKI, Allemagne)

• Définition
• Logiciel permettant dannoter des vidéos en
  parallèle de production sonore sur différentes
  pistes
• Adresse Web
• http//www.dfki.uni-sb.de/kipp/anvil/
• Référence
• Kipp M. (2004). Gesture Generation by Imitation
  -From Human Behavior to Computer Character
  Animation", Boca Raton, Florida
  Dissertation.com.

18
Anvil (2)
19
Outil descriptif (1)
Distinction des phases de réalisation
Description du mouvement

• Décomposition des composantes du visage

Distinction des degrés de réalisation à laide de
couleur

• Décomposition des mouvements

20
Outil descriptif (2)

• Les couleurs
• Mise en évidence des phénomènes
• Contrôle des corrélations

21
Annotation directement sur la vidéo
Coordonnées des 18 points image par image
22
Calculs sur les coordonnées Scilab

• Scilab logiciel de calcul scientifique produit
  au sein de lINRIA
• Référence http//www.scilab.org

• Script avec le logiciel Scilab
• Prend en entrée les coordonnées brutes des 18
  points pour chaque image de la vidéo
• ltpoint time 0.08  x 149  y 127 /gt

Objectif définir les mouvements des sourcils
pour chaque image
23
Calculs sur les coordonnées Les moyennes

• Points dupliqués moyennes des coordonnées
  On passe de 7 à 3 points pour chaque sourcil

Les points 4, 5 et 6 deviennent un seul point 3
On calcule la moyenne des points 2 et 3 pour
obtenir un seul point 2
Les points 7 et 8 deviennent un seul point 4
24
Calculs sur les coordonnées distance des
sourcils aux yeux

• Calcul de la distance (D) entre les sourcils et
  les yeux Position des sourcils relativement aux
  yeux dont la position ne varie pas

Distance entre les points 3 et le milieu du
segment 1-5
Distance entre les points 1 et 2
Distance entre les points 4 et 5
25
Calculs sur les coordonnées La position
relative (p)

• Calcul de la variation (V) de la position

A partir de la distance (D) on calcule la
variation (V) de la position des points en
faisant la différence entre la distance à limage
n et la distance à limage n-1 V(n) D(n)
D(n-1) Cette variation indique lamplitude du
sourcil qui peut être positive (hausse) ou
négative (baisse).

• Calcul de la position relative à la position de
  départ

On calcule la somme de la variation de limage n
et de la position de limage n-1
Position relative des 3 points de chaque sourcil
indépendamment des mouvements de la tête ltpoint
time"0.08" 0.6979826/gt
26

• Introduction
• Contexte
• Méthodologie

• Traitement des données
• Évaluation intermédiaire
• Analyse structurelle des GNMs
• Évaluation de la formalisation
• Premiers résultats
• Perspectives

27
Traitement des données évaluation intermédiaire
Xface (1)

• Définition
• Tête parlante en 3D conçue pour la production
  vocale animée.
• Adresse Web
• http//xface.itc.it/
• Référence
• BALCI K. (2004). MPEG-4 based open source toolkit
  for 3d facial animation. In AVI04, working
  Conference on Advanced Visual Interfaces.
  Gallipoli, Italie, 25-28 Mai 2004.

28
Traitement des données évaluation intermédiaire
(2)
Production automatique sur un visage de synthèse
Évaluation de lannotation et des capacité du
visage synthétique.
Position neutre
Diminution de la distance entre les sourcils et
baisse de la paupière supérieure.
29
Traitement des données analyses structurelles
des GNMs
3 amplitudes de hausse et de baisse
30
Traitement des données évaluation de la
formalisation (1)
Evaluation

• Nombre de symboles
• Définition numérique de chaque symbole
• Hausse de niveau 3 3 hausse de niveau 1
• Automatisation de la formalisation

31

• Introduction
• Contexte
• Méthodologie

• Traitement des données
• Premiers résultats
• Perspectives

32
Premiers résultats (1)

• Dynamique au niveau des yeux
• Mobilité des sourcils

Extrémités extérieures levées
Intérieurs baissés
33
Premiers résultats (2)

• Alignement avec lannotation linguistique
• Position des clignements
• Entre deux signes (70)
• Délimitation de groupes syntaxiques

Avion qui percute la tour
Regarder ébahi
Tour enflammée
Caméramans filment
34

• Introduction
• Contexte
• Méthodologie

• Traitement des données
• Premiers résultats
• Perspectives

35
Perspectives

• Poursuite de lanalyse
• Généralisation des observations
• Dégager des règles de structure des composantes
• Évaluation du visage synthétique du LIMSI
• Proposition des propriétés pertinentes
• Production de pairs minimales
• Vérification et précision des fonctions
  grammaticales des GNMs
• Évaluation de la structure des GNMs en fonction
  du contexte

36
(No Transcript)