Erkennung von Gesichtsausdr

1
Erkennung von Gesichtsausdrücken anhand von
Bildbewegungen(Irfan Essa Alex
Pentland)Hauptseminar Smart EnvironmentsJoachi
m Biggel
11.12.2003
2
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell6. Ergebnisse7. Evaluatio
n

• Überblick
• 1. Motivation
• 2. Grundlagen
• 3. FACS zum Vergleich kurz vorgestellt
• 4. Gesichtsmodell
• von Essa und Pentland
• 5. Mimikmodell
• 6. Ergebnisse Tests mit dem neuen Modell
• 7. Evaluation Vergleich mit FACS, Vor- und
  Nachteile des neuen Modells

3
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell6. Ergebnisse7. Evaluatio
n

• Gesichtsausdrücke als wichtiges
  Kommunikationsmittel
• zur Beurteilung der Gefühlslage
• bessere Interaktion Mensch Maschine möglich
• (z.B. Online-Shopping, Smart Rooms)
• Einsatz in anderen Gebieten
• (z.B. Zusammenarbeit mit Psychologen)

4
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell6. Ergebnisse7. Evaluatio
n

• Unterscheidung Gesichtsmodell Mimikmodell
• Gesichtsmodell
• - Repräsentation des Gesichts
• - Bewegungen im Gesicht verfolgen und
  darstellen
• Mimikmodell
• - einzigartiges Charakteristikum für jeden
  Gesichtsausdruck
• - Klassifizierung und Erkennung von Ausdrücken

5
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell6. Ergebnisse7. Evaluatio
n

• FACS
• Facial Action Coding System
• bereits 1978 von Ekman und Friesen entwickelt
• nur Mimikmodell
• wird von vielen anderen Ansätzen verwendet

6
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell6. Ergebnisse7. Evaluatio
n

• Verwendung von 46 sog. Action Units (AUs)
  lokales Bewegungsgebiet im Gesicht
• AUs beinhalten jeweils die betroffenen Muskeln
  der Bewegung
• Darstellung jeder optisch unterscheidbaren
  Bewegung (AUs kombinierbar)
• Erkennung von Ausdrücken durch beteiligte AUs
• (je nach Intensität auf einer 5-Punkte Skala)
• Beispiel
• - Anheben der Augenbrauen AU 2

7
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4. FACS -
Erstellung - Initialisierung - Verfolgung
- Kontrolle 5. Mimikmodell6. Ergebnisse7.
Evaluation

• FACS
• keine Gemeinsamkeiten mit FACS
• FACS Gesichtsmodell
• 3-D Abbild eines Gesichts
• Grundlage für das folgende Mimikmodell
• dient zur Verfolgung der Gesichtsbewegungen

8
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4. FACS -
Erstellung - Initialisierung - Verfolgung
- Kontrolle 5. Mimikmodell6. Ergebnisse7.
Evaluation

• Gesicht vorerst als grobes Mesh (Netz) aus
  Dreiecken
• Ziel Bewegungspunkte und Muskeln im Bild
  entsprechen Kanten der Dreiecke im Mesh
• Lösung Anpassung durch Verfeinerung des Mesh
• grobes Mesh Muskeln (Striche) und angepasstes
  Mesh
• Bewegungspunkte (Punkte,
• Kreise)

9
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4. FACS -
Erstellung - Initialisierung - Verfolgung
- Kontrolle 5. Mimikmodell6. Ergebnisse7.
Evaluation

• Übertragen von markanten Bewegungspunkten auf
  das Bild
• Vorgehen
• 1. Gesicht und seine Eigenschaften (Nase, Mund,
  Augen)
• im Bild lokalisieren (automatisch mit
  Eigenspace-Methode)
• 2. diese Positionen, um Gesicht auf Mesh zu
  verformen
• 3. markante Bewegungspunkte auflegen und aufs
  Bild übertragen

1.
2.
3.
10
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4. FACS -
Erstellung - Initialisierung - Verfolgung
- Kontrolle 5. Mimikmodell6. Ergebnisse7.
Evaluation

• Verfolgung des Gesichts durch Berechnung des
  optischen Flusses
• ? optischer Flussvektor vi(t) Geschwindigkeit
  und Richtung der Pixel im Bild t zu t1
• Mapping des optischen Flusses auf
  Bewegungspunkte im Gesichtsmodell
• Problem optischer Flussvektor
  2-dimensional Modell mit Bewegungspunkten
  3-dimensional
• Lösung 3-D Gesicht mit Laser einscannen ?
  liefert Funktion zur Umrechnung von 2-D in 3-D

11
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4. FACS -
Erstellung - Initialisierung - Verfolgung
- Kontrolle 5. Mimikmodell6. Ergebnisse7.
Evaluation

• evtl. störhafte, ungenaue Eingangsdaten ? kann
  zu enormen Abweichungen führen
• deshalb Kontrollmechanismus mit Kalman-Filter
• ? Kalman-Filter

bisherige Zustände des Systems
ermittelt
Schätzung für neuen Zustand
neue Messungen
korrigieren
rekursiv
neuer Zustand des Systems (Weiterverarbeitung)
12
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell6. Ergebnisse7. Evaluatio
n
13
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell - Merkmalsvektor - Erkennu
ng 6. Ergebnisse7. Evaluation

• Mimikmodell
• Problem einzigartiges Charakteristikum für
  jeden Ausdruck
• Lösung Erstellung von Merkmalsvektoren als
  Mimiktemplate für jeden Ausdruck
• ? Merkmalsvektor Erstellung aus Muscle
  Actuation Profiles

14
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell - Merkmalsvektor - Erkennu
ng6. Ergebnisse7. Evaluation

• Merkmalsvektor Höchststand jedes Muskels im
  Profile
• für jeden Ausdruck einen Merkmalsvektor
  (Mimiktemplate) erstellen

15
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell - Merkmalsvektor - Erkennu
ng6. Ergebnisse7. Evaluation

• Skalarprodukt
• Merkmalsvektor der Bildsequenz x Mimiktemplate
• Ergebnis 1 bedeutet vollständige
  Übereinstimmung

16
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell 6. Ergebnisse7. Evaluat
ion

• zu Grunde liegender Datenbestand
• - Aufnahmesequenzen 30 Frames/Sekunde 450x380
  Pixel
• - 20 Personen mit Ausdrücken Lachen,
  Überraschung, Ärger, Ekel, Augenbrauen heben
  und Trauer
• Durchführung
• - Merkmalsvektoren von 2 zufällig ausgewählten
  Personen
• - 52 Gesichtsausdrücke von 7 verschiedenen
  Personen
• Ergebnis 98 Trefferquote

17
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell 6. Ergebnisse7. Evaluat
ion - Vergleich mit FACS - Vor- und Nachteile

• Vergleich zu Ansätzen mit FACS 80-90
  Trefferquote
• Gründe
• - Schwierigkeiten, alle 46 AUs und Kombinationen
  darzustellen
• - AUs decken nur lokale Gebiete ab ? keine
  einzigartige, genaue Beschreibung von
  Ausdrücken
• - zeitlicher Verlauf der Muskelaktivitäten nur
  linear angenähert

18
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell 6. Ergebnisse7. Evaluat
ion - Vergleich mit FACS - Vor- und Nachteile

• Vorteile
• - sehr detaillierte Darstellung des Gesichts und
  Bewegungen mit verwendetem Gesichtsmodell
• - Mimiktemplates basieren auf wirklichen
  Bilddaten und Messungen, nicht auf Heuristiken
• Nachteile
• - Verwendung des optischen Flusses
• Fehler evtl. durch wechselnde Lichtverhältnisse
  oder Bewegungen des Kopfes

19
1. Motivation2. Grundlagen3. FACS
Facial Action Coding System4.
FACS5. Mimikmodell 6. Ergebnisse7. Evaluat
ion

• Was ist bei diesem Ansatz hervorzuheben?
• Fragen?

20
Vielen Dank für eure Aufmerksamkeit!
11.12.2003