Point Distibution Model (PDM) Active Shape Model (ASM)

1
Point Distibution Model (PDM) Active Shape Model
(ASM)

• Hauptseminar Smart Environments
• Andreas Hofhauser
• Bilder T.Cootes, Ch.Hansen

2
Inhalt

• Motivation
• Überblick Kontur Modelle
• Tranieren von Active Shape Modellen
• Suche mit Active Shape Modellen
• Zusammenfassung

3
Worum gehts eigentlich?

• Konturmodelle
• automatisches Verfolgen
• beliebiger Objekte
• Grundlage für Action
• Recognition
• viele Anwendungen

4
Was macht das ganze schwer?

• Echtzeitfähigkeit
• Beliebige Ausrichtung Objekt, Kamera
• Die Form des Objekts verändert sich
• Veränderliche Umgebungsbeleuchtung
• buttom up - Standardverfahren haben Probleme

5
Bildverstehen ohne Konturmodell

• Segmentierung durch
• Farbe
• Kante
• Textur

Gesicht
Modellwissen

• Extraktion von Objekten
• mit Heuristiken

Segmentiert
Bild
6
Konturmodelle

• Modellwissen explizit
• Verschiedene Konturrepräsentation z.B.
  Punkte/Linien/Splines etc. möglich
• Training aus Beispielbildern
• Suche mit deformierbarem Modell
• Keine Segmentierung notwendig
• Trennung Modell - Verfahren

7
Überblick PDM/ASM

• PDM das Modell
• Kontur repräsentiert als Menge von Punkten
• ASM die Methode
• Training
• Suche / Verfolgen

8
Überblick ASM Training

• Modell wird direkt aus Trainingsbildern erzeugt
• Schrittweise Reduktion der Datenmenge
• Rohbildern gt flexibles Modell

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
statistische Analyse
Ausrichten
Annotieren
9
Annotierte Trainingsdaten

• Experten annotieren Bilder
• Punkte entlang der Kontur
• Halbautomatisch mit Intelligen Scissors

10
Ausrichten der Trainingsdaten

• Konturen sind beliebig im Raum
• Was bestimmt die Form einer Kontur?
• Rotation, Translation, Skalierung nicht
• Schwerpunkt zum Ursprung
• Iterativ normieren - ausrichten
• Ergebniss Punktwolke

11
Hauptachsentransformation

• Durchschnitts Kontur berechnen
• Kovarianzmatrix berechnen
• Eigenwertproblem lösen
• Nach Grösse sortieren

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
12
Verändern einzelner Eigenvektoren
1.
2.
3.
4.
Veränderung Modell entlang Hauptachsen
Das Ergebniss
13
Überblick ASM Suche

• Initialkontur gegeben
• Kantensuche entlang der Normalen
• Iterativ Minimiere Euklidischen Abstand
• Kontur - Objekt

14
Plazieren Model ins Bild

• Aus Kontur im Shape Space zu Bildkontur
• Anwenden der Transformation T

Shape Space
Bild
15
Suchgerade
Suchgerade

• Normale berechnen
• Länge der Geraden bestimmen
• Interpolation bei den Punkten
• Rauschreduktion

16
Kantensuche I
Suche stärkste Kante entlang der Normalen
17
Kantensuche II

• Problem mit stärkster Kante
• Linienprofil / Umgebung mitbetrachten

Echte Position
Stärkste Kante
18
Kontur anpassen
Wiederhole
b fest, finde welches
minimiert
fest, finde b welches
minimiert
19
Suche in Bildpyramide

• Verschiedene Auflösungen
• Training auf jeder Auflösung
• Suche erst im groben Bild
• Initialisierung für untere Ebenen

20
Vorteile - Nachteile

• Vorteile
• Echtzeitfähig
• Einfach zu implementieren
• Wiederverwenbar (Trennung Modell - Verfahren)
• Viele Erweiterungen
• Nachteile
• Initialisierung
• Trainingsaufwand gross
• Verdeckung / Mehrdeutigkeiten nicht behandelt
• Topologisch komplizierte Objekte

21
Zusammenfassung

• Konturmodelle sind Alternative
• Modell entsteht aus Trainingsdaten
• Schrittweise Reduktion des Datensatzes
• Kantensuche entlang der Normalen
• Suche in verschiedenen Auflösungen