Computer%20Vision1_Seite%201

1
Die Aufgaben der Bildauswertung
Auswertungsaufgaben

• Detektion im Bild
• Lokalisierung in der Welt
• Verfolgung
• Identifikation (Klassifikation)
• Analyse

TODO
2
Was nicht passieren sollte
Auswertungsaufgaben
3
Detektion
Auswertungsaufgaben
!

• Detektion im Bild
• Lokalisierung in der Welt
• Verfolgung
• Identifikation (Klassifikation)
• Analyse

4
Was ist Detektion?
Auswertungsaufgaben
Ein Detektionsverfahren ist ein System, das die
Frage beantwortet, ob in einem Bild (oder in
einen Bildausschnitt) ein relevantes Objekt (
Element einer bestimmten Objektklasse z.B.
Flugzeug, Person) abgebildet ist.
5
Was ist Detektion?
Auswertungsaufgaben
Quelle Robotics Institute der CMU Face Group
Die Detektion liefert eine JA / NEIN
Entscheidung!
6
Detektion Leistungsmessung
Auswertungsaufgaben

• Wie lässt sich die Leistung des
  Detektionsverfahrens messen?
• Wende das Verfahren auf eine (ausreichend
  umfangreichen und repräsentativen) Menge an
  Testbildern - jeweils versehen mit Referenzdaten
  (ground truth) - an.
• Vier Kombinationen können auftreten
• Leistungsmessung durch Angabe der Werte in den
  blau unterlegten Zahlen.

Referenzdaten
NEIN
JA
Verfahrens- ergebnis
Falschalarme (false rejects)
JA
korrekt erkannt
Fehldetektionen (misses)
NEIN
korrekt abgelehnt
7
Detektion Leistungsmessung
Auswertungsaufgaben

• In der Regel ist die Empfindlichkeit von
  Detektionsverfahren durch Verfahrensparameter
  beeinflussbar
• I.A. sind geringe Falschalarmraten mit hohen
  Fehldetektionsraten (geringe Sensitivität des
  Verfahrens) verbunden und umgekehrt (hohe
  Sensitivität des Verfahrens).

Hohe Empfindlichkeit
ROC-Kurven (ROC receiver operating
characteristic bzw. Empfängerarbeitscharakteristik
) Gegenüberstellung von Falschalarm- (PF) und
Detektionswahrscheinlichkeit (PD). Empirische
Schätzung der Wahrscheinlichkeiten PF
Falschalarme / Bilder ohne Objekt PD korrekt
erkannt / Bilder mit Objekt
Geringe Empfindlichkeit
8
Detektion ROC-Kurven
Auswertungsaufgaben
Achtung hier sind die Achsen vertauscht!
Falschalarme
Detektionswahrscheinlichkeit
Für welches Verfahren entscheiden Sie sich?
9
Mechanismen für die Detektion
Auswertungsaufgaben

• Radiometrische Eigenschaften z.B.
  histogrammbasierte Segmentierung
• Fernes Infrarot (Temperatur)
• Radar (Rückstreuquerschnitt)
• ...
• Geometrische Eigenschaften
• Umrisslinien (Objektkonturen),
• Rechtwinkligkeit
• Signaturen ( charakteristisches Muster im Bild)
• ...
• Dynamische Eigenschaften
• Interne Objektdynamik
• Bewegungsmuster
• ...

10
Detektionsmechanismen radiometrisch
Auswertungsaufgaben

• Fernes Infrarot (8-12 µm)
• Beispiel Flugzeugdetektion
• Frage Ist auf dem Bild ein Flugzeug abgebildet,
  ja oder nein?

Segmentiertes Bild (Binärbild)
Originalbild
Antwort durch histogrammbasierte
Segmentierung... Segmentierung Trennung der
Pixel in Hintergrundpixel und Objektpixel.
11
Histogramm
Grundlagen
Anzahl Bildpunkte H(q)
Bild
Helligkeit (Grauwert) q
Ein Histogramm gibt für jeden Grauwert die Anzahl
an Bildpunkten mit diesem Grauwert an.
12
Histogramm
Grundlagen
Breite 256
Höhe 100
Grauwertkeil 0 bis 255

• Wie sieht das Histogramm aus?

13
Detektionsmechanismen radiometrisch
Auswertungsaufgaben

• Fernes Infrarot (8-12 µm)
• Beispiel Flugzeugdetektion

Schwellwert T 205
Hintergrund Objekt
Bild
Histogrammbasierte Segmentierung
Anzahl Bildpunkte
Helligkeit (Grauwert)
Detektionsentscheidung z.B. anhand der Größe der
bounding box
Binärbild
14
Histogrammbasierte Segmentierung
Grundlagen
Frage Wie kann der Schwellwert T automatisch
gewählt werden? Normiertes Histogramm als
Zähldichte
Normiertes Histogramm h(q) H(q) / ? H(q) ?
H(q) Anzahl Pixelpositionen
Histogramm H(q) als Funktion über den
Grauwerten q ? 0,...,255

• Dann ist h eine Wahrscheinlichkeitsdichte
  (genauer Zähldichte), da
• 0 ? h(q) ? 1 für alle q 0,..,255
• ?q0..255 h(q) 1

15
Histogrammbasierte Segmentierung
Grundlagen

• Schwellwertbestimmung mittels Histogramm-Auswertun
  g (1)
• Gegeben sei Wahrscheinlichkeitsdichten
  (Zähldichten) für
• Objekt
• Hintergrund
• mit a priori Auftrittswahrscheinlichkeiten von
• Objektpunkten
• Hintergrundpunkten
• (dann gilt )
• Dann lautet die Gesamtwahrscheinlichkeitsdichte
• Für die gaußsche Verteilung gilt also

16
Histogrammbasierte Segmentierung
Grundlagen

• Schwellwertbestimmung mittels Histogramm-Auswertun
  g (2)
• Idee Minimiere die Wahrscheinlichkeit einer
  Fehlzuordnung (abhängig von der Schwelle T)
• durch
• Bei einer gaußschen Verteilung ist diese
  Gleichung äquivalent zur quadratischen Gleichung
  (einsetzen, logarithmieren, vereinfachen)
• mit

17
Detektionsmechanismen radiometrisch
Auswertungsaufgaben

• Schwellwertbestimmung mittels Histogramm-Auswertun
  g (3)
• Vorgehen nach dieser Methode
• Gegeben sei (mindestens) ein Beispielbild.
• Bestimme Histogramme für Objektpixel h0 und
  Hintergrundpixel hH
• Berechne Standardabweichungen ?0 und ?H und die
  Mittelwerte ?0 und ?H aus den Histogrammen
• Berechne A, B, C, P0 und PH
• Berechne die Schwelle T durch Lösung der
  quadratischen Gleichung
• Anwendung der Schwelle T auf neues Bildmaterial

Anz. Objektpunkte / Anz. Bildpunke
18
Histogrammbasierte Segmentierung
Grundlagen
Original

• Wie sieht das Histogramm aus?
• Wie kann man die Information aus dem Histogramm
  nutzen?

Quantisierung!
19
Einschub Warum Schatten segmentieren?
Grundlagen
20
Histogrammbasierte Schattensegmentierung
Grundlagen

• Lassen sich die Schattenbereiche anhand des
  Histogramms segmentieren?

21
Grauwertmanipulationen
Grundlagen

• Grauwertmanipulationen
• Grauwertspreizung
• Grauwertangleichung
• Kontrasterhöhung
• Gammakorrektur

22
Detektionsmechanismen radiometrisch
Auswertungsaufgaben
Grenzen histogrammbasierter Segmentierung Beispie
l Face detection
Quelle H. Rowley, S. Baluja and T. Kanade Human
Face Detection in Visual Scenes
23
Detektionsmechanismen radiometrisch
Auswertungsaufgaben
Grenzen histogrammbasierter Segmentierung Beispie
l Face detection
Gesichter
Bildausschnitte mit ähnlichen Grauwertverteilungen
In Histogrammen geht die räumliche Information
verloren! Abhilfe Zuhilfenahme geometrischer
Merkmale.
Quelle H. Rowley, S. Baluja and T. Kanade Human
Face Detection in Visual Scenes
24
Detektionsmechanismen geometrisch
Auswertungsaufgaben
Quelle H. Rowley, S. Baluja and T. Kanade Human
Face Detection in Visual Scenes
25
Detektionsmechanismen geometrisch
Auswertungsaufgaben
Visuell optisch
Vierecke
Beispiel Landfahrzeuge
Kanten-segmente
Originalbild
Verarbeitung einer Region of Interest
detektierte Fahrzeuge
26
Detektionsmechanismen geometrisch
Auswertungsaufgaben
Fernes Infrarot IR Linescanner Bild der CL
289 Beispiel Landfahrzeuge durch
richtungsabhängige Untersuchung des
Grauwertverlaufs
27
Detektionsmechanismen dynamisch
Auswertungsaufgaben
Fernes Infrarot Bildfolge mit 100 Bildern pro
Sekunde! Beispiel Sich bewegende Rotoren von
Hubschraubern
Hier wird die interne Objektdynamik
genutzt! Technik Histogrammbasierte
Segmentierung von Differenzbildern
28
Differenzbild
Grundlagen
Differenzbild g( x, y ) g1( x , y ) - g2( x
, y ) ? -255 , 255 !!!!!
g1
g 128 0.5 ( g1- g2 )? 0 , 255
g2
Alternativ g g1- g2 ? 0 , 255
29
Detektionsmechanismen dynamisch
Auswertungsaufgaben
Videosequenz Hindernisdetektion mit optischem
Fluß
Lokal geschätzte Flussvektoren1
1) Ein Flussvektor ist ein Vektor, der (in der
Bildebene) beschreibt, wie sich die Position
eines Szenenpunkts zwischen zwei zeitl.
aufeinander folgenden Bildern verschoben hat.
30
Detektionsmechanismen dynamisch
Auswertungsaufgaben

• stationär
• auf der Fahrbahnebene
• über der Fahrbahnebene
• bewegt

Videosequenz Hindernisdetektion mit optischem
Fluss
Klassifikation der Flussvektoren durch einen
stochastischen Test
Als bewegt klassifizierte Flussvektoren
31
Detektionsmechanismen dynamisch
Auswertungsaufgaben
Videosequenz Hindernisdetektion mit
bewegungskompensiertem Differenzbild
Bewegungskompensiertes Differenzbild
Binärbild
(Robert Bosch GmbH)
32
Die Aufgaben der Bildauswertung
Auswertungsaufgaben
N 49.800067, E 24.429837, h 348996.5

• Detektion im Bild
• Lokalisierung in der Welt
• Verfolgung
• Identifikation (Klassifikation)
• Analyse

33
Was ist Lokalisierung?
Auswertungsaufgaben
Wo in der Welt befinden sich die im Bild
detektierten Objekte?
Lageschätzung Bezug zwischen Objekt-
und Kamerakoordinatensystem herstellen. z.B.
Geokodierung des Bildes Bezug zu Breiten- und
Längengrad herstellen.
34
Was ist Lokalisierung?
Auswertungsaufgaben
Wo in der Welt befinde ich mich selbst?
Navigation (durch Landmarken)
35
Lokalisierung Lageschätzung
Auswertungsaufgaben
Beispiel Hantelszene (Einsatz z.B. in der
Produktionsautomatisierung)
CAD-Modell mit Objektkoordinatensystem
Bild
Wo in der Szene befindet sich die Hantel? Wie
ist die Beziehung zwischen Objekt- und
Kamerakoordinatensystem?
36
Lokalisierung Koordinatentransformation
Auswertungsaufgaben
Welt-zu-Kamera Transformation
Kamera- koordinatensystem
Szenen-, Objekt- oder Weltkoordinatensystem

• Die Transformation T R³ ? R³ ist durch 6
  Parameter gegeben
• Rotationsmatrix R ? R3x3 Parametriert durch die
  drei Eulerwinkel
• ? Drehung um die x-Achse
• ? Drehung um die y-Achse
• ? Drehung um die z-Achse
• Translationsvektor t (t x , t y , t z )T ? R3
  
• t x Verschiebung längs der x-Achse
• t x Verschiebung längs der y-Achse
• t z Verschiebung längs der z-Achse
• xC T(xO) R xO t

37
Lokalisierung Rotationsmatrix
Auswertungsaufgaben
38
Lokalisierung Kameramodell
Auswertungsaufgaben
Zurück zur Frage Wie ist die Beziehung zwischen
Objekt- und Kamerakoordinatensystem?
Um diese Frage mit Hilfe des Bildes zu
beantworten muss geklärt sein, wie das
Kamerakoordinatensystem und das Bild
zusammenhängen. Es wird also ein Kameramodell
benötigt.
Kameramodell Mathematische Beschreibung
(Approximation) des realen Abbildungsverhaltens
des Sensors.
39
Lokalisierung Lochkamera
Auswertungsaufgaben
Kamerakoordinatensystem
Lochkamera Die Transformation P R³ ? R² ist
durch 5 Parameter gegeben f Brennweite (Abstand
Ursprung Koordinatensystem und Bildebene) (cx,
cy) Bildhauptpunkt (Durchstoßpunkt der z-Achse im
Bild in Pixeln) dx / dy Breite / Höhe eines
Pixels in der Einheit des Kamerakoordinatensystems

Kamerakalibirierung (Eichung) Ermittlung eines
geeigneten Parametersatzes
40
Lokalisiation Lageschätzung
Auswertungsaufgaben
Bei gegebenem Kameramodell (z.B.
Lochkamerasystem) und bekannter
Kamerakalibrierung (interne Parameter, z.B.
Brennweite) kann für einen gegebenen
Parametersatz ?, ?, ?, t x , t y, t z ein
synthetisches Bild von der Hantel erzeugt werden
Originalbild mit transparent überlagerter,
synthetischer Ansicht
Wo in der Szene befindet sich die Hantel? Für
welchen Parametersatz stimmen das Bild und die
synthetische Ansicht am besten überein? Woran
kann die Übereinstimmung gemessen werden?
41
Lokalisierung Lageschätzung
Auswertungsaufgaben
Wie wird die Übereinstimmung gemessen
Vergleichsmerkmale
Merkmalsextraktion
Bild
Bildkantensegmente
hidden line
Modellkantensegmente
CAD-Modell
42
Lokalisierung Lageschätzung
Auswertungsaufgaben
z.B. Minimierung einer Kostenfunktion1
Visualisierung der optimierten Parameter
Visualisierung mit initialen Parameter (
Startwerte, z.B. gewonnen durch ein
Detektionsverfahren)
1) Eine Kostenfunktion bzw. Gütefunktion ist eine
Funktion auf dem Parameterraum, die misst, wie
gut die Bild- und Modellkanten übereinstimmen.
43
Lageschätzung Übersicht
Auswertungsaufgaben
Abbildungsmodell P z.B. Lochkamera
Bild
44
Lokalisierung Geokodierung
Auswertungsaufgaben
Beispiel Bild und Straßenkarte
Automatische Feinkodierung
Straßen aus Vektorkarte Startwerte aus den
Flugdaten
Registrierung von Bild und Karte
45
Lokalisierung Navigation
Auswertungsaufgaben
Navigation anhand von Landmarken Beispiel
INS-Rekalibrierung (INS Navigationssystem)
Aktuelle Schrägansicht
Zuordnung durch Schätzung der Parameter einer
projektiven Transformation
Orthophoto Flughafen
T R² ? R²
46
Lokalisierung Navigation
Auswertungsaufgaben
Navigation anhand von Landmarken Merkmale
Kantensegmente
Merkmale im Schrägansichtsphoto
Merkmale im Orthophoto
47
Lokalisierung Navigation
Auswertungsaufgaben

• Navigation anhand von Landmarken
• Referenzierungsergebnis Transformation zwischen
  den Bildern

In die Schrägaufnahme projiziertes Orthophoto
In das Orthophoto projizierte Schrägaufnahme
48
Lokalisierung Navigation
Auswertungsaufgaben

• Navigation anhand von Fahrspuren Autobahn und
  Landstraße

• Detektion und Verfolgung von Fahrspurbegrenzung
• Markiert
• Unmarkiert
• Klassifikation von Fahrspurbegrenzungen
• Mehrspurdetektion
• Fortlaufende Güteüberwachung

49
Lokalisierung Navigation
Auswertungsaufgaben

• Navigation anhand von Fahrspurbegrenzung im
  Ortsbereich Modellerzeugung
• Digitale Karte von TELE ATLAS
• Gerichtete Graphen
• Knoten
• ID
• Längengrad
• Breitengrad
• Kanten
• Straßenname
• Klasse (z.B. Spuren)

Innenortsbereiche
50
Lokalisierung Navigation
Auswertungsaufgaben

• Navigation anhand von Fahrspurbegrenzung im
  Ortsbereich Modellerzeugung
• Ergebnis

51
Lokalisierung Navigation
Auswertungsaufgaben

• Navigation anhand von Fahrspurbegrenzung im
  Ortsbereich Ergebnis

52
Lokalisierung Navigation
Auswertungsaufgaben

• Navigation anhand von Fahrspurbegrenzung im
  Ortsbereich Ergebnis

53
Lokalisierung Navigation
Auswertungsaufgaben

• Navigation anhand von Fahrspurbegrenzung im
  Ortsbereich Ergebnis

54
Die Aufgaben der Bildauswertung
Auswertungsaufgaben

• Detektion im Bild
• Lokalisierung in der Welt
• Verfolgung
• Identifikation (Klassifikation)
• Analyse

55
Verfolgung
Auswertungsaufgaben

• Folge von Prädiktion und Detektion (Messung) bzw.
  Prädiktion und Lokalisierung

Merkmalstracker (im Bild)
Weitere - Korrelationstracker - Umrisstracker
(Snakes)
Modelltracker (in der Welt)
56
Verfolgung Modelltracker
Auswertungsaufgaben
57
Die Aufgaben der Bildauswertung
Auswertungsaufgaben
Space Shuttle

• Detektion im Bild
• Lokalisierung in der Welt
• Verfolgung
• Identifikation (Klassifikation)
• Analyse

58
Identifikation
Auswertungsaufgaben

• Typbestimmung mittels Bildmerkmalen

Binari-sierung
MerkmalextraktionKlassifikatortraining,
Klassifikator, mit Merkmal- datenbank
Klassifikationsvor-schläge Boing 737
0.279 A320 0.599....
Binari-sierung
Merkmalextraktion,Klassifikation
59
Identifikation
Auswertungsaufgaben

• Typbestimmung mittels 3D-Modellen

Lageschätzung (in der Welt). Restfehler
Ähnlichkeit Das Modell mit dem kleinsten
Restfehler identifiziert den Objekttyp.
A310-300
B737-300
A300-600
60
Identifikation
Auswertungsaufgaben

• Typbestimmung mit generischen 3D-Modellen

Dieses 3D-Objektmodell ist parametriert und damit
generisch.
?n
1,0
0,0
61
Identifikation
Auswertungsaufgaben

• Typbestimmung mit adaptiven 3D-Modellen

• Modellanpassung umfasst die Lage- und die
  Formparameter
• Nach der Modellanpassung erfolgt die
  Typbestimmung aus
• Segment oder
• Modellparametern oder
• 3D-Rekonstruktion

62
Vorgehensweise
Auswertungsaufgaben

• Die automatische Informationsgewinnung aus
  Bildern (und Bildfolgen) erfolgt durch Messung
  der Bildinhalte (mittels Merkmalen) anhand von
  diversen Modellen
• Merkmale sind aus den Bilddaten gewonnene
  Elemente, die wesentliche Eigenschaften der
  Modellelemente enthalten.
• Modelle beschreiben den Kontext (z.B. Kamera,
  Transformation) und das Ziel der erforderlichen
  Informationsgewinnung.
• Die Messung ( Bestimmung optimaler
  Modellparameter) gibt auch Aufschluss über das
  Maß an Übereinstimmung von Bildelementen mit dem
  Modell.
• Modellparameterschätzung Maximierung des
  Übereinstimmungsmaßes bezüglich Modellparameter.
• Klassifikation Schwellwerte bezüglich des
  Übereinstimmungsmaßes entscheiden über die
  Zuordnung zur Modellklasse.

63
Komponenten der Informationsgewinnung
Auswertungsaufgaben
Klassifikation der geschätzten Parameter Phys.
Gesetze Expertensysteme1) Fuzzy Logic Lernende
Klassifikatoren
Merkmalselektion Kanten, Ecken,
Flecken,Texturaße Verschiebungsvektorfelder, ...
Merkmalsextraktion (aus dem Bild)
Modellauswahl (implizit oder explizit) Lochkameram
odell, Welt-zu-Kamera-Transformation, ...
Messung der räumlichen und zeitlichen
Zusammenhänge der geschätzten Parameter Geschwindi
gkeit, Beschleunigung, ...
Sensorbewegungsmodell
Objektbewegungsmodell
Abbildungsmodell
Objektmodell
Semantische Beschreibung der Klassifikationsergebn
isse und Zusammenhänge rechts von mir, Boeing
737,...
Szenenmodell
1) Ein Expertensystem ist ein Programm, welches
das Wissen des menschl. Experten über das Lösen
von Problemen in einem begrenzten Fachbereich
enthält. Bsp Schachcomputer.
Parameterschätzung von Modellen