Automatische Bild- und Darstellungsoptimierung f

1
Automatische Bild- und Darstellungsoptimierung
für 3D-Photo-Collections

• Bastian Birnbach, Paul Grimm,
• Frank Nagl, Konrad Kölzer
• Computer Graphics
• Applied Computer Science
• Erfurt University of Applied Sciences

6. Workshop Virtuelle und Erweiterte Realität der
GI-Fachgruppe VR/AR 18./19. 11.
2009 Braunschweig
2
Motivation

• Darstellung einer 3D-Photo-Collection
• Möglichst homogen
• Alle Bilder sollen die gleiche Bildqualität
  aufweisen
• Mit an die Bildqualität angepasstem Rendering von
  virtuellen Modellen

3
Inhalt

• Motivation
• 3D-Photo-Collection
• Verwandte Arbeiten
• Konzept
• Zusammenfassung Ausblick

4
Aufbau einer 3D-Photo-Collection
5
3D-Photo-Collection - Hintergrund

• Berechnung relativer Kamerapositionen mittels
  structure-from-motion
• Eindeutige Feature-Points als Orientierung
• 3D-Punktwolke (KeyPoints)

6
Beispielvideo
7
PoP-EYE-Viewer

• System zur Präsentation von 3D-Photo-Collections
• Grundlegende Technologie Bundler Snavely06
• Dient als Framework für weitere
  Forschungsbereiche
• Authentisches Einblenden virtueller Objekte
• Fotorealistische Beleuchtung
• Automatisches Entfernen dynamischer Bildanteile

8
Verwandte Arbeiten

• Structure-From-Motion System für Bilder Bundler
• Berechnet 3D-Punktwolke aus Feature-Points
• Berechnet Kameraparameter
• Empirical Model of Response (EMoR)
• Einfaches Model zur Berechnung einer
  camera-response-curve
• Berechnung aus Datenbank mit 201 verschiedenen,
  gemessenen response-curves
• Qualitätsanpassung oft in Panoramatools
• Nutzung von EMoR (dAngelo07, Kim08)
• Paarweiser Vergleich der Bilder
• Initialbildpaar bestimmt Ergebnis

Snavely06
Grossberg04
9
Konzept - Übersicht
10
Konzept - Übersicht

• Qualitätsmerkmale für 3D-Photo-Collections sind
• Helligkeitsunterschiede (Belichtungszeit)
• Farbwertunterschiede (Farbtemperatur)
• Vignettierung
• Bildrauschen
• Bildunschärfe
• Optische Verzerrung
• Auflösungsverhältnis (zwischen Bild und
  virtuellem Modell)

11
Konzept - Übersicht
12
Konzept - Belichtungskorrektur

• Angleichung unterschiedlicher Bildqualitäten der
  Bilder
• Unter- und/oder Überbelichtung (Helligkeitsuntersc
  hied)
• Farbwertunterschiede (falsch gesetzter Weißpunkt)
• Vorgehensweise
• Kamerakalibrierung
• Auswertung
• Anpassung

13
Belichtungsfehler
14
Kamerakalibrierung

• Vergleich eindeutiger Pixel in unterschiedlichen
  Bildern
• Korrespondierende Pixel
• Berechnete Key-Point Koordinaten
• Korrespondenz Abhängig vom Abstand zur Bildmitte
• Vignettierungsproblematik
• Ausschluss über Vergleich der Radien
• Gegenüberstellung in JointHistogram
• Gegenüberstellung der Grauwerte

r2
r1
Bild 2
Bild 1
15
JointHistogram

• Auswertung über
• Mittelwert
• Annäherung (kleinste Quadrate)
• Empirical Model of Response (EMoR)

B2
B2
B1
B1
Abweichung 1
Abweichung 20
16
Brightness-Transfer-Function (BTF)

• Ergebnis Brightness-Transfer-Function

Pixelwert
Umkehrfunktion
Gegenüberstellung
17
Farbwertunterschied

• Für Farbstich wird angenommen
• Jeder Farbkanal wird unabhängig verändert
• Aufstellung eines JointHistograms für jeden Kanal
• Kombination aller Matrizen
• Lineares Gleichungssystem
• Ergebnis camera-response-function

18
Anpassung

• Camera-response-function beschreibt
• Zusammenhang zwischen Licht und Bildpixeln
• L ist unbekannt ? inverse Funktion g() f-1()
• Neuer Pixelwert kann anhand von f() bestimmt
  werden

I f(eL) I Intensität f()
camera-response-function e Belichtungsfaktor L
Lichtstrahl
19
Ergebnis Vorher ? Nachher
Originalbilder
Nach Bildangleichung
20
Anwendungsszenarios

• einfache Bildbetrachtung in einer 3D-Welt
• Planung und Visualisierung von Montage- oder
  Reparaturplänen
• Büro- und Raumplanungen

21
Zusammenfassung

• Aufbau einer 3D-Photo-Collection
• Belichtungskorrektur in 3D-Photo-Collections
• Vergleich von korrespondierenden Pixeln
  (KeyPoints)
• Ermitteln der camera-response-function
• Anpassung aller Bildpixel anhand dieser
• Anwendungsszenarios

22
Ausblick

• Betrachtung weiterer Qualitätsmerkmale
• Rauschen
• Unschärfe
• Anpassung eingeblendeter virtueller Objekte
• An entstandene Bildqualität

23
Danke für die Aufmerksamkeit
24
Quellen

• dAngelo07dAngelo, Pablo Radiometric alignment
  and vignetting calibration. ICVS Workshop on
  Camera Calibration Methods for Computer Vision
  Systems, CCMVS, 2007.
• Grossberg04 Grossberg, Michael D. und Shree K.
  Nayar Modeling the Space of Camera Response
  Functions. IEEE Transactions on Pattern Analysis
  and Machine Intelligence, 2612721282, 2004.
• Kim08Kim, Seon Joo und Marc Pollefeys Robust
  Radiometric Calibration and Vignetting
  Correction. IEEE Transactions on Pattern Analysis
  and Machine Intelligence, 30562576, 2008.
• Snavely06 Snavely, Noah, Steven M. Seitz und
  Richard Szeliski Photo tourism Exploring photo
  collections in 3D. In SIGGRAPH Conference
  Proceedings, Seiten 835846, New York, NY, USA,
  2006.