Etat de lArt des Problmes dEclairage inverse

1
Etat de lArt des Problèmes dEclairage inverse

• POULINGEAS Patrick
• Laboratoire MSI
• Equipe Modélisation et Infographie Intelligente

2
La problématique

• Les données 
• La géométrie des éléments de la scène
• Les propriétés des matériaux
• Léclairage voulu pour certains éléments

Les calculs  Les positions possibles des sources
lumineusesLes propriétés possibles des sources
lumineuses
Les résultats  Les scènes obtenues avec les
sources lumineuses trouvées
3
Les contextes possibles

• Léclairage  réaliste  dune pièce en
  architecture.
• Léclairage dun événement (par exemple une
  exposition dans un musée)
• Une photographie(par exemple pour une
  publicité)
• Une recherche artistique avec des jeux de
  lumière
• Etc.

4
Les caractéristiques des algorithmes

• La nature de léclairage
• - direct
• - global
• Le modèle physique déclairement
• Les contraintes a priori sur les sources
  lumineuses
• positions fixées
• ensemble de positions possibles
• aucune contrainte

5
Les modèles dillumination

• Le modèle de Phong
• La radiosité
• Le calcul de la radiance

6
Articles utilisant le modèle de Phong

• Lights from Highlights and ShadowsP. Poulin, A.
  Fournier1992
• Sketching Shadows and Highlights to Position
  LightsP. Poulin, K. Ratib, M. Jacques1997

7
Utilisation de zones fortement éclairées et de
volumes dombre(Poulin, Fournier. 1992)

• Eclairage direct
• Lumière directionnelles pour les zones fortement
  éclairées ( highlights )
• Sources de lumières ponctuelles, linéaires ou
  polygonales en plus avec lutilisation des
  volumes dombre

8
Utilisation de zones fortement éclairées(Poulin,
Fournier. 1992)

• On calcule les paramètres du terme spéculaire
• La direction de la source lumineuse (avec un
  point indiquant lintensité lumineuse maximale
  sur la surface)
• Lexposant spéculaire (avec un second point et
  une valeur de seuil donnant la limite de la zone
  spéculaire)
• On peut ensuite introduire dautres zones
  fortement éclairées sur la même surface

9
Utilisation de volumes dombre(Poulin, Fournier.
1992)

• Sources lumineuses directionnelles

10
Utilisation de volumes dombre(Poulin, Fournier.
1992)

• Sources lumineuses ponctuelles Extension du
  procédé employé pour une source directionnelle

11
Utilisation de volumes dombre(Poulin, Fournier.
1992)

• Sources lumineuses linéaires ou polygonales
• On traite chaque sommet comme une source de
  lumière ponctuelle
• Eventuellement décomposition de la source
  lumineuse et de lobjet O en parties convexes
• Calcul denveloppes convexes (celles des volumes
  dombre)

12
Conclusion(Poulin, Fournier. 1992)

• Avantages
• La position de la source lumineuse nest pas
  fixée a priori
• Manipulation temps réel
• Inconvénients
• Eclairage direct uniquement
• Manipulation peu intuitive des volumes dombre ?
  Il serait plus agréable de travailler sur les
  ombres portées des objets

13
Esquisses dombres portées et de zones fortement
éclairées(Poulin, Ratib, Jacques. 1997)

• Eclairage direct
• Plusieurs formes de sources lumineuses sont
  gérées
• Utilisation desquisses marquant le contour dune
  ombre portée ou dune zone fortement éclairée
• Recours à un système de contraintes et un procédé
  doptimisation pour placer la source lumineuse

14
Esquisses dombres portées (Poulin, Ratib,
Jacques. 1997)

• Cas dune source lumineuse ponctuelle

15
Esquisses dombres portées (Poulin, Ratib,
Jacques. 1997)

• Cas dune source lumineuse ponctuelle
• La zone où lon peut placer la source lumineuse
  est lintersection des régions admissibles
  associées à chaque point desquisse.
• Optimisation On maximise la distance entre la
  source lumineuse et les points desquisse.

16
Exemple de résultat (Poulin, Ratib, Jacques.
1997)
17
Esquisses dombres portées (Poulin, Ratib,
Jacques. 1997)

• Traitement des sources lumineuses étendues
  (linéaires, polygonales, polyédriques,
  sphériques, etc.)
• Esquisses de contour de lombre
• Esquisses de contour de la pénombre
• Pour lombre, tous les points de la source
  doivent appartenir aux zones associées aux points
  desquisses.
• Pour la pénombre, au moins un point de la source
  doit appartenir à chaque zone associée aux points
  desquisses.

18
Exemple de résultat (Poulin, Ratib, Jacques.
1997)
19
Esquisses de zones fortement éclairées(Poulin,
Ratib, Jacques. 1997)

• Source lumineuse ponctuelle
• Même technique desquisse que précédemment
• Point desquisse ? Cône
• On essaie que la zone fortement éclairée soit
  resserrée autour des points desquisse
• Si lintersection des cônes est vide, on modifie
  lexposant spéculaire pour avoir une solution

20
Exemple de résultat (Poulin, Ratib, Jacques.
1997)
21
Conclusion (Poulin, Ratib, Jacques. 1997)

• Avantages
• Interface utilisateur assez intuitive
• La position de la source de lumière nest pas
  fixée a priori
• Résultats satisfaisants, bons temps de calcul
• Inconvénients
• Restriction à une illumination directe
• Pas de description qualitative des objectifs
  déclairage

22
Articles utilisant la radiosité

• Painting with LightC. Schoeneman, J. Dorsey, et
  alii1993
• Radioptimization Goal based RenderingJ.K.
  Kawai, J.S. Painter, M.F. Cohen1993
• An Interactive System for Solving Inverse
  Illumination Problems using Genetic AlgorithmsJ.
  Elorza, I. Rudomin1997
• Computer Aided Lighting for Architects and
  DesignersM. Contensin, J.-L. Maltret1997

23
Détermination de lémittance à partir de patches
coloriés(Schoeneman, Dorsey, et alii. 1993)

• Position des sources lumineuses fixées a priori
• Lutilisateur peint des patches de la scène
• Le concepteur a une vue sur une scène contenant
  ses souhaits et une autre avec la solution
  trouvée
• Recours à un algorithme doptimisation pour
  satisfaire les désirs du concepteur
• Une simple illumination directe est employée pour
  faciliter linteractivité

24
Principe de lalgorithme(Schoeneman, Dorsey, et
alii. 1993)

• Soient f1,,fn la contribution des n sources
  lumineuses. Ce peut être
• Des images obtenues avec un lancer de rayons
• La distribution de la radiance sur les surfaces
  de la scène, reconstruite à partir de la
  radiosité (utilisé ici)
• Soit g la fonction correspondant à la scène
  coloriée par lutilisateur
• On se dote dun produit scalaire et on cherche
  les coefficients ai minimisant

25
La phase doptimisation(Schoeneman, Dorsey, et
alii. 1993)

• Avec une méthode des moindres carrés, on exprime
  le problème sous forme matricielle Mab où a
  est le vecteur des coefficients que lon
  recherche
• On résout le système associé à léquation
  matricielle avec la méthode itérative de
  Gauss-Seidel (légèrement modifiée)
• Pour une modification dune couleur dun des
  patches, on tient compte des valeurs déjà
  obtenues (comme valeur de départ pour
  Gauss-Seidel)

26
Exemple de solution obtenue(Schoeneman, Dorsey,
et alii. 1993)
27
Conclusion(Schoeneman, Dorsey, et alii. 1993)

• Avantages
• Interface utilisateur intuitive
• Bonne interactivité grâce à une vitesse de calcul
  convenable
• Inconvénients
• Pas de positionnement automatique des sources de
  lumière (? conduit à un problème non linéaire)
• Pas de spécification sous forme qualitative des
  objectifs déclairage

28
Radioptimisation(Kawai, Painter, Cohen. 1993)

• Utilisation de la radiosité hiérarchique
• Position des sources lumineuses fixées a priori
• Possibilité partielle de décrire qualitativement
  l ambiance d une scène
• Introduction possible de spots
• Utilisation d un algorithme d optimisation de
  type quasi-Newton

29
L interface utilisateur(Kawai, Painter, Cohen.
1993)

• Après un rendu de la scène, le concepteur peut
  spécifier
• Des contraintes sur les radiosités de certains
  patches
• Les variables du problème d optimisation
• l émissivité de certains patches
• la réflectivité de certains patches
• les paramètres des spots (direction et exposant)
• Les poids des fonctions de base composant la
  fonction objectif à optimiser

30
Les contraintes(Kawai, Painter, Cohen. 1993)

• Les contraintes physiques traduisant le système
  d équations de la radiosité
• Les contraintes spécifiées par l utilisateur et
  portant sur les radiosités de certains patches
• Les contraintes jouant un rôle de  barrières 
  et garantissant la validité physique (Ex 0 ? ?
  ? 1)

31
La fonction objectif(Kawai, Painter, Cohen. 1993)

• C est une combinaison linéaire des fonctions de
  base, correspondant respectivement à
• l énergie totale de la scène
• la brillance de la pièce, liée à des paramètres
  physiques
• une impression de  clarté , ou d intimité ,
  ou à  un aspect agréable  pour l utilisateur
  (Elles sont issues de tests psycho-visuels)
• des contraintes (On ajoute à la fonction objectif
  des fonctions pénalisantes pour avoir un problème
  d optimisation sans contraintes)

32
La fonction objectif(Kawai, Painter, Cohen. 1993)

• Fonction objectif

Termes physiques
Termes basés sur une perception subjective
33
Méthode doptimisation BFGS(Kawai, Painter,
Cohen. 1993)

• Méthode de Newton Méthode de descente avec
  comme direction -?2f(x)-1?f(x) où ? est le
  gradient et ?2 le hessien de f
• Méthode quasi-Newton
• On approxime le hessien (qui est difficile et
  coûteux à calculer)
• Exemple la méthode BFGS (Broyden-Fletcher-Goldfa
  rb-Shanno)

34
Conclusion(Kawai, Painter, Cohen. 1993)

• Avantages
• Description qualitative des objectifs
• Temps de calcul
• Défauts
• Possibilité de spécification de l ambiance très
  limitée
• Entrée de la fonction objectif peu intuitive
• Nécessité de rajouter des contraintes pour éviter
  des minima locaux sans intérêt pour le concepteur

35
Utilisation dun algorithme génétique(Elorza,
Rudomin.1997)

• Même approche que Schoeneman, Dorsey, et alii
  On colorie des patches de la scène.
• Utilisation de la radiosité hiérarchique
• Détermination du nombre, de la position et de
  lémittance des sources lumineuses avec un
  algorithme génétique

36
Algorithme génétique(Elorza, Rudomin.1997)

• Individu chaîne binaire représentant le nombre
  de lumières, et pour chacune delles, leur
  émittance et leur position
• Importance dun individu erreur RMS entre la
  scène coloriée par le concepteur et celle qui
  serait produite avec les paramètres de lindividu

37
Exemple de résultat(Elorza, Rudomin.1997)
38
Conclusion(Elorza, Rudomin.1997)

• Trop peu de détails sur lalgorithme génétique
• Scènes testées de taille modeste
• Temps de calcul élevés
• Résultats peu convaincants

39
Pseudo-inversion par décomposition en valeurs
singulières(Contensin, Maltret. 1997)

• Illumination globale prise en compte
  effectivement
• Un ensemble de patches potentiellement émetteurs
  fixé a priori
• Technique dalgèbre linéaire et danalyse
  numérique (pas un processus doptimisation)

40
Principes de lalgorithme(Contensin, Maltret.
1997)

• On a 3 types de patches
• N1 patches avec une émittance éventuellement non
  nulle (des sources de lumière potentielles)
• N2 patches avec une émittance nulle dont la
  radiosité sera calculée en fonction des
  contraintes
• N3 patches avec une émittance nulle et une
  radiosité fixée (Ce sont donc les contraintes)
• On exprime les équations de radiosité sous forme
  matricielle et on effectue une pseudo-inversion
  par décomposition en valeurs singulières

41
Décomposition par valeurs singulières
(Contensin, Maltret. 1997)

• La matrice A est décomposée en 3 matrices
• A U S V
• U et V sont des matrices orthogonales et S une
• matrice diagonale.
• Les valeurs sur la diagonale de S sont appelées
• valeurs singulières

42
Exemple de résultat(Contensin, Maltret. 1997)
43
Conclusion(Contensin, Maltret. 1997)

• Avantage
• Méthode mathématique sûre
• Inconvénients
• Scènes de taille modeste (Lexemple contenait 228
  patches)
• Temps de calcul élevés
• Pas dinterface utilisateur développée

44
Articles utilisant une évaluation de la radiance

• Optimisation and Lighting DesignA.C. Costa, A.A
  Sousa, F.N. Ferreira1999
• Lighting Design a Goal based Approach using
  OptimisationA.C. Costa, A.A Sousa, F.N.
  Ferreira1999

45
Evaluation de la radiance(Costa, Sousa,
Ferreira. 1999)

• Unités fonctionnelles de lapplication
• Analyseur de scripts, scripts écrits par le
  designer et modélisant la fonction objectif
• Radiance (Ward) pour le calcul de la radiance
• ASA un paquetage implémentant un algorithme de
  recuit simulé

46
Hypothèses pour la validité de la méthode(Costa,
Sousa, Ferreira. 1999)

• Milieu non participant
• BSDF symétrique ? permet la réversibilité des
  calculs

47
Les différents types de sources
lumineuses(Costa, Sousa, Ferreira. 1999)

• PL (Previous Luminaire) sources déjà présentes
  dans la scène
• IL (Inverse Luminaire) sources fictives servant
  à modéliser les souhaits du concepteur
• DL (Desired Luminaire) sources qui vont
  produire léclairage voulu

48
Principes de lalgorithme(Costa, Sousa,
Ferreira. 1999)

• Lutilisateur spécifie ses souhaits avec un
  script
• On évalue préalablement linfluence des PL sur
  les IL
• Les IL propagent de lénergie lumineuse dans la
  scène
• Calcul de la radiance en un point et selon une
  direction donnée
• Phase doptimisation Recuit simulé

49
Recuit Simulé(Costa, Sousa, Ferreira. 1999)

• Minimiser une fonction f non convexe sur Rn
• Descente suivant le gradient de f xn1 xn
  rn?f (xn) rn pas, dépendant de lalgorithme
• Inconvénient on peut aboutir à un minimum local
• Recuit simulé on ajoute au second membre une
  composante aléatoire telle que f(xn1) gt f(xn)
  avec une probabilité pn ? 0 quand n ? ?
• On donne au point xn la possibilité dexplorer
  tout lespace avant de se mettre à descendre vers
  un min

50
Exemple de script(Costa, Sousa, Ferreira. 1999)

• (x1,x2,x3) position de la DL (x4,x5)
  direction du spot (de la DL)
• V Vector(FaceCenter,(x1,x2,x3)) Face désigne
  le visage de la personne
• If Angle(FacePerp,V) lt Vthreshold
  and Angle(FacePerp,Dir(-x4,-x5)) lt Athreshold
  return FAILURE
• WIL1/DL1 Importance(SCENEIL1,x1,x2,x3,x4,x5)
• WIL2/DL1 Importance(SCENEIL2,x1,x2,x3,x4,x5)
• Return (K1 WIL1/DL1 K2 WIL2/DL1)

51
Exemples de solutions(Costa, Sousa, Ferreira.
1999)
52
Exemples de solutions(Costa, Sousa, Ferreira.
1999)
53
Conclusion(Costa, Sousa, Ferreira. 1999)

• Avantages
• Prise en compte de beaucoup de types de
  contraintes différentes (orientation, alignement
  des sources, etc.)
• Modèle dillumination évolué
• Inconvénients
• Script complexe que le concepteur doit programmer
• Temps de calcul élevés

54
Conclusion

• Bonne interface utilisateur ? Peu de paramètres
  intervenant pour les sources lumineuses
• Beaucoup de paramètres pour les sources
  lumineuses ? Interface peu intuitive
• Beaucoup de techniques doptimisation
• Un seul article prend en compte une description
  qualitative (partielle) de léclairage