Reconstruction 3D par mono vision avec des trajectoires fortement contraintes

1
Reconstruction 3D parmono vision avec des
trajectoires fortement contraintes
Revue du projet PICASO 3 novembre 2005

• Joan Solà
• LAAS-CNRS
• Toulouse, France

2
On parle de

• Observabilité du 3D en vision
• SLAM par mesures angulaires (ou SLAM par mono
  vision)
• Initialisation des Amers
• Performances
• FDPs Gaussiennes
• Trajectoires fortement contraintes

3
Contenu

• Observabilité en vision pourquoi je ne fais pas
  la stéréo?
• Un peu de SLAM à observabilité totale
• Le Problème de linitialisation des amers dans le
  SLAM par mono vision
• Le Rayon Géométrique une représentation efficace
  de la FDP de la position de lamer
• Méthodes retardées et non retardées
• Solution Temps Réel
• L'initialisation par Partage Fédératif de
  lInformation (PFI)

4
Observabilité stéréo
?
?? angle qui ferme la région
Objet proche
5
Observabilité stéréo
Objet lointain
Augmenter la base stéréoscopique
6
Observabilité stéréo
Objet lointain
Augmenter la base stéréoscopique
7
Observabilité stéréo
Objet lointain
Augmenter la précision du banc stéréo
8
Observabilité stéréo
Objet lointain
Augmenter la précision du banc stéréo
9
Observabilité stéréo
Objet lointain
Augmenter la base et la précision
10
Observabilité stéréo
Objet encore plus loin

• Problème mécanique
• Augmenter la base fait diminuer la précision du
  banc.
• Une base longue rend impossibleun calibrage a
  vie.
• Un auto calibrage en ligne serait nécessaire. Ce
  nest pas facile.

Augmenter la base et la précision
11
Observabilité stéréo
n?
?? angle entre mesures ?? angle qui ferme la
région ?? précision du système capteur
?
?
?min????min????n?
12
Observabilité stéréo
Base longue avec auto calibrage
Base longue pré calibrée
?min
Base courte
13
Et plus loin?
Modélisation 3D par vision mono en mouvement
70
60
50
Base longue pré calibrée
40
Modélisation 3Dpar vision stéréo
30
20
10
0
14
SLAM de langlais, Simultaneous Localization And
Mapping
2
5
1
4
3
15
Le problème du cas angulaireInitialisation des
Amers

• Lapproche naïve

?
tactuel
?
tprecedent
tactuel
Te
16
Le problèmeInitialisation des Amers

• Considération des incertitudes

?
Le point 3Dest dedans
tactuel
tprecedent
tactuel
Te
17
Le problèmeInitialisation des Amers

• Les cas Content et Pas Content

Peu Content
Content
Pas Content
18
L'idée CLÉ
INITIALISATIONretardée
?
prenons la voie facile
Le derniermembreest facilementincorporé
Lapproximationinitialeest facile
La sélection des membres est facile et sûre
Initialisationimmédiate
19
Définition du Rayon Géométrique

• Remplir lespace entre rmin i rmax
• Avec le nombre minimal de termes
• Tout en respectant les contraintes de
  linéarisation

• Définir une série géométrique de Gaussiennes

?4
r4
?3
r3
? ?i / ri
? ri / ri-1
rmin
rmax
xR position de la camera
20
Les bénéfices du Rayon Géométrique

• Facteur de forme, base géométrique et limites de
  distance
• Le nombre de termes est logarithmique en rmax /
  rmin
• On obtient des nombres très petits
• Les membres étant Gaussiens, ils sont facilement
  manipulables avec FKE.

rmin , rmax
???????
?????
Ng f(???? log(rmax / rmin)
1
Scénario rmin rmax Ratio Ng
Intérieur 0.5 5 10 3
Extérieur 1 100 100 5
Longue portée 1 1000 1000 7
2
21
Comment ça marche
La première observation détermine le Rayon
Conique
22
Comment ça marche
Japproche le Rayon Coniqueavec le Rayon
Géométrique
Je peux initialiser les membres
maintenant  Jobtiens une méthode immédiate.
23
Comment ça marche
Je me déplace et réaliseune deuxième observation
Je peux distinguer les membres dans limage
24
Comment ça marche
Je calcule vraisemblanceset actualise
crédibilités
Cest comme modifier la forme du rayon
25
Comment ça marche
J'élimine les membresinvraisemblables
Cest une opération triviale et sure
26
Comment ça marche
Avec des méthodes immédiates je peux corriger
la carte SLAM
27
Comment ça marche
Je continue...
28
Comment ça marche
Et un jour il ne resteraquun seul membre.
3
Ce membre est déjà Gaussien! Si je linitialise
maintenant jai une méthode retardée
29
Trajectoires non contraintes
?min
30
Trajectoires fortement contraintes  Méthodes
retardées et immédiates
Pas content
immédiates
Peu Content
retardées
immédiates
Content
retardées
immédiates
?min
31
Méthodes retardées et immédiates
Champ de vue
Champ de vue
immédiates
retardées
retardées
immédiates
immédiates
retardées
retardées
immédiates
immédiates
32
Méthodes retardées et immédiates

• Un algorithme naïve
• Un algorithme consistent
• Lalgorithme dActualisation en Bloc

retardées

• Lalgorithme multicarte
• Lalgorithme du Partage Fédératif de lInformation

immédiates
33
Lalgorithme multicarte

• Initialiser tous les membres comme amers en
  cartes séparées
• Lors des observations postérieures
• Actualiser les crédibilités des cartes et
  néliminer les mauvaises
• Réaliser des corrections sur les cartes comme
  dans SLAM-FKE
• Quand il ne reste quune carte
• Rien à faire

immédiate
méthode hors ligne
34
L'algorithme du Partage Fédératif de
lInformation (PFI)

• Initialiser les membres comme des amers
  différents dans la même carte
• Lors des observations postérieures
• Actualiser les crédibilités et éliminer les
  mauvais membres
• Effectuer une correction douce fédérée
• Quand il ne reste quun membre
• Rien à faire

immédiate
35
L'algorithme PFI

• La Correction Douce Fédérée Partager
  lInformation

correction FKE avec membre 1
correction FKE avec membre 2
immédiate
Observation y, R

correction FKE avec membre N
36
L'algorithme PFIet le Cas Pas Content
immédiate
37
L'algorithme PFIet le Cas Pas Content
Vue latérale
Vue de oiseau
immédiate
38
Linclusion de nouvelles bornes

1. Diviser limage en sous images.
2. Choisir celles ou cest intéressantdy inclure
   une nouvelle borne.
3. Y faire une recherche de pointsde Harris.

39
Les mesures des bornes
Carte bornes 3D
Région de recherche
Signature de la borne
Maximum decorrélation

• Stratégie de recherche
• Globale à double espace
• Locale à simple espace
• Résultat sous pixellique

Pixel trouvé MESURE
Projection sur limage
40
Le suivi des bornes
41
Conclusions

1. La reconstruction 3D dans des situationsà très
   faible observabilité est rendu possible.
2. Le mouvement précis de la camera dans la
   scèneest acquis simultanément.
3. On est en disposition dy intégrer des
   objetsmobiles.
4. Pour cela, des hypothèses sur la vitesse de
   chaque point seront dabord lancées et
   postérieurement validées (ou non) et raffinées
   par les observations.

42
Merci!