Off road obstacle avoidance through end to end learning

1
Off road obstacle avoidance through end to end
learning

• Yann LeCun, Urs Muller, Jan Ben, Eric Cosatto,
  Beat Flepp

2
Introduction

• Conduite de véhicule autonome
• applications (exploration,sauvetage )
• Chalenge pour robotique et apprentissage
• Pb détecter et éviter les obstacles
• Utilisation de sondes ex le radar
  facile mais lent
• Utilisation dune seule caméra, moins cher mais
  problème de vision complexe

3
Approche

• Approche correspondances entre limage reconnue
  et langle à prendre sont apprises
• Base dapprentissage conduite autoguidée du
  robot.
• Les correspondances sont apprises grâce à un
  réseau de neurones

4
Plan

• Description du véhicule
• Collection de données
• Système dapprentissage
• Résultats

5
Description du véhicule

• Petit, léger -gt portable par un homme
• Facilite collection et test
• solide et peu coûteux
• Vitesse sans risque de dommage
• 2 caméras CCD de part et dautre

6
Description du véhicule

• Pb trop petit pour porter linfrastructure
  capable de calculer les correspondances.
• Tache effectuée par un ordinateur externe relié
  sans fil
• Transmission image 2 transmetteurs vidéos de 900
  Mhz.

7
Plan

• Description du véhicule
• Collection de données
• Système dapprentissage
• Résultats

8
Collection de données

• Mécanisme
• robot téléguidé par humain
• pc enregistre sortie caméra(15 image/sec)
• Doit prendre en compte les diversités de
  luminosité, d obstacle

9
Collection de données

• Recommandation sur la conduite
• éviter de tourner si pas dobstacle
• tourner toujours à la même distance dun
  obstacle
• Diversité dobstacle, faite en banlieue, dans les
  parcs
• Nécessité de diversité de luminosité.
  Malheureusement si soleil brille trop les images
  sont sombres et obstacles pas détectables

10
Collection de donnéesRésultats

• 1500 films de 85 images capturés en 17 jours
  dhiver.
• 95000 images pour lapprentissage
• 32000 pour les tests et la validation.

11
Plan

• Description du véhicule
• Collection de données
• Système dapprentissage
• Résultats

12
Système dapprentissage réseau de neurones

• Entrée limage 320 240 pixels
• 2 sorties les commandes de direction
• Motivation
• Pratique classique de robotique
• manipuler des images de hautes résolution
• trouver dispositifs avec données limitées
• Pas besoin dheuristique ni de réglage de
  paramètres

13
Système dapprentissagedescription du réseau

• Entrée 6 neurones, les différents éléments de
  limage. taille 14756.
• 2 couche réduction de la taille en 49 14, en
  conservant les déformations.
• 3reliés à plusieurs autre de couche 2 image
  4512
• 4 et 5 réduction à 100 neurones dimage 11
• sortie 2 neurones direction

14
Plan

• Description du véhicule
• Collection de données
• Système dapprentissage
• Résultats

15
Résultats

• mesure de performance
• Pourcentage dangles bien classifiés
• Résultats
• 25.1 dapprentissage, 35.8 de test.
• Remarque
• le robot ne se heurte pas.
• différence avec lhumain comptabilisé.

16
Résultats

• Explications
• quand tourner à gauche ou à droite sont valides
  notre méthode dévaluation en rejette un.
• Erreurs quand le robot ne tourne pas au même
  moment que lhumain
• Ou quand les angles sont différents même si le
  robot évite lobstacle.