Description du stage

L'objectif de ce stage est de proposer une méthode hybride (basée sur l'apprentissage profond supervisé et auto-supervisé) pour la prédiction de cartes de profondeur à partir d'une image pour des applications de type véhicules autonomes. Les approches supervisées récentes pour résoudre cette tâche utilisent généralement un nuage de points 3D (LIDAR) comme vérité terrain pour superviser l'apprentissage [1, 2]. Cependant, l'information provenant du LIDAR est incomplète, sparse et parfois bruitée ce qui ne permet pas de prédire avec précision la profondeur sur certaines zones de l'image. Une autre famille de méthodes s'intéresse à l'analyse du mouvement entre deux images pour inférer la profondeur par des mécanismes d'apprentissage auto-supervisé [3]. Ces approches ont l'avantage de n'utiliser que des données non-annotées pour entrainer le modèle. Cependant, elles présentent deux défauts majeurs :

• l'incapacité d'apprendre correctement la profondeur quand les objets de la scène sont en mouvement

• la profondeur est estimée à un facteur d'échelle prêt

Pour pallier ces problèmes, le stagiaire devra dans un premier temps investiguer l'ajout de l'auto-supervision dans les approches supervisées afin de d'améliorer l'estimation de la profondeur. Dans un second temps, il devra analyser les cas d'erreurs et proposer des solutions pour les résoudre. Enfin, l'algorithme développé devra être comparé aux méthodes existantes sur des benchmarks académiques.

Références

[1] Fu et al. Deep Ordinal Regression Network for Monocular Depth Estimation, CVPR 218

[2] Diaz et al. Soft Labels for Ordinal Regression, CVPR 2019

[3] Godard et al. Digging into Self-Supervised Monocular Depth Prediction, ICCV 2019