Analyse Visuelle Sémantique : vers une navigation urbaine plus intelligente – AVISE

Les objectifs de ce projet visent à trouver une solution au problème de robustesse et à l’implémentation de l’extraction d'objets d'intérêts pour la cartographie mais également pour la navigation. Ce projet se place dans le cadre de la résolution d’un problème de navigation de type Localisation et cartographie simultanée SLAM. Nous avons proposer de considérer de ne plus considérer des amers géométriques de bas niveaux (coins, arrêtes... ) mais de se concentrer sur des amers sémantiques de haut niveau représentant directement des objets tels que les panneaux routiers,
les voitures, etc...

Pour cela, nous nous sommes basés sur les avancées du domaine de l’IA, notamment concernant les réseaux de neurones et le deep learning. Ce dernier est devenu l’état de l’art dans le domaine de la vision par ordinateur, notamment pour la reconnaissance de formes ou d’objets dans des images. Nous avons ainsi utilisé ces techniques afin d’extraire les amers de haut niveau présents dans les données issues des capteurs du véhicule et avons proposé une intégration de ce type d'amers complexes dans un processus d'estimation itératif.

Les résultats obtenus sont prometteurs.

Nous avons développé un détecteur de mobilier urbain (focalisé sur les panneaux de signalisation) permettant l'extraction précise, fiable et rapide des contours paramétrés de leurs formes géométriques.

Sur la base de cette détection, nous avons montré la possibilité d'obtenir une représentation 3D de ces objets par triangulation contrainte d'observations multiples.

Enfin, nous avons intégré ces détections dans un processus d'estimation itératif de type filtrage Bayésien et étudié des méthodes de robustification de ces types d'approches sur des cas de modélisation simple.

Les perspectives de ces travaux sont :
- la validation à grande échelle et sur données réelles de notre approche
- l'extension des techniques de robustification de l'estimation Bayesienne à des modèles plus réalistes
- l'intégration d'objets sémantiques autres que les panneaux (marquage au sol par exemple)

Ces travaux ont conduit aux publications suivantes :

E. Hrustic, R. Ben Abdallah, J. Vilà-Valls, D. Vivet, G. Pagès and E. Chau-mette«Robust Linearly Constrained EKF for Mismatched Nonlinear Systems,International Journal of Robust and Nonlinear Control, 2020.

E. Hrustic, and D. Vivet.«Using Traffic Signs as Landmarks in Object-oriented EKF-SLAM«The 16th International Conference on Control, Automa-tion, Robotics and Vision (ICARCV 2020), December 13 -15, 2020, Shenzhen,China

E. Hrustic, and D. Vivet.«Quadric-based Traffic Sign Landmarks Initializa-tion for Object-oriented EKF-SLAM«2020 ASILOMAR , November 1-5, 2020,Virtual Conference

E. Hrustic, Z. Xu and D. Vivet.«Deep Learning Based Traffic Signs Boun-dary Estimation«2020 IEEE Intelligent Vehicles Symposium (IV’2020), Octo-ber, 2020, Las Vegas, USA

Ce projet s'inscrit dans le cadre du défi sociétal 6 « Mobilité et systèmes urbains durables » de l'appel à projet générique de l'ANR 2017 au titre de l'instrument de financement Jeune Chercheur (JCJC). Il s'intéresse à l'amélioration du positionnement pour la navigation des véhicules urbains.

Ce projet s’intéresse à la mise en place d’une cartographie d’objets et d’événements sémantiques géolocalisés et adaptés à la navigation urbaine. La particularité de ces travaux réside en la mise en place d’une interaction forte bidirectionnelle entre cartographie et navigation sémantique dans une démarche innovante de localisation et cartographie sémantique simultanée (SLAM) usant d’une fusion serrée entre une approche visuelle sémantique et une géolocalisation hybridée par système GNSS. L’objectif est donc d'étudier les possibilités offertes par la collaboration active d'une navigation hybridée classique GNSS / IMU / Odométrie Visuelle et d'une approche de type SLAM basée uniquement sur des objets sémantiques pour l'amélioration du positionnement en milieu urbain dans le contexte de la navigation autonome. Ce projet s’attaque ainsi à deux aspects essentiels à une navigation sûre en milieu urbain, le positionnement précis et l’analyse et la compréhension de la scène.

L’ambition de ce projet est d’intégrer des niveaux d’intelligence plus profonds dans le cadre de la navigation autonome, à savoir intégrer les informations sémantiques dans une navigation bas niveau (basée sur la structure seule de la scène). Pour cela, des approches de machine learning seront intégrées afin de détecter, d’extraire et d’identifier des objets statiques et dynamiques de l’environnement facilement reconnaissables sur le long terme ou selon les conditions météorologiques ou de visibilité changeantes. Une surcouche d’analyse de l’interaction inter-objets pourra également être étudiée afin d’inclure une notion de sémantique d’action (accidents, traversée de piétons, etc.).

L’ambition à long terme est de créer une intelligence de situation permettant une navigation sûre dans un environnement routier.