Apprentissage progressif par multi-transfert pour une navigation autonome plus sûre – MultiTrans

Les travaux de MultiTrans s’organisent autour d’un protocole scénarios → données → apprentissage → évaluation, décliné sur trois environnements (simulation, plateforme robotique, données/systèmes proches du réel). En particulier, le projet s’est intéressé aux méthodes suivantes :

1. Conception de cas d’usage et virtualisation de scénarios. Une contribution du projet est de formaliser des cas d’usage de navigation et d’anticiper des variations (conditions dégradées, occlusions, géométries, densité de trafic) afin de construire des corner cases pertinents. CornerSim illustre cette approche : le cadre de virtualisation permet de définir et de modifier des scènes, puis de générer des observations capteurs et des annotations associées pour entraîner et comparer des algorithmes.

2. Apprentissage frugal et transfert multi-domaine. MultiTrans explore des méthodes qui réduisent la dépendance aux données annotées et améliorent la généralisation. Côté LiDAR, ALSO exploite une auto-supervision par estimation d’occupation, afin de tirer parti de données non annotées. RangeViT étudie l’apport d’architectures de type transformer pour la segmentation sémantique 3D, en s’appuyant sur des stratégies d’entraînement et de transfert de représentations issues de la vision 2D. D’autres contributions du projet (par ex. distillation, adaptation de domaine, représentations Bird Eye View) participent à la même logique : mieux transférer entre sources et cibles, et mieux gérer les écarts de distribution.

3. Détection et prédiction orientées conduite autonome. Pour la détection, le projet traite explicitement le cas d’objets inconnus : ADOS adapte l’open-set object detection aux scènes routières, en mettant l’accent sur les objets réellement pertinents pour la conduite. Pour la prédiction et la cartographie, des travaux exploitent des informations structurées comme le graphe routier ou des cartes existantes afin de contraindre les trajectoires prédites et stabiliser l’estimation de cartes HD en ligne (MapEX).

4. Évaluation et reproductibilité. L’approche suivie dans MultiTrans vise à mesurer le transfert entre environnements, et à rapprocher les métriques offline d’évaluation plus réalistes (jusqu’à la boucle fermée quand applicable). La diffusion des publications et de ressources en ligne (site du projet, dépôts de code) va dans le sens de la reproductibilité et la comparaison des approches par la communauté.

Les productions scientifiques du projet documentent plusieurs résultats majeurs, qui ont été présentés dans des congrès internationaux renommés. Parmi ces travaux et résultats, on retrouve notamment des contributions pour :

- La virtualisation de scénarios et des tests reproductibles : CornerSim (ANT 2024) propose un cadre de virtualisation pour générer des scénarios de conduite réalistes, y compris des cas limites, et pour produire des données et annotations permettant des comparaisons contrôlées.

- La perception LiDAR et la segmentation 3D : RangeViT (CVPR 2023) explore l’usage de transformers pour la segmentation sémantique 3D en conduite autonome, et ALSO (CVPR 2023) propose une auto-supervision basée sur l’occupation afin de réduire le besoin d’annotations. D’autres contributions associées au projet abordent la robustesse, l’adaptation de domaine et des représentations compactes (BEV/occupancy).

- La détection en contexte ouvert : ADOS (IV 2024) aborde la détection open-set pour les scènes routières, afin de mieux gérer les objets inconnus et limiter les erreurs de perception dans des situations inattendues.

- La prédiction et la cartographie : nos travaux exploitent la structure de la route (graphe routier) pour la prédiction de trajectoires (atelier ICCV 2023), et proposent une estimation en ligne de cartes HD qui tient compte de cartes existantes (WACV 2025).

- Ces résultats sont présentés dans les publications du projet et plusieurs ressources (code source, documentation associée) sont référencées sur le compte organisation GitHub du projet (https://github.com/anr-multitrans).

Les perspectives ouvertes par MultiTrans s’incrivent dans la continuité des résultats obtenus. En particulier, les pistes les plus prometteuses pourraient s’intéresser à :

1. Enrichir les bibliothèques de scénarios et les protocoles d’évaluation. CornerSim et les approches de virtualisation peuvent servir de base à un catalogue de scénarios plus large (conditions météo, occlusions, chantiers, configurations urbaines), avec des métriques orientées sécurité (mauvaises détections, stabilité des décisions, marges de sécurité).

2. Mieux coupler les phases de perception, prédiction et planification. Les contributions sur la détection (y compris open-set) et sur la prédiction peuvent être intégrées à des chaînes plus complètes où l’incertitude de perception influence la stratégie de conduite (par exemple ralentir ou élargir la marge quand un objet est détecté comme inconnu).

3. Poursuivre l’investigation de techniques d’apprentissage frugal et le transfert multi-capteurs. Les résultats sur LiDAR (RangeViT, ALSO) et les approches d’adaptation de domaine ouvrent la voie à des pré-entraînements plus larges (multi-modalité caméra+LiDAR), ainsi qu’à une meilleure robustesse aux changements saisonniers et géographiques, tout en limitant les quantités de données et d’annotations requises pendant l’entrainement.

4. Renforcer la reproductibilité. La poursuite des mises à disposition (publications, code, documentation) permettra à la communauté de réutiliser les scénarios et de comparer des méthodes sur une base commune, y compris dans des cadres pédagogiques.

Le développement d’algorithmes pour le véhicule autonome (VA) se heurte à d’important défis tout au long de leur conception et implémentation. Le coût élevé et le peu de tests en conditions réelles limitent l’expérience qu’une Intelligence Artificielle (IA) embarquée peut construire (faible nombre de véhicules et faible volume de données récoltées). Ainsi, le développement comprend souvent une étape de simulation ou de tests simplifiés (sur des plus petits véhicules, des capteurs ou des robots). MultiTrans s’intéresse à la phase de perception du VA, qui produit une représentation précise de(s) l’environnement(s) de navigation, en amont des étapes suivantes de décision et contrôle, tout en faisant la distinction entre des contextes similaires mais différents. Le projet s’intéresse aux systèmes embarqués basés sur la vision (ex : caméras) qui sont parmi les solutions de perception les plus prometteuses. Cependant, leurs technologies les rendent sensibles à un défi scientifique important : l’utilisation en conditions dégradées (ex : mauvaises conditions météorologiques). De plus, le transfert de connaissances entre différents environnements (virtuels ou réels) fait face à deux autres problèmes : l’écart entre réalité et simulation, quand un modèle n’arrive pas à reproduire toutes les caractéristiques utiles du monde réel ; et un temps de développement accru du au processus itératif d’adaptation des algorithmes d’un système/domaine à un autre.
Dans MultiTrans, nous proposons de combiner les phases de développement et de déploiement des algorithmes pour la navigation autonome. L’idée est de permettre aux données, connaissances et expériences d’être transférables entre différents systèmes (simulation, robotique, véhicules réels), espérant ainsi accélérer la vitesse à laquelle un système intelligent embarqué peut progressivement apprendre. L’hypothèse de recherche qui sert de point de départ à MultiTrans correspond au stade de développement actuel des VAs : ils peuvent être programmés (ou sont capables d’apprendre) à réagir et agir dans des environnements contrôlés/limités de manière autonome. Notre proposition se concentre sur la partie IA : des travaux de recherche sont requis pour aider ces systèmes durant la phase de perception, afin de permettre aux VAs de naviguer de façon sûre dans des situations plus variées. Par rapport à l’état de l’art, les contributions attendues couvrent : (i) un nouveau cadre théorique et de nouveaux algorithmes d’apprentissage par transfert utilisant peu de données dans des environnements réels et virtuels; (ii) des avancées dans la vision artificielle multi-source et multi-domaines pour la segmentation sémantique et la reconnaissance de scènes appliquées à une navigation autonome plus sûre; (iii) le développement d’un démonstrateur sous la forme d’une plateforme robotique de véhicules combinée à un modèle de monde virtuel.
La nouveauté apportée par ce projet est de développer un environnement intermédiaire qui permet de déployer des algorithmes dans un modèle physique du monde. Cette étape permettra de recréer des scénarios plus réalistes, contribuant ainsi à un apprentissage par transfert plus rapide, efficace, et moins consommateur de données, des algorithmes depuis et vers les plateformes de VAs. Cette plateforme robotique permettra aussi de mener des travaux sur le transfert multi-domaine et multi-acteur, en réduisant les ressources nécessaires pour proposer des scénarios et des variations de ces scénarios, rendant possible la généralisation entre les différents domaines. Nous allons également explorer des techniques d’apprentissage dites frugales qui pourraient réduire le nombre d’exemples nécessaires aux tâches de reconnaissance/segmentation pour converger avant leur transfert. Enfin, nous pourrons étudier des solutions pour des situations complexes dans l’environnement virtuel avant de les transférer sur la plateforme, faisant ainsi le lien entre apprentissage par imitation et la simulation.