Analyse multi-sourCe embarquée pour l’Exploration de l'environnement Sous-mARin (CESAR) – CESAR

Ce projet s’inscrit dans le cadre de l’exploration d’environnements complexes par le croisement de données multimodales pour l’aide à la prise de décision et l’amélioration des connaissances. Plus particulièrement, ce projet s'intéresse à l'environnement sous-marin et a pour ambition de doter les drones sous-marins d’une intelligence embarquée d’observation et d’analyse de la scène sous-marine invariante à l’échelle spatio-temporelle grâce à l'exploitation des données multimodales (optique et scalaire).

Dans ce projet nous partons du postulat que nos connaissances de l'environnement sous-marin sont faibles et manquent de précision. Ce défaut de connaissances humaines de l’environnement sous-marin ne permet pas une exploitation industrielle ni un suivi de l'écosystème marin. En effet, un drone doit garder des performances décisionnelles élevées malgré le changement de zone de déploiement, de saison de test et des conditions opérationnelles. Ces performances sont liées à celles des algorithmes de segmentation sémantique sur lesquelles le drone s'appui pour opérer.

Cependant, les expérimentations réalisées par l'équipe Vision-AD montrent que les taux de segmentation sémantique des images sous-marines dépendent de la zone et du moment de l'observation. Cette dépendance spatio-temporelle constitue un frein majeur qui doit être résolu pour faciliter les missions du drone.
L'hypothèse principale sur laquelle le projet repose est qu'en incluant les données de l'environnement au sein même de l'algorithme de segmentation sémantique des images, on crée un lien entre l'environnement et la qualité de l'image ce qui peut être exploité par la suite par l'algorithme de décision.

Le système d’observation à concevoir permet la segmentation sémantique des scènes sous-marines à base de croisement de sources hétérogènes embarquées sur un drone sous-marin. La revue de l'état de l'art récent pour les algorithmes d'apprentissage machine pouvant être utilisés dans le projet nous a permis d'extraire des méthodes prometteuses comme le "contrastive learning", pour améliorer l'apprentissage, "le crurriculum learning" pour la prise en compte graduelle des données de l'environnement et l'adaptation du "adaptive neural network" aux transformers pour controller la décision en fonction de la complexité de l'image et de l'impact des données de l'environnement.

Le projet CESAR s'intéresse à des cas d'usage dans lesquels la réactivité du drone est nécessaire. Il s'agit non seulement des applications de sécurité pour détecter des objets inconnus, mais également des applications de navigation autonome, d'inspection et de positionnement temps-réel. Pour ces applications, la prise de décision rapide et au sein du drone présente plusieurs avantages. Toutefois, cela pose le problème de la difficulté d'embarquer les calculs intensifs des algorithmes d'IA sur des cibles embarquées. Nous comptons réduire ces contraintes avec l’application de l'adéquation algorithme-architecture et plus particulièrement par la distillation des connaissances qui n’a pas encore été examinée dans le domaine sous-marin.

Ainsi, les 4 objectifs du projet sont :
- Identifier les paramètres de l’environnement sous-marin qui influent sur la qualité d’images ;
- Enrichir la modélisation mathématique des algorithmes d’IA par le croisement de données hétérogènes en s'inspirant de techniques innovantes comme le "conrastive learning", le "curriculum learning " ou encore en adaptant l'architecture des algorithmes de type "adaptive neural network" au transformers ;
- Accélérer le processus d’interprétation de la scène par l’application des techniques de KD ;
- Explorer l’espace de conception des architectures reconfigurables pour l’implantation des calculs haute performances au sein même du drone (proche de la source de donnée).