Fusion de Composantes Hétérogènes par Intelligence Artificielle – FUSCHIA

INPIXAL est spécialisé dans la collecte et le traitement d'images issues de drones pour des missions ISR (Intelligence, Surveillance, Reconnaissance) à vocation militaire et civile. L'expérience accumulée lors d'expérimentations ou de missions opérationnelles pour la DGA ou des clients institutionnels montre que, si la réalisation de missions ISR par drone est maintenant bien maîtrisée, l'exploitation de la charge utile en temps réel induit une charge cognitive considérable sur l'opérateur, qui doit concilier des objectifs divergents :
• Assurer une couverture complète d'une zone étendue et détecter des objets d'intérêt
• Observer en champ étroit ces objets d'intérêt, les classifier, quantifier l'intérêt ou la menace potentielle qu'ils peuvent représenter
• Maintenir une situation tactique globale de la zone à surveiller
• Fournir en temps réel des données à une équipe d'intervention si la situation le justifie.
• Remettre dans un délai très court après la mission un rapport des observations effectuées
Les vols de drones durant souvent de 3 à 12h, le stress et la fatigue de l'opérateur peuvent conduire à des erreurs : objets non détectés, mauvaise classification, focus sur un objet alors que d'autres sont présents dans la zone à observer.
L'objectif du projet est d'explorer des méthodes d'assistance à l'opérateur basées sur de l'intelligence artificielle, qui lui permettraient dans le futur (1) de se concentrer sur ses objectifs tactiques en lieu et place d'opérations manuelles de contrôle de la charge utile et d'annotation des objets et (2) de générer de manière semi-automatique un rapport de la mission à l'issue de celle-ci.
Les images capturées lors des missions de surveillance aérienne par drone militaire ou professionnel sont accompagnées de métadonnées donnant le contexte de la prise de vue (position complète de la caméra dans l'espace, caractéristiques du capteur et de l'optique). Ce multiplexage d'images et de métadonnées repose sur un standard OTAN, le STANAG 4609.
La disponibilité de ces métadonnées ouvre la possibilité de les faire traiter par un moteur d'intelligence artificielle au même titre que les données image, afin d'améliorer sa performance en portée et sa précision de classification. En effet, la connaissance de la position de la caméra permet de coupler en temps réel l'image avec des données cartographiques préexistantes, sur la base d'un modèle numérique de terrain. Il est alors possible de générer des plans de données parallèles aux plans des pixels de l'image :
• Carte de profondeur de chaque pixel de l'image, permettant de déduire la taille physique de l'objet observé
• Carte de segmentation cartographique vectorielle permettant de caractériser chaque pixel de l'image : terre/mer, zone urbaine/non urbaine, infrastructure, espace public/espace privé....
Le traitement par le moteur d'intelligence artificielle de ces données complémentaires va permettre d'éviter à celui-ci d'inférer sans référence la taille des objets détectés comme c'est le cas dans les architectures classiques, donnant lieu à des détections parasites d'objets de taille aberrante. Il sera ainsi possible d'abaisser le seuil d'inférence et d'améliorer la portée de détection et la performance de classification. La disponibilité de données cartographiques vectorielles va permettre pour chaque pixel de l'image d'adapter les classes d'objets à détecter et classifier : bateaux, rochers, bouées sur zone de mer, bâtiments, véhicules, humains, infrastructures sur zone terrestre par exemple. Un seul moteur d'intelligence artificielle pourra ainsi traiter plus efficacement une image de scène hétérogène.
INPIXAL, associé à son partenaire de recherche IMT Atlantique, propose donc d'explorer les méthodes de traitement de données hétérogènes par réseau de neurone adapté, et s'inscrit, à ce titre, dans la sous-thématique 2 de l'appel à projets.