Analyse Situationnelle par l’Intelligence Artificielle générative Multimodale – ASIAM

Le projet ASIAM (Analyse Situationnelle par l’Intelligence Artificielle générative Multimodale) vise à développer une solution innovante et souveraine d’intelligente artificielle générative (IAG) multimodale permettant d’accompagner un opérateur dans son analyse de l’environnement en augmentant de manière significative sa conscience situationnelle.

L’IAG apparaît comme une technologie prometteuse pour révolutionner le traitement de l’information, l’aide à la décision et améliorer l’efficacité opérationnelle. Cependant elle présente encore des limitations majeures pour son usage dans des applications militaires/critiques. Il s’agit principalement du manque de précision, de fiabilité, des lacunes en matière de compréhension et de raisonnement en profondeur. En outre, elle reste aujourd’hui cantonnée au traitement de textes et d’images. Enfin, à ces verrous techniques s’ajoutent des préoccupations concernant sa souveraineté et la confidentialité des données qu’elle peut traiter.

Pour lever ces verrous, Thales et le CEA mobiliseront leur expertise complémentaire pour développer des MM-LLM (Multimodal Large Language Models) souverains en s’attachant à trois axes de recherche :
- La spécialisation des modèles au domaine cible et leur précision ;
- La multi-modalité étendue, couvrant les textes, les images, les données cartographiques et les données structurées;
- La capacité de raisonnement des modèles allant de la description fine jusqu’au raisonnement spatio-temporel.

L’analyse situationnelle exploitera un large spectre de sources d’information : réalité du terrain perçue par les personnes (échanges de textes, transcriptions audio, images et vidéos), autres modes de captation (caméras dans le visible ou l’IR, radars...), sources d’information privées, données disponibles sur le web et les réseaux sociaux, données cartographiques, et données structurées.
Les enjeux adressés par ASIAM sont de réussir à : i) fusionner efficacement des données hétérogènes, ii) produire des informations synthétiques, précises, fiables et pertinentes, dans le contexte, iii) générer de l’information de haut niveau intelligible, par l’intégration de mécanismes de raisonnement à différentes échelles d’espace et de temps.

Les innovations et avancées majeures attendues dans le projet seront :
- Des nouveaux outils d’annotation intelligente des données et des chaînes de raisonnement ;
- Un modèle multimodal, MapCLIP, premier du genre, permettant d’aligner la modalité carte à la modalité texte et ouvrant la possibilité à l’extraction d’informations sémantiques des cartes;
- De nouvelles approches d’apprentissage pour le raisonnement géo-spatial ;
- Les premiers MM-LLM pour la défense, maîtrisés de bout en bout, et capables d’exploiter toutes les modalités citées et de rechercher l’information avec précision, notamment avec des techniques de type Graph-RAG;
- Une évaluation objective des performances des MM-LLM développés ;
- Une démonstration des fonctionnalités développées dans le cadre de l’assistance à l’opérateur par l’IAG.

ASIAM jouera le rôle d’un assistant intelligent de confiance pour l’utilisateur, lui permettant de dialoguer facilement et efficacement avec des bases d’informations dans le but de faciliter et d’accélérer la prise de décision humaine. Par exemple, appliquée au domaine du renseignement, l’IA générative multimodale, permettra d’extraire, de traiter, de corréler et d’interpréter simultanément différents types d’informations provenant de sources multiples pour générer des synthèses et accélérer la production de rapports fiables. Appliquée au commandement, elle permettra de mettre à jour la situation réelle avec les données terrain et de mettre en évidence les écarts avec la situation prévue.

Le projet ASIAM s’inscrit dans le cadre de la thématique « 6.15 Intelligence artificielle », et s’intéresse plus particulièrement aux méthodes d’intelligence artificielle multimodales au service des applications critiques (6.15.1 et 6.1.2).