Interactions entre l’imagerie de télédétection multimodale et le texte pour un accès facilité à l’information – TAMMI

Les images de télédétection, produites en grande quantité, contiennent des informations qui sont déjà utilisées pour suivre le changement climatique, améliorer la sécurité et comprendre l'environnement. Ces données sont cependant difficiles à interpréter et impliquent souvent un traitement manuel. Avec l'augmentation de la quantité de données, l'interprétation devient un facteur limitant pour les délais, mais aussi pour les domaines dans lesquels celles-ci peuvent être utilisées. Alors que les données sont là, un large public ne peut en tirer parti. Dans ce projet, nous voulons faciliter l'accès aux informations contenues dans les données multimodales à un nouveau publique.
Pour ce faire, nous proposons d'utiliser le langage naturel comme moyen d'extraire ces informations. L’approche adoptée par le projet est générique : les représentations des données ne seront pas apprises pour une tâche spécifique. Pour cela, une nouvelle base de données sera créée, visant des tâches diverses telles que la réponse automatique à des questions, les requête d’images en langage nature et la description de scène. Nous étudierons des représentations partagées de données multi-modales, multi-temporelles et multi-résolution et la robustesse aux données manquantes. De nouvelles méthodes seront proposées afin d’améliorer l'interprétabilité des prédictions faites à partir de textes et de données multimodales sur la tâche de la réponse automatique à des questions visuelles en particulier.