Cartographier la Terre via l'imagerie aérienne en apprenant sur des données de jeux – MAGE

La communauté de la conduite autonome a pallié ce problème en utilisant les jeux vidéo pour simuler des situations difficiles à observer dans la réalité. Simuler des données d'OT est devenu possible grâce à des outils tels que CityEngine en créant des clones virtuels de villes entières. Ce projet vise à allier ces outils et permettre à l'apprentissage profond d'exploiter les données de simulation pour la cartographie rapide post-catastrophe. Nous nous appuierons sur des moteurs de jeux pour simuler des vues aériennes de villes avant et après incident (inondation, séisme, incendie). Ces images serviront de données supervisées complémentaires à la masse de données non-étiquetée existante. Nous rendrons les images simulées plus réalistes en développant des approches d'adaptation de domaine basées sur les modèles génératifs et nous développerons des méthodes d'apprentissage semi-supervisé sur le principe de l'auto-supervision pour la segmentation sémantique. Ceci nous permettra d'entraîner des modèles profonds capables de généraliser pour la cartographie des structures endommagées et l'identification des quartiers les plus touchés, facilitant la navigation des services d'urgence.

Le projet a permis le développement de WorldWeaver, un générateur procédural d'environnements 3D géotypiques, permettant de produire des jumeaux numériques basse fidélité d'aires géographiques sur le territoire français et partout tout dans le monde, à partir de données géographiques ouvertes.

Sur le plan de l'apprentissage profond, le projet a débouché sur plusieurs contributions :

- FlowEO, un modèle pour l'adaptation de domaine basé sur le flow matching, permettant de réaliser l'adaptation de domaine temporelle et l'adaptation de capteurs pour des problématiques de cartographie des sols à l'aide d'images d'observation de la Terre;

- ODEED, un modèle de détection d'anomalies basé sur les modèles de diffusion, capable d'identifier de manière non-supervisée des données « hors de la distribution d'entraînement », telles que des inondations.

MAGE a également étudié les applications des modèles génératifs à d'autres problématiques en observation de la Terre, comme InSARFlow pour le débruitage d'interférogrammes SAR pour l'estimation de déplacement des sols (par exemple, après un incident sismique). Le projet a également permis une collaboration sur le benchmark PANGAEA, pour l'évaluation des modèles de fondation géospatiaux.

Trois grandes lignes de recherche s'ouvrent en perspective suite au projet.

En premier lieu, les modèles génératifs se sont révélés être des outils polyvalents pour l'observation de la Terre, bien au-delà de la simple adaptation de domaine. Des nombreuses autres thématiques se prêtent à leur mise en œuvre, comme la super-résolution, la détection d'anomalie, l'augmentation de données et la simulation.

En second lieu, la génération procédurale s'est avérée être un outil puissant pour créer des jumeaux numériques géotypiques basse fidélité. Cependant, des limites existent encore pour combler les données manquantes, aussi bien visuelles (textures, détails architecturaux), que structurelles (géométrie des routes et des bâtiments). Des approfondissements dans le domaine des modèles neurosymboliques permettraient par exemple de combiner les a priori experts de la génération procédurale géographique à l'apprentissage statistique à partir de données réelles du territoire.

Enfin, si MAGE a permis d'obtenir des résultats préliminaires positifs dans l'usage de données synthétiques pour pallier l'entraînement de modèles de cartographie à partir d'images d'observation de la Terre, de nombreuses questions restent en suspens sur comment tirer au mieux parti des données réelles, et comment les combiner avec ces données de synthèse.

D'importants volumes de données d'Observation de la Terre (OT) sont disponibles grâce aux satellites européens Sentinel-2 et aux programmes français d'imagerie SPOT et BDORTHO. Néanmoins, cette masse de données est non-étiquetée et ne contient pas d'information sémantique utile pour l'apprentissage automatique de modèles pour des applications concrètes.

La branche du programme Copernicus dédiée à la gestion des catastrophes réalise des tâches de cartographie rapide qui pourraient fortement bénéficier de temps de réponse grâce à l'IA. L'interprétation des données de télédétection après une catastrophe (inondation, séisme…) relève actuellement du travail des experts. Ces incidents étant des événements peu fréquents, les jeux de données d'apprentissage sont particulièrement rares. La communauté de la conduite autonome a pallié ce problème en utilisant les jeux vidéo pour simuler des situations difficiles à observer dans la réalité. Simuler des données d'OT est devenu possible grâce à des outils tels que CityEngine en créant des clones virtuels de villes entières.

Ce projet vise à allier ces outils et permettre à l'apprentissage profond d'exploiter les données de simulation pour la cartographie rapide post-catastrophe. Nous nous appuierons sur des moteurs de jeux pour simuler des vues aériennes de villes avant et après incident (inondation, séisme, incendie). Ces images serviront de données supervisées complémentaires à la masse de données non-étiquetée existante. Nous rendrons les images simulées plus réalistes en développant des approches d'adaptation de domaine basées sur les modèles génératifs et nous développerons des méthodes d'apprentissage semi-supervisé sur le principe de l'auto-supervision pour la segmentation sémantique. Ceci nous permettra d'entraîner des modèles profonds capables de généraliser pour la cartographie des structures endommagées et l'identification des quartiers les plus touchés, facilitant la navigation des services d'urgence.