Observation de la Terre et IA Générative pour la Reconnaissance d'Événements rares – OGRE

La disponibilité croissante de données de télédétection, comme celles provenant de la constellation Sentinel, offre de nombreuses opportunités pour l'automatisation de tâches en observation de la Terre. Cependant, la majorité des données brutes transmises quotidiennement par les capteurs décrivent des phénomènes courants dont l'analyse détaillée n'est pas indispensable. À l'inverse, les événements d'intérêt peuvent se retrouver noyés dans la masse d'information. Compte-tenu de la masse de données de télédétection acquise chaque jour, il devient crucial de pouvoir automatiquement identifier les observations les plus riches en information. L'intelligence artificielle peut ainsi jouer un rôle en aidant à filtrer les acquisitions inhabituelles pour une interprétation plus approfondie.

Le projet OGRE (Observation de la Terre et IA Générative pour la Reconnaissance d'Événements rares) a pour objectif de développer de nouvelles méthodologies utilisant les modèles génératifs profonds afin d'identifier des événements extrêmes dans des piles multimodales SAR/optique d'images de télédétection. Nous faisons l'hypothèse que les images les plus pertinentes sont celles présentant un caractère inhabituel, déviant de la distribution habituellement observée. Cette définition regroupe ainsi les catastrophes naturelles (inondations, incendies, tempêtes, séismes...), des événements environnementaux et météorologique extrêmes (fonte des glaces, sécheresses prolongées) ou des activités humaines anormales, voire illégales (déforestation, contrebande, construction non réglementée). Pour ce faire, le projet croise l'état de l'art en détection non-supervisée de données « hors distribution » et celui des modèles génératifs profonds tels que les modèles de diffusion et les auto-encodeurs masqués. En effet, ces modèles permettent d'apprendre la distribution des observations « normales », sans aucune supervision. Des critères, tels que l'erreur de reconstruction, permettent alors d'estimer la vraisemblance d'une nouvelle observation et de la placer soit comme étant représentative de la distribution, soit comme étant en marge de celle-ci. Les images ainsi identifiées correspondent plausiblement à des événements rarement observées dans la distribution initiale.

La force du projet est de construire un cadre de travail dédié à l'imagerie de télédétection, en développant des modèles génératifs adaptés à l'imagerie optique multispectrale et à l'imagerie SAR, bien au-delà des modèles habituels de la vision par ordinateur. En s'appuyant sur ces outils, le projet évolue selon trois directions:
- le conditionnement des modèles génératifs et leur influence sur la capacité à détecter différents types d'événements extrêmes, afin de prendre en compte que certains phénomènes ne sont rares que dans certains contextes (une tempête de neige est exceptionnelle à Paris mais commune à Anchorage, Alaska),
- la localisation spatiale de l'événement, afin de placer précisément où dans l'image se situe l'événement extrême, jusqu'au niveau du pixel,
- la prise en compte de la temporalité des phénomènes en étendant les modèles génératifs au cas des séries temporelles d'images satellitaires, permettant d'identifier des événements rares constituant des ruptures (par exemple, changements du tissu urbain).

Le croisement des modèles génératifs et de la détection de données en queue de distribution est entièrement nouveau pour l'observation de la Terre. Le projet construit donc un cadre méthodologie nouveau, au caractère fortement exploratoire. Toutefois, il se raccroche à plusieurs cas d'usage réels, sur lesquels ces nouvelles méthodes seront validées expérimentalement, allant de la segmentation d'inondation à la détection de fonte des neiges en passant par l'identification de deep fakes et le suivi des changements urbains.