Images aériennes historiques pour la caractérisation des transformations des territoires – HIATUS

Une tâche nécessaire à la suite du projet était l’automatisation de la production de jeux de données de télédétection à partir des différents clichés bruts d'une prise de vue, i.e. à la génération automatique de mosaïques d'ortho-images correctement géoréférencées et radiométriquement homogènes et des modèles numériques de surface (MNS).

Cette tâche impliquait notamment d'automatiser la remise en géométrie des clichés (retrouver les paramètres de prise de vue), en s'appuyant sur les métadonnées approchées qui leur sont associées ainsi que sur des données orthoimage et MNS de référence récentes (détection automatique d'amers terrain). Une seconde tâche concernait l’égalisation radiométrique des images afin d'obtenir des mosaïques d’ortho-images homogènes radiométriquement (corrections du vignettage, et du hot-spot).

Une fois ce verrou de la production automatique de jeux de données levé, la production de séries temporelles de données (ortho-images et MNS) historique est devenue possible.

Le projet a alors abordé la question de l'analyse automatique de ces séries temporelles. Plusieurs approches ont été considérées.

La première approche s'est focalisée sur l'analyse de séries temporelles, afin d'y détecter et d'y caractériser différents types de changements (progressifs ou abrupts). D'un point de vue méthodologique, cela s'est traduit par la mise en place d'une part d'approches non supervisées intégrant des caractéristiques contextuelles , de manière à se rendre robuste au bruit et aux hétérogénéités de la série temporelle, et d'autre part d'une méthode de clustering collaboratif contraint (permettant l’intégration incrémentale et interactive de contraintes thématiques). Ces travaux ont aussi abordé la représentation de la série temporelle (modélisation à l'aide de shapelets).

Les autres approches se sont plutôt consacrées à chercher à retrouver des informations sur l'occupation du sol du passé, et en particulier à produire des segmentations sémantiques de millésimes particuliers de la série temporelle. Le verrou à lever tenait ici en l’absence de données de référence (apprentissage) correspondant aux millésimes anciens. D’un point de vue méthodologique, on souhaitait mettre en œuvre des approches permettant d’obtenir un modèle (apprentissage profond) à même de classer les images anciennes mais entraîné à partir de cartes de référence correspondant à la situation actuelle. On souhaitait notamment injecter dans le processus d’apprentissage les résultats d’une détection de changement (non supervisée) pour identifier les zones pérennes.

D’autres travaux de sémantisation ont alimenté des applications thématiques en écologie historique : suivi des écosystèmes forestiers d’une part, et effets des transformations urbaines sur la biodiversité (oiseaux et flore) d’autre part.

Un dernier objectif du projet était le développement d’un démonstrateur en ligne pour la visualisation des données du projet (2D / 3D) avec navigation temporelle.

Une chaîne automatique a été mise en place la production d'ortho-images géoréférencées et radiométriquement homogènes et de MNS à partir des prises de vues anciennes. On a amélioré et rendu plus robuste [Le Bris et al., 2018] (notamment sur l’orientation interne et sur l’identification d’amers terrain à partir de données récentes) au gré de la production des jeux de données du projet.

Dans le cadre du projet, elle a en effet permis de produire des jeux de données "ortho-images et MNS historiques" conséquents : plus de 20 millésimes sur les deux zones d'études (Strasbourg et Fabas ; > 500km²).

Une approche originale [Lelégard et al., 2020] a été mise en place pour l’égalisation radiométrique des images de manière à obtenir des mosaïques d’ortho-images homogènes radiométriquement (corrections des hétérogénéités dues au vignettage, au hot-spot notamment). L’impact des paramètres utilisés a été étudié [Lelégard et al., 2022].

Des travaux méthodologiques ont été conduits sur le clustering adaptatif et sous contrainte, ainsi que sur la représentation (sous forme de shapelets) de séries temporelles en vue d’y détecter et d’y caractériser des changements. [Lampert et al., 2019 ; Lafabregue et al. 2020 ; El Amouri, 2023].

Des travaux de détection de changement entre millésimes ont été menés. Une architecture d'apprentissage profond (CNN) faiblement supervisée nommée CDCLUSTER a été mise en place [Fernandez-Garcia et al., 2022]. Elle s'appuie sur des techniques d'apprentissage profond existantes qui exploitent le regroupement non supervisé pour attribuer des étiquettes à des images entières., mais qui sont ici appliquées à la différence entre les sorties de deux encodeurs siamois (dont les entrées sont les images correspondant aux deux dates). Une stratégie de « faible supervision » a été adoptée pour initialiser l'apprentissage non supervisé suivant vers des solutions fiables.

Pour la segmentation sémantique de données anciennes, un U-Net a été entraîné sur des images anciennes pour des labels d’apprentissage correspondant à la situation actuelle. Une détection de changements grossière entre images anciennes et contemporaines de ces données labellisées a été prise en compte pour pondérer la perte lors de l'apprentissage.

Dans le cadre d’expérience pour un cas d’usage thématique visant à étudier l’évolution de l’occupation du sol sur une zone particulière, un U-Net multi-tâches (classe d’occupation du sol, bords de parcelles) a été entraîné à partir de données spécialement labellisées.

Afin d’analyser les effets des transformations urbaines sur la biodiversité, [Derminon et al., 2024] a exploité des indices de texture (Haralick) pour estimer la composante arborée et bâtie des paysages urbains autour de stations écologiques. Ces estimations se sont révélées fiables pour comparer les sites entre eux pour une même année.

Le démonstrateur en ligne de visualisation des données (2D/3D) avec navigation temporelle a été développé.

Ces travaux ont permis de prendre contact avec différents acteurs d’autres communautés scientifiques qui ont manifesté un intérêt par les données produites par les méthodes mises au point dans le cadre du projet. De futurs travaux viseront donc à alimenter les travaux d'autres communautés scientifiques sur leurs thématiques de recherche.

Une partie des travaux amorcés dans le projet se poursuivent, notamment ceux sur la segmentation sémantique d'occupation du sol du passé. Ces travaux portent toujours sur le verrou liés à l'absence de jeux de données d'apprentissage (vérité terrain) contemporains des données (orthoimages et MNS) que l'on souhaite traiter.

Plusieurs stratégies sont envisagées

Les méthodes d'adaptation de domaine / transfert d'apprentissage restent une piste. Une autre approche peut être de s'efforcer de transférer le style des images anciennes vers les images actuelles (contemporaines et cohérentes avec la vérité terrain), et d'entraîner le modèle à partir de ce jeu de données "synthétique".

Enfin, dans le cas où l'on dispose d'une vérité terrain contemporaine des données images anciennes, mais trop restreinte pour permettre l'obtention d'un bon modèle, il est possible d'une part d'appliquer des techniques classiques d'augmentation artificielle des données (transformations géométriques et radiométriques aléatoires) ou d'explorer l'augmentation des données à l'aide de faux labels historiques générés par des modèles génératifs.

Les images aériennes argentiques d'archives apportent un point de vue unique sur la dynamique des territoires. En effet, elles permettent de produire des séries temporelles longues, denses, à très hautes résolutions spatiales et munies d’une information d'altitude. Cependant l'hétérogénéité des images et le manque de données de référence limitent le production des jeux de données des données et la possibilité d’en extraire de l’information sémantique. Nous pensons que la prise en compte de l’information d’altitude, la synergie entre méthodes de recalage et d’extraction d’information, la prise en compte de toute la série temporelle ainsi que la qualité des données pourront lever ces verrous.

Le projet HIATUS est une collaboration entre 5 laboratoires de recherche avec des compétences méthodologiques et thématiques complémentaires et une start-up. D'abord des méthodes pour améliorer le géo-référencement des images aériennes anciennes sont proposées. Pour cet objectif, nous suggérons d'identifier automatiquement des éléments de référence terrain permanents et denses. Ensuite, des méthodes de clustering et de transfert d'apprentissage
seront étendues pour prendre en compte l’hétérogénéité des données. L'idée est 'intégrer dans ces techniques des contraintes spatio-temporelles. Enfin, nous proposons de valoriser les jeux de données et méthodes produites. Une interface en-ligne sera établie permettant de visualiser les séries temporelles d'images anciennes, et l'évolution des territoires sur des cas concrets thématiques. Un outil interactif de détection de changement sera aussi implémenté.

Nous demandons le financement de 3 thèses et un post-doctorat sur les travaux de recherche. Une start-up sera en charge de la valorisation (2 ans). Le montant du budget est de 535 keuro réparti en recrutement (465 keuro), équipement (8 keuro), déplacements (46 keuro) et dépenses additionnelles (16 keuro) (organisation d'un workshop). Avec les frais de structure et de gestion, une enveloppe globale de 578 keuro est demandée.

Nous pensons que les méthodes génériques proposées seront très utiles dans le domaine du traitement des séries temporelles d'images, notamment pour prendre en compte le cas de séries multi-capteurs. Les résultats du projet HIATUS pourraient avoir un grand impact dans le domaine des sciences humaines et sociales. Beaucoup de challenges concernant l'évolution (2D/3D) des territoires au cours du 20eme siècle pourraient être étudiés; Par conséquent, nous nous efforcerons de distribuer les résultats autant à la communauté scientifique qu'au grand public en utilisant les Infrastructures de Recherche et les interfaces Web grand public.