Analyse d'image et apprentissage pour des données de télédétection multi-variées, -temporelles, -résolution et -source – MULTISCALE

Les objectifs du projet sont de définir de nouvelles méthodes pour construire une ou plusieurs représentations hiérarchiques à partir de données multivariées, multi-sources, multi-résolution et multi-temporelles. Ces représentations peuvent être exploitées pour permettre la construction d’attributs pertinents, ou pour directement effectuer un apprentissage multi-échelle sur la région d’intérêt. Nous proposons également d’intégrer une connaissance experte dans les phases de description et de construction de l’arbre lorsqu’elle est disponible (par ex. à partir de vérité terrain), avec comme objectif de guider le processus et ainsi améliorer la représentation finale. En résumé, ce projet a pour objectif de fournir un cadre méthodologique capable de s’adapter automatiquement à une zone d’intérêt qui requiert une analyse multi-échelle. Plus précisément, les objectifs méthodologiques peuvent être décrits comme suit :
- Extension des représentations hiérarchiques à des données multivariées, multi-sources, multi-résolution et multi-temporelles
- Intégration de connaissance a priori dans la construction
- Calcul d’attributs pertinents à partir des arbres
- Classification à plusieurs échelles
- Utilisation du LiDAR et de données optiques pour l’estimation de mouvement et classification
- Analyse multi-échelle dans un contexte urbain à partir de données SAR et optiques.
- Dissémination des résultats dans la communauté via l’implémentation des résultats dans des outils logiciels standards.

Un des objectifs est de construire des représentations hiérarchiques de données complexes. La conception de hiérarchies morphologiques à partir de données multitemporelles a fait l'objet d'une thèse, où plusieurs stratégies ont été proposées avec des algorithmes capables de gérer des flux de données. Concernant les connaissances préalables, nous avons développé une méthode de segmentation multi-échelle qui s'appuie sur des cartes d'appartenance de classe.
Un autre objectif est de fournir des caractéristiques significatives et robustes à partir des arbres. Tout d'abord, les profils d'attributs ont été fournis comme entrée aux LSTM. Un autre axe de recherche a considéré les profils d'attributs comme une entrée pour les réseaux de segmentation ou de classification. Pour les caractéristiques peu profondes, une nouvelle caractéristique a été introduite pour caractériser les modèles changeants dans les séries chronologiques d'images satellites.
MULTISCALE vise également à fournir des outils pour effectuer directement la classification (non)supervisée à plusieurs échelles. Nous nous intéressons à un nouvel espace : l'espace hyperbolique. Nous avons commencé à étudier leur pertinence dans le contexte du projet. En ce qui concerne l'utilisation de méthodes d'apprentissage profond dans ce contexte, l'utilisation de l'apprentissage métrique avec des LSTMs a été explorée et a montré des résultats prometteurs.
Concernant les données LiDAR, une version multi-échelle des outils habituels d'estimation de mouvement a été développée. Un doctorat a été soutenu dans ce contexte, traitant de la discrétisation de nuages de points Lidar 2d/3d avec des hiérarchies morphologiques et des NN profonds. En ce qui concerne le cas d'utilisation SAR, le premier objectif était de créer un jeu de données local de données SAR provenant de Sentinel-1. La tâche de classification de la couverture terrestre des images PolSAR à l'aide de réseaux de classification sémantique a aussi déjà été envisagée.

2 soutenances de doctorat de personnes impliquées dans le projet ont eu lieu pendant la première moitié de MULTISCALE. Les premiers travaux ont porté sur les hiérarchies morphologiques pour l'analyse des séries temporelles d'images satellites (3 publications directement liées au projet) ; les deuxièmes travaux ont traité de la reconstruction de nuages de points Lidar 2d/3d, avec 2 publications liées au projet.

MULTISCALE a permis plusieurs collaborations nationales multipartenaires (UBS-UR2, GTU-ITU) mais aussi une première collaboration multinationale entre UBS, UR2 et GTU [GRSM 2020]. Avec l'amélioration de la situation globale et la nouvelle gestion du projet, nous espérons qu'il sera suivi par d'autres.

- 4 articles de journal international
- 2 manuscrits de thèse
- 9 actes de conférences
- 2 implémentations dans des toolbox logiciel

MULTISCALE est un projet de recherche dont le but est de définir un cadre méthodologique complet et intégré pour l'analyse et l'apprentissage multi-échelles en utilisant des représentations hiérarchiques d'images complexes de télédétection. Ces représentations hiérarchiques ont conduit à un cadre efficace pour traiter des données panchromatiques ou au mieux multi-bandes mais leur application à des données complexes reste à explorer. De plus, malgré leur capacité à encoder naturellement une information structurelle à des échelles multiples, leur exploitation s'est pour l'instant limitée à une superposition d'analyses mono-échelles. Dans ce contexte, le projet MULTISCALE définit des nouvelles méthodes pour la construction de représentations hiérarchiques d'images à partir de données multivariées, multi-sources, multi-temporelles, à diverses résolutions spatiales, et fournit des outils d'apprentissage et d'analyse d'image dédiés pour réaliser une analyse multi-échelle. La nouvelle méthodologie sera implémentée dans des boites à outils logiciels utilisés par la communauté afin de disséminer les résultats. Le succès du projet sera évalué en testant le cadre proposé dans 2 applications de télédétection. Des avancées significatives sur les méthodes existantes sont attendues, tant en terme de performance que d'efficacité.