Vous avez sans doute entendu l’appel du 18 juin prononcé par le Général de Gaulle lui-même ; vu, à la télévision, l’entretien inédit de Dalida avec le présentateur Thierry Ardisson dans Hôtel du temps ; ou découvert, en 2012, la mise en voix du journal intime de Marilyn Monroe dans le film Marilyn de Philippe Parreno. Pourtant, il n’existe aucun enregistrement radiophonique de ce discours, l’un des plus célèbres de l’histoire du XX^e siècle ; Dalida nous a quittés en 1987 ; et l’on n’a retrouvé aucune trace enregistrée d’un tel moment d’intimité de Marylin Monroe. Ce qui lie ces trois prouesses ? Des techniques de conversion vocale, du clonage à l’hybridation, dont s’est fait une spécialité l’Institut de recherche et coordination acoustique/musique, l’Ircam, et sa filiale technologique, Ircam Amplify. Saisissants, parfois étranges, ces avatars numériques interrogent notre rapport au réel et à l’artificiel.

L’Ircam, un pionnier dans la synthèse vocale

Les locaux de l’Ircam, situés à proximité du Centre Pompidou, sont enfouis dans les sous-sols de la capitale. À bonne distance et isolés des interférences causées par les activités humaines, explique Nicolas Obin. Fondé en 1977 par Pierre Boulez, compositeur et chef d'orchestre français, l’Ircam a construit entre la création artistique et la recherche scientifique une alliance pionnière. Dans ce laboratoire unique en France (et dans le monde), artistes et scientifiques cocréent, transforment des idées en outils concrets pour le cinéma, la musique ou encore les jeux vidéo, grâce à des technologies inédites. À l’ère de l’intelligence artificielle, de l'apprentissage profond ou deep learning et des assistants vocaux, l’Institut se place désormais comme précurseur en matière de création de voix de synthèse – ou synthèse vocale. « L’Ircam est un lieu où la recherche scientifique rencontre les besoins artistiques, offrant des solutions sur mesure impossibles à obtenir avec des outils standard », ajoute Nicolas Obin.

Ce spécialiste du traitement de la parole et de la communication humaine, qui travaille sur la voix de synthèse depuis plus d’une décennie, a piloté entre 2017 et 2021 le projet TheVoice – Design de voix pour l’industrie créative². TheVoice comportait deux volets : d’une part, parvenir à modéliser la « palette vocale » d’un acteur ou d’une actrice pour permettre la recommandation de voix par similarité – notamment dans le cadre de doublage pour les versions françaises ; et, d’autre part, créer des voix artificielles capables de reproduire l’identité vocale d’un acteur ou d’une actrice. « La synthèse vocale à l’Ircam a toujours eu pour vocation de créer de nouveaux moyens d’expression pour les artistes, depuis les modèles basés sur la connaissance jusqu’aux modèles basés sur les données, et en particulier les réseaux de neurones profonds », précise le chercheur. « Pour explorer l’augmentation artificielle des capacités humaines, la première étape est d’être capable d’en reproduire le fonctionnement. Ainsi, le clonage de l’identité vocale constitue une première phase fondamentale préalable à la possibilité de dépassement des capacités vocales humaines. Ce sont les possibilités rendues accessibles dans une seconde phase qui deviennent intéressante pour la création », poursuit-il.

Sculpter les voix par le numérique : l’IA, une révolution ?

En 2012, la première reconstitution vocale du laboratoire a été celle de Marilyn Monroe, dans le cadre d’un court métrage de l’artiste plasticien français Philippe Parreno³ s’incarnant dans la suite de l’hôtel Waldorf Astoria où l’actrice vécut au cours des années 1950. Les chercheurs ont travaillé avec des enregistrements existants et utilisé des approches hybrides pour recréer la voix de l’actrice, mêlant performance humaine et synthèse vocale. « Dans le cas de Marilyn Monroe, c’était un défi à la fois technique et émotionnel de recréer une présence aussi iconique. À l’époque, nous avons utilisé notre créativité pour surmonter les limites technologiques. » souligne Nicolas Obin. 10 ans plus tard, en 2022, ils sont contactés par le réalisateur de Blonde, Andrew Dominik, qui « souhaitait appliquer une technique similaire pour ajuster l’accent de l’actrice, Ana de Armas ».

Entre-temps, 2016 marque un tournant. L’arrivée sur le marché de WaveNet, proposé par Google DeepMind, bouleverse le domaine de la synthèse vocale. « C'était le premier réseau de neurones capable de générer automatiquement du son de haute qualité, qu'il s'agisse de parole ou de musique », se souvient-il. « Depuis, n’importe qui peut produire une synthèse vocale extrêmement réaliste en utilisant les dernières architectures neuronales. » Comment ? Les réseaux de neurones sont utilisés pour encoder les informations liées à différents paramètres de la voix (intonation, timbre, phonèmes, etc.) à partir de grandes quantités de données (des modèles massivement multilocuteurs et multilingues, utilisant aujourd’hui des bases de données de 50 000 à 100 000 heures d’enregistrement). Le réseau de neurones apprend les corrélations statistiques entre ces paramètres à partir de grandes masses de données, ce qui permet d’en manipuler une partie seulement (comme l’intonation), tout en conservant la cohérence de l’ensemble (c’est-à-dire de préserver le naturel de la voix). « Par ailleurs, il est également possible lors de l’apprentissage de démêler ces paramètres pour rendre leur manipulation intuitive et de les recombiner à loisir », ajoute le chercheur. Grâce à ces algorithmes, ils parviennent ainsi à modéliser la structure de la voix humaine pour en générer de nouvelles, de remodeler des voix existantes, ou d’en recomposer à partir de plusieurs voix ou sources sonores.

Capture extraite de la vidéo L’appel du 18 Juin reconstitué par l'intelligence artificielle ?
Un défi relevé par Le Monde, en partenariat avec l’Ircam et Ircam Amplify,
qui a tenté de recréer l’appel du 18 juin 1940 du général de Gaulle,
dont il n’existe aucun enregistrement⁴. © Le Monde

TheVoice : redonner vie aux voix du passé, imaginer celles de demain

Les réseaux de neurones ont ainsi révolutionné la synthèse vocale. Ces avancées permettent aujourd’hui de transférer l’identité vocale d’une personne à une autre avec une simple empreinte sonore de quelques secondes à quelques minutes (comme des archives audios) contre de longues heures auparavant. « À l’Ircam, nous avons développé des algorithmes qui permettent de manipuler la voix d’un acteur ou d’un chanteur, modifiant des paramètres tels que le timbre, l’intonation ou même l’émotion. » Ces procédés, qui reposent sur des choix d’interprétation humains, ont été utilisés dans le cadre du projet TheVoice pour recréer des voix historiques, comme celle de Dalida dans Hôtel du Temps, à partir de la voix d’une comédienne, Julie Chevallier ; celle de l’appel du 18 juin du Général de Gaulle, pour laquelle l’acteur et humoriste François Morel s’est prêté au jeu ; ou encore Marilyn Monroe, précédemment citée. Leurs travaux ont aussi permis de créer des voix complètement artificielles, comme dans l’œuvre d’Alexander Schubert, Anima^TM . « TheVoice a été un projet de recherche décisif pour la réalisation d’avancés majeures de conversion neuronale de l’identité vocale », s’enthousiasme Nicolas Obin. Pour lui, Ircam Amplify a joué un véritable rôle d’accélérateur du transfert de résultats de recherche en solution exploitable dans des productions artistiques et industrielles.

Éthique et algorithmes : comment dépasser les polémiques ?

Au-delà du potentiel certain de l’IA générative dans les métiers créatifs, Nicolas Obin met toutefois en garde contre l'emballement qui l’entoure. D’abord, parce que ces nouvelles technologies risquent d’amplifier les problèmes écologiques et éthiques du numérique. Par exemple, peut-on moralement « réveiller » des voix défuntes ? Difficile d’écarter le fait que les voix du passé véhiculent immanquablement des souvenirs. Pour un documentaire d’Arte, les chercheurs ont travaillé à recréer celle d’Isaac Asimov, l’un des pères de la science-fiction. Mais le projet n’a pu être finalisé à la suite du refus de la fille d’Asimov d’intégrer la voix artificielle de son père dans le documentaire. Ensuite, parce qu’elles soulèvent aussi des défis économiques et artistiques qui bouleversent les écosystèmes fragiles de la création sonore et musicale.

Le chercheur insiste ainsi sur l’importance de transparence et d’éthique pour ces technologies face, notamment, aux enjeux des deepfakes, depuis les risques en termes de cybersécurité et de manipulation malveillante par usurpation d’identité vocale, jusqu’aux questions de création artistique et musicale. « On entend souvent dire que l’Europe régule pendant que le reste du monde innove. Mais ce n’est pas vrai. D’une part, la France et l’Europe possèdent des atouts en recherche scientifique et en innovation technologique ; et, d’autre part, nous avons la possibilité et la responsabilité d’exprimer une voix singulière et de promouvoir des propositions alternatives, pensées dans leurs implications éthiques, culturelles et sociétales, depuis la conception des algorithmes comme de leurs usages pour la création », pointe le chercheur.

Dans ce but, Nicolas Obin a récemment publié une tribune, avec un collectif de scientifiques de l’Ircam, dans le dernier numéro de la revue du ministère de la Culture, Culture et Recherche, consacrée à l’IA : « Pour une intelligence artificielle responsable au service d’une création musicale, inventive et diverse ». Dans ce texte, ils appellent à une IA augmentative et non remplaçante, un moyen d’amplifier la créativité humaine plutôt que l’automatiser ou la supplanter. « L’artiste a toujours utilisé tous les moyens à disposition dans son environnement pour créer. Ce qui était produit à partir des moyens de la nature hier est devenu technologique et artificiel aujourd’hui, et il est tout autant naturel de les utiliser. » Le collectif réaffirme et généralise le principe d’exception culturelle, ouvrant ainsi de nouvelles perspectives pour les industries créatives. « Chaque technologie a ses bénéfices et ses risques. Il faut une vision raisonnée qui évalue les usages potentiels de manière équilibrée, sans tomber dans l’hystérie, qu’elle soit optimiste ou alarmiste. », conclut-il.

À lire

.Clones, filtres et fakes...Éthique et IA, par Pierre Saint-Germier, philosophe (CNRS)

¹ Nicolas Obin est Maître de conférences à Sorbonne Université et chercheur dans l'équipe Analyse et synthèse des sons au sein du laboratoire Sciences et technologies de la musique et du son (STMS, CNRS / Sorbonne Université / Ircam / Ministère de la Culture).
² https://anr.fr/Projet-ANR-17-CE23-0025
³ https://www.cinematheque.fr/film/134143.html
⁴ Sont impliqués dans cette reconstitution : Ircam Amplify : Frédéric Amadu, Directeur technique, Elias Karam, Chef de projet ; Ircam : Axel Roebel, Directeur de recherche de l’équipe Analyse et Synthèse des Sons au sein du laboratoire STMS, Sylvain Cadars, Ingénieur son et musique assistée par ordinateur.
⁵ https://www.ircam.fr/agenda/animatm-2/detail

Imaginons un modèle d’intelligence artificielle dont le but est de déterminer si deux mots sont synonymes. La proximité phonétique ne sera guère utile, pas plus que la comparaison du nombre de lettres, ni même des lettres utilisées. « Château » et « chapeau » sont en effet proches sur ces trois plans, mais loin de désigner le même objet ou concept. Il faut donc trouver un autre moyen, et cela passe par enseigner à notre modèle d’IA à apprendre à partir d’une représentation de ce que sont des synonymes dans le langage. « Nous avons besoin d’exemples à lui fournir, et ça tombe bien : nous ne manquons pas de dictionnaires des synonymes », pointe Paul Honeine, Professeur en intelligence artificielle à l’université de Rouen Normandie. « Il suffit alors d’entrer des mots en lui disant s’ils sont synonymes ou pas. »

La tâche serait fastidieuse s’il fallait apprendre à l’IA la totalité des synonymes, en lui précisant également leur degré de proximité. « Couvre-chef » est un synonyme plus proche de « chapeau » que ne l’est « bonnet », pourtant synonyme éloigné. Alors, pour simplifier les choses, les spécialistes recourent à des réseaux de neurones profonds : une succession de nœuds de calculs en couche, chaque résultat d’un calcul étant poussé vers la couche suivante, constituant ainsi une série d’opérations complexes. « L’enjeu de l’apprentissage profond est de faire apprendre à l’intelligence artificielle la bonne représentation. Dans un monde parfait, nous parlerions d’ailleurs d’apprentissage de représentation, et pas d’apprentissage profond », souligne Paul Honeine. Et pour cela, il faut… changer d’espace ! Pas de panique, nous restons bien sur Terre.

Changer d’espace, en mathématiques, c’est augmenter ou diminuer le nombre de dimensions. Un peu comme passer de l’observation d’un océan en 2D, à sa contemplation en 3D. À la surface : un plan bleu, sans volume. En 3D, l’océan prend toute sa profondeur, et on peut alors en découvrir les volumes, les reliefs, et toute la vie. « À mesure que l’on s’enfonce sous la surface, on apprend plus de choses, mais on perd également en visibilité », avertit le chercheur. Car si l’apprentissage de représentation permet à l’IA de découvrir de nouveaux liens entre les éléments qui lui ont été fournis, elle le fait de manière de plus en plus obscure à mesure qu’elle jongle entre les dimensions. Or, pour l’IA comme pour le plongeur, vient un moment où il faut remonter à la surface.

Sortir la pré-image des abysses

« Nous ne savons pas ce que le modèle d’IA a appris en profondeur, donc il faut contrôler », insiste Paul Honeine. Un point crucial, à la fois pour vérifier l’efficacité du modèle, mais aussi pour pouvoir l’expliquer, à l’heure où de plus en plus de questions se posent quant à la transparence des systèmes intelligents. Or, cette remontée à la surface est loin d’être évidente. Parlons en termes plus techniques : il s’agit de trouver la pré-image, c’est-à-dire de projeter le résultat obtenu dans un espace opaque pour l’humain, vers l’espace de départ que nous autres humains pouvons appréhender. L’IA a utilisé plusieurs fonctions mathématiques pour apprendre la représentation dans un autre espace. « Nous ne connaissons rien de cette représentation obtenue par l’IA, donc nous ne connaissons rien non plus de la fonction de retour vers la pré-image », simplifie Paul Honeine.

Prenons un nouvel exemple avec une IA entraînée à reconnaître des animaux. L’humain lui fournit des exemples d’animaux (en surface). Elle traite ces images par une série de fonctions, qui permettent de modifier la dimension et de rentrer ainsi dans l’espace d’analyse (l’IA plonge). Là, l’IA trouve des paramètres de similitudes ou d’exclusions pour regrouper les animaux (en profondeur). À présent, elle doit revenir dans l’espace initial intelligible pour l’humain (en surface). Sauf que, mathématiquement, ce passage n’est pas bijectif. Autrement dit : pour un résultat obtenu en profondeur, il existe plusieurs pré-images possibles en surface. « L’IA peut avoir très bien appris à séparer les animaux, mais lorsque nous lui demandons ce qu’est un chien, elle peut nous remonter un chien à cinq pattes », explique le chercheur. « C’est tout le problème, ou plutôt la malédiction, de la pré-image. ».

C’est pour tenter de lever ce mauvais sort que Paul Honeine et son équipe ont monté le projet ANR APi (Apprivoiser la pré-image), lancé en 2019 pour une durée de 4 ans. L’équipe a travaillé sur des méthodes mathématiques pour intégrer des a priori dans les modèles d’apprentissage. Cela revient à exclure des solutions possibles, pour concentrer l’IA sur des résultats crédibles. « Corriger les résultats a posteriori, en analysant chaque réponse et en disant si elle est juste ou non, serait trop fastidieux, bien que ce soit le plus simple », problématise le chercheur. « Ce que nous voulons, c’est plutôt prévenir l’IA en amont que telle solution ne sera pas acceptable, par exemple parce qu’un animal à cinq pattes n’existe pas. »

Des graphes moyens pour des molécules précises

Dans le cadre du projet APi, les équipes ont travaillé sur des problèmes plus complexes que la reconnaissance de chiens et de chats. Parmi les cas d’étude, on trouve notamment la chimie moléculaire. L’objectif est ici d’entraîner une IA à apprendre les propriétés des molécules, leurs fonctionnalités, pour pouvoir ensuite lui demander de générer des molécules répondant à des spécifications particulières. Une perspective attrayante pour la médecine ou la cosmétique, car cela pourrait permettre un jour d’aider les chimistes à synthétiser de nouvelles molécules. « Par exemple, nous avons un ensemble de molécules avec chacune des propriétés intéressantes, et nous voulons en générer d’autres qui contiennent ces propriétés », détaille Paul Honeine. « S’il s’agit d’un ensemble de trois molécules, nous voulons échantillonner à l’intérieur d’un triangle où les trois molécules sont des sommets, comme un barycentre en géométrie. » Toutefois, les molécules sont des entités complexes, et la réalité se révèle plus délicate que de trouver une forme géométrique moyenne. « Lorsque nous représentons ces molécules par apprentissage profond, nous apprenons un espace de représentation approprié dans lequel nous pouvons faire ces opérations. »

Illustration des opérations de transformations non linéaires pour une couche de réseaux de neurones profonds sur graphes. Chaque résultat du calcul est poussé vers la couche suivante, produisant ainsi une série d’opérations complexes qui rendent les résultats obtenus de plus en plus obscurs à appréhender.
© Projet ANR APi / Université de Rouen Normandie

Là encore, il a fallu résoudre le problème de la pré-image. L’IA apprend en profondeur à reconnaître les structures moléculaires et les différentes fonctions chimiques (alcool, ester, cétone, etc.). Or, la chimie est régie par des règles strictes, comme le fait qu’un atome de carbone ne puisse avoir que quatre liaisons chimiques. Il faut donc apprendre à l’IA à ne pas remonter des molécules comportant des atomes de carbone avec plus de quatre liaisons – car ce sont des aberrations –, afin d’obtenir des molécules crédibles.

Génération d'une molécule barycentre à partir d’un ensemble de molécules disponibles. Alors qu’il est pratiquement impossible de la calculer directement, les réseaux de neurones profonds permettent de représenter les molécules, modélisées par des graphes, dans un espace approprié pour les calculs. La synthèse de la molécule barycentre est alors obtenue en revenant à l’espace des molécules par la résolution du problème de pré-image.
© Projet ANR APi / Université de Rouen Normandie

Synthèse de molécules par interpolation entre deux molécules. Le concept d’interpolation, difficilement concevable directement sur les molécules, est opéré facilement en représentant ces deux molécules par apprentissage profond, puis en opérant l’interpolation dans l’espace de représentation obtenu. Le retour à l’espace initial permet de synthétiser les molécules intermédiaires. Ainsi, on retrouve une série d’opérations pour transformer la molécule d'en haut à gauche en celle d'en bas à droite, où les opérations élémentaires sont l’insertion et la suppression d'un atome ou d'une liaison chimique.
© Projet ANR APi / Université de Rouen Normandie

L’équipe du projet APi utilise ces résultats dans d’autres domaines – comme les séries temporelles – pour exploiter des données qui ne sont pas échantillonnées sur des temps réguliers, afin d’en tirer du sens. En marge des sujets de recherche, le projet a également mené à la création de deux start-ups. La première, Xpdeep, entend générer des réseaux de neurones explicables, où il est aussi question de comprendre le retour à l’espace initial de représentation. La seconde, Tellux, s’affaire à développer des modèles d’IA sur les images des caméras hyper-spectrales, pour lesquelles chaque pixel n’est plus composé de trois couleurs, mais d’un spectre de réflectance plus large permettant d’analyser, par exemple, les éléments chimiques présents dans un sol. « L’objectif est de pouvoir éclairer les chimistes grâce à l’IA en détectant des polluants ou des éléments spécifiques dans la terre », explicite Paul Honeine. « Avec, là encore, des problématiques de retour à l’espace initial pour justifier clairement la présence d’hydrocarbures ou de métaux lourds par exemple. » Plus d’explicabilité, donc plus de confiance dans l’IA.

Calcul d’une moyenne de plusieurs séries temporelles. La colonne de gauche présente des exemples de cinq caractères manuscrits et d’une spirale. La colonne de droite illustre la forme moyenne de chacun, obtenue par la résolution du problème de pré-image.
 
 © Thi Phuong Thao Tran (2020) Interpretable time series kernel analytics by pre-image estimation. Computer Arithmetic. Université Grenoble Alpes, thèse de doctorat

Coordonné par Anne Puissant, Professeure au sein du Laboratoire image, ville, environnement (LIVE) de l’Université de Strasbourg, le projet TIMES (2017-2022) a réuni les expertises complémentaires en géosciences, en informatique et en sciences des données du LIVE, de l’EOST (École et Observatoire des Sciences de la Terre), de l’IRIMAS (Institut de recherche en Informatique, Mathématiques, Automatique et Signal de l’Université de Haute-Alsace), du LIPADE (Laboratoire d'informatique Paris Descartes de l’Université Paris Cité) et d’ICube (Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie de l’Université de Strasbourg), avec pour objectif de créer des outils et modèles pour exploiter des données massives, hétérogènes et acquises à de très hautes fréquences temporelles.

Développer de nouvelles chaînes d’exploitation des données satellitaires et géophysiques

Les données d’observation de la Terre, qui peuvent être utilisées pour cartographier et surveiller l'environnement, sont de natures très diverses. Il peut s’agir de nuages de points topographiques, de photographies aériennes ou terrestres – par exemple acquises par des drones –, d'images satellitaires avec des données en 3D ou encore de données de capteurs au sol tels que des réseaux de sismomètres. Cette prolifération de données, produites quotidiennement, représente un véritable défi en matière d’analyse pour identifier des signaux d’intérêt pertinents.

Les satellites européens de la mission Sentinel-2 sont conçus pour jouer un rôle clé de cartographie des classes d'occupation des sols et de surveillance des changements au fil du temps. ©ESA/ATG medialab

L’exemple des images satellitaires illustre avec pertinence la massification des données disponibles. « Avec la mise en orbite du premier satellite de la mission Sentinel-2 en 2015, il a été possible d’acquérir tous les 5 jours des images de 100 km par 100 km à 10 m de résolution spatiale, alors qu’auparavant de telles images étaient, en moyenne, disponibles seulement une fois par mois. Cette haute fréquence temporelle constituait à la fois un levier d’accélération de la production de connaissances et un verrou à lever, rendant nécessaire la mise en place de nouveaux outils et modèles d’exploitation des données », explique Anne Puissant. Le défi est d’autant plus grand que les séries d’images nécessaires pour étudier certains objets ou dynamiques se déploient sur plusieurs années, permettant de documenter des trajectoires d’évolution. Ceci engendre de tels volumes de données qu’il est nécessaire de disposer d’espaces de stockage tant pour ces données de référence que pour des données temporaires issues des calculs, ainsi que de ressources de calcul suffisantes et adaptées (calculateur haute performance, HPC). Dans le même ordre d’idée, avec le déploiement en continu de réseaux de capteurs au sol et un accès facilité aux données grâce aux entrepôts de données, il est possible d’analyser des volumes plus importants de données, à plus haute fréquence temporelle, et de détecter des signaux sismiques encore inconnus ou non catalogués.

Au cœur du projet TIMES se trouvait la mission de développer et valider des chaînes de traitement adaptées à l’analyse de ces données massives en s’appuyant sur des méthodes d'IA basées sur l'apprentissage automatique et l'apprentissage profond. Ainsi, plusieurs chaînes d’apprentissage automatique capables de détecter et d'identifier les signaux de glissements de terrain ou de volcans dans les enregistrements sismologiques, ou de mieux cartographier et détecter les changements dans les tissus urbains, c’est-à-dire les caractéristiques des quartiers des villes, à partir d’images satellitaires ont été élaborées.

Travailler à l’échelle des territoires

L’ancrage dans les territoires a constitué une des forces du projet TIMES. Comme le souligne Anne Puissant : « Les travaux des équipes de recherche ont été menés au plus près des problématiques territoriales, car il est essentiel de répondre à des besoins exprimés par les acteurs locaux et les collectivités. L’IA adaptée aux images satellitaires permet d’étendre les surfaces étudiées à l’ensemble d’une région ou d’un pays, et ce changement d’échelle apporte de nouvelles clés de compréhension aux scientifiques et aux décideurs publics. »

Grâce à l’IA, les scientifiques et les décideurs publics bénéficient de nouvelles clés de compréhension des dynamiques environnementales.

Dans la Région Grand Est, le contexte urbain et périurbain a été cartographié en suivant plusieurs classes d’utilisation et d’occupation des sols sur la base de séries temporelles d'images satellitaires. Des méthodes fondées sur l'apprentissage automatique non supervisé ont été conçues pour surveiller la dynamique des surfaces d'eau et leur extension en cas d’inondation. D'autres méthodes, basées sur l'apprentissage profond, ont également été développées pour le suivi de la couverture végétale et du tissu urbain. Elles permettent aux gestionnaires publics de mieux connaître les dynamiques intra-urbaines, d’identifier les zones en construction et de suivre l’évolution des villes.

Résultat d'inférence d'un modèle de segmentation sémantique sur plusieurs villes en France (Dijon, Lille, Orléans) à l'aide de l'IA et à partir d'images du satellite Sentinel-2. © projet TIMES – Référence : Wenger, R., Puissant, A., Weber, J., Idoumghar, L., & Forestier, G. Exploring inference of a land use and land cover model trained on MultiSenGE dataset. Joint Urban Remote Sensing Event (JURSE), 2023.

Les territoires de montagne (Alpes françaises) ou volcaniques (océan Indien, Mayotte) ont également fait l’objet de développements spécifiques en relation avec les activités d’observation long terme pilotés par l'École et Observatoire des Sciences de la Terre (EOST). Le projet a permis de créer des méthodes, supervisées et non supervisées, de détection de sources sismiques ignorées ou mal connues telles que des glissements de terrain (par exemple pour créer des catalogues d’événements et comprendre leur déclenchement en lien avec le climat) ou les volcans (par exemple pour suivre le déroulement des séquences éruptives, depuis les chambres magmatiques en profondeur jusqu’à la surface et aux cratères). 

Détection des séquences éruptives et de leur chronologie en appliquant des techniques d’IA de type apprentissage auto-supervisé (SSL) à des données sismologiques marines. Exemple du volcan sous-marin de Fani Maoré (Mayotte, océan Indien) avec des exemples d’événements sismologiques (traces du signal et spectrogrammes) et leur classification en groupes (ici appelés cluster) qui se succèdent dans le temps. © Rimpôt et al. (2025), doi.org/10.1093/gji/ggae361.

Ouvrir les modèles et les données

« Pour qu’un modèle d’IA ait la capacité de prédire, par exemple une classe d’occupation des sols ou un type de source sismique, il est nécessaire de disposer de données d’entraînement. L’un des enjeux pour nous était donc de diffuser les résultats de nos travaux et de mettre à la disposition de la communauté scientifique les jeux de données constitués, les modèles d’IA entraînés et les codes d’analyse, afin que d’autres puissent les utiliser pour leurs recherches, dans le cadre d’une politique de science ouverte », précise Anne Puissant.

Il était essentiel de mettre à la disposition de la communauté scientifique nos modèles d’IA et les jeux de données.

Par l’intermédiaire de l’Infrastructure de recherche Data Terra et de ses pôles de données thématiques – THEIA (pour les surfaces continentales) et ForMaTerre (pour la Terre solide) –, il est possible d’accéder aux résultats obtenus dans le cadre du projet TIMES. Certaines chaînes de traitement, en particulier celles développées pour détecter les glissements de terrain et la manière dont ces derniers se déforment, ont également été mises à la disposition des chercheurs et des chercheuses via la plateforme européenne d’analyse GEP (Geohazards Exploitation Platform).

Répondre aux nouveaux enjeux de l’IA

Afin de poursuivre et d’approfondir les travaux du projet TIMES, d’autres projets ont émergé, tels que les projets de recherche HighLand (2021-2025) et le projet M2-BDA débutant en 2025 avec le soutien de l’ANR (Appel à projets générique 2024). Parmi les réflexions qui orienteront les travaux de l’équipe de recherche M2-BDA, deux dimensions reflètent les enjeux majeurs actuels en matière de recherche scientifique et d’IA.

La première concernera la durabilité et l’empreinte environnementale des modèles utilisés. Comme le rappelle Anne Puissant, « certains modèles d’IA sont très consommateurs en ressources ou nécessitent énormément de données d'entraînement pour obtenir des résultats ».

La seconde consistera à trouver des solutions pour faire fonctionner des modèles sur des problématiques ne disposant pas de volumes suffisants de données d’entraînement. « Dans certains cas, il peut être intéressant d’entraîner un modèle plus petit et de le rendre ensuite adaptable à d'autres données ou de trouver des approches qui vont être moins supervisées, non guidées par des exemples, tout en veillant à construire les modèles les plus pertinents possibles. Il faudra donc être vigilant et choisir les bonnes stratégies d’IA. », conclut Anne Puissant.