Réseaux de fonctions composées: apprentissage adaptatif pour l'approximation en grande dimension et la quantification d'incertitudes – COFNET

Les problèmes d'approximation en grande dimension se rencontrent dans tous les domaines du calcul scientifique et de la science des données, et notamment la résolution d’équations aux dérivées partielles (EDP), l’apprentissage statistique et la quantification d’incertitudes. Avec le succès récent des réseaux de neurones profonds (NN) et des réseaux de tenseurs arborescents (TN), des problèmes auparavant insolubles ne le sont plus. La demande d'algorithmes fiables et d'une meilleure compréhension des aspects théoriques est plus grande que jamais. Ce succès a suscité un vif intérêt pour l'analyse des compositions de fonctions et motive l'introduction de nouveaux outils d'approximation préservant les structures mathématiques des TN tout en ayant une meilleure expressivité, plus proche de celles des NN.
Le premier objectif est de proposer et d'analyser de nouvelles familles d'outils d'approximation basés sur des réseaux de fonctions compositionnelles (COFNETs) qui sont des compositions arborescentes de fonctions. Ces nouveaux outils se situent entre les TN arborescents et les NN et combineront le meilleur des deux mondes, à savoir (i) une structure mathématique bénéfique pour un apprentissage fiable, et (ii) une performance similaire aux NN pour de nombreuses applications, y compris les approximations de systèmes dynamiques. Notre objectif est d'analyser les propriétés fondamentales des COFNETs du point de vue de l'approximation et de l'apprentissage statistique. Nous visons également à développer des algorithmes robustes et efficaces pour ces nouveaux outils, notamment des techniques de compression et des algorithmes d'apprentissage adaptatifs utilisant des données en nombre limité et de faibles ressources de calcul. Nous espérons que les résultats auront un impact majeur sur le développement des méthodes d'apprentissage avec des outils basés sur des réseaux, en particulier les TN arborescents (un cas particulier des COFNETs) mais aussi les NN profonds.
Le deuxième objectif concerne la résolution de problèmes difficiles, directs ou inverses, en quantification d'incertitudes (QI). L'accent est mis sur les EDP paramétrées ou aléatoires avec interprétation probabiliste, dont les solutions s’expriment comme des fonctions de solutions d'équations différentielles stochastiques (EDS). Ces solutions présentent une structure compositionnelle naturelle. On s'attend donc à ce que les COFNETs présentent des performances similaires à celles des méthodes de l’état de l’art en QI, mais permettent également d'aborder de nouvelles classes de problèmes dont les solutions ne possèdent aucune régularité au sens habituel. Les COFNETs devraient également rendre viables les approches fonctionnelles pour les EDS et fournir une alternative efficace aux méthodes de Monte-Carlo. Pour les problèmes inverses bayésiens, une approche de type système de particules en interaction permet de déterminer la distribution a posteriori à partir de l'état stationnaire d'un système dynamique. Nous visons à analyser l'approximation de ces systèmes par COFNETs et à développer des algorithmes de reconstruction efficaces. Dans un cadre de transport optimal, nous envisageons la construction d’applications de transport avec COFNETs, permettant de pallier la malédiction de la dimensionnalité pour de nombreux problèmes de grande dimension.
Au-delà des applications en QI, les résultats théoriques et pratiques du projet devraient être applicables à un large spectre de problèmes et ouvrir la porte à une nouvelle direction de recherche prometteuse qui pourrait être bénéfique pour différents champs scientifiques.