Systèmes de particules en interaction pour l'échantillonnage et l'optimisation: analyse, algorithmes et application à l'inférence statistique – IPSO

De nombreuses applications scientifiques nécessitent le calcul d'espérances par rapport à des mesures de probabilité en grande dimension. Une approche largement utilisée dans ce but, connue sous le nom de méthode de Monte Carlo par chaînes de Markov (MCMC), consiste à simuler une longue trajectoire d'une dynamique stochastique qui admet la distribution cible comme mesure invariante, de sorte que les espérances puissent être approximées en prenant des moyennes en temps sur la trajectoire. Bien que la méthode MCMC originale remonte aux années 1950, le développement et l'analyse des méthodes d'échantillonnage restent aujourd'hui un domaine de recherche mathématique extrêmement actif, motivé par la quantité toujours croissante de données à la disposition des scientifiques, par le désir de comprendre des problèmes en grande dimension, et par l'évolution de l'architecture des ordinateurs.

Un grand nombre de développements récents dans le domaine de l'échantillonnage sont basés sur l'utilisation de systèmes de particules en interaction, et sur leur analyse au niveau de l'équation de Fokker-Planck non-locale décrivant les systèmes dans la limite où le nombre de particules tend vers l'infini. Cette approche provient du domaine de l'optimisation et a conduit à d'importantes avancées. Elle a notamment permis des progrès considérables concernant la preuve rigoureuse de la convergence en temps long de méthodes largement utilisées, telles que le filtre de Kalman d'ensemble et l'optimisation par essaims particulaires.

L'amélioration, l'implémentation et l'analyse mathématique de méthodes d'échantillonnage et d'optimisation basées sur des systèmes de particules en interaction sont les objectifs principaux de ce projet. Les travaux que nous proposons d'entreprendre concernent deux classes particulières de méthodes : celles basées sur le consensus et inspirées de l'optimisation par essaims particulaires, et celles basées sur le filtre de Kalman d'ensemble, qui sont étroitement liées à des dynamiques de Langevin en interaction. L'efficacité de ces méthodes a été démontrée dans diverses applications, notamment l'échantillonnage de la distribution a posteriori et le calcul de son maximiseur dans le contexte des problèmes inverses bayésiens, ainsi que l'entraînement de grands réseaux de neurones.

Pour illustrer certains des défis qui seront rencontrés dans ce projet, décrivons brièvement l'une des applications clés nous motivant : les problèmes inverses bayésiens. Dans l'approche bayésienne pour les problèmes inverses, la distribution a posteriori est généralement connue à un facteur constant près, mais elle est en grande dimension et coûteuse à évaluer. De plus, il arrive souvent que ses dérivées soient difficiles ou trop coûteuses à calculer, et que sa matrice hessienne ait des valeurs propres très éloignées. Il est donc désirable de développer de méthodes sans dérivées qui, afin d'éviter des problèmes de conditionnement, possèdent une propriété d'invariance sous transformations affines.

Les recherches prévues dans ce projet contribueront à établir les bases théoriques du domaine émergent de l'échantillonnage et de l'optimisation par systèmes de particules en interaction et, combinées aux progrès informatiques récents concernant le calcul parallèle, ont un grand potentiel d'impact sur les applications.