Mathématiques de l'optimisation déterministe et stochastique liées à l'apprentissage profond – MaSDOL

Le projet sera structuré comme suit :
- Partie I - Principes fondamentaux de l'apprentissage automatique :
Tâche 1 - Méthodes d'accélération, au-delà des problèmes convexes. Coordinateur : C. Dossal
Taux d'algorithmes inertiels, robustesse, lien avec les systèmes dynamiques, analyse non asymptotique, situation en dimension infinie.

Tâche 2 - Algorithmes stochastiques et échantillonnage avec erreurs. Coordinateur : G. Fort
Fonction cible insaisissable et paramètres stochastiques, problèmes multimodaux. Non-convexité. Applications en statistique. Échantillonnage.

Tâche 3 - Transport optimal, optimisation et statistiques. Coordinateur : J. Bigot
Géométrie et transport optimal, régularisation, méthodes stochastiques.

- Partie II - Théorie de l'apprentissage profond :
Tâche 4 - Méthodes d'optimisation pour l'apprentissage profond. Coordinateur : E. Pauwels
Nouveaux algorithmes dédiés, Adaptabilité des algorithmes d'entraînement des réseaux profonds, Sensibilité et généralisation,

Tâche 5 - GAN : théorie des jeux et OT. Coordinateur : J. Renault
Développement et utilisation de méthodes d'optimisation robuste à géométrie complexe, GANs, Deep Learning et transport optimal computationnel, Dynamique non linéaire pour l'entraînement de GANs, GANs et algorithmes de théorie des jeux.

Tâche 6 - Stabilité et généralisation pour les systèmes en interaction et le N.N. profond Coordinateur : S. Gadat
Stabilité des systèmes interactifs de l'IA, stabilité des GANs, sensibilité et échantillonnage non-uniforme pour l'entraînement des réseaux profonds,

- Partie III - Expériences numériques et applications :
Tâche 7 - Expériences numériques et applications. Coordinateur : M. Serrurier.
Segmentation d'images avec GAN, Augmentation de données avec GAN pour l'apprentissage supervisé, Bio-informatique, Traitement de données sur les graphes.

Le consortium réunit un mélange unique de chercheurs en statistiques, en optimisation, en apprentissage automatique et en théorie des jeux. Cette combinaison unique de ces domaines des mathématiques devrait permettre de réaliser des percées importantes dans la théorie de l'apprentissage profond. Les membres de MaSDOL sont de la plus haute qualité académique (membres de l'IUF, poste senior au CNRS, comité de rédaction de revues internationales de premier plan dans leurs domaines) et collaborent déjà entre eux, démontrant l'importante synergie existante entre TSE & IMT, TSE & IMB et IMT & IMB.
Ces 3 thèses de doctorat permettront de mettre en commun les compétences des 3 laboratoires de recherche et de concrétiser la coopération : chaque centre de recherche bénéficiera globalement d'une bourse de doctorat tout au long du projet. Nous organiserons deux événements majeurs tout au long du projet : un atelier intermédiaire à Bordeaux durant la 2ème/3ème année du projet et un atelier final international à Toulouse à la fin du projet. Ces ateliers ne seront pas seulement axés sur les contributions apportées par les membres du projet, mais ils mettront également l'accent sur les nouveaux chercheurs contribuant dans le domaine.

Si le projet vise à ouvrir d'ambitieuses percées dans l'apprentissage automatique, il s'appuie également sur les collaborations passées et actuelles entre ses membres.
également fondé sur les collaborations passées et actuelles entre ses membres. Parmi celles-ci, nous mettons l'accent sur les travaux existants :
- Aujol, Dossal et Rondepierre travaillent actuellement ensemble sur les algorithmes d'optimisation accélérée et leur lien avec les systèmes dynamiques.
- Bigot, Bercu et Gadat ont partagé de fortes interactions ces dernières années et travaillent sur des algorithmes stochastiques pour des applications de transport optimal.
- Bolte, Fort et Gadat ont commencé à discuter des algorithmes stochastiques avec les inégalités KL.
- Fort et Dossal travaillent aussi actuellement sur des sujets connexes.
- Bolte et Gadat travaillent sur une version en dimension infinie de l'accélération de la dynamique du gradient et ils visent à l'appliquer à l'échantillonnage dans l'espace de Wasserstein.
- Pauwels collabore depuis longtemps avec Bolte sur des questions d'optimisation et travaille actuellement avec Serrurier sur la dynamique du gradient pour l'entraînement des GANs (supervision d'un étudiant en doctorat).

Publication lists
2020
• Renault, J. & Ziliotto, B. Limit equilibrium payoffs in stochastic games, Mathematics of Operation Research – 45(3), 2020.
• Bolte, J. & Pauwels, E. A mathematical model for automatic differentiation in machine learning, Advances in Neural Information Processing Systems , 2020, Spotlight Presentation.
• Chen, T. & Lasserre, J.B. & Magron, V. & Pauwels, E. Semialgebraic optimization for Lipschitz constants of ReLU networks. Advances in Neural Information Processing Systems (2020).
• Pauwels, E. & Putinar, M. & Lasserre, J.B. Data analysis from empirical moments and the Christoffel function. Foundations of Computational Mathematics (2020).
• Buckdhan, R. & Renault, J. & Quincampoix, M. Representation formulas for limit values of long run stochastic optimal controls. Siam Journal on Control and Optimization – 58(4), 2020.
• Laraki, R. & Renault, J. Acyclic gambling games, Mathematics of Operation Research – 45(4), 2020.
• Renault, J. & Ziliotto, B. Hidden stochastic games and limit equilibrium, Games and Economics Behavior - (124), 2020.
• De Castro, Y. & Gadat, S. & Marteau, C. & Maugis, C. SuperMix: Sparse regularization for mixture, Annals of Statistics, 2020.
• Sebbouh, O. & Dossal, C. & Rondepierre, A. Convergence rates of damped inertial dynamics under geometric conditions, SIAM Journal on Optimization - 30(3), 2020.
• Bolte, J. & Pauwels, E. Conservative set valued fields, automatic differentiation, stochastic gradient method and deep learning. Mathematical Programming, 2020.

L'apprentissage et l'intelligence artificielle sont des thèmes de recherche actifs et féconds depuis qu'ils ont apportés des résultats retentissants en reconnaissance du langage, recommandation d'experts, traitement du signal ou détection de fraude. L'explosion du métier de datascientist est un témoignage de l'impact économique, sociétal et scientifique des enjeux à venir liés à l’IA.

La pierre angulaire des méthodes mathématiques réside dans la compréhension et l’usage intensif de statistiques et d'optimisation. Ces deux axes de recherche permettent de gérer à la fois l'aléa issu des données et la complexité de leur traitement lié à leur grande taille.
L'apprentissage statistique induit en général le calcul de paramètres nécessaires pour une décision automatique sur de nouvelles données.

Le projet MaSDOL cherchera à développer des méthodes déterministes et stochastiques pour la résolution de problèmes statistiques liés à l'IA.

En particulier, le but de ce projet de recherche est de mieux comprendre les aspects théoriques et numériques des algorithmes d’apprentissage automatique en intelligence artificielle basés sur des outils d’optimisation, de statistiques, de probabilités appliquées, de transport optimal et de théorie des jeux. Un accent particulier est mis sur l'analyse des approches d'apprentissage profond pour les modèles génératifs (GAN) et l'apprentissage adversarial. Dans ce contexte, nous visons le développement de nouvelles méthodes numériques d’apprentissage automatique, ainsi que l’étude de leurs propriétés mathématiques. Un autre but du projet est de mettre en œuvre ces algorithmes pour résoudre des problèmes complexes dans divers domaines tels que l'analyse d'images, la bio-informatique ou le traitement de données sur des graphes.