Mathématiques de la Différentiation Automatique – MAD

La Differentiation Automatique (DA) est cruciale pour calculer efficacement et précisément les dérivées de fonctions, essentiel pour optimiser les modèles mathématiques dans les tâches d'optimisation basées sur le gradient. La DA fonctionne en décomposant les fonctions, exprimées comme des programmes informatiques, en opérations de base et en appliquant la règle de la chaîne pour le calcul des dérivées. Ceci se distingue de la différentiation symbolique et de la différentiation numérique. Cependant, d'un point de vue mathématique, la DA rencontre des défis avec les fonctions non lisses en raison de sa dépendance fondamentale envers la règle de la chaîne. Des problèmes de convergence peuvent survenir avec des méthodes itératives impliquées dans la fonction à différencier. De plus, lorsque la DA interagit avec l'intégrale paramétrique, des difficultés, notamment en approximation, peuvent surgir. Le projet MAD vise à réconcilier les applications modernes de la DA dans les pipelines d'apprentissage automatique avec des garanties mathématiques pour sa justesse. Le projet est structuré autour de trois workpackages : le WP1 se penche sur la preuve de garanties pour l'application de la DA aux algorithmes itératifs (déroulement), le WP2 explore la DA dans le cadre de l'optimisation biniveau, et le WP3 examine l'interaction entre les méthodes de Monte Carlo et l'utilisation de la DA.