Diagramme de Phase et Algorithme pour l'inference et l'apprentissage – PAIL

Les domaines de l'inférence statistique et de l'apprentissage automatique ont connu de profondes transformations au cours des dernières années. En particulier, les progrès algorithmiques récents sur les réseaux profonds ont montré de façon convaincante qu'il est possible d'apprendre des régularités et des structures dans des données, menant à la révolution actuelle dans le "big data". Cependant, ces progrès sont presque tous empiriques. Bien que ces nouvelles approches trouvent leur origine dans les réseaux de neurones, il n'y a que peu de justifications théoriques et rigoureuses à leurs succès récents.

L'objectif de ce projet est d'exploiter les développements récents des théories des codes correcteurs, du traitement du signal, de la physique statistique ainsi que de l'optimisation combinatoire pour découvrir les principes cachés derrière les succès des nouvelles approches aux problèmes d'inférence.

Nos objectifs centraux sont:

1. De formuler précisément des modèles de systèmes d'inference à un ou plusieurs niveaux (réseaux profonds) dans le cadre de modèles graphiques probabilistes.

2. D'analyser les diagrammes de phase de ces systèmes par les méthodes issues de la physique statistique des systèmes désordonnés. D'utiliser cette analyse pour obtenir de nouveaux algorithmes et déterminer les limites fondamentales à l'apprentissage. Cela recouvre à la fois des aspects "théorie de l'information" (le comportement «statique» en physique) et algorithmiques (où la «dynamique» de l'algorithme est étudiée par des méthodes de physique statistique).

3. De développer une théorie mathématiquement rigoureuse de ces transitions algorithmiques et statistique en s'appuyant sur les progrès récents dans le contexte du codage, du traitement du signal et des problèmes de satisfaction de contraintes