Perspectives géométriques concernant l'analyse d'algorithmes d'apprentissage – GALA

L'apprentissage automatique a connu ces dernières années un véritable essor, rencontrant sur son chemin de nombreux succès pratiques dans des domaines divers (image, traitement du langage, sciences appliquées). Au coeur de ses succès, une architecture de prédiction en réseau de neurones et un algorithme aussi simple que polyvalent: la descente de gradient stochastique. Pourtant, et malgré de nombreux travaux, peu d'éléments théoriques convaincants parviennent à expliquer ou prédire les raisons d'un tel succès. Cette proposition tentera de participer à cet effort de compréhension théorique, nécessaire pour faire de l'apprentissage par réseaux de neurones une pratique à la fois fiable et contrôlable. Deux questions seront abordées précisément : d'abord quand et à quelle vitesse peut-on assurer que l'entraînement des réseaux de neurones (à deux couches) converge? Puis, s'ils convergent, peut-on caractériser et comprendre leur performance sur des données qu'ils n'ont jamais vues? Dans ce deuxième temps, c'est la question du biais implicite qui nous intéresse : peut-on caractériser les solutions vers lesquelles SGD a tendance à converger? On regardera de plus près deux effets notables : le rapport entre l'architecture et les bonnes propriétés de généralisation d'une part et d'autre part l'influence du bruit sur la dynamique d'entraînement. Pour répondre à ces questions, on tentera de développer le rapport à la géométrie du problème très spécifique à l'entraînement des réseaux de neurones.