Au-delà de l'apprentissage (robuste): Trouver des Compromis en Apprentissage Automatique – BRL

Les compromis deviennent de plus en plus importants pour l'apprentissage automatique (ML) qui doit confronter les défis associés à la conception de systèmes précis, équitables et robustes tout en exploitant plusieurs sources d'informations. En général, ces compromis sont gérés en agrégeant tous les objectifs en une seule perte, i.e., en utilisant des pénalités. Cette approche ne parvient cependant pas à trouver de compromis entre objectifs non-convexes. De plus, il est difficile de déterminer à l'avance le compromis souhaité car le comportement des modèles de ML est difficile à prévoir. Ces compromis peuvent en fait même changer au long de l'entraînement. L'optimisation robuste résout ces problèmes en garantissant une bonne performance même pour l'objectif le plus défavorable, bien qu'au prix d'une détérioration de la performance nominale. Ce projet surmonte ces limitations en développant des méthodes pour naviguer les compromis en ML. Il s'appuie sur de nouveaux résultats en théorie de l'apprentissage sous contraintes et dualité pour étendre la théorie de l'optimisation multi-objectif à des cas statistiques et non-convexes, permettant des compromis plus robustes dans l'incertitude. Il étudie ensuite des moyens d'équilibrer automatiquement ces compromis en ajustant la spécification de problèmes d'apprentissage sous contraintes en tenant compte de la difficulté de chaque contrainte. Les propriétés de convergence et de généralisation de ces approches seront également étudiées. Enfin, cette proposition développe des algorithmes capables de trouver des compromis entre un grand nombre (voire une infinité) d'objectifs. Cette recherche est motivée par les applications scientifiques du ML, qui doivent faire des compromis entre différentes sources de connaissances, et des modèles de diffusion, dont l'entraînement doit faire des compromis entre les performances à une infinité de niveaux de bruit pour obtenir des échantillons de haute qualité.