Solutions Implicites et Méthodes non-lisses Pour L'optimisation bi-nivEaux Stochastique – SIMPLES

Le projet se concentre sur l'avancement de l'optimisation stochastique à deux niveaux, un domaine spécialisé en optimisation avec des applications significatives en apprentissage automatique. Les algorithmes actuels reposent souvent sur des techniques d'optimisation lisses, qui sont limitées par des hypothèses irréalistes de différentiabilité continue. Ceci est problématique pour des applications réelles comme les réseaux de neurones profonds qui utilisent des fonctions non différentiables telles que l'activation ReLU.

Pour aborder ce problème, le projet vise à combler le fossé entre la théorie et la pratique en tirant parti d'un développement récent en analyse non lisse connu sous le nom de champ conservatif. Cela permettra le développement de nouvelles méthodes avec des garanties mathématiques rigoureuses. Le projet est divisé en trois tâches principales:

Fonctions implicites mal posées: Cette tâche étendra les théorèmes actuels pour gérer les cas où la fonction implicite à différencier n'est pas bien définie, soit en raison de solutions multiples, soit en raison de l'échec des conditions d'inversibilité.

Conception d'algorithmes: Cette tâche vise à développer des algorithmes applicables avec des garanties rigoureuses de convergence. Ces algorithmes seront compatibles avec la stochasticité et seront basés sur des analyses améliorées qui sont compatibles avec la différentiation automatique telle qu'elle est utilisée en pratique.

Applications à l'Apprentissage Automatique : Cette tâche se concentre sur l'implémentation pratique des méthodes développées. Elle appliquera les algorithmes pour concevoir des réseaux de neurones avec des couches définies implicitement, l'ajustement des hyperparamètres dans les problèmes inverses et l'apprentissage automatique, ainsi que l'augmentation des données utilisant l'optimisation à deux niveaux.