Ponts entre méthodes itératives proximales et réseaux de neurones – BRIDGEABLE

Au cours de la dernière décennie, les méthodes proximales ont permis des avancées significatives en optimisation en grande dimension. Dans le même temps, les réseaux de neurones (RN) profonds ont conduit à des résultats impressionnants dans divers domaines d’applications de la science des données. Néanmoins, les raisons fondamentales de leurs excellentes performances sont encore mal comprises mathématiquement. Récemment, nous avons montré que la quasi-totalité des fonctions d’activation utilisées dans les architectures de RN (par exemple, les fonctions multivariées « aplaties » des réseaux à capsules) s’identifient à des opérateurs proximaux de fonctions convexes. Cette observation ouvre de nouvelles perspectives en apprentissage profond, permettant d’exploiter les liens étroits existant entre les structures de RN et les algorithmes proximaux itératifs. Dans ce projet, nous proposons trois axes de recherche.
Tout d’abord, la fragilité bien connue des RN vis-à-vis des perturbations adverses sera étudiée. Pour ce faire, des techniques de points de fixes reposant sur les propriétés de contraction de ces opérateurs d’activation seront exploitées. Les résultats préliminaires que nous avons déjà obtenus seront étendus à des architectures plus générales que les perceptrons multi-couches (par exemple, les réseaux résiduels et les GANs). De nouvelles architectures potentiellement plus robustes seront proposées en s’inspirant de méthodes proximales existantes. Des algorithmes d’apprentissages dédiés seront également conçus permettant de contrôler la constante de Lipschitz des RN considérés et ainsi de faire un pas décisif vers leur certifiabilité.
En second lieu, une nouvelle formulation des problèmes inverses sera proposée, visant à remplacer les fonctions de régularisation convexes usuelles par une approche de régularisation fondée sur des opérateurs maximaux monotones (OMM). Cette stratégie permettra de gagner non seulement en généralité, mais aussi en flexibilité. Ceci sera rendu possible grâce à l’apprentissage supervisé d’OMM à partir des données disponibles. Cette approche conduira à des algorithmes itératifs « plug and play » efficaces pour résoudre les problèmes de restauration/reconstruction d’images. Dans ces méthodes, les étapes de débruitage seront réalisées à l’aide d’un RN. Un des avantages majeurs de notre cadre sera de conduire à des résultats de convergence rigoureux des schémas itératifs obtenus. Le dernier axe de recherche portera sur l’étude des méthodes d’apprentissage profond de dictionnaires (APD). Celles-ci apparaissent actuellement comme des alternatives sérieuses aux RN. A chaque étape de ces méthodes, une fonction de coût non lisse est optimisée dans le but de construire une représentation optimale des données analysées, dans un dictionnaire adapté. Cette optimisation étant usuellement réalisée à l’aide de techniques proximales, ces méthodes peuvent être interprétées comme l’usage d’un opérateur d’activation non linéaire « intelligent ». Notre objectif sera de clarifier les relations existant entre l’APD et les RN de façon à rendre les techniques d’APD plus efficaces, tout en analysant plus précisément leurs performances. De plus, des stratégies seront élaborées afin accroître la flexibilité des approche d’APD en les rendant adaptatives aux données traitées.
En termes de retombées méthodologiques, ce projet devrait conduire à des progrès significatifs dans l’interprétabilité des RN et dans la proposition de nouvelles méthodes permettant d’améliorer leur fiabilité. En termes de retombées pratiques, les méthodes développées conduiront à une nouvelle génération de techniques pour résoudre des problèmes se posant dans trois champs d’applications: l’imagerie médicale 3D (collaboration avec GE Healthcare), l’analyse de données du domaine de l’énergie et de l’environnement (collaboration avec l’IFPEN) et la modélisation non-linéaire multivariée de moteurs électriques (collaboration avec Schneider Electric).