Apprentissage des réseaux de neurones avec des fonctions d'activation flexibles par les méthodes tensorielles – LeaFleT

Les réseaux de neurones sont un outil important permettant de résoudre différents problèmes d’intelligence artificielle, telle que la classification supervisée et non-supervisée. Les réseaux de neurones profonds, avec un grand nombre de couches, permettent notamment d’atteindre des résultats remarquables dans différents contextes, tels que l’analyse et l’interprétation d'images naturelles, de signaux audio et de données textuelles. Cependant, leur développement se heurte à un certain nombre de limitations comme, par exemple, le manque d'interprétabilité et le grand nombre de paramètres à estimer. Dans le cadre de ce projet, nous proposons de simplifier les réseaux de neurones en introduisant des fonctions d'activation flexibles, à opposer aux fonctions d'activation fixes couramment utilisées. Notre proposition est fondée sur une approche originale, initialement développée dans le cadre de l’identification de systèmes non-linéaires et qui s’appuie sur les méthodes tensorielles pour décomposer les fonctions de plusieurs variables. Une propriété fondamentale de cette décomposition est l’identifiabilité : elle doit pouvoir être étendue au cas des réseaux profonds. Notre conviction est que cette propriété d’identifiabilité, en permettant de garantir la stabilité de la représentation, constitue une approche possible pour définir la notion d’interprétabilté des réseaux de neurones profond. En outre, une telle représentation doit permettre de réduire le nombre de couches et d'utiliser des méthodes numériques avancées de décomposition tensorielles. L’objectif principal de ce projet est d’élaborer et analyser des outils d’apprentissage efficaces adaptés au modèle proposé. L’ensemble de ces outils seront intégrés au sein d’une suite logicielle en accès libre.