CE23 - Intelligence Artificielle

Théorie et algorithmes pour la compréhension du deep sur des données séquentielles – TAUDoS

More precisely, TAUDoS follows 4 interconnected scientific objectives. The first one is to provide theoretical studies both to characterize classes of learnable RNN in connection with formal languages classes and to design provable learning algorithms for them. The second one is to propose new knowledge distillation algorithms to extract simpler, more understandable models from deep RNN, either from the whole model or by identifying interesting subparts. The third idea is to design new learning strategies to favor interpretability of RNN in the training stage, either by incorporating structural elements in the architecture or by including in the objective function to be optimized additional terms dedicated to interpretability. Finally, the project aims at initiating the research path of learning metrics to compare RNN on a given task, in order to better understand and mine the topical zoo of RNN architectures.

While the core of the project is to bring better understanding of deep learning, TAUDoS will hopefully also enjoy potentially great side-effects : new initialisation procedures and new learning algorithms for RNN, models of equivalent quality to huge deep ones that require far less computation power, new interesting classes of formal languages to study in order to understand the capacities of RNN, new strategies for favouring interpretability, new metrics between models that can be clues for the transferability of interpretability, ...

In addition to the undeniable scientific impacts that the advancements of TAUDoS will have, the presence in the consortium of a R&D firm ensures its valorization. Indeed, in addition to usual scientific benchmarking, our approaches will be tested on two types of data linked to on-going projects of the firm: medical ones to bring understanding to a prognostic tool, and ones for lawbots.

A faire

Résumé de soumission

Les récents succès de l’apprentissage automatique, et de l’apprentissage profond en particulier, et leur diffusion croissante dans de nombreux secteurs ont soulevé des questions sur leurs processus de décision. En effet, les modèles les plus efficaces sont le plus souvent des réseaux de neurones de type boîtes noire, surparamétrées, et dont le processus de décision échappe à la compréhension humaine.

Pour des raisons scientifiques, industrielles, commerciales, juridiques, il est aujourd’hui crucial pour l'avenir du domaine de mieux appréhender les mécanismes qui expliquent ses succès. C'est l'ambition de TAUDoS qui sera réalisée en fournissant des éléments pour une meilleure compréhension des modèles, en appuyant nos résultats expérimentaux par des garanties théoriques, en extrayant de gros modèle complexes des modèles plus simples et efficaces, en incorporant des composants dédiés à l'interprétabilité au sein des modèles, et en permettant une comparaison quantitative entre modèles appris fiable et intégrant potentiellement des éléments liés à l'interprétabilité.

L'originalité et les spécificités de TAUDoS sont dues à 3 caractéristiques principales: l'accent mis sur les modèles pour des données séquentielles, tels que les réseaux neuronaux récurrents (RNN), tandis que la plupart des travaux se concentrent sur les réseaux feed-forward, notamment convolutionnels; La volonté d'analyser ces modèles à la lumière de la théorie des langages formels; la démarche de cibler à la fois des analyses théoriques rigoureuses et des preuves empiriques.

Plus précisément, TAUDoS poursuit 4 objectifs scientifiques interconnectés. Le premier est de fournir des études théoriques pour caractériser des classes de RNN apprenables en relation avec des classes de langages formels et pour concevoir des algorithmes d'apprentissage prouvés pour celles-ci. Le seconde consiste à proposer de nouveaux algorithmes de distillation pour extraire des modèles plus simples et plus compréhensibles à partir de RNN, soit de l'ensemble du modèle, soit de sous-parties du modèle. La troisième idée est de concevoir de nouvelles stratégies pour favoriser l'interprétabilité des RNN au stade de l’apprentissage, soit en incorporant des éléments structurels dans l'architecture, soit en favorisant l’interprétabilité des mécanismes d'attention par des stratégies spécifiques d’apprentissage. Enfin, le projet vise à initier l'apprentissage de métriques pour comparer les RNN afin de mieux comprendre et exploiter le zoo des architectures existantes.

Si le cœur du projet vise à une meilleure compréhension de l'apprentissage profond pour les données séquentielles, TAUDoS apportera d’autres avancées importantes: de nouvelles procédures d'initialisation et de nouveaux algorithmes d'apprentissage pour les RNN, des modèles équivalent à de grandes architectures mais nécessitant beaucoup moins de puissance de calcul, de nouvelles classes intéressantes de langages formels à étudier pour comprendre les capacités des RNN, de nouvelles métriques entre modèles pouvant être des indices de transférabilité de l'interprétabilité.

Outre les impacts scientifiques indéniables qu'auront ces recherches, la présence dans le consortium d'une entreprise de R&D en assure la valorisation. En effet, en plus d’un benchmarking scientifique classique, nos approches seront testées sur deux types de données liées aux projets en cours de l’entreprise: des données médicales et d’autres venant du droit.

De plus, TAUDoS s’inscrit dans le mouvement de la science ouverte: de nouveaux benchmarks pour l'évaluation de l'interprétabilité seront rendus publics, et un logiciel libre regroupant l’ensemble de nos algorithmes sera publié.

Le consortium rassemble 2 équipes académiques françaises, une société française, et est renforcée par la présence de l'un des meilleurs laboratoires international de recherche en ML. Il comprend des experts de renommée internationale et complémentaires couvrant un large spectre du domaine.

Coordination du projet

Remi Eyraud (Laboratoire Hubert Curien)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

LIS Laboratoire d'Informatique et Systèmes
LabHC Laboratoire Hubert Curien
ENX EURANOVA
Université de Montréal / Department of Computer Science and Operations Research (DIRO)
LIS Laboratoire d'Informatique et Systèmes

Aide de l'ANR 633 922 euros
Début et durée du projet scientifique : mars 2021 - 48 Mois

Liens utiles

Explorez notre base de projets financés

 

 

L’ANR met à disposition ses jeux de données sur les projets, cliquez ici pour en savoir plus.

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter