Apprendre Raisonnement, Mémoire et Contrôle – REMEMBER

Les dernières années ont été marquées par l’essor du Machine Learning, qui a permis des gains en performances significatifs dans plusieurs domaines d'application. Outre les progrès méthodologiques indéniables, ces gains sont souvent attribués à de grandes quantités de données d'entraînement et à la puissance de calcul, qui ont conduit à des avancées dans la reconnaissance de la parole, la vision par ordinateur et le traitement automatique de la langue. Dans ce projet ambitieux, nous proposons d'étendre ces avancées à la prise de décision séquentielle d'agents dans un contexte de planification et de contrôle dans des environnements 3D complexes.

Dans ce contexte, les processus décisionnels de Markov et l'apprentissage par renforcement fournissent un cadre mathématique pour les applications de contrôle dans lesquelles les agents sont entraînés à partir d'interactions avec un environnement. Ces dernières années, cette méthodologie a été associée aux réseaux de neurones profonds, qui jouent le rôle d'approximateurs de fonctions. En revanche, ils souffrent actuellement d'une faible efficacité d'échantillonnage, nécessitant souvent des milliards d'interactions, de difficultés à apprendre le raisonnement de haut niveau, ainsi que de difficultés à généraliser de la simulation à des environnements réels.

Dans ce projet de chaire, nous proposerons des contributions méthodologiques (modèles et algorithmes) pour l’entraînement d’agents réels et virtuels leur permettant d’apprendre à résoudre des tâches complexes de manière autonome. En effet, les agents intelligents requièrent des capacités de raisonnement de haut niveau, une conscience de leur environnement et la capacité de prendre les bonnes décisions au bon moment. Les politiques de décisions requises sont complexes, car elles impliquent des espaces d’observation et d’état de grande dimension, des problèmes partiellement observés ainsi que des interdépendances largement non linéaires et intriquées. Nous pensons que leur apprentissage dépendra de la capacité de l'algorithme à apprendre des représentations compactes de mémoire structurées spatialement et sémantiquement, capables de capturer des régularités complexes de l’environnement et de la tâche en question. Une deuxième exigence clé est la capacité d'apprendre ces représentations avec un minimum d'interventions et d’annotations humaines, la conception manuelle de représentations complexes étant quasiment impossible. Cela nécessite l'utilisation efficace des données brutes et la découverte des régularités par différents formalismes d’apprentissage : supervisé, non supervisé ou auto-supervisé, par récompense ou par motivation intrinsèque, etc.

Ce projet de recherche vise à traiter ces problèmes selon quatre axes: (i) l’ajout de structures et de connaissances a priori aux algorithmes d’apprentissage par renforcement leur permettant de découvrir des représentations sémantiques et spatiales dotées de propriétés métriques et topologiques; (ii) l'apprentissage de modèles capables de généraliser à des environnements réels en combinant géométrie et apprentissage auto-supervisé; (iii) l'apprentissage de modèles de l’environnement anticipant des états futurs, et (iv) l'ajout aux algorithmes RL de biais inductif de stabilité venant de la théorie du contrôle.

Les avancées méthodologiques prévues dans ce projet seront évaluées sur des applications complexes dans des environnements simulés, et dans des environnements réels avec des robots physiques.
Ce projet de chaire aura également un impact sur la formation de personnel hautement qualifié en intelligence artificielle à Lyon. En troisième cycle cela se fera grâce aux échanges de doctorants avec des partenaires internationaux, et au deuxième cycle grâce à une formation solide en IA par l’introduction de nouveaux enseignements, par une consolidation de l’offre existant dans 2 départements, et grâce à une nouvelle infrastructure matérielle pour l’enseignement.