DeepCuriosity: Exploration dirigée par la curiosité et apprentissage développemental en IA, et applications pour les agents autonomes, la découverte automatique et les technologies de l'éducation. – DeepCuriosity

S'appuyant sur plus d'une décennie de travaux de modélisation de divers processus fondamentaux du développement du nourrisson, allant de l'exploration des habiletés sensorimotrices par la curiosité à l'acquisition du langage socialement guidée [2,13], le laboratoire Flowers travaille à la transposition de ces modèles computationnels (initialement pour mieux comprendre l'apprentissage humain) à l'apprentissage automatique (dans le but de construire des machines flexibles et autonomes d'apprentissage tout au long de la vie). En particulier, le laboratoire Flowers a jeté les bases du cadre d'apprentissage automatique Intrinsically Motivated Goal Exploration (IMGEP), dans lequel les machines apprennent de manière autonome des répertoires ouverts de compétences par l'acquisition auto-supervisée de modèles du monde, y compris des représentations structurées d'objectifs [3,5], et en échantillonnant leurs propres objectifs avec un apprentissage auto-organisé. Les IMGEP peuvent tirer parti des techniques d'apprentissage par renforcement profond multi-buts (des idées connexes ont été explorées récemment dans l'architecture UVFA-HER et d'autres algorithmes RL profonds paramétrés par objectif, par exemple Andrychowicz, 2017, mais avec échantillonnage aléatoire plus simple des objectifs). Ici, l'objectif est de découvrir et de maîtriser une diversité de résultats contrôlables, et d'apprendre des modèles mondiaux, tout en évitant de passer trop de temps à essayer d'apprendre des objectifs trop compliqués, voire impossibles. Il a été démontré que ces algorithmes permettent aux robots virtuels ou physiques d'apprendre efficacement des répertoires de compétences de grande dimension tout en étant capables de s'adapter rapidement aux changements de l'environnement et aux dommages corporels [1,9,4]. Les travaux sur les algorithmes IMGEP se sont concentrés jusqu'à présent sur l'apprentissage guidé par la curiosité des compétences sensorimotrices de bas niveau chez un seul agent. Nous les étendons ici avec l'utilisation du langage naturel comme un outil cognitif, et des architectures neurones modulaires permettant la généralisation.

Agents autotéliques augmentés par le langage : l'apprentissage automatique développemental étudie comment les agents artificiels peuvent modéliser la façon dont les enfants apprennent des répertoires ouverts de compétences. Ces agents doivent créer et représenter des objectifs, sélectionner ceux à poursuivre et apprendre à les atteindre. Des approches récentes ont considéré des espaces d'objectifs qui étaient soit fixes et définis à la main, soit appris à l'aide de modèles génératifs d'états. Cela limitait les agents à échantillonner les objectifs dans la distribution des effets connus. Nous soutenons que la capacité d'imaginer des objectifs hors distribution est essentielle pour permettre des découvertes créatives et un apprentissage ouvert. Les enfants le font en tirant parti de la compositionnalité du langage comme outil pour imaginer des descriptions de résultats qu'ils n'ont jamais observés auparavant, en les ciblant comme objectifs pendant le jeu.

Nous avons introduit les architectures IMAGINE et LGB, qui sont des architectures d'apprentissage par renforcement profond intrinsèquement motivées qui modélisent cette capacité. Ces agents imaginatifs, comme les enfants, bénéficient du guidage d'un pair social qui fournit des descriptions linguistiques. Pour tirer parti de l'imagination des objectifs, les agents doivent pouvoir tirer parti de ces descriptions pour imaginer des objectifs en dehors de la distribution qu'il ont déjà appris. Cette généralisation est rendue possible par la modularité : une décomposition entre fonction de récompense d'atteinte d'objectifs apprise et politique reposant sur des ensembles profonds, des mécanismes d'attention et des représentations centrées sur l'objet. Nous introduisons l'environnement Playground et étudions comment cette forme d'imagination de but améliore la généralisation et l'exploration par rapport aux agents dépourvus de cette capacité. De plus, nous avons identifié les propriétés de l'imagination des objectifs qui permettent ces résultats et étudié les impacts de la modularité et des interactions sociales.

DeepCuriosity aura un rôle clé pour le développement et la visibilité internationale de la recherche en IA de l’équipe Flowers, d’Inria Bordeaux et de la Région Nouvelle Aquitaine, promouvant une approche de l’IA interdisciplinaire et centrée sur l’humain. Cela dynamisera un riche écosystème de collaborations avec d’autres instituts de recherche et des entreprises, visant des enjeux sociétaux clés (l’IA pour la promotion de la diversité dans les edTech ; l’IA avec une trace environnementale limitée ; la santé avec la personnalisation de tissus bio-imprimés). Le projet inclura aussi le développement de nouvelles formations couvrant ces avancées.

Colas, C., Karch, T., Lair, N., Dussoux, J. M., Moulin-Frier, C., Dominey, P., & Oudeyer, P. Y. (2020). Language as a Cognitive Tool to Imagine Goals in Curiosity Driven Exploration. Advances in Neural Information Processing Systems (Neurips 2020), 33.
Akakzia, A., Colas, C., Oudeyer, P. Y., Chetouani, M., & Sigaud, O. (2021, May). Grounding Language to Autonomously-Acquired Skills via Goal Generation. In ICLR 2021.
Romac, C., Portelas, R., Hofmann, K., & Oudeyer, P. Y. (2021). TeachMyAgent: a Benchmark for Automatic Curriculum Learning in Deep RL. ICML 2021.
arxiv.org/abs/2103.09815 Web site and code: developmentalsystems.org/TeachMyAgent/
Laversanne-Finot, A., Péré, A., & Oudeyer, P. Y. (2021). Intrinsically motivated exploration of learned goal spaces. Frontiers in neurorobotics, 109. hal.inria.fr/hal-03120618
Etcheverry, M., Moulin-Frier, C., & Oudeyer, P. Y. (2020, December). Hierarchically Organized Latent Modules for Exploratory Search in Morphogenetic Systems. In NeurIPS 2020-34th Conference on Neural Information Processing Systems.
arxiv.org/abs/2007.01195
Kovac, G., Laversanne-Finot, A., & Oudeyer, P. Y. (2020). Grimgep: learning progress for robust goal sampling in visual deep reinforcement learning. arxiv.org/abs/2008.04388

La vision et le programme du projet de recherche DeepCuriosity visent à développer les fondations d’une nouvelle approche scientifique de l’intelligence artificielle et de l’apprentissage autonome. Les résultats récents de l’apprentissage profond par renforcement sont impressionnants (e.g. pour les jeux vidéos), mais ils atteignent des limites pratiques et théoriques. En particulier, les systèmes d’IA actuels ne sont pas autonomes : ils sont spécialisés dans une seule tâche ; ils sont coûteux en temps et en énergie ; ils requièrent l’intervention d’un ingénieur pour chaque nouvelle tâche. Pour aller au delà de ces limites, l’approche proposée dans DeepCuriosity est basée sur une décennie de recherche interdisciplinaire menée par PY Oudeyer et son équipe, sur la modélisation de l’apprentissage et du développement cognitif chez l’enfant, en particulier les mécanismes de curiosité. Cela a permis de poser les bases d’un nouveau framework pour l’apprentissage automatique : les processus d’exploration de buts intrinsèquement motivés (IMGEPs). Dans les IMGEPs, les machines apprennent des répertoires de savoir-faire de manière autonome, par l’acquisition auto-supervisée de modèles du monde, et en générant leurs propres buts selon un curriculum auto-organisé par la curiosité. Ces algorithmes permettent à des robots d’apprendre efficacement des répertoires de savoir-faire dans le monde réel, et de s’adapter à des changements de l’environnement, avec des ressources limitées en temps et en énergies.

Il y a encore des défis fondamentaux à relever pour permettre à ces recherches fondamentales et à leurs applications de passer à l’échelle. Ce projet vise de relever ces défis selon deux axes:

Objectifs de recherche fondamentale en IA :
• Développement de nouveaux algorithmes d’apprentissage auto-supervisés et dirigé par la curiosité, permettant l’apprentissage incrémental de représentations structurées de buts/tâches (en partant d’une perception bas niveau).
• Développement d’algorithme d’automatisation de la génération de curriculum d’apprentissage en maximisant le progrès en apprentissage en grandes dimensions, applicable à des apprenants divers (machines et humains).
• Extension du framework IMGEP à l’interaction en langage naturel avec des humains 1) permettant à l’humain de guider l’exploration intrinsèquement motivée de nouveaux environnements en utilisant des instructions en langage naturel apprises par la machine ; 2) permettant à la machine de décrire ce qu’elle fait en langage naturel.

Objectifs applicatifs :
Des preuves de concept récentes ont montré comment ces méthodes générale d’apprentissage par curiosité peuvent être appliquées dans les domaines sociétalement importants, que nous visons de passer à l’échelle avec des collaborations spécifiques :
• Agents autonomes dans les jeux vidéos et exploration autonome en robotique (collaboration avec l’industrie du jeu vidéo et un organisme d’état pour la défense).
• Découverte robotisée et automatisée de nouvelles structures auto-organisées dans des systèmes de cellules bio-imprimées, facilitant la personnalisation de tissus vivants (collaboration avec une entreprise de bio-impression).
• Personnalisation de curriculum d’apprentissage dans les technologies de l’éducation (collaboration avec l’Académie de Bordeaux et des entreprise edTech).

DeepCuriosity aura un rôle clé pour le développement et la visibilité internationale de la recherche en IA de l’équipe Flowers, d’Inria Bordeaux et de la Région Nouvelle Aquitaine, promouvant une approche de l’IA interdisciplinaire et centrée sur l’humain. Cela dynamisera un riche écosystème de collaborations avec d’autres instituts de recherche et des entreprises, visant des enjeux sociétaux clés (l’IA pour la promotion de la diversité dans les edTech ; l’IA avec une trace environnementale limitée ; la santé avec la personnalisation de tissus bio-imprimés). Le projet inclura aussi le développement de nouvelles formations couvrant ces avancées.