Pierre-Yves Oudeyer - #monANR
Pierre-Yves Oudeyer : comprendre le fonctionnement de la curiosité chez les humains et les machines
« Mon sujet de recherche sur la curiosité, considéré exotique il y a quelques années, est devenu un enjeu important de la recherche », Pierre-Yves Oudeyer, chercheur en IA et sciences cognitives, Inria et Université de Bordeaux.
En quoi consiste votre projet de recherche, DeepCuriosity, soutenu par l’ANR ?
Depuis plus de 15 ans, nous cherchons à comprendre le rôle de la curiosité dans l’apprentissage chez l'humain, puis chez les machines, avec plusieurs axes de réflexion : on va d’abord essayer de modéliser pour mieux comprendre la curiosité chez les humains, avec des outils d'intelligence artificielle (IA). Ensuite, on va transposer ce que l’on aura découvert sur des machines pour qu'elles soient capables d’explorer de manière plus autonome et plus flexible leur environnement, avec des formes de curiosité. En particulier, on met au point des algorithmes de curiosité dite autotélique, c'est-à-dire capables de générer et de sélectionner ses propres buts, et d’en augmenter progressivement la complexité au cours du temps ; ce qu’on observe, par exemple, chez les enfants quand ils inventent leurs propres jeux.
Enfin, on s’interroge sur les applications dans la société : comment les perspectives que nous avons développées sur la curiosité vont pouvoir s’appliquer dans le domaine de l’éducation, par exemple via des méthodes ou des logiciels qui peuvent être utilisés en classe, ou dans le domaine de l’aide à la découverte scientifique, par exemple pour aider des physiciens ou des biologistes à explorer des systèmes qui leurs sont encore largement inconnus.
Quelle était son ambition ?
Il y a quinze ans, la recherche avançait que ce qui suscitait la curiosité dans le cerveau était principalement la surprise ou la nouveauté. Nous avons développé une théorie qui proposait qu’elle se manifeste plutôt dans des situations où le cerveau se rend compte qu’il progresse, qu’il s’améliore pour comprendre, contrôler, puis anticiper ce qui se passe. Pour plusieurs raisons théoriques, nous pensions que c’était un mécanisme qui devait rendre l’exploration et les apprentissages plus efficaces dans des environnements complexes comme ceux autour des enfants, mais aussi par exemple pour des robots. C’est ce qu’on appelle l’hypothèse du progrès en apprentissage. Nous avons voulu d’abord tester cela, et ensuite étudier des applications dans les sciences et dans l’éducation.
Qu’est-ce que le financement ANR a permis de réaliser ?
Nous avons profité de ce projet pour collaborer avec plusieurs laboratoires de psychologie et de neuroscience, notamment à l’université de Columbia (New York), auprès de Jacqueline Gottlieb. Cette neuroscientifique s’intéresse aux circuits neuronaux du plaisir. À cette occasion, nous avons pu mettre au point des dispositifs expérimentaux pour étudier comment des humains explorent un ensemble de tâches quand on ne leur donne pas d’objectif extérieur, quand ils sont libres de faire ce qu’ils veulent et peuvent exprimer leur curiosité. Nous voulions savoir si cette expérience allait corroborer ou non notre théorie. Nous avons récolté les données et nos prédictions ont été confirmées ! Quelques mois après, d’autres laboratoires dans le monde ont également confirmé ces prédictions : le cerveau humain semble bien utiliser la mesure de son propre progrès pour guider son exploration curieuse.
Pour ce qui est de l’IA, j’ai, avec mon équipe, mis au point toute une série de machines dotées de formes de curiosité autotéliques, et mettant en œuvre la théorie du progrès en apprentissage pour guider leur exploration. Ces méthodes se sont d’abord révélées d’une grande efficacité pour permettre à des robots d’explorer leurs corps et leur environnement, pour se construire des “modèles du monde”. Plus récemment, nous les avons appliquées aux grands modèles d’IA générative: elles nous ont permis de les transformer en des agents d’IA générative curieux et autotéliques, capables de s’auto-améliorer (par exemple en programmation ou en maths) tout en étant guidables par des humains grâce au langage naturel. Cela ouvre des perspectives très stimulantes pour utiliser de tels modèles d’IA curieuses pour aider les scientifiques à faire des découvertes, ce que nous avons commencé à faire dans des domaines comme la vie artificielle ou la biologie.
Étant donné le rôle clé de la curiosité dans les apprentissages chez l’enfant, c’est aussi naturellement que ces avancées nous ont amené à travailler sur des applications éducatives. Peut-on rendre les apprentissages plus motivants, plus dirigés par la curiosité, dans une classe ? Peut-on muscler la curiosité chez les enfants ? Plusieurs thèses dans l’équipe ont exploré ces questions avec des résultats très positifs. Nous avons développé des algorithmes de personnalisation de séquences d’exercices qui ont permis à des élèves de primaire d’apprendre mieux et de manière plus motivante que des séquences faites à la main par un expert mais identiques pour tout le monde. Cela nous a amené à travailler avec des entreprises et ces travaux sont aujourd’hui dans des logiciels éducatifs déployés dans toutes les classes en primaire et au lycée en France. C’est une grande satisfaction de voir comment des recherches au départ très fondamentales se retrouvent, au bout de plusieurs années, dans des outils utilisés au quotidien par des élèves ! Aujourd’hui, nous travaillons sur une approche qui vise à entraîner les élèves à poser des questions curieuses, à développer leur métacognition et leur esprit critique, ce qui est un très grand enjeu.
Quel épisode a été le plus marquant de cette expérience ?
Au départ, nous avons développé ces idées dans une toute petite communauté scientifique, la robotique développementale, qui s’intéressait à modéliser le développement cognitif chez les enfants. A cette époque, la notion de curiosité n’était pas du tout abordée dans la grande communauté scientifique de l’apprentissage automatique (machine learning), qui la considérait même comme très exotique.
Mais cette situation a progressivement évolué, au fur et à mesure que nous présentions nos travaux à cette communauté et qu’ils commençaient à être ré-utilisés. Il y a quelques années, ils ont en particulier permis de résoudre des problèmes d’ingénierie majeurs en IA, y compris par de grands laboratoires privés comme Google Deepmind, et cela a accéléré leur adoption. Les algorithmes de curiosité sont maintenant des ingrédients standards pour mettre au point des systèmes d’IA. En parallèle, la confirmation des prédictions de nos modèles par plusieurs laboratoires de psychologie et de neurosciences dans le monde a renforcé leur visibilité et leur impact. Plus globalement, il y a maintenant une communauté internationale de recherches en sciences de la curiosité qui est très dynamique. Quel chemin parcouru !
Pourquoi avoir sollicité l’ANR ?
Notre projet croise des domaines différents. Aligner puis faire communiquer l’IA développementale avec les données en psychologie et en neurosciences prend du temps. C’était important pour moi d’avoir la capacité d’exploration scientifique. Cette Chaire IA laissait beaucoup de liberté pour organiser son projet de recherche au fur et à mesure du temps, sans que tout ne soit verrouillé dès le départ.
Quel impact ce projet a-t-il eu sur votre parcours personnel ?
Est-ce si important de publier beaucoup d’articles, d’intervenir dans des conférences peut-être “prestigieuses” mais parfois tenues par des dogmes ? Ce projet m’a permis d’être plus libre dans ma manière de travailler, d’explorer, de prendre de la distance avec des étapes de recherche classiques, et de développer des idées et des expérimentations originales. Et c’est ce que j’essaie de transmettre aux jeunes chercheurs et chercheuses avec qui je travaille aujourd'hui.
L’ANR fête ses 20 ans. Qu’est-ce que vous pourriez souhaiter pour les 20 prochaines années ?
Que l’ANR continue de permettre aux chercheurs et aux chercheuses d’explorer des problématiques nouvelles et ambitieuses, avec des financements et des programmes aussi souples que ceux dont j’ai pu bénéficier. Avoir une marge de manœuvre pour l’imprévu, c’est fondamental dans la recherche.
En savoir plus
Projet DeepCuriosity (Exploration dirigée par la curiosité et apprentissage développemental en IA, et applications pour les agents autonomes, la découverte automatique et les technologies de l'éducation)
