Confiance, noradrenaline et régulation de l'apprentissage – CONFI-LEARN

Nous utilisons un modèle mathématique (dit «computationnel«) de l'apprentissage, que nous avons déjà développé. Il montre des similitudes importantes avec les estimations des participants et permet d'étudier l'apprentissage et la confiance de façon quantitative.

Nous utiliserons l'IRM fonctionnel (IRMf), pour mesurer indirectement l'activité du cerveau avec une bonne résolution spatiale. Nous mesurerons l'activité du locus coeruleus, le principale centre de relargage de la noradrénaline dans le cerveau, afin de tester si son niveau d'activité varie, au cours d'une tâche d'apprentissage, de façon similaire au niveau de confiance.

Nous utiliserons également le diamètre pupillaire mesuré avec un oculomètre, car en condition bien contrôlées, il reflète (entre autres choses) le niveau d'activité du locus coeruleus. Cette mesure est donc complémentaire de la précédente.

Pour mesurer les dynamiques cérébrales, nous utilisons la magnetoencéphalographie (MEG) qui mesure à la surface du crâne les minuscule champs magnétiques induit par l'activité électrique des neurones du cerveau. Les oscillations de cette activité nous renseignent sur les propriétés dynamiques des réseaux cérébraux.

Nous espérons tester l'implication causale de la noradrénaline dans l'apprentissage avec la pharmacologie, mais ce type d'étude est difficile à mettre en place. Nous prévoyons d'utiliser un inhibiteur de la recapture de la noradrénaline, l'atomotexine, nous altérer de façon transitoire les niveaux de noradrénaline dans le cerveau et mesurer ces conséquences sur l'apprentissage.

Enfin, nous utiliserons des modèles d'encodage en IRMf, qui permettent de tester à quel point l'activité, dans une région donnée du cerveau, peut être expliquée par un type de code neuronal. Pour étudier de façon théorique les codes neuronaux susceptibles d'être impliqués dans notre tâche d'apprentissage, nous entraînons des réseaux de neurones artificiels (récurrents) à résoudre cette tâche.

Nous avons obtenu des résultats importants sur l'ensemble des projets.

Le diamètre pupillaire, dans sa composante tonique (c'est à dire, la plus stable), varie de façon parallèle au niveau de confiance idéal que le sujet devrait ressentir au cours de la tâche, ce qui corrobore notre hypothèse d'un effet de la confiance sur le niveau de relargage de la noradrénaline.
Nous avons également mené une étude en MEG qui montre, également en accord avec notre hypothèse, que les oscillations de l'activité cérébrale dans la bande beta (15-30 Hz) évolue également en parallèle du niveau de confiance idéal que devrait avoir le participant au cours de la tâche. Ces oscillations prédisent également le niveau de confiance effectivement rapporté par le participant quand on lui pose la question. Des oscillations dans la bande bêta ainsi que le diamètre pupillaire sont associés, en sus de la confiance, à une modulation des signaux de surprise mesurés en MEG au cours de l'apprentissage. Ce résultat est une démonstration, parmi les plus directes à ce jour, de l'existence de signaux de surprises endogènes pondérés par la confiance, qui devraient jouer, d'une point de vue théorique, un rôle essentiel dans l'apprentissage adaptatif. Nos résultats nous renseignent aussi sur les mécanismes possible d'une telle pondération, avec l'implication d'oscillations cérébrales dans la bande bêta et les niveaux de noradrénaline.

Le volet le plus théorique montre, de façon préliminaire, que des dynamiques récurrentes de basse dimensionalité (c'est à dire avec peu d'unité impliquée) suffisent à calculer une approximation quasi exacte de la solution mathématique idéale lors de notre tâche d'apprentissage.

Ces premiers résultats corroborent notre hypothèse sur l'implication de la confiance dans la régulation de l'apprentissage adaptatif, et commencent à en dessiner les mécanismes. Ils corroborent également notre hypothèse sur le rôle clé de la noradrénaline pour réguler cet apprentissage. Ces résultats doivent maintenant être confirmés avec d'autres approches (IRMf du locus coeruleus, pharmacologie.

Heilbron & Meyniel (2019) Confidence resets reveals hierarchical adaptive learning in humans. Plos Computational Biology
Meyniel (2019) Brain dynamics for confidence-weighted learning. BioRxiv doi.org/10.1101/769315

Pour être efficace dans un monde qui évolue, nos mécanismes d'apprentissage doivent s'adapter. En effet, quand un bouleversement rend inutile ce nous avons appris précédemment, il faut alors ré-apprendre rapidement à partir de nouvelles observations. En revanche, si rien ne change, nous avons tout intérêt à combiner informations passées et présentes pour affiner nos connaissances. Trouver le juste équilibre entre flexibilité et stabilité est au coeur de l’apprentissage adaptatif.

Notre monde étant aussi incertain, cet équilibre est difficile à trouver en pratique. Par exemple, une vague de chaleur en plein hivers reflète-t-elle un simple aléa météorologique, ou un profond changement du climat ? Dans le premier cas, je peux me fier à mes connaissances actuelles (stabilité) mais dans le second, je dois les réviser (flexibilité). Les outils mathématiques comme l'inférence Bayésienne offrent des solutions optimales à ce type de problème. En m'inspirant de ces solutions Bayésiennes, j'ai proposé que notre sens de la confiance nous permet d'arbitrer entre connaissances passées (stabilité) et nouvelles observations (flexibilité) et rend ainsi nos algorithmes pour l’apprentissage adaptatif performants.

Ce projet vise à étudier les mécanismes neurobiologiques de la régulation de l’apprentissage par la confiance. Mon hypothèse est que la noradrénaline module des interactions dynamiques à l'échelle de notre cerveau et que ce mécanisme nous permet de pondérer connaissances passées et observations nouvelles au cours de l'apprentissage. Afin de tester cette hypothèse, je propose une approche qui allie modélisation computationnelle, données comportementales, imagerie par résonance magnétique fonctionnelle (IRMf), magnéto-encéphalographie (MEG) et pharmacologie chez l'homme. Le projet est structuré en trois sous-partie (SP) complémentaires et unifiées grâce à l’utilisation d’une même tâche d’apprentissage probabiliste et d’un même modèle Bayésien, validés précédemment.

Dans SP1, je chercherai à mesurer l'activité du locus coeruleus (LC, le principal noyau noradrénergique) grâce à l’IRMf à au champs (7T). Mes résultats méthodologiques à 3T sont déjà très positifs. Je mesurerai ainsi, de façon non-invasive chez l’homme, l’activité du LC au cours de la tâche d’apprentissage, pour tester la corrélation prédite par mon hypothèse entre l’activité du LC, le niveau de confiance du participant et la régulation de son apprentissage au cours de l’expérience.

Dans SP2, je chercherai à tester, par la pharmacologie, la nature causale du lien entre LC et confiance, ainsi que sa spécificité en regard d'un autre neuromodulateur (l’acétylcholine). Je combinerai cette approche à la MEG, de façon à mesurer les dynamiques cérébrales au cours de l’apprentissage et leur régulation par le LC et la confiance. J’utiliserai des propriétés fréquentielles du signal MEG comme marqueur de ces dynamiques cérébrales.

Dans SP3, j’étudierai les codes neuronaux des probabilités inférées, et plus précisément, le format du niveau de confiance associé, puisque cette confiance est une clé de l’apprentissage adaptatif. Pour identifier des codes plausibles a priori, je me repose sur des réseaux de neurones artificiels et les neurosciences computationnelles. Je définis ensuite des modèles d’encodage, qui permettent de faire des prédictions spécifiques et testables en IRMf pour chacun de ces codes. En utilisant des techniques d’apprentissage automatique, je testerai et comparerai ces différents modèles.

Ce projet vise principalement à contribuer à la recherche fondamentale dans les domaines des neurosciences et de l’apprentissage. Il offre néanmoins aussi des pistes, spéculatives mais prometteuses, pour des applications technologiques et médicales.