Décodage et suivi des états cognitifs d’un opérateur – BLADE

Ce projet vise à utiliser des méthodes de psychophysique, de neuroimagerie et d'oculométrie ainsi que méthodes de machine learning pour étudier les mécanismes sous-jacents à l'agentivité, à l'attention et à la confiance. Depuis le debut du projet nous avons réalisé 13 expériences de neuroscience et psychologie cognitive avec des volontaires sains. Ceci nous a permis de collecter jusqu'à aujourd'hui les données d'approximativement 260 participants.

Concernant l'agentivité, nous avons réalisé 3 expériences qui ont montré que les mécanismes prédictifs (i.e. capacité d'anticiper les conséquences d’une action) ont un rôle central dans l’agentivité. De plus, nous avons observé que être un agent favorise l’intégration des informations sensorielles comparée aux cas où un individu est un observateur passif.

En ce qui concerne l'attention, une étude EEG nous a permis d'explorer les signaux physiologiques de l'attention. Nous avons utilisé des modèles de classification sur les signaux cérébraux pour prédire l'évolution dans le temps du déploiement de l'attention spatiale. L’étude a montré que l'orientation de l'attention spatiale peut être décodée par les signaux alpha et aussi par l’activité brute enregistrée par l’EEG. Cependant, l'activité brute et la puissance des ondes alpha reflètent différentes caractéristiques de l'attention spatiale: la puissance d’alpha est associée à l'orientation de l'attention dans l'espace et l'activité brute à l'influence de l'attention sur les processus perceptifs.

En ce qui concerne la confiance. 4 expériences ont été réalisées. 2 expériences ont montré que la dilatation de la pupille peut prédire le jugement de confiance d’un individu. Deux autres études expérimentales ont montré que nos jugements de confiances ne se base pas seulement sur les informations perceptives dont nous sommes à disposition à un moment donné mais elles se basent aussi sur d’autres source d’information telle que le temps de réponse et/ou à quel point un individu est engagé à répondre.

Les études menées jusqu'à présent fournissent des bases solides pour la compréhension de l'agentivité, de l'attention et de la confiance. D'autres études sont prévues pour approfondir cette compréhension afin de décoder les signaux cérébraux associés à ces phénomènes.

Concernant l'attention, nos perspectives d'avenir sont de mener d'autres études visant à corroborer les différentes contributions des ondes alpha et de l'activité EEG brute sur l'attention et visant à décoder l'attention des observateurs pendant des tâches de surveillance multi-cibles.

En ce qui concerne l'agentivité, nous prévoyons de mener des études supplémentaires sur l'étude des signaux cérébraux associés à la capacité d'anticiper les effets de nos actions et sur l'étude du rôle de l'agentivité sur le traitement sensoriel.

Concernant la confiance, nous prévoyons de mener des études complémentaires pour identifier les sources d'information qu'un individu utilise pour estimer sa propre confiance et la confiance qu'il a en son partenaire lors des tâches coopératives.

Desantis, A., Chan-Hon-Tong A., Collins, T., Hoogendorn, H. & Cavanagh, P. (2020). Decoding the temporal dynamics of covert spatial attention using multivariate EEG analysis: contributions of raw amplitude and alpha power. Frontiers in Human Neuroscience.

De nos jours, de nombreuses activités humaines reposent sur l'interaction avec des systèmes automatisés. Les aspects positifs associés à l'automatisation sont indéniables: nos vies sont certainement plus faciles et plus sûres. Cependant, les systèmes automatisés ne remplacent pas simplement les humains; ils créent de nouveaux défis pour les personnes chargées de les utiliser. En effet, les systèmes automatisés ne sont pas entièrement indépendants, ils nécessitent toujours un contrôle humain et doivent être coordonnés avec les processus de contrôle humain. Un défi dans les interactions homme-machine est posé par le fait que les opérateurs manifestent une réduction de leur sentiment de contrôle sur les opérations réalisées par les systèmes automatisés. À son tour, cette perte de contrôle modifie radicalement le l’état perceptif et cognitif des opérateurs: leur sensibilité perceptive diminue, ils peuvent montrer une confiance excessive dans le contrôle de la machine, et ils perdent conscience de la situation, ce qui réduit considérablement leur engagement dans les activités du système. Surtout, ce sont des aspects qui peuvent échapper à la conscience des opérateurs. Cette série de dégradations associées à la diminution du contrôle des opérateurs est connue sous le nom de problème de performance hors-boucle (Out-Of-the-Loop performance problem). En cas de défaillance du système automatisé, le problème OOL peut entraîner une latence plus longue pour, déterminer ce qui a échoué, décider si une intervention est nécessaire et trouver la démarche adéquate à suivre. Le crash du vol Air France 447 entre Rio de Janeiro et Paris en 2009 ou l'accident nucléaire de Three Mile Island en 1979, ne sont que quelques exemples montrant les conséquences d'une perte de contrôle des opérateurs. Étant donné que ces aspects peuvent échapper à la conscience des opérateurs, il est crucial de pouvoir décoder et suivre à partir de données (neuro)physiologiques l'état cognitif des opérateurs, et éventuellement permettre le système automatisé d'ajuster ses paramètres en ligne pour aider les opérateurs à retrouver engagement et contrôle de la situation. C'est un défi que ce projet de recherche aborde. Plus spécifiquement, une perte d'engagement et de contrôle lors d'une interaction avec une machine automatisée peut être associée à des changements dans au moins trois processus: 1) une diminution de l'expérience de contrôle; 2) une perte d’attention; 3) excès de confiance envers le système. En conséquence, ce projet décrit de la recherche fondamentale en neuroscience visant à identifier et décoder trois processus cognitifs: 1) l'expérience de contrôle (contrôle vs non-contrôle), 2) l'état attentionnel (attention focalisée vs divisée), et 3) le niveau de confiance dans ses propres décisions (confiance faible ou élevée), en utilisant l'électroencéphalographie, la spectroscopie proche infrarouge fonctionnelle et l’oculometrie combinés avec des outils d'apprentissage automatique. La capacité à monitorer les états internes des opérateurs à l'aide de mesures (neuro)physiologiques est cruciale pour améliorer la sécurité lors des interactions homme-machine et pour concevoir des systèmes automatisés plus flexibles et adaptables. Le projet sera réalisé à l'Office National des Etudes et Recherches Aérospatiales qui a une grande expérience dans l'étude des interactions homme-machine.