Décodage et suivi des états cognitifs d’un opérateur – BLADE

Pour explorer ces questions, nous avons mené plusieurs expériences de neurosciences et de psychologie expérimentale en laboratoire avec des volontaires adultes. Nous avons utilisé différentes techniques :

- L’électroencéphalographie (EEG) pour enregistrer l’activité cérébrale ;

- L’oculométrie pour mesurer les comportements oculomoteurs ;

- La psychophysique pour analyser les performances comportementales.

Nous avons ensuite combiné ces données avec des méthodes d’apprentissage automatique (machine learning) pour identifier des « signatures » cérébrales et oculaires capables de refléter le niveau de contrôle, d’attention et de confiance des opérateurs.

Ces expériences nous ont permis de mieux comprendre comment le cerveau et le comportement reflètent le sentiment de contrôle, l’attention et la confiance.

Sentiment de contrôle.

Nous avons d'abord montré qu’il est possible d'opérationnaliser le sentiment de contrôle à travers la capacité de prédiction. Les individus ressentent un plus grand contrôle sur des événements lorsqu'ils peuvent les prédire, par rapport quand ils ne peuvent pas les anticiper. Nous avons également observé que les événements prédits sont perçus plus clairement et traités plus efficacement par le cerveau que les événements non anticipés. Grâce à l’EEG, nous avons identifié des signatures cérébrales spécifiques (par ex., les composantes N1, P2 et P3) associées à cette capacité de prédiction. Enfin, nous avons constaté que les événements prédits sont mieux décodés par des algorithmes d’apprentissage automatique appliqués aux signaux cérébraux, ce qui confirme qu'ils sont traités de manière plus efficace par le cerveau. Ces résultats sont particulièrement importants pour comprendre les interactions avec des systèmes automatisés et opaques, où les opérateurs, devenus superviseurs passifs, peinent à prédire les actions et décisions de la machine, ce qui peut altérer leur sentiment de contrôle et réduire leur engagement.

Attention.

Nous avons montré que l’orientation de l’attention dans l’espace peut être prédite à partir des signaux EEG, particulièrement grâce à l’activité des ondes alpha et à l’activité cérébrale brute. Les ondes alpha sont associées au déplacement de l’attention dans l’espace, tandis que l’activité cérébrale brute est liée à l’amplification des informations sensorielles attendues. Par ailleurs, la vitesse de dilatation de la pupille s’est révélée être un bon indicateur de l’état attentionnel : elle permet de distinguer si l’attention est focalisée sur un seul endroit ou divisée entre plusieurs zones. Ces résultats sont essentiels pour les interactions avec des systèmes automatisés, car une attention mal orientée ou divisée peut retarder la détection d'anomalies et compromettre la sécurité.

Confiance.

Nous avons démontré que la confiance qu’une personne accorde à ses décisions dépend en partie de ses actions motrices, ce qui suggère que les individus distinguent plus facilement une bonne d'une mauvaise décision lorsqu'ils sont actifs plutôt que passifs. Nous avons également montré que lorsque les individus doutent de leurs décisions, ils sont plus enclins à accepter les choix d’une machine ou d’un autre partenaire, même si ceux-ci peuvent se tromper. Enfin, nous avons réussi à prédire le niveau de confiance des participants à partir de l'analyse de la dilatation de leur pupille grâce à des méthodes d’apprentissage automatique. Ces résultats montrent qu'une confiance mal ajustée peut conduire soit à une dépendance excessive, soit à un rejet injustifié des décisions de la machine, compromettant la sécurité des interactions homme-machine.

Ce projet a ouvert des nombreuses perspectives :

- Des nouvelles thèses de doctorat ont démarré pour approfondir l'étude du contrôle et de la prédiction dans des tâches complexes.

- Nous participons à un projet européen (ERC HORIZON-MSCA) sur la confiance dans la prise de décision.

- Nombreuses collaborations se sont développées avec des laboratoires en France et en Europe pour étendre ces recherches.

- Enfin, ces résultats pourraient trouver des applications concrètes dans des domaines comme l’aviation, la conduite assistée ou les interactions humain-robot.

Barne, L. C.; Giordano, J.; Collins, T.; Desantis, A. Decoding Trans-Saccadic Prediction Error. Journal of Neuroscience. 2023, 43(11), 1933-1939.

Bonnet, E.; Masson, G. S.; Desantis, A. What over When in causal agency: Causal experience prioritizes outcome prediction over temporal priority. Consciousness and Cognition. 2022, 104, 103378.

Ficarella, S. C.; Desantis, A.; Zenon, A.; Burle, B. Preparing to React: A Behavioral Study on the Interplay between Proactive and Reactive Action Inhibition. Brain Sciences. 2021, 11, 680.

Desantis, A.; Chan-Hon-Tong, A.; Collins, T.; Hogendoorn, H.; Cavanagh, P. Decoding the Temporal Dynamics of Covert Spatial Attention Using Multivariate EEG Analysis: Contributions of Raw Amplitude and Alpha Power. Frontiers in Human Neuroscience. 2020, 14.

De nos jours, de nombreuses activités humaines reposent sur l'interaction avec des systèmes automatisés. Les aspects positifs associés à l'automatisation sont indéniables: nos vies sont certainement plus faciles et plus sûres. Cependant, les systèmes automatisés ne remplacent pas simplement les humains; ils créent de nouveaux défis pour les personnes chargées de les utiliser. En effet, les systèmes automatisés ne sont pas entièrement indépendants, ils nécessitent toujours un contrôle humain et doivent être coordonnés avec les processus de contrôle humain. Un défi dans les interactions homme-machine est posé par le fait que les opérateurs manifestent une réduction de leur sentiment de contrôle sur les opérations réalisées par les systèmes automatisés. À son tour, cette perte de contrôle modifie radicalement le l’état perceptif et cognitif des opérateurs: leur sensibilité perceptive diminue, ils peuvent montrer une confiance excessive dans le contrôle de la machine, et ils perdent conscience de la situation, ce qui réduit considérablement leur engagement dans les activités du système. Surtout, ce sont des aspects qui peuvent échapper à la conscience des opérateurs. Cette série de dégradations associées à la diminution du contrôle des opérateurs est connue sous le nom de problème de performance hors-boucle (Out-Of-the-Loop performance problem). En cas de défaillance du système automatisé, le problème OOL peut entraîner une latence plus longue pour, déterminer ce qui a échoué, décider si une intervention est nécessaire et trouver la démarche adéquate à suivre. Le crash du vol Air France 447 entre Rio de Janeiro et Paris en 2009 ou l'accident nucléaire de Three Mile Island en 1979, ne sont que quelques exemples montrant les conséquences d'une perte de contrôle des opérateurs. Étant donné que ces aspects peuvent échapper à la conscience des opérateurs, il est crucial de pouvoir décoder et suivre à partir de données (neuro)physiologiques l'état cognitif des opérateurs, et éventuellement permettre le système automatisé d'ajuster ses paramètres en ligne pour aider les opérateurs à retrouver engagement et contrôle de la situation. C'est un défi que ce projet de recherche aborde. Plus spécifiquement, une perte d'engagement et de contrôle lors d'une interaction avec une machine automatisée peut être associée à des changements dans au moins trois processus: 1) une diminution de l'expérience de contrôle; 2) une perte d’attention; 3) excès de confiance envers le système. En conséquence, ce projet décrit de la recherche fondamentale en neuroscience visant à identifier et décoder trois processus cognitifs: 1) l'expérience de contrôle (contrôle vs non-contrôle), 2) l'état attentionnel (attention focalisée vs divisée), et 3) le niveau de confiance dans ses propres décisions (confiance faible ou élevée), en utilisant l'électroencéphalographie, la spectroscopie proche infrarouge fonctionnelle et l’oculometrie combinés avec des outils d'apprentissage automatique. La capacité à monitorer les états internes des opérateurs à l'aide de mesures (neuro)physiologiques est cruciale pour améliorer la sécurité lors des interactions homme-machine et pour concevoir des systèmes automatisés plus flexibles et adaptables. Le projet sera réalisé à l'Office National des Etudes et Recherches Aérospatiales qui a une grande expérience dans l'étude des interactions homme-machine.