DS0707 - Interactions humain-machine, objets connectés, contenus numériques, données massives et connaissance

Estimation d'expertise en echec a partir de l'observation de fixation et emotion – CEEGE

Estimation d'Expertise par Observation de Fixation et Emotion

Notre objectif est d'évaluer les théories de modélisation de processus de raisonnement, ainsi que d'évaluer et d'affiner les techniques d'observation des réactions physiologiques des humains engagé dans la résolution de problèmes en situation critique.

confronter et d’évaluer des théories et techniques pour la modélisation des processus cognitifs et réactions physiologique de sujets engagés dans la résolution de problèmes en situation critique

L’objet du projet est de confronter et d’évaluer des théories et techniques pour la modélisation des processus cognitifs et réactions physiologique de sujet humaines engagé dans les jeux et dans la résolution de problèmes. <br /> <br />Notre hypothèse est que le niveau d'expertise d'un joueur devrait être le reflet des trajets de ses yeux et de ses réactions physiologiques en concordance avec sa compréhension de la situation du jeu. Les informations sur son attention visuelle nous permettront de déterminer et de modéliser la compréhension d'un joueur en termes de configurations abstraites des pièces plutôt qu’en termes de position individuelle de chaque pièce. Les réactions physiologiques du joueur devraient s’exprimer par sa trajectoire dans un espace de paramètres physiologiques en corrélation avec sa compréhension de la situation stratégique de jeu.

Nous allons investiguer les différences en termes d’attention visuelle, de réponses physiologiques et d’états mentaux entre joueurs d’échec de différents niveaux d’expertise (novices, intermédiaires et experts) engagés dans la résolution de problèmes de jeu d’échec, y compris en situation de compétition. Nous allons estimer les réponses physiologiques, l'attention et les états mentaux des joueurs à partir d’enregistrements de signaux comme le balayage des yeux, les expressions instantanées du visage (micro expressions) et soutenues, la conductivité de la peau, le rythme cardiaque (BVP), la couleur de la peau, la posture, la respiration et d'autres informations extraites des enregistrements.

Nous utiliserons les enregistrements audio-visuels du visage des joueurs et de leur posture pour observer les réponses physiologiques tels que le plaisir, arousal et dominance. Ceci permettra de comparer l'efficacité de plusieurs techniques de modélisation des états mentaux et des réponses physiologiques de manière expérimentale. Des domaines applications inclus la conception de systèmes d’aide avec la capacité d’observer le niveau de compréhension d’un utilisateur afin de fournir un aide approprié, des systèmes d’assistance aux personnes âgées, et la conception de système pour le développement des capacités dans les jeux, dans une variété de domaine, dont l’échec.

Ouverture vers des nouvelles techniques en interaction homme-machine en situation critique.

T. Guntz, R. Balzarini, C. Vaufreydaz,J.L. Crowley, Multimodal Observation and Classification of People Engaged in Problem Solving: Application to Chess Players, Multimodal Technologies Interact. 2018, 2(2), 11; doi.org/10.3390/mti2020011.

T. Guntz, C. Vaufreydaz, R. Balzarini, J.L. Crowley, Multimodal Observation and Interpretation of Subjects Engaged in Problem Solving, Workshop on Behavior, Emotion and Representation at the conference on Human-Agent Interaction, HAI-2017, Bielefeld Oct. 2017

CEEGE est un projet de recherche scientifique multi-disciplinaire. L’objectif de ce projet est de comparer et d’évaluer par l’expérimentation des théories existantes portant sur l’attention et sur les modèles mentaux impliqués dans la résolution de problèmes, et d’améliorer les techniques d’observation des réactions physiologiques de sujets humains face à des situations suscitant le plaisir, l’angoisse, l’excitation, l’autorité et la peur.

Nous investiguerons et comparerons l’attention visuelle, les réponses physiologiques et les états mentaux de joueurs d’échec de différents niveaux d’expertise (novices, intermédiaires et experts) engagés dans la résolution de problèmes de jeu d’échec classiques, et en situation de compétition. Nous estimerons les réponses physiologiques, l'attention et les états mentaux des joueurs à partir d’enregistrements de signaux comme le balayage des yeux, les expressions soutenues et instantanées du visage (micro expressions), la conductivité de la peau, le rythme cardiaque, la couleur de la peau, la posture, la respiration et d'autres informations extraites des enregistrements.

Notre hypothèse est que le niveau d'expertise d'un joueur est le reflet de ses trajectoires oculaires et réactions physiologiques en concordance avec sa compréhension de la situation du jeu. Les informations sur son attention visuelle nous permettront de déterminer et de modéliser la compréhension d'un joueur en termes de configurations abstraites des pièces. Les réactions physiologiques du joueur devraient s’exprimer par une trajectoire dans un espace de paramètres physiologiques en corrélation avec sa compréhension de la situation stratégique de jeu.

Ce projet comprend trois étapes. Dans une première phase, nous observerons des joueurs de différent niveau d’expertise confrontés à des problèmes d'échec connus. Nous établirons alors la corrélation entre données capturées et configurations de pièces et solutions connues à ces problèmes. Ceci nous permettra de constituer un corpus étiqueté pour le jeu d’échec qui sera utilisé comme benchmark pour évaluer et comparer des techniques concurrentes d’estimation de modèles mentaux et de réponses physiologiques. Dans la deuxième phase, nous observerons l’attention et les expressions faciales de paires de joueurs de différents niveaux d’expertise. En particulier, nous segmenterons et annoterons les enregistrements avec le niveau de difficulté de la situation de jeu et avec des situations provoquant des réactions physiologiques particulièrement fortes. Dans la dernière phase, nous utiliserons ces corpus pour évaluer l’efficacité de techniques actuelles pour la modélisation de processus cognitif et l’observation des émotions. Nous évaluerons ces techniques sur leur capacité à prévoir le niveau des joueurs, leurs coups d'échecs, et les résultats des matches.

Les résultats de ces travaux seront publiés dans les congrès et journaux scientifiques relevant de l’informatique, des sciences cognitives et neurosciences, de même en vision par ordinateur, interaction multimodale, informatique affective et technologies persuasives. Les domaines d’applications incluent la conception de systèmes de suivi et d’estimation des compétences cognitives et réactions émotionnelles d’utilisateurs de systèmes interactifs afin de leur fournir une aide appropriée non disruptive, des systèmes compagnons en soutien des personnes âgées, des tutoriels en support à l’acquisition de nouvelles compétences dans divers domaines, incluant les jeux d’échec.

Coordinateur du projet

Monsieur James Crowley (Institut National de Recherche en Informatique et en Automatique)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

Bielefeld University Neurocognition and Action Research Group CITEC
INRIA GRA-PRIMA Institut National de Recherche en Informatique et en Automatique

Aide de l'ANR 230 481 euros
Début et durée du projet scientifique : novembre 2015 - 36 Mois

Liens utiles

Explorez notre base de projets financés

 

 

L’ANR met à disposition ses jeux de données sur les projets, cliquez ici pour en savoir plus.

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter