Les secondes comptent : gérer les premières impressions pour un agent virtuel plus engageant. – IMPRESSIONS

Du point de vue de l'utilisateur, l'interaction consistera en une communication naturelle face-à-face avec l'agent, par exemple par la parole et les gestes. En observant le comportement de l'agent, l'utilisateur pourrait (ou peut-être pas) former des impressions de chaleur et de compétence ainsi que d'autres impressions que nous n'avons pas prises en considération.
L'évaluation des impressions se fera par des questionnaires subjectifs administrés après l'interaction, ainsi que par la détection en temps réel des états physiologiques et le comportement multimodal montrés par l'utilisateur lors de l'interaction. La corrélation entre ces différentes sources de réponse de l'utilisateur fournira un ensemble complet d'informations qui seront donnés en entrée à l'agent pour créer une boucle d'interaction continue.

L'agent gère les impressions de chaleur et de compétence sur l'utilisateur en présentant un comportement multimodal non verbal et en adaptant ce comportement au comportement détecté de l'utilisateur et à l'état physiologique de ce dernier pendant l'interaction.

Plateforme interactive humain-agent où l'agent gère les premières impressions formées par l'utilisateur

B. Biancardi, A. Cafaro, C. Pelachaud, «Could a Virtual Agent be Warm and Competent? Investigating User's Impressions of Agent's Non-Verbal Behaviours«, Workshop «Investigating Social Interactions with Artificial Agents«, Glasgow, November 2017.
B. Biancardi, «Towards a Computational Model for First Impressions Management«, Doctoral Consortium of 19th ACM International Conference on Multimodal Interaction, Glasgow, November 2017.
B. Biancardi, A. Cafaro, C. Pelachaud, «Analyzing First Impressions of Warmth and Competence from Observable Nonverbal Cues in Expert-Novice Interactions«, 19th ACM International Conference on Multimodal Interaction, Glasgow, November 2017.
B. Biancardi, A. Cafaro, C. Pelachaud, «Investigating the role of gestures, arms rest poses and smiling in first impressions of competence.«, at Virtual Social Interaction Workshop, Bielefeld, German, July 2017.
B. Biancardi, A. Cafaro and C. Pelachaud «Gérer les premières impressions de compétence et de chaleur à travers des indices non verbaux.'', In Quatorzièmes Rencontres des Jeunes Chercheurs en Intelligence Artificielle (RJCIA 2017), July 2017, Caen, France.
B. Biancardi, A. Cafaro, C. Pelachaud, «Investigating User's First Impressions of a Virtual Agent's Warmth and Competence Traits.'', in Workshop Affect, Compagnon Artificiel, Interaction (WACAI), June 2016

Lors de toute rencontre les premiers instants sont critiques et les impressions que l’on forme des autres sont importantes. Ces impressions peuvent durer et peuvent influencer l’expérience de l’interaction. Le but de ce projet est de construire un agent virtuel anthropomorphe (ACA - agents conversationnels animés) capable de donner la meilleure première impression possible à un utilisateur, et ainsi d’engager une interaction avec lui/elle.

Cet objectif sera réalisé en construisant une boucle affective temps réel qui lie les comportements de l’ACA et les réactions émotionnelles de l’utilisateur, son interlocuteur. Cela permettra d’obtenir un ACA capable de gérer ses premières impressions sur l’utilisateur. Nous nous intéressons aux comportements non verbaux requis pour non seulement donner une première impression de chaleur (I.e. être amical, agréable, engageant et accessible) et de compétence (I.e. talentueux, instruit, et expert sur un sujet donné) dans les premières minutes de l’interaction avec un utilisateur mais aussi gérer et maintenir cette première impression chez l’utilisateur.

Le projet IMPRESSIONS présente des composantes à la fois en sciences humaines et en sciences computationnelles. L’analyse et la modélisation des comportements communicatifs non verbaux sont issues de la littérature existante en sociologie et en psychologie et de l’analyse des données collectées à partir des études perceptives sur l’utilisateur en environnement contrôlé. La composante computationnelle du projet propose d’implémenter ces modèles chez des agents virtuels, afin de les doter de comportements sociaux crédibles et efficaces.

Par ailleurs, une détection temps réel des comportements de l’utilisateur et des signaux physiologiques permettra de développer chez l’agent des mécanismes d’adaptation afin de gérer les impressions visées. L’information issue des comportements et des signaux physiologiques de l’utilisateur joue un rôle important dans l’évaluation des états affectifs de l’utilisateur, de la qualité de l’interaction et des impressions qu’a l’utilisateur sur l’agent. Les résultats obtenus seront soumis à une évaluation transverse. Le cas d’usage envisagé a pour vocation d’avoir un impact immédiat sur la communauté scientifique concernée et sur le grand public. Nous envisageons de mettre en place un scénario destiné à un musée. L’agent est destiné à être installé dans le hall d’un musée avec l’objectif d’échanger avec les visiteurs sur l’exposition du musée.

Dans ce contexte applicatif, la chaleur et la compétence de l’agent sont des aspects clés afin d’obtenir l’intérêt des visiteurs, leurs jugements positifs et de contribuer à leur expérience du musée. Le projet IMPRESSIONS s’appuie sur des résultats du projet collaboratif français PIA Avatar1:1 (A1:1). Il inclut un partenariat entre le Swiss Center of Affective Computing et le LTCI-CNRS et prévoit de déployer un agent dans le musée d’histoire naturelle de Neuchatel en Suisse.