Agents conversationnels en réalité virtuelle pour la formation de médecins à l’annonce d’événement grave – ACORFORMed

Le projet ACORFORMed se propose d'explorer la question de la communication homme-machine multimodale, ses bases théoriques et son application dans un environnement de réalité virtuelle. Il vise au développement d'un agent conversationnel animé doté de capacités de communication de haut niveau. L'avatar que nous développerons sera utilisé dans un environnement dédié à la formation des médecins pour l'entraînement à l'annonce "d'événement indésirable grave". Le projet vise deux types d'objectifs:

- théoriques: grâce à la spécification d'un contexte d'application restreint, et en partant d'analyses de corpus, nous proposons de développer un modèle complet d'interaction, incluant des aspects verbaux et non-verbaux. A ce jour, aucun modèle de ce type n'existe véritablement.

- applicatifs: le projet vise au développement d'un agent conversationnel animé, interagissant avec un humain dans un contexte spécifique. Un tel avatar, avec des capacités d'interaction multimodales, incluant des aptitudes comportementales est une première étape vers le développement de nouvelles applications reposant sur l'interaction.

D'une façon générale, nos connaissances sur la production et la perception de la parole dans un environnement naturel sont de plus en plus précises. Cependant, il manque toujours un cadre général permettant de décrire, formaliser et modéliser cette activité. Le problème vient du fait que le langage repose sur l'interaction de différentes sources d'information, provenant de différents domaines (prosodie, syntaxe, pragmatique, etc.) et de différentes modalités (parole, gestes, etc.). De plus, l’interaction doit être prise en compte dans son contexte général, physique aussi bien que social, émotionnel et même physiologique. Tous ces paramètres doivent être inclus dans une modélisation complète de l'interaction naturelle. Cependant, cet objectif reste aujourd'hui hors de portée, en particulier à cause de l'extrême variabilité provenant de l'interaction de l'ensemble de ces paramètres.

Une façon de traiter ce problème consiste à définir un contexte précis, rendant possible le contrôle des paramètres et de leurs interactions. Cette approche permet une réduction drastique de la variabilité des sources d'information verbales et non-verbales. Le contexte que nous proposons d’utiliser concerne l’entraînement des médecins à l'annonce de dommages liés aux soins ou d'événement indésirable grave. Cette formation est habituellement effectuée dans le cadre de sessions pendant lesquelles le médecin en formation est confronté à un patient joué par un acteur. Les partenaires médicaux de ce projet sont très impliqués dans la mise en oeuvre de ce type de formation. Ils apportent au projet un grand corpus de 30h de sessions d'entraînement. Les linguistes, en collaboration avec les médecins, décriront et annoteront le corpus.
La partie applicative d’ACORFORMed consiste à intégrer le modèle d'interaction dans un environnement de dialogue multimodal. Concrètement, il s'agit de développer un système dans lequel le sujet humain interagit avec un patient virtuel, réagissant en temps réel par des modalités verbales et non-verbales. Ce contexte particulier conduira à plusieurs résultats : modélisation complète d'une situation d'interaction, développement un système de dialogue multimodal intégré, spécification d'un patient virtuel.

Le projet a donc un objectif à la fois théorique et appliqué, visant le développement d'un prototype industriel qui permettrait de répondre aux besoins croissants en termes de formation des médecins dans ce domaine. Il s'agit d'un projet interdisciplinaire (linguistique, informatique, psychologie, médecine) qui comporte à la fois des aspects théoriques et appliqués. Le consortium proposé couvre l'ensemble des domaines ainsi que des expertises nécessaires en termes de développement: il réunit des laboratoires de recherche, des établissements hospitaliers ainsi que des industriels.