Réalité Virtuelle, Assistance et Secours Médical pour Spationautes – VR-MARS

Au sein du Lab-STICC, dans le cadre du travail de doctorat, un état de l’art approfondi sur le comportement d’un coordinateur médical et du Leadership Situationnel a été mené.
En outre, nous sommes en train de développer l’agent virtuel en générant son comportement non-verbal en suivant le framework SAIBA. En particulier, un travail sur la génération en temps réel de gestes est en cours. Ceux-ci seront guidés par des objets invisibles sur lesquels les mains viendront se poser. La forme et le déplacement de ces objets dans l'espace relatif à l'ACA permettront de définir le mouvement des bras, la forme des mains et les mouvements des doigts.
L’architecture permettant la collaboration entre la situation en réalité augmentée sur le site distant et en réalité virtuelle dans la salle de contrôle est également en cours de développement. Cette architecture s’appuie sur un serveur qui fait transiter les messages entre les deux situations tout en gérant la simulation de la latence. L’architecture s’appuie également sur un formalisme de messages. Ce formalisme est fondé sur le métamodèle MASCARET permettant de représenter la situation sous forme d’un modèle du monde et surtout un modèle des procédures à réaliser. Les messages transitant entre les deux situations (RV et RA) prennent alors la forme de valeurs de propriétés, d’action réalisée ou de modification de procédure.
Au sein du LP3C (Université Bretagne Sud), 3 aspects du projet VR-MARS ont été abordé: la consolidation de la méthode heuristic Cognitive Work Analysis (hCWA) nécessaire à l’analyse des tâches de prise en charge d’un patient, la participation à la définition des conditions expérimentales d’évaluation du premier prototype, et enfin l’interfaçage entre cette méthode et le formalisme de programmation des environnements virtuels MASCARET. La méthode hCWA se donne pour objectif d’analyser des systèmes adaptatifs critiques, comme le traitement d’une urgence médicale, afin de spécifier les modalités d’assistance.

L’étude mené par la doctorante a permis de proposer une nouvelle taxonomie des compétences non techniques, des intentions communicatives et du comportement d'un agent virtuel agissant en tant que coordinateur médical. La théorie du Leadership Situationnel est appliquée afin de permettre à l'agent virtuel de diriger un groupe de personnes. Les comportements de bas niveau (signaux non-verbaux) appartenant à deux styles de leadership différents, directif et de soutien, sont identifiés dans la littérature et sont inclus dans la taxonomie. Les informations de haut niveau de la taxonomie se composent des compétences non techniques nécessaires à un coordinateur médical, telles que la compréhension de la situation, la prise de décision, la gestion des tâches et le travail d'équipe. La taxonomie permet de lier ces compétences non techniques aux fonctions communicatives du coordinateur virtuel et ces dernières au comportement verbal et non verbal que l’agent doit animer.
En outre, un cas d’étude simulant une douleur abdominale sur un patient a été aussi réalisé. La procédure et son contexte ont été formalisés avec l’aide des experts de l’hôpital de Lorient et une scène simulant un habitat martien a été réalisée permettant la collaboration entre un soignant en RA (Hololens) et un expert en RV (CAVE). Les actions en cours dans cette tâche portent sur la création d’une interface (en RV ou en 2D sur table interactive) permettant à l’expert de naviguer, temporellement, dans la procédure et de la modifier en fonction de son diagnostic.
Au sein du L3PC, la méthode hCWA a été appliquée à la prise en charge d’une urgence cardiaque. Actuellement, nous avons commencé à appliquer la méthode au scénario de douleur abdominale qui servira de test pour la première maquette du dispositif VR-MARS. Ce scénario a été pré-testé à bord du bateau TARA. Un travail de formalisation mathématique plus poussée, sous la forme de chaînes de Markov, a été abordé en collaboration avec le LMBA.

Dans le cadre du travail de thèse, l’étape suivante consistera à évaluer la taxonomie proposée. A cette fin, une première évaluation est en cours de réalisation pour vérifier que les comportements non verbaux liés aux intentions communicatives de l’agent expriment un style de leadership correctement reconnaissable par les utilisateurs.
Le scénario de douleur abdominale, pré-testé sur le bateau TARA, fera l’objet d’un test en vol parabolique en octobre prochain. Nous travaillons actuellement sur l’interfaçage entre hCWA et le langage MASCARET. L’objectif est de fournir à MASCARET des indicateurs d’activité permettant de guider l’activation de modalités d’assistance en fonction de l’évolution du déroulement de la prise en charge du patient par les soignants.

Le travail de la doctorante a donné lieu à deux publications. Une première, soumise en tout début de thèse, a permis de présenter le travail lors du doctoral consortium de la conférence sur les agents intelligents virtuels, IVA 2019 (Intelligent Virtual Agents). Plus récemment, la taxonomie a été publiée dans un article soumis à la conférence internationale sur le comportement humain, ICHBSA 2020 (Internation Conference on Human Behaviour and Scientific Analysis). L’étape suivante consistera à évaluer la taxonomie. A cette fin, une première évaluation est en cours de réalisation pour vérifier que les comportements non verbaux liés aux intentions communicatives de l’agent expriment un style de leadership correctement reconnaissable par les utilisateurs.
Le travail mené au LP3C a permis la soumission de deux articles, l'un accepté, l'autre en cours de relecture.

VR-MARS est un système d’assistance conçu pour le soin d’urgence en milieu isolé, basé sur la réalité virtuelle et les agents conversationnels animés (ACA). Notre hypothèse est que ces deux technologies permettent d’améliorer la conscience de la situation et la coordination du soin pour les intervenants : un soignant isolé, un patient en condition critique médicale, et un centre expert de référence. Les champs scientifiques abordés sont la médecine d’urgence, le facteur humain et la réalité virtuelle.

Le cas d’étude de VR-MARS concernera la médecine spatiale, avec une simulation de soin d’urgence lors d’une mission habitée sur Mars. L’éloignement géographique sera doublé d’un isolement temporel, dû à la latence dans les communications entre le soignant (sur Mars) et le centre expert (sur Terre). Cette condition crée un verrou supplémentaire dans les possibilités d’assistance extérieure.

Cette architecture est basée sur une double échelle de décision, qui permettra de répartir et de synchroniser les traitements cognitifs entre le soignant isolé, l’ACA et le centre expert.
L’ACA sera accessible auprès du soignant via un support de réalité augmentée. Il délivrera sur commande numérique ou vocale le rappel des procédures à engager selon des mots-clés prédéfinis (« arrêt cardiaque », « asphyxie », « fracture de jambe »). Ces commandes seront annoncées à travers un cadre verbal rassurant pour diminuer le stress temporel et organisationnel du soignant.
Le centre expert recevra de l’ACA des informations actualisées des procédures engagées par le soignant. Ceci permettra d’améliorer la conscience de la situation en cours sur le site isolé et d’anticiper les décisions à prendre à moyen ou long terme. Il pourra en retour donner des instructions plus détaillées au soignant, délivrées via l’ACA. Ce dernier servira ainsi de nœud communicationnel et centralisera les flux d’informations entre les deux sites.

Les hypothèses de VR-MARS seront testées lors de scénarios médicaux de soins critiques grâce à la réalité virtuelle, la réalité augmentée et un mannequin de simulation médicale haute fidélité.
Un cas d’appendicite grave et un cas de fracture de jambe sur une base martienne seront simulés.
Deux niveaux d’interactions seront évalués à l’aide de grilles de codage ciblant les compétences techniques et non techniques du médecin isolé.
Les interactions immédiates, entre le soignant et l’ACA, via des procédures d’urgence proposées pour sécuriser et stabiliser le malade.
Les interactions en latence entre le soignant et le centre expert via l’ACA, afin de traiter les processus cognitifs plus longs et séquentiels comme la pose d’une indication chirurgicale, la préparation à une procédure d’anesthésie générale, ou la décision de limitation de soins devant un cas désespéré.

Les sorties de ce projet pourront concerner l’ensemble de l’assistance médicale à un soignant isolé : la médecine humanitaire et de catastrophe, la médecine militaire, la médecine maritime de plaisance ou de régate, le rapatriement sanitaire.