CE33 - Interaction, robotique

LEXique d’Interaction Kinesthésique Humain-Machine – LEXIKHUM

LEXIKHUM, Lexique d’Interaction Kinesthésique Humain-Machine

Le but de ce projet est d’étudier le canal kinesthésique comme un moyen de communication. Plus particulièrement comme un moyen de réduire l’ambiguité des systèmes automatique avec une application envisagée dans le pilotage d’’hélicoptère.. On réunit des chercheurs en linguistique, robotique, science cognitive et ergonomie pour explorer ce sujet.

Communication des intentions à travers le canal kinesthésique comme un moyen nouveau de transmettre des informations sur l’état interne des acteurs (humain et machine).

L’objectif de ce projet est de rendre intelligible les machines à travers l’interaction kinesthésique. Pour atteindre cet objectif quatre sous-objectifs ont été identifiés :<br /> • définir un cadre théorique de la communication kinesthésique,<br /> • analyser les conditions de l’action conjointe et leurs modèles psychologiques pour l’interaction humain-humain,<br /> • comprendre et modéliser les mécanismes en jeux dans une telle communication. Il s’agira de construire un lexique de l’interaction kinesthésique,<br /> • implémenter ce lexique dans des agents artificiels afin d’améliorer leur intelligibilité par l’opérateur humain et supporter la coopération humain machine.

En termes de méthode nous souhaitons focaliser dans un premier temps sur la compréhension de l’interaction humain-humain. Nous souhaitons en extraire une compréhension des interactions programmable et interprétable d’un point de vue linguistique pour créer des partenaires virtuels qui seront comparables à l’humain. Enfin une démonstration d’application dans une situation réelle de pilotage d’hélicoptère sera utilisée comme une preuve de la mise à l’échelle des concepts développés.
Nous envisageons de développer le concept d’unité de sens kinesthésique qui sera l’élément de base des communications kinesthésiques.
Pour développer ce projet, nous avons organisé le projet en workpackages comme suit :
- WP1 : Management, communication et démarches légales
- WP2 : Outils et logiciels pour expérimentations (SEMAPHORO-2D, Environnement logiciel)
- WP3 : Étude sur les informations nécessaires à la compréhension des intentions d'autrui
- WP4 : Identification des unités de sens kinesthésiques dans une interaction humain-humain
- WP5 : Développement et évaluation des unités de sens kinesthésiques
- WP6 : Évaluation du pilotage augmenté par unités de sens kinesthésiques

our le moment, nous avons développé le robot qui servira aux études. En utilisant une ancienne version nous avons développés les logiciels pour l’interfaçage des unités de sens kinesthésiques avec différents systèmes techniques (3 robots différent et un simulateur de vol).
Le développement des outils d’analyse logicielles des situations d’interaction a été mis en place, des serveurs de calculs sont opérationnels et utilisé entre les partenaires.

Ce travail permettra d’augmenter la compréhension de l’interaction humain-robot, il fournira un ensemble d’unités de sens kinesthésiques qui seront répertoriées en fonction du sens qu’elles amènent à l’interaction. D’un point de vue opérationnel, ces unités de sens participeront à améliorer l’intelligibilité des systèmes fortement automatisés. En ce sens, ce projet a l’ambition de proposer un nouveau canal d’information permettant de réduire l’opacité des systèmes et de supporter la coopération entre l’humain et la machine. Cette amélioration permettra à la fois d’optimiser l’efficacité de cette interaction (et donc la sécurité des opérations), mais également d’améliorer l’acceptabilité des systèmes artificiels. À travers ces différentes communications, le consortium cherchera à valoriser le travail réalisé dans différentes communautés scientifiques (robotique, psychologie, neurosciences, linguistique).
Dans ce projet, le robot et le lexique ont vocation à être publiés sous des licences open-source (CC-nc-by) afin que chaque scientifique puisse utiliser ces outils et enrichir le lexique de leurs unités de sens kinesthésiques. Ainsi, un projet européen pourrait naturellement découler de ce projet. Il impliquerait les psychologues expérimentaux européens qui pourraient être concernés par cette technologie. Des contacts ont déjà été pris avec : G. Pezzulo (Rome), E. Burdet (Londres), E. Pacherie (Paris). Nous envisageons également contacter N. Sebanz (Budapest) et P. Haggard (Londres).
Le lexique développé sera un outil utile à tout utilisateur (industriel, chercheur, usager...) qui souhaite mettre en œuvre des phrases kinesthésiques dans un robot. Le travail de documentation des performances de chaque unité de sens kinesthésique lui donnera une idée de l’efficacité du message souhaité. Si par exemple un industriel souhaite transmettre la consigne d’aller à gauche dans son système, par le biais de notre lexique, il aura l’assurance que cette unité de sens kinesthésique fournira le message de manière compréhensible et avec une précision donnée et mesuré par des procédures scientifiques.
La collaboration de ce projet avec l’ONERA permet d’amener une preuve de l’opérationnalité de ce concept dans un contexte aéronautique directement en demande. Détecter des obstacles et aider à la navigation d’un hélicoptère dans un environnement encombré est dès lors une fonction d’importance pour l’amélioration de la sécurité des vols. De nombreux constructeurs voient dans les manches à retour d’effort des nouveaux moyens d’interaction avec le pilote et que certains appareils en sont déjà équipés sans pour autant savoir exactement comment spécifier les retours d’efforts. Ce travail trouvera aussi directement des cadres d’application dans les recherches des équipes partenaires, de manière générale, en cobotique et plus particulièrement, en robotique d’assistance et en robotique chirurgicale.

- ACM transaction on Human-Robot Interaction, Lucas Roche, Ludovic Saint-Bauzel, Study of Kinesthetic Negotiation Ability in Lightweight Comanipulative Decision-making Tasks: Design and Study of a Virtual Partner based on Human-human Interaction Observation, p.1-23, 2022
- Conférence invité ISVR, Ludovic Saint-Bauzel : Physical Patient-Robot Interaction : A small journey from patients assistance to fundamental studies 15/06/22
- Conférence invité ISVR,Ouriel Grynszpan : The sense of agency in collaborative action
- F. Catteau, A. Morgenstern et C.S. Bianchini. “From gestures to kinesthetic modality: how to express epistemicity in a haptic device for human-machine interaction”. 9th Conf of the Intl. Soc. for Gesture Studies (ISGS) “Gesture: From Description to Application”. Chicago (USA), 13-15/7/22.
- C.S. Bianchini, C. Danet, L. Chevrefils, F. Catteau, C. Thomas, M. Rébulard, A. Contesse et P. Doan. “Transcribing and comparing sign languages and co-speech gestures: the contribution of the Typannot typographic transcription system to the study of epistemicity”. 2nd Intl. Workshop on Cognitive and Functional Explorations in Sign Language Linguistics (SignCafe2). Ragusa (IT), 13-15/10/22.

- C.S. Bianchini, F. Catteau. “Le geste épistémique: identification et comparaison des traits articulatoires sous-paramétriques en gestualité coverbale du français et en langue des signes française (LSF). Faits de Langue “Discours et Multimodalité”, numéro spécial dirigé par A. Morgenstern. Publication prévue: fin 2023.

- L. Saint-Bauzel (2021), Habilitation à diriger des recherches : « Modélisation computationnelle de la coopération physique patient-robot : De la prédiction du mouvement pathologique pour la commande de robots d’assistance à l’étude de l’interaction humain-robot. »

Le but de ce projet est d’étudier et de développer des solutions de communications kinesthésique pour l’interaction homme- robot. Ce travail permettra d’augmenter l'intélligibilité des systèmes en interaction physique avec l'homme, il fournira un ensemble d’unités de sens kinesthésiques qui seront répertoriées en fonction du sens qu’elles amènent à l’interaction. D’un point de vue opérationnel, ces unités de sens participeront à améliorer l’intelligibilité des systèmes fortement automatisés.Dans un contexte d’automatisation toujours plus importante des systèmes technologiques, la question de l’intelligibilité de ces systèmes est au coeur des préoccupations. En ce sens, ce projet a l’ambition de proposer un nouveau canal d’information permettant de réduire l’opacité des systèmes et de supporter la coopération entre l’homme et la machine. Le consortium cherchera à valoriser le travail réalisé dans différentes communautés scientifiques (robotique, psychologie, neurosciences, linguistique).

Coordination du projet

Ludovic Saint-Bauzel (Institut des Systèmes Intelligents et de Robotique)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

DTIS Département Traitement de l'Information et Systèmes
FORELLIS FORMES ET REPRESENTATIONS EN LINGUISTIQUE, LITTERATURE ET DANS LES ARTS DE L'IMAGE ET DE LA SCENE
LIMSI Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur
ISIR Institut des Systèmes Intelligents et de Robotique

Aide de l'ANR 681 490 euros
Début et durée du projet scientifique : janvier 2021 - 48 Mois

Liens utiles

Explorez notre base de projets financés

 

 

L’ANR met à disposition ses jeux de données sur les projets, cliquez ici pour en savoir plus.

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter