Synchronisation de la parole et des gestes – SYNCOGEST

Le projet SYNCOGEST ambitionne de modéliser une part de la gestualité (mimiques, postures et gestes) spontanément déployée par les locuteurs et lors d'une communication en face à face, en vue de doter les agents conversationnels virtuels incorporés (ECAs) d’une attitude plus naturelle et plus efficace en contexte interactionnel. Il s’agira ainsi de proposer un modèle de génération automatique de gestes appropriés et synchronisés avec la parole, en production (gestuelle communicative). Ce projet repose ainsi sur l’articulation d’approches interdisciplinaires complémentaires, réunissant des spécialistes d’intelligence artificielle, de sciences du langage et de Sciences du mouvement.
Si la génération automatique des gestes des ECAs suscite de plus en plus d’intérêt, la relation complexe entre gestes et parole reste encore en grande partie à déterminer ; elle implique en effet d’identifier les types de gestes spontanément réalisés par les locuteurs et interlocuteurs (gestuelle liée au contenu verbal ou à la régulation des échanges) et de comprendre leurs modes de synchronisation avec la parole (critères accentuels, intonatifs, propositionnels…). Nous proposons donc tout d’abord la collecte et l’annotation d’un corpus de référence (gestes et parole), et travaillerons ensuite à un modèle de génération basé sur l’apprentissage profond adapté à ce type de problème.