Traduire la langue des signes avec la vision par ordinateur – CorVis

Le projet CorVis vise à développer des techniques de traduction en langue des signes, basées sur les progrès récents de l'intelligence artificielle, en particulier dans les domaines de la vision par ordinateur et de la traduction automatique. L'analyse du langage des signes à partir de données vidéo est sous-étudiée malgré son grand impact sur la société, parmi lesquels l'amélioration de la communication des sourds-auditifs. Ce projet fera donc un pas vers la traduction du signal vidéo en langage parlé en utilisant l'apprentissage en profondeur. Il y aura deux directions axées sur: (1) la représentation visuelle d'entrée, i.e., comment incorporer une séquence vidéo continue, (2) la conception du modèle pour la sortie de texte, i.e., comment trouver une correspondance entre les langues des signes et parlées. Des percées sur ces problèmes auraient des implications profondes dans les technologies de la langue des signes.