Gestes pour la pédagogie de l'intonation – Gepeto

Ce projet propose des innovations pédagogiques et des expérimentations pour l'utilisation du geste dans l'apprentissage du contrôle de l'intonation, via des interfaces homme-machine. Maîtriser la modulation de la source vocale par le contrôle du larynx - "l'intonation" au sens large, englobant ici la fréquence fondamentale, la qualité vocale, le rythme et la mélodie - est fondamental pour la communication vocale. La maîtrise du contrôle phonatoire n’est généralement pas un problème lors de l’acquisition de la langue maternelle (L1), car elle reste largement inconsciente. En revanche, celle du contrôle phonatoire est un processus long, volontaire et souvent difficile pour acquérir une langue étrangère (L2) ou pour contrôler une prothèse vocale après une chirurgie du larynx. Il a été démontré que l'utilisation de gestes imitant l'intonation de la parole améliore le processus d'apprentissage du contrôle de l'intonation, en codant les informations selon différentes modalités (auditive, visuelle et kinesthésique). Ce projet vise à pousser plus loin l'intégration de la multimodalité en exploitant le contrôle gestuel de la synthèse vocale. Cette dernière, appelée chironomie, est un nouveau paradigme de recherche en interaction homme-machine qui permet de générer des trajectoires d'intonation en temps réel, à partir de gestes manuels. Le contour d'intonation produit est soit transmis à un synthétiseur de voix pour contrôler un instrument vocal avec un geste; ou est injecté dans une source d’excitation qui est placée dans la bouche de l’utilisateur. Cette excitation est naturellement associée à l'articulation de l'utilisateur pour produire une voix semi-synthétique intégrée, c'est-à-dire une substitution vocale. Ce projet vise donc à étudier l'utilisation de tels systèmes pour l'apprentissage du contrôle de l'intonation selon deux approches complémentaires: 1) l'apprentissage du contrôle naturel des contours d'intonation à l'aide de la chironomie pour l'acquisition de langues étrangères; 2) Apprendre le contrôle chironomique des contours d'intonation à l'aide de la connaissance de la langue maternelle, pour la substitution vocale.

Ce projet est divisé en quatre tâches scientifiques. Le premier concerne le développement d'outils de synthèse performative pour l'apprentissage de l'intonation. Les systèmes chironomiques existants utilisent la synthèse vocale et se sont révélés opérationnels pour le chant et le contrôle des tons du chinois mandarin dans le cadre d’une étude pilote. Ces systèmes seront adaptés aux environnements applicatifs du projet. De plus, une source d'excitation vocale adaptée à l'injection sera développée pour la substitution vocale. La deuxième tâche aborde les aspects méthodologiques du projet et vise à identifier les modèles d'intonation cibles des différentes langues considérées dans le projet (français, anglais et mandarin), ainsi que les gestes associés. Un corpus multimodal sera enregistré et une évaluation préliminaire du contrôle chironomique sera entreprise. La troisième tâche consiste à appliquer ces aspects méthodologiques à l’évaluation de la chironomie dans différentes situations d’apprentissage de sujets apprenant des langues étrangères. Un protocole expérimental sera conçu pour déterminer si la chironomie est plus efficace dans une situation d’apprentissage donnée que les gestes spatiaux de la main ou le retour d’audition seul. Cette expérience sera menée sur l’apprentissage de: tonalités lexicales en mandarin; intonation du français et de l'anglais langues étrangères. La quatrième tâche démontrera que le contrôle chironomique de l’intonation peut être utilisé en substitution de la voix naturelle. Ce paradigme unique combine le contrôle gestuel d’une source d’excitation et l’articulation naturelle de l’utilisateur. La coordination des deux contrôles sera d’abord examinée. Ensuite, une expérience à grande échelle sera déployée pour valider la faisabilité d'un tel contrôle en substitution vocale.