FRAL - Programme franco-allemand en SHS

apprentissage des langues assisté par ordinateur – IFCASL

IFCASL

Individualized Feedback for Computer-Assisted Spoken Language Learning

Learning the oral component of German

The overall aim of the project is to gain an order of magnitude in the usability and efficiency of computer-assisted language learning software by adapting content, feedback and exercises to individual learners in the speech dimension of a foreign language. This will be achieved by integrating the production and perception of the learner’s own speech and focusing on the French-German language pair, in both directions.

Difficulties experienced by learners depend on the phonology of their native language and are thus non-symmetric. A particular strength of the project is to involve speech scientists who have worked extensively on the phonetics and phonology of the two languages, and especially in cross-linguistic contexts. Providing learners with feedback is a central issue of foreign language learning.
The first objective is to provide the learner with automated feedback which derives from an analysis of the learner’s utterance and targets specifically the acoustic features to be improved.

The second objective is to offer feedback that relies on phonetic knowledge incorporated in the learning system and interacts relevantly with automatic speech recognition (ASR) and signal processing.

The third objective is to reach a high level of individualization of the user interface, type of exercises, nature and level of feedback (textual, acoustic, visual) and to develop a learner profile, taking into account the phonetic difficulties experienced by the individual learner on the levels of production and perception.This objective requires a precise definition of the phonetic difficulties predicted for the L1-L2 pair by speech scientists of both languages. These difficulties concern the segmental level (e.g., stop aspiration, final devoicing, vowel quantity) and the suprasegmental level (e.g., lexical stress, contrastive accent). The target features will be selected by considering the phonological and phonetic systems of both languages and ranked by observed recurring errors made by learners, to ensure a relevant learning progress.

to be completed at the end of the project

to be completed at the end of the project

to be completed along the project

L'objectif du projet est d'augmenter considérablement l'utilisabilité et l'efficacité des logiciels d'apprentissage de la composante orale d'une langue étrangère en adaptant le contenu, les retours fournis par le système et les exercices en fonction de l'apprenant. Pour cela on se concentrera sur l'apprentissage allemand-français dans les deux directions en utilisant la voix de l'apprenant pour la production et la perception.

Les difficultés rencontrées par les apprenants dépendent de la phonologie de leur langue maternelle, et elles ne sont donc pas symétriques. Une des forces du projet est d'impliquer des chercheurs en phonétique et en traitement automatique de la parole qui ont travaillé en profondeur sur la phonétique et la phonologie des deux langues, en particulier dans un contexte interlinguistique. Fournir aux apprenants des aides utiles et efficaces est une question centrale en apprentissage des langues étrangères.

Le premier objectif est de fournir à l'apprenant un retour automatique visant spécifiquement les caractéristiques acoustiques qui doivent être améliorées, et élaboré à partir de l'analyse des réalisations acoustiques de l'apprenant.

Le deuxième objectif est d'offrir des retours qui reposent sur les connaissances phonétiques intégrées dans le système d'apprentissage et qui interagissent de manière pertinente avec les algorithmes de reconnaissance automatique de la parole et les algorithmes de traitement du signal.
Cela signifie que le niveau de confiance des résultats retournés par les algorithmes de reconnaissance de la parole sera pris en compte pour établir les diagnostics et élaborer les retours fournis à l'utilisateur. Plus la confiance sera élevée plus le retour sera explicite.

Le troisième objectif est d'atteindre un niveau élevé d'individualisation de l'interface utilisateur, du type d'exercices, de la nature et du type de retour (textuel, sonore ou visuel) et de développer un profil de l'apprenant, prenant en compte les difficultés phonétiques qu'il rencontre au niveau de la production ou de la perception.

Un point clé consiste à utiliser la propre voix de l'apprenant pour les retours sonores. Au cours d'une session de formation, on exposera l'apprenant à des versions modifiées de ses propres réalisations acoustiques. Cela lui permettra de mesurer sa progression en comparant ses réalisations aux retours proposés par le système. Cet objectif exige une définition précise des difficultés phonétiques pour la paire L1-L2 prévues par les experts phonéticiens de ces deux langues. Les difficultés concerneront le niveau segmental (par exemple le bruit d'aspiration des occlusives, le dévoisement des occlusives finales, la quantité vocalique) et le niveau suprasegmental (par exemple, l'accent tonique, l'accent contrastif). Afin de garantir un apprentissage pertinent les caractéristiques cibles seront sélectionnées en tenant compte des systèmes phonologiques et phonétiques des deux langues et classées en fonction de leur fréquence d'occurrence chez les apprenants.

Cette procédure s'appuiera sur l'analyse minutieuse d'un corpus de parole comprenant des phrases françaises et allemandes enregistrées par des locuteurs allemands et français de différents niveaux de compétence linguistique. Ce corpus, qui sera l'une des retombées scientifiques du projet, sera mis à disposition de la communauté scientifique à la fin du projet.

Le projet reposera sur une intégration étroite entre la phonétique et les sciences de la parole d'une part, le traitement du signal et la reconnaissance vocale d'autre part, car ces deux domaines sont simultanément nécessaires pour mener ce projet à bien.

Coordinateur du projet

Monsieur Yves Laprie (Laboratoire Lorrain de Recherche en Informatique et ses Applications) – Yves.Laprie@loria.fr

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

UdS Universität des Saarlandes
LORIA Laboratoire Lorrain de Recherche en Informatique et ses Applications

Aide de l'ANR 249 912 euros
Début et durée du projet scientifique : février 2013 - 36 Mois

Liens utiles