De la lecture labiale au langage écrit : une vision intégrative des associations audiovisuelles dans le traitement du langage – AVA

Notre programme de recherche exploite une combinaison de techniques comportementale, neurophysiologique et d’imagerie cérébrale afin d’obtenir des informations relatives aux performances des participants ainsi qu’aux processus cognitifs et cérébraux sous-jacents.
Les données sont recueillies auprès d’adultes normo-lecteurs et d’enfants à différentes tranches d’âge (de 5 à 8 ans, correspondant aux niveaux GSM, CP, CE1 et CE2). Les données venant des adultes nous permettent de décrire l’état du système de traitement de parole qui a déjà atteint la maturité alors que celles venant des enfants nous permettent de suivre l’évolution du système depuis le stade pré-lecteur jusqu’au stade lecteur. La relation entre le développement de la capacité de lecture des enfants et leur niveau de sensibilité à l’information visuelle issue des gestes articulatoires est examinée dans des protocoles longitudinal et transversal.

Une étude en EEG a été réalisée chez des adultes afin d’étudier les processus cognitifs et neuronaux sous-jacents aux associations « parole-gestes articulatoires » et « parole-orthographe ». Les réponses cérébrales ont été enregistrées dans trois situations : 1) un mot parlé était présenté sans information visuelle, 2) il était présenté en même temps qu’une image statique du visème du phonème initial du mot, 3) il était présenté en même temps que la première lettre du mot. Le visème permettait d’activer le premier son du mot via le système visuo-moteur alors que la lettre permettait d’activer le premier son du mot par un symbole abstrait. Globalement, le marqueur neurophysiologique de l’intégration audivisuelle a montré que les deux informations visuelles étaient intégrées aux sons de parole durant le stade précoce de traitement phonétique ainsi que durant l’accès au lexique. Cependant, chez nos lecteurs habiles, la contribution du code orthographique dans le processus d’intégration était plus forte que celle des gestes articulatoires. Cette observation suggère que malgré la nature abstraite et artificielle de l’orthographe, dès que l’individu a appris à lire, son système de parole devient très sensible à cette information, qui joue un rôle prépondérant pendant la reconnaissance de mots parlés.
La conclusion ci-dessus est cohérente avec les données obtenues dans une étude où nous avons étudié la contribution de l’orthographe et des gestes articulatoires dans l’apprentissage des sons d’une langue étrangère. Dans cette étude, les participants francophones devaient apprendre de nouveaux mots en anglais contenant le contraste phonémique /?/-/f/ qui n’existe pas en français. Trois méthodes d’apprentissage ont été comparées : 1) les nouveaux mots étaient présentés auditivement (audio seul), 2) les nouveaux mots auditifs étaient accompagnés des gestes articulatoires et 3) ils étaient accompagnés des orthographes. Les bénéfices des trois méthodes ont été comparées à différents moments. Pendant la phase d’apprentissage, la présence de chacune des informations visuelles, comparée à l’apprentissage audio seul, permettait aux participants de mieux distinguer les deux phonèmes et de mieux apprendre les nouveaux mots. Cependant, les bénéfices des informations visuelles disparaissaient immédiatement après l’apprentissage lorsque les informations visuelles n’étaient plus présentes. De manière surprenante, lorsque la performance des participants a été ré-évalué le lendemain, après une nuit de sommeil, seuls les participants qui ont été exposé aux orthographes ont montré une nette amélioration (sans aucun apprentissage supplémentaire) : ils retenaient mieux les nouveaux mots et percevaient mieux le contraste phonémique que la veille. Cette observation suggère un rôle important du code orthographique dans la construction et la consolidation des nouvelles informations phonologiques, à la fois au niveau lexical et perceptif.

Les observations chez des lecteurs habiles ci-dessus suggèrent une très grande sensibilité à l’information visuelle venant de l’orthographe comparée à celle venant des gestes articulatoires et ce, dans plusieurs contextes de traitement de la parole. Ce biais a été constaté à la fois au niveau de la performance (la capacité à mémoriser les nouveaux mots et de percevoir des sons de parole ambigus) et au niveau des réponses cérébrales reflétant le processus cognitif sous-jacent à l’intégration audio-visuelle. Etant donné le caractère naturel de l’association entre la parole et les gestes articulatoires, sa contribution réduite par rapport à celle de l’orthographe peut paraitre surprenante. Pour approfondir cette observation, nous planifions des études supplémentaires pour identifier les facteurs qui peuvent être à l’origine de ce résultat, tels que le contexte de traitement de parole et la variation inter-individuelle en termes de l’âge et du niveau de lecture.
De plus, nous poursuivons l’étude auprès les jeunes enfants entre 5 et 8 ans, dans laquelle nous examinons les trajectoires développementales des capacités de lecture labiale et de lecture de texte.

Pattamadilok, C., Welby, P., & Tyler, M.D. (in press). The contribution of visual articulatory gestures and orthography to speech processing: Evidence from novel word learning. Journal of Experimental Psychology: Learning, Memory, and Cognition.

Le traitement du langage est une activité multi-sensorielle. Très tôt, les nourrissons associent naturellement la parole et les gestes articulatoires. Cette association de nature biologique entre action et perception constitue un contact précoce avec les informations multi-sensorielles à la base de l’acquisition du langage et de la communication audio-visuelle (AV). Plus tard, les enfants apprennent à associer la parole et le code orthographique. Cette seconde association est au contraire artificielle, arbitraire et ne devient automatique qu’après plusieurs années de pratique. La lecture labiale et la lecture de texte ont ainsi été considérées jusqu’alors comme deux activités cognitives distinctes décrites par deux modèles théoriques différents.
Ce projet de recherche vise à établir le lien manquant entre ces associations « biologique » et « artificielle ». Il s’agit de proposer un cadre théorique unique permettant d’expliquer les contributions conjointes des différentes entrées sensorielles à la construction d’une représentation cohérente de la parole. Une approche multidisciplinaire combinant linguistique, psycholinguistique et neuroscience permettra de comparer les deux types d’association suivant trois directions:1) les mécanismes cognitifs et neuronaux sous-jacents, 2) la nature des représentations de la parole influencées par les gestes articulatoires et/ou l’orthographe et 3) les trajectoires développementales de la capacité de lecture labiale et de texte, l’objectif étant ici de déterminer si la sensibilité à l’association parole-gestes articulatoires est un précurseur de la capacité de lecture développée plus tard par l’enfant.
Pour ces trois points, l’approche méthodologique consistera à étudier les deux types d’association AV au sein des mêmes individus et d’un même protocole expérimental. L’ensemble des informations sur la performance et sur les activités cérébrales (les dynamiques temporelles, les régions et les réseaux cérébraux impliqués) sera recueillie chez des adultes dont la capacité à associer la parole à chacune des deux informations visuelles a déjà atteint la maturité. Le lien développemental entre la capacité de lecture labiale et celle de lecture de texte sera examiné dans un protocole longitudinal appliqué aux jeunes enfants à différents stades de développement de la lecture. Nous proposerons un modèle prédisant la capacité de lecture (mesurée en fin du programme de recherche) à partir des données longitudinales sur la sensibilité des enfants aux gestes articulatoires, les compétences associées à la lecture et le profil cognitif-sociodémographique plus général.
Le résultat final du programme devrait conduire à une avancée scientifique importante pour comprendre comment les informations multi-sensorielles sont acquises, traitées, stockées et comment elles affectent la performance. Une meilleure connaissance du lien entre la lecture labiale et la lecture de texte au cours du développement enrichira les modèles théoriques du développement de la parole et de la lecture et donnera lieu à des applications innovantes dans les domaines de la clinique et de l’éducation.