PRojection du langage Oral vers des unités PICTOgraphiques – PROPICTO

PROPICTO vise à développer un axe de recherche autour de la communication alternative et augmentée,en se focalisant sur la transcription automatique de la parole française sous forme pictographique. Il répond ainsi à de nombreux besoins sociétaux dans le domaine du handicap (communiquer avec des personnes ayant des problèmes cognitifs) et médical (communiquer avec des patients qui n’ont pas la même langue que le praticien). Il répond aussi aux exigences légales adoptées en Suisse (loi fédérale sur l’élimination des inégalités frappant les personnes handicapées de 2002, ainsi que la Convention de l’ONU relative aux droits des personnes handicapées, ratifiée par la Suisse en 2014) et en France (loi du 2 janvier 2002, renforcée par la loi du 11 février2005). PROPICTO relève de nombreux défis de recherche autour du traitement automatique de la langue naturelle. La finalité du projet est de proposer des méthodes et des corpus qui permettront de transcrire directement la parole vers une suite de pictogrammes, libres (ARASAAC) ou spécialement créés pour les besoins (médical, familial etc.). Nous partirons d’un domaine spécialisé (urgences médicales) pour l’étendre aux domaines spontanés utilisés dans les instituts ou en famille.Le projet devra faire face à deux problèmes majeurs : 1) la faible quantité de données qui est un frein à la mise en œuvre des techniques état de l’art à base d’apprentissage automatique et 2) la nécessité d’évaluer nos méthodes avec des groupes cibles très diversifiés. Il adoptera une approche modulaire qui traitera indépendamment les quatre étapes du projet, à savoir :

•reconnaissance automatique de la parole spontanée,
•analyse syntaxique de l’oral,
•simplification de l’oral vers une norme : Facile À Lire et à Comprendre (FALC) et
•traduction du FALC en pictogrammes.

Chaque étape s’appuiera sur des approches hybrides où des règles linguistiques serviront d’amorce à des systèmes robustes, afin de palier le manque de données initial. Ces expertises linguistiques passeront, par exemple,par des grammaires expertes, la génération synthétique de corpus et la modélisation syntaxique experte. Cette approche modulaire facilitera également l’évaluation des différentes étapes en fonction des groupes cibles.Les besoins pourront ainsi différer à différents niveaux : langage spécialisé/simple/spontané, syntaxe complexe/simplifiée et pictogrammes spécialisés/génériques/avancés/simplifiés. PROPICTO mettra à disposition de la communauté scientifique l’ensemble des ressources créées : corpus audio associé à sa traduction en pictogrammes (avec différentes situations écologiques), base de données liant pictogrammes et leur signification sémantique, systèmes de Reconnaissance Automatique de la parole (RAP) du projet, système de simplification pour le FALC, système de Traduction Automatique (TA) parole/pictogramme et métriques d’évaluation humaine ou automatique de la traduction parole/pictogramme. À l’issue du projet,trois prototypes destinés à des publics cibles différents, seront mis en production :

1) pour les urgences aux“Hôpitaux Universitaires de Genève" (HUG, Suisse),

2) en institution au sein de l’Établissement Coste-Rousse pour Enfants et Adultes Polyhandicapé (EEAP, France) et 3 instituts français médico-éducatifs (IME) de Valence, Orange, Meylan et

3) dans le cadre familial/quotidien auprès de volontaires de l’Association Française du Syndrome de Rett (AFSR). Ceux-ci seront ainsi testés en conditions réelles et évalués avec des méthodes humaines et automatiques.