INOV - Sociétés Innovantes, innovation, économie, modes de vie

Accès par Retour Tactilo-oral Aux Documents Numériques – ART-ADN

Accès par retour tactile-oral aux documents numériques

étude, développement, mise en place et évaluation de dispositifs innovants d’accès non visuel aux textes.

Transposition de l'information d'une modalité dans une autre

Notre idée est de générer automatiquement, à partir du Web, des « pages vibrantes » basées sur une transformation intelligente des contrastes lumineux émis par l’écran en vibrations tactiles basses-fréquences. Les différentes étapes de ce processus sont : <br />?- l’extraction de la structure visuelle des documents ; <br />- l’augmentation de la réalité du document numérique par un environnement contrasté construit à partir de la structure extraite dans l'étape précédente ; <br />- le contrôle de l’interaction sur tablette numérique par le survol digital du document augmenté, via des effecteurs vibrants placés sur une partie sensible de l’usager ; <br />- l’évaluation du couplage homme-machine, généré par cette nouvelle possibilité d’interaction, entre le non-voyant et le document à travers cette « prothèse sensorielle ».

Le projet aura une orientation principalement dirigée vers la recherche fondamentale ; ceci dit, la mise en place d’une évaluation efficiente étant une préoccupation centrale dans l’organisation des différentes tâches, un prototype quasi opérationnel de notre solution sera réalisé. ART-ADN permettra à chaque partenaire de valoriser, améliorer et mettre à l’épreuve des modèles de représentation, d’analyse et d’extraction de l’architecture textuelle ainsi que des modèles informatiques, électroniques et psychologiques de l’interaction multimodale ; ceci à travers la réalisation d’une plateforme de navigation tactilo-orale qui démontre l’amélioration du couplage homme-machine d’un point de vue de l’émergence de nouveaux usages et du traitement cognitif des documents (lecture mais également mémoire et fonctions exécutives).

Notre ambition est de remplacer la capacité d'exploration visuelle d'un individu, qui s'appuie sur la vibration lumineuse de l'écran, par une capacité d'exploration manuelle, qui s'appuie sur la vibration tactile des actionneurs.
Grâce à une solide expertise des équipes impliquées dans la projection de cette question scientifique sur leur discipline, et une collaboration déjà actée depuis plus d’1 an, nous aborderons cette question en combinant différents angles de vue :
- d’abord celui de la création de nouvelles fonctions perceptives et de leur apprentissage au sein de dispositifs innovants. Nos hypothèses s’appuieront en particulier sur la théorie de l’énaction introduite par Francesco Varela (Varela, 1996) ; il s’agira alors de comprendre comment construire un environnement qui permette un couplage optimal entre l’homme et le système interactif afin d’observer la genèse de nouveaux usages (Groupe Nu, 2011, 2012) ;
- nous donnerons d’autre part une place prépondérante à la relation trop souvent oubliée entre un lecteur silencieux et l’architecture visuelle du texte (Maurel, 06) ; nous nous appuierons pour cela sur des algorithmes d’extraction automatique de zones de documents (Giguet, 2010) et l’utilisation du « gris typographique » des documents directement comme support d’interaction et de navigation non visuelle (Maurel, 2012) ;
- nous améliorerons également nos connaissances des relations entre perception visuelle et perception tactile (Millar, 1997) ;
- enfin, nous étudierons l’hypothèse d’une meilleure appropriation de la modalité tactile dans les basses fréquences (Mutta, 2011).

Des premiers résultats montrent que cette exploration du monde «vibrotactile» est innovante et prometteuse dans le cadre de l’accès précoce, global et non visuel aux configurations portées par la mise en forme des documents. Réussir à fournir aux non- voyants un accès moins linéaire aux textes et aux interfaces est un défi ancien que nous souhaitons relever dans ART-ADN en mettant à profit cette initiative dans de véritables protocoles expérimentaux.
Le non-voyant explore le monde en se dirigeant grâce aux contacts de sa canne avec les obstacles et les matériaux autour de lui ; nous souhaitons que la sémantique des structures visuelles du texte puisse à terme jouer ce rôle pour l’exploration tactile des documents, en créant un environnement sensoriel fait de « trottoirs textuels », de textures graphiques et de chemins balisés orientant les mouvements de la « canne-doigt ».

Nous envisageons différents types d’activités et actions pour la valorisation du projet :
- Communication scientifique: politique de publication, dans des revues internationales (International Journal on Document Analysis and Recognition IJDAR, ACM

Le projet ART-ADN concerne l’étude, le développement, la mise en place et l’évaluation de dispositifs innovants d’accès non visuel aux textes. L’observation du contexte scientifique, technologique et sociétal promet une mutation rapide des moyens d’interaction avec les documents ; la recherche doit s’impliquer dans ce changement de paradigme en inscrivant dans ses prérogatives l’effort de maintien et d’amélioration de l’accessibilité pour tous aux documents.

En particulier, dans le contexte de l’accès au Web par les non-voyants, les nouveaux dispositifs nomades (téléphones portables, tablettes numériques) sont à la fois puissants grâce aux technologies embarquées nativement et limités par les moyens d’interactions proposés. Nous avons relevé les sources potentielles de difficulté d’accessibilité de ces supports pour cette population d’usagers :
- l’utilisation de périphériques supplémentaires tels que les plages brailles qui diminuent le nomadisme du système ;
- un matériel dédié qui augmente fortement le coût d’achat et freine les velléités des entreprises à l’embauche ;
- le recours systématique à la modalité orale en entrée, engendrant des difficultés pour la reconnaissance de la parole en environnement bruité ou dans une volonté de discrétion de l’interaction ;
- le recours systématique à la modalité orale en sortie, avec des lecteurs d’écran insuffisants pour donner une perception globale des interfaces et faciliter la navigation.

Dans l’objectif de construire une solution innovante, peu coûteuse et moins intrusive, notre proposition, qui nécessite un consortium fortement pluridisciplinaire, s’inscrit dans les sous-axes « nouvelles frontières de l’humain et de la technique » et « innovation, apprentissage, création de nouvelles capacités » de l’axe thématique 2 « innovation, changements sociaux et modes de vie ».

Notre idée est de générer automatiquement, à partir du Web, des « pages vibrantes » basées sur une transformation intelligente des contrastes lumineux émis par l’écran en vibrations tactiles basses-fréquences. Les différentes étapes de ce processus sont :
- l’extraction de la structure visuelle des documents ;
- l’augmentation de la réalité du document numérique par un environnement contrasté construit à partir de la structure extraite dans l'étape précédente ;
- le contrôle de l’interaction sur tablette numérique par le survol digital du document augmenté, via des effecteurs vibrants placés sur une partie sensible de l’usager ;
- l’évaluation du couplage homme-machine, généré par cette nouvelle possibilité d’interaction, entre le non-voyant et le document à travers cette « prothèse sensorielle ».

Des premières expérimentations prometteuses d’un prototype ont été réalisées ; elles nous assurent un socle solide pour mener à terme ce projet en développant une véritable équipe pluridisciplinaire associant des informaticiens, des électroniciens, des psychologues, une entreprise d’ingénierie des langues et une association d’aveugle.

Coordinateur du projet

Monsieur Fabrice MAUREL (GROUPE DE RECHERCHE EN INFORMATIQUE, IMAGE, AUTOMATIQUE ET INSTRUMENTATION DE CAEN) – fabrice.maurel@unicaen.fr

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

PALM PSYCHOLOGIE DES ACTIONS LANGAGIERES ET MOTRICES
GREYC GROUPE DE RECHERCHE EN INFORMATIQUE, IMAGE, AUTOMATIQUE ET INSTRUMENTATION DE CAEN

Aide de l'ANR 295 991 euros
Début et durée du projet scientifique : février 2013 - 36 Mois

Liens utiles