INOV - Sociétés Innovantes, innovation, économie, modes de vie

Tactilo-aural feedback for electronic document acces – ART-ADN

Accès par retour tactile-oral aux documents numériques

étude, développement, mise en place et évaluation de dispositifs innovants d’accès non visuel aux textes.

Transposition de l'information d'une modalité dans une autre

Notre idée est de générer automatiquement, à partir du Web, des « pages vibrantes » basées sur une transformation intelligente des contrastes lumineux émis par l’écran en vibrations tactiles basses-fréquences. Les différentes étapes de ce processus sont : <br />?- l’extraction de la structure visuelle des documents ; <br />- l’augmentation de la réalité du document numérique par un environnement contrasté construit à partir de la structure extraite dans l'étape précédente ; <br />- le contrôle de l’interaction sur tablette numérique par le survol digital du document augmenté, via des effecteurs vibrants placés sur une partie sensible de l’usager ; <br />- l’évaluation du couplage homme-machine, généré par cette nouvelle possibilité d’interaction, entre le non-voyant et le document à travers cette « prothèse sensorielle ».

Le projet aura une orientation principalement dirigée vers la recherche fondamentale ; ceci dit, la mise en place d’une évaluation efficiente étant une préoccupation centrale dans l’organisation des différentes tâches, un prototype quasi opérationnel de notre solution sera réalisé. ART-ADN permettra à chaque partenaire de valoriser, améliorer et mettre à l’épreuve des modèles de représentation, d’analyse et d’extraction de l’architecture textuelle ainsi que des modèles informatiques, électroniques et psychologiques de l’interaction multimodale ; ceci à travers la réalisation d’une plateforme de navigation tactilo-orale qui démontre l’amélioration du couplage homme-machine d’un point de vue de l’émergence de nouveaux usages et du traitement cognitif des documents (lecture mais également mémoire et fonctions exécutives).

Notre ambition est de remplacer la capacité d'exploration visuelle d'un individu, qui s'appuie sur la vibration lumineuse de l'écran, par une capacité d'exploration manuelle, qui s'appuie sur la vibration tactile des actionneurs.
Grâce à une solide expertise des équipes impliquées dans la projection de cette question scientifique sur leur discipline, et une collaboration déjà actée depuis plus d’1 an, nous aborderons cette question en combinant différents angles de vue :
- d’abord celui de la création de nouvelles fonctions perceptives et de leur apprentissage au sein de dispositifs innovants. Nos hypothèses s’appuieront en particulier sur la théorie de l’énaction introduite par Francesco Varela (Varela, 1996) ; il s’agira alors de comprendre comment construire un environnement qui permette un couplage optimal entre l’homme et le système interactif afin d’observer la genèse de nouveaux usages (Groupe Nu, 2011, 2012) ;
- nous donnerons d’autre part une place prépondérante à la relation trop souvent oubliée entre un lecteur silencieux et l’architecture visuelle du texte (Maurel, 06) ; nous nous appuierons pour cela sur des algorithmes d’extraction automatique de zones de documents (Giguet, 2010) et l’utilisation du « gris typographique » des documents directement comme support d’interaction et de navigation non visuelle (Maurel, 2012) ;
- nous améliorerons également nos connaissances des relations entre perception visuelle et perception tactile (Millar, 1997) ;
- enfin, nous étudierons l’hypothèse d’une meilleure appropriation de la modalité tactile dans les basses fréquences (Mutta, 2011).

Des premiers résultats montrent que cette exploration du monde «vibrotactile» est innovante et prometteuse dans le cadre de l’accès précoce, global et non visuel aux configurations portées par la mise en forme des documents. Réussir à fournir aux non- voyants un accès moins linéaire aux textes et aux interfaces est un défi ancien que nous souhaitons relever dans ART-ADN en mettant à profit cette initiative dans de véritables protocoles expérimentaux.
Le non-voyant explore le monde en se dirigeant grâce aux contacts de sa canne avec les obstacles et les matériaux autour de lui ; nous souhaitons que la sémantique des structures visuelles du texte puisse à terme jouer ce rôle pour l’exploration tactile des documents, en créant un environnement sensoriel fait de « trottoirs textuels », de textures graphiques et de chemins balisés orientant les mouvements de la « canne-doigt ».

Nous envisageons différents types d’activités et actions pour la valorisation du projet :
- Communication scientifique: politique de publication, dans des revues internationales (International Journal on Document Analysis and Recognition IJDAR, ACM

The ART-ADN project aims to deal with the design, the development, the implementation and the evaluation of innovative devices for non-visual access to texts. The observation of the scientific, technological and societal contexts contemplate a quick mutation on how one can interact with documents.

As a consequence, research must accompain this paradigm shift as part of its prerogatives by maintaining and improving the accessibility for all to documents. In particular, in the context of Web access by the visually impaired people, the new handheld devices (mobile phones, digital tablets) are both powerful thanks to natively embedded technologies and limited by the means of interaction offered.

We identified potential sources of difficulty to access to these devices for the population taken into account in this project: (1) the use of additional devices such as a Braille that reduces the mobility of existing system; (2) dedicated hardware that greatly increases the purchasing cost and holds back the ambitions of companies in hiring disabled populations; (3) the systematic use of oral input interaction that results in difficulties for speech recognition systems in noisy environments and does not afford discretion of the interaction; (4) the routine use of oral output interaction with screen readers, which are insufficient to give a global understanding of the interfaces and do not ease navigation.

Having in mind the goal of building an innovative, inexpensive and less intrusive solution, our proposal, which requires a highly multidisciplinary consortium, is part of the sub-areas «new frontiers of human and technology» and «innovation, learning, creating new capacities» of the second thematic area «innovation, social changes and lifestyles».

Our idea is to automatically generate from the Web, «vibrating pages» based on an intelligent transformation of light contrasts emitted by the screen in low-frequency tactile vibrations. The different steps of this process are: (1) extracting the visual structure of documents; (2) augmenting the reality of digital documents by a contrastive environment built upon the structure extracted from the previous step; (3) controlling the interaction with documents on tablets by digital overflying increased through vibrating effectors placed on a sensitive part of the user; (4) evaluating of human-machine coupling, generated by this new opportunity for interaction between blind people and document through this new «sensory prosthesis».

First promising experiments have been carried out on a small prototype, which provide solid foundations for the success of the project. By developing a true multidisciplinary team involving computer scientists, electronic engineers, psychologists, an engineering company in natural language processing and an association for visually impaired people, we truely believe that the hypotheses proposed in the project can be verified and lead to successful results.

Project coordinator

Monsieur Fabrice MAUREL (GROUPE DE RECHERCHE EN INFORMATIQUE, IMAGE, AUTOMATIQUE ET INSTRUMENTATION DE CAEN) – fabrice.maurel@unicaen.fr

The author of this summary is the project coordinator, who is responsible for the content of this summary. The ANR declines any responsibility as for its contents.

Partner

PALM PSYCHOLOGIE DES ACTIONS LANGAGIERES ET MOTRICES
GREYC GROUPE DE RECHERCHE EN INFORMATIQUE, IMAGE, AUTOMATIQUE ET INSTRUMENTATION DE CAEN

Help of the ANR 295,991 euros
Beginning and duration of the scientific project: February 2013 - 36 Months

Useful links