Tactilo-aural feedback for electronic document acces – ART-ADN

Le projet aura une orientation principalement dirigée vers la recherche fondamentale ; ceci dit, la mise en place d’une évaluation efficiente étant une préoccupation centrale dans l’organisation des différentes tâches, un prototype quasi opérationnel de notre solution sera réalisé. ART-ADN permettra à chaque partenaire de valoriser, améliorer et mettre à l’épreuve des modèles de représentation, d’analyse et d’extraction de l’architecture textuelle ainsi que des modèles informatiques, électroniques et psychologiques de l’interaction multimodale ; ceci à travers la réalisation d’une plateforme de navigation tactilo-orale qui démontre l’amélioration du couplage homme-machine d’un point de vue de l’émergence de nouveaux usages et du traitement cognitif des documents (lecture mais également mémoire et fonctions exécutives).

Notre ambition est de remplacer la capacité d'exploration visuelle d'un individu, qui s'appuie sur la vibration lumineuse de l'écran, par une capacité d'exploration manuelle, qui s'appuie sur la vibration tactile des actionneurs.
Grâce à une solide expertise des équipes impliquées dans la projection de cette question scientifique sur leur discipline, et une collaboration déjà actée depuis plus d’1 an, nous aborderons cette question en combinant différents angles de vue :
- d’abord celui de la création de nouvelles fonctions perceptives et de leur apprentissage au sein de dispositifs innovants. Nos hypothèses s’appuieront en particulier sur la théorie de l’énaction introduite par Francesco Varela (Varela, 1996) ; il s’agira alors de comprendre comment construire un environnement qui permette un couplage optimal entre l’homme et le système interactif afin d’observer la genèse de nouveaux usages (Groupe Nu, 2011, 2012) ;
- nous donnerons d’autre part une place prépondérante à la relation trop souvent oubliée entre un lecteur silencieux et l’architecture visuelle du texte (Maurel, 06) ; nous nous appuierons pour cela sur des algorithmes d’extraction automatique de zones de documents (Giguet, 2010) et l’utilisation du « gris typographique » des documents directement comme support d’interaction et de navigation non visuelle (Maurel, 2012) ;
- nous améliorerons également nos connaissances des relations entre perception visuelle et perception tactile (Millar, 1997) ;
- enfin, nous étudierons l’hypothèse d’une meilleure appropriation de la modalité tactile dans les basses fréquences (Mutta, 2011).

Des premiers résultats montrent que cette exploration du monde «vibrotactile» est innovante et prometteuse dans le cadre de l’accès précoce, global et non visuel aux configurations portées par la mise en forme des documents. Réussir à fournir aux non- voyants un accès moins linéaire aux textes et aux interfaces est un défi ancien que nous souhaitons relever dans ART-ADN en mettant à profit cette initiative dans de véritables protocoles expérimentaux.
Le non-voyant explore le monde en se dirigeant grâce aux contacts de sa canne avec les obstacles et les matériaux autour de lui ; nous souhaitons que la sémantique des structures visuelles du texte puisse à terme jouer ce rôle pour l’exploration tactile des documents, en créant un environnement sensoriel fait de « trottoirs textuels », de textures graphiques et de chemins balisés orientant les mouvements de la « canne-doigt ».

Nous envisageons différents types d’activités et actions pour la valorisation du projet :
- Communication scientifique: politique de publication, dans des revues internationales (International Journal on Document Analysis and Recognition IJDAR, ACM Computing Surveys, organisation d’un workshop soit en se greffant à une conférence déjà existante (par exemple ICDAR, DAS, CIDE, CIFED, TALN) soit en organisant un atelier spécifique à la transmodalité en sollicitant des experts internationaux.
- Communication auprès du grand public : nous présenterons sous une forme explicite et démonstrative nos avancées au fur et à mesure sur le site web du projet. Nous publierons et présenterons notre projet avec des démonstrations à différentes manifestations grand public (Sciences en fête...). Un de nos objectifs est de réaliser professionnellement un petit film dès la première année montrant une simulation (sous forme de scénario) de ce qu’on pourrait réaliser sur une tablette tactile. Pour réussir cette dissémination vers le grand public et renforcer significativement l’impact du projet, nous intégrerons, en partenariat avec le «relais d’science» (http://www.relais-sciences.org/), la démarche de diffusion de la culture scientifique proposée par l’ANR ;
- Le dépôt d’un brevet dès l’issu du projet est envisagée voire pressentie.

The ART-ADN project aims to deal with the design, the development, the implementation and the evaluation of innovative devices for non-visual access to texts. The observation of the scientific, technological and societal contexts contemplate a quick mutation on how one can interact with documents.

As a consequence, research must accompain this paradigm shift as part of its prerogatives by maintaining and improving the accessibility for all to documents. In particular, in the context of Web access by the visually impaired people, the new handheld devices (mobile phones, digital tablets) are both powerful thanks to natively embedded technologies and limited by the means of interaction offered.

We identified potential sources of difficulty to access to these devices for the population taken into account in this project: (1) the use of additional devices such as a Braille that reduces the mobility of existing system; (2) dedicated hardware that greatly increases the purchasing cost and holds back the ambitions of companies in hiring disabled populations; (3) the systematic use of oral input interaction that results in difficulties for speech recognition systems in noisy environments and does not afford discretion of the interaction; (4) the routine use of oral output interaction with screen readers, which are insufficient to give a global understanding of the interfaces and do not ease navigation.

Having in mind the goal of building an innovative, inexpensive and less intrusive solution, our proposal, which requires a highly multidisciplinary consortium, is part of the sub-areas «new frontiers of human and technology» and «innovation, learning, creating new capacities» of the second thematic area «innovation, social changes and lifestyles».

Our idea is to automatically generate from the Web, «vibrating pages» based on an intelligent transformation of light contrasts emitted by the screen in low-frequency tactile vibrations. The different steps of this process are: (1) extracting the visual structure of documents; (2) augmenting the reality of digital documents by a contrastive environment built upon the structure extracted from the previous step; (3) controlling the interaction with documents on tablets by digital overflying increased through vibrating effectors placed on a sensitive part of the user; (4) evaluating of human-machine coupling, generated by this new opportunity for interaction between blind people and document through this new «sensory prosthesis».

First promising experiments have been carried out on a small prototype, which provide solid foundations for the success of the project. By developing a true multidisciplinary team involving computer scientists, electronic engineers, psychologists, an engineering company in natural language processing and an association for visually impaired people, we truely believe that the hypotheses proposed in the project can be verified and lead to successful results.