Analyse et Interprétation d’images de documents sur les réseaux sociaux – AUDINM

Fast image categorization , Image database, Method for fast categorization of Web images
Scene text detection: Text confidence computation, Text component verification
Layout analysis and graphics recognition: Method(s) for multiple layer separation

Fast image categorization (WP1) – Partner: NLPR
o Image database – Deliverable 1.1 as a database and a publication – Month 12
o Method for fast categorization of Web images – Deliverable 1.2 as a publication and a software prototype – Month 12
Scene text detection (WP2) – Partner: NLPR (with collaboration from L3i)
o Text confidence computation – Deliverable 2.1 as a publication and a software prototype – Month 12
o Text component verification using CRF – Deliverable 2.2 as a publication and a software prototype – Month 18
Layout analysis and graphics recognition (WP4) – Partner L3i
o Method(s) for multiple layer separation – Deliverable 4.1 as a publication and a software prototype – Month 12

Continue research and development in WP2 (text detection), and work on WP3 (text recognition) with focus on deep learning techniques.
During research visits, enforce collaborative work between the two partners in terms of co-authored publications.

- Many publications (cited in our report) - both conference and journal publications
- Image database

L’avènement des réseaux sociaux engendre une croissance très importante du nombre des contenus multimédia disponibles sur l'internet.

Ces gigantesques collections de contenus numériques hétérogènes et faiblement structurés génèrent de nombreuses difficultés pour les techniques de fouille de contenus et de recherche d’information au sens large. L'objectif de ce projet est de développer un système permettant la fouille et l'extraction d’information dans ces documents hétérogènes, en concentrant la recherche sur des images de documents faiblement structurés et sur des images de scènes naturelles contenant du texte.

L’analyse de ces contenus est très difficile en raison de la grande variabilité de représentation de l’information : faible résolution des images, fonds complexes, mise en page variable, distorsions géométriques, effets de perspectives, variation d’éclairage, illuminiation insuffisante, problèmes de focalisation, textes et graphiques variables en termes de police, de taille de couleur, le tout parfois dans un contexte multilingue.

Ce projet s’organise autour de la mise en commun de briques complémentaires pour la construction d’un système complet. Un premier étage amont de classification permettra de séparer les images de scènes naturelles des images de documents numériques. Les images de scènes naturelles seront analysées par des modules de détection/extraction de textes, alors que les images de documents numériques seront traitées par des modules d'analyse de la structure de la page et par segmentation de la page.

Le texte extrait des différents types d'images sera analysé par un moteur de reconnaissance de texte multilingue. Enfin, une partie « interprétation conceptuelle, indexation et intégration » combinera les informations extraites des parties précédentes afin d’obtenir une représentation sémantique de la base de contenus numériques. Cette représentation permettra dès lors la fouille et la recherche d'informations.

Prenant appui sur leur expertise respective et complémentaire, les partenaires de ce projet collaboreront sur la résolution des différents problèmes soulevés par ce projet. Les résultats permettront aux équipes partenaires d'augmenter leur expérience scientifique internationale et de consolider leur visibilité sur un sujet extrêmement novateur. Les résultats obtenus seront utilisables pour de nombreuses applications sociétales, telles que l’orientation interactive de touristes, la cyber-sécurité ou encore l'exploration de données commerciales...