CONTINT - Contenus et Interactions

Environement Immersif pour l'Exploration de Contenus Photographiques – POEME

Photographic cOntents Exploration through iMmersive Environnement (POEME)

Des outils innovants pour l'exploration de grandes collections d'images

Développement d’un prototype interactif de recherche, de visualisation et d’exploration de grandes collections d’images

POEME a pour objectif de développer un prototype innovant et professionnel d’aide à l’analyse et à la manipulation de grandes collections de photographies et à leur exploration. Différents outils innovants ont été rassemblés dans un seul système intuitif, qui se présente sous la forme d’un environnement immersif entièrement dédié à la manipulation d’une grande collection d’images. Ces outils couvrent des aspects divers et complémentaires de la manipulation de contenus visuels, parmi lesquels des outils de recherche par contenu, l'analyse automatique de collections pour la découverte assistée de connaissances et la visualisation de données complexes. <br /> <br />L’une des ambitions du projet est de concevoir un environnement immersif au sein du musée Nicéphore Niépce situé à Chalon-sur-Saône, avec pour double objectif d’améliorer la gestion des collections grâce à leurs experts, et de contribuer à sa valorisation à travers le public de visiteurs. Les résultats visés sont de développer des technologies permettant de créer des expériences numériques personnalisées à des fins professionnelles, culturelles et ludiques sur des collections de photographies numérisées, en particulier sur les collections du Musée.

Pour atteindre ces objectifs, le projet se décompose en trois parties :

- L'étude des descripteurs d'images dédiés à la collection et aux intérêts de l'utilisateur, en se concentrant sur l’étude des combinaisons de descripteurs d’images afin d’obtenir des descripteurs de niveau sémantiques supérieurs.

- La conception d'un moteur de recherche par le contenu(QbE), basé sur les descripteurs de l'image recherchée, et sur des paradigmes multiples intégrant une stratégie hybride, alliant mots-clés et images, un mode avancé de récupération des images et un nouveau modèle de recherche interactive. Celui-ci utilise l'apprentissage en ligne et l'adaptation incrémentielle.

- La conception et la création d'un environnement immersif qui intègre les collections du Musée et le moteur de recherche. Il fournit, sous forme de métaphores visuelles innovantes et intuitives, des nouveaux outils de visualisation mettant en évidence les résultats fournis par le moteur de recherche et permettant d’enrichir la navigation dans les collections. Pour assurer une navigation et des requêtes naturelles, basées sur des métaphores d’interaction dédiées, une interface homme / machine innovante et intuitive a également été conçue.

Les composants logiciels, développés par le CNAM, ont été intégrés dans le prototype final. Ils contiennent des algorithmes d’extraction basés sur des descripteurs d’image globaux (couleur, texture et forme), des modules d’interrogation pour la recherche visuelle par similarités, un retour interactif sur la pertinence des résultats et une référence d’implémentation pour l’extraction d’objets de bas niveau.

Un prototype opérationnel, constitué d’une structure de projection cylindrique / conique et piloté par une interface tactile intégrant le moteur de recherche ainsi que les algorithmes développés par les laboratoires partenaires, a fait l’objet d’une présentation officielle durant l’exposition Paris Photo 2016. Ce dispositif interactif innovant a été développé, conçu et mis au point conjointement par les partenaires industriels du projet : On Situ et Nicéphore Cité.

Le projet POEME a permis de développer des outils logiciels nouveaux et polyvalents, permettant de proposer plus facilement de nouvelles installations numériques exploitant des collections iconographiques. Le démonstrateur présenté à Paris Photo 2016 a permis de montrer de nouvelles possibilités d’interactions et de visualisation et ainsi de convaincre des prospects du potentiel de ces technologies.

Les travaux menés par le CNAM sur la recherche et l'extraction d'objets par faible similarité ont généré plusieurs publications scientifiques internationales.

Les contributions de l’IGN en termes de combinaison des caractéristiques d’image lo

L’objectif du projet POEME est de développer sur 36 mois un prototype professionnel et innovant permettant l’exploration, l’analyse assistée et la manipulation de fonds photographiques. Différents outils innovants seront réunis en un seul système intuitif, qui se présente comme un environnement immersif totalement dédiés à la manipulation de grands fonds d'images. Ces outils couvriront l’ensemble des aspects de la manipulation de contenus visuels parmi lesquels : la recherche par le contenu, l’analyse de fonds pour l’aide à l’indexation et la visualisation de données complexes.

Une des finalités du projet est de concevoir, prototyper et mettre en œuvre cet environnement immersif à l'intérieur d’un musée, le Musée Nicéphore Niépce à Chalon-sur-Saône. L’objectif est double : améliorer la gestion des fonds d’images numériques par les professionnels de l’image et contribuer à la valorisation des collections auprès du grand public. Les résultats recherchés seront la mise en place de technologies offrant la possibilité d’expérimenter, voire de jouer, à partir des images d’un fond photographique, en particulier sur les collections du Musée ; nous adresserons les questions liées au besoin d’adaptabilité du système vis-à-vis des différents cas d’usages ; nous étudierons l’intérêt des nouvelles technologies quant à leurs capacités à créer de la valeur ajoutée pour un fond photographique ; l’amélioration de l’attractivité de ces ressources culturelles par le biais de ces technologies sera également évaluée. Pour atteindre ces objectifs, le projet est divisé en plusieurs axes:

- L'étude de descripteurs d'images dédiés au contenu de la collection et aux intérêts des utilisateurs. Nous nous concentrerons en particulier, dans le cadre d'une thèse de doctorat, sur l'étude des combinaisons de descripteurs d'images afin d'obtenir des descripteurs de haut niveau sémantique capables de mieux décrire la collection abordée et permettant la création de meilleurs classements dans le cadre d’une recherche par l’exemple (QbE, query-by-example).

- La conception d'un moteur de recherche par le contenu, basé sur des descripteurs d'images et sur un framework, étudié par un chercheur postdoctoral, proposant des paradigmes multiples. Ce framework inclura la mise en place d’une stratégie de recherche par le contenu basée sur des critères hybrides (mots clés + image). Dans le cadre des besoins spécifiques de musées, d’experts et de visiteurs, il sera mis en place dans cet outil des méthodes avancées de recherches d’images ; de nouvelles méthodes de recherche utilisant l’apprentissage et l’adaptation automatique seront également présentes.

- La conception et la création d'un environnement immersif qui intégrera la collection du Musée et le moteur de recherche basée sur le contenu. Par le biais de métaphores visuelles innovantes and intuitives, il fournira de nouveaux outils de visualisation, ayant pour objectifs non seulement de mieux mettre en valeur les réponses fournies par le moteur de recherche, mais également d’enrichir l’analyse de la collection. Afin de rendre naturels la navigation au sein de la collection ainsi que le questionnement du moteur de recherche, une nouvelle interface homme/machine basée sur des métaphores visuelles intuitives et innovantes sera réalisée.

POEME associe un partenaire universitaire (CNAM), deux partenaires industriels (Nicéphore Cité - coordinateur, Sur-situ) ainsi qu’un partenaire privilégié (Musée Nicéphore Niépce), constituant ainsi un groupe d'équipes multidisciplinaires ayant des expertises complémentaires couvrant tous les domaines du projet, et ayant déjà collaborées au sein de projets dans le passé.

Coordinateur du projet

Monsieur Jean Claude DA SILVA (SEM Nicéphore Cité) – jean-claude.dasilva@nicephorecite.com

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

Nicéphore Cité SEM Nicéphore Cité
CEDRIC Centre d'Études et De Recherche en Informatique et Communications
on-situ on-situ
IGN Institut National de l'Information Géographique et Forestière

Aide de l'ANR 483 611 euros
Début et durée du projet scientifique : mars 2013 - 36 Mois

Liens utiles

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter