Environement Immersif pour l'Exploration de Contenus Photographiques – POEME

Pour atteindre ces objectifs, le projet se décompose en trois parties :

- L'étude des descripteurs d'images dédiés à la collection et aux intérêts de l'utilisateur, en se concentrant sur l’étude des combinaisons de descripteurs d’images afin d’obtenir des descripteurs de niveau sémantiques supérieurs.

- La conception d'un moteur de recherche par le contenu(QbE), basé sur les descripteurs de l'image recherchée, et sur des paradigmes multiples intégrant une stratégie hybride, alliant mots-clés et images, un mode avancé de récupération des images et un nouveau modèle de recherche interactive. Celui-ci utilise l'apprentissage en ligne et l'adaptation incrémentielle.

- La conception et la création d'un environnement immersif qui intègre les collections du Musée et le moteur de recherche. Il fournit, sous forme de métaphores visuelles innovantes et intuitives, des nouveaux outils de visualisation mettant en évidence les résultats fournis par le moteur de recherche et permettant d’enrichir la navigation dans les collections. Pour assurer une navigation et des requêtes naturelles, basées sur des métaphores d’interaction dédiées, une interface homme / machine innovante et intuitive a également été conçue.

Les composants logiciels, développés par le CNAM, ont été intégrés dans le prototype final. Ils contiennent des algorithmes d’extraction basés sur des descripteurs d’image globaux (couleur, texture et forme), des modules d’interrogation pour la recherche visuelle par similarités, un retour interactif sur la pertinence des résultats et une référence d’implémentation pour l’extraction d’objets de bas niveau.

Un prototype opérationnel, constitué d’une structure de projection cylindrique / conique et piloté par une interface tactile intégrant le moteur de recherche ainsi que les algorithmes développés par les laboratoires partenaires, a fait l’objet d’une présentation officielle durant l’exposition Paris Photo 2016. Ce dispositif interactif innovant a été développé, conçu et mis au point conjointement par les partenaires industriels du projet : On Situ et Nicéphore Cité.

Le projet POEME a permis de développer des outils logiciels nouveaux et polyvalents, permettant de proposer plus facilement de nouvelles installations numériques exploitant des collections iconographiques. Le démonstrateur présenté à Paris Photo 2016 a permis de montrer de nouvelles possibilités d’interactions et de visualisation et ainsi de convaincre des prospects du potentiel de ces technologies.

Les travaux menés par le CNAM sur la recherche et l'extraction d'objets par faible similarité ont généré plusieurs publications scientifiques internationales.

Les contributions de l’IGN en termes de combinaison des caractéristiques d’image locales pour la récupération d’images sont décrites dans les livrables D1.2, D1.3 et D2.3 et ont été publiées dans plusieurs publications scientifiques internationales: [BGGPB14] [BGBB16] [BWGS17] [BGWB17] [GB17].

L’objectif du projet POEME est de développer sur 36 mois un prototype professionnel et innovant permettant l’exploration, l’analyse assistée et la manipulation de fonds photographiques. Différents outils innovants seront réunis en un seul système intuitif, qui se présente comme un environnement immersif totalement dédiés à la manipulation de grands fonds d'images. Ces outils couvriront l’ensemble des aspects de la manipulation de contenus visuels parmi lesquels : la recherche par le contenu, l’analyse de fonds pour l’aide à l’indexation et la visualisation de données complexes.

Une des finalités du projet est de concevoir, prototyper et mettre en œuvre cet environnement immersif à l'intérieur d’un musée, le Musée Nicéphore Niépce à Chalon-sur-Saône. L’objectif est double : améliorer la gestion des fonds d’images numériques par les professionnels de l’image et contribuer à la valorisation des collections auprès du grand public. Les résultats recherchés seront la mise en place de technologies offrant la possibilité d’expérimenter, voire de jouer, à partir des images d’un fond photographique, en particulier sur les collections du Musée ; nous adresserons les questions liées au besoin d’adaptabilité du système vis-à-vis des différents cas d’usages ; nous étudierons l’intérêt des nouvelles technologies quant à leurs capacités à créer de la valeur ajoutée pour un fond photographique ; l’amélioration de l’attractivité de ces ressources culturelles par le biais de ces technologies sera également évaluée. Pour atteindre ces objectifs, le projet est divisé en plusieurs axes:

- L'étude de descripteurs d'images dédiés au contenu de la collection et aux intérêts des utilisateurs. Nous nous concentrerons en particulier, dans le cadre d'une thèse de doctorat, sur l'étude des combinaisons de descripteurs d'images afin d'obtenir des descripteurs de haut niveau sémantique capables de mieux décrire la collection abordée et permettant la création de meilleurs classements dans le cadre d’une recherche par l’exemple (QbE, query-by-example).

- La conception d'un moteur de recherche par le contenu, basé sur des descripteurs d'images et sur un framework, étudié par un chercheur postdoctoral, proposant des paradigmes multiples. Ce framework inclura la mise en place d’une stratégie de recherche par le contenu basée sur des critères hybrides (mots clés + image). Dans le cadre des besoins spécifiques de musées, d’experts et de visiteurs, il sera mis en place dans cet outil des méthodes avancées de recherches d’images ; de nouvelles méthodes de recherche utilisant l’apprentissage et l’adaptation automatique seront également présentes.

- La conception et la création d'un environnement immersif qui intégrera la collection du Musée et le moteur de recherche basée sur le contenu. Par le biais de métaphores visuelles innovantes and intuitives, il fournira de nouveaux outils de visualisation, ayant pour objectifs non seulement de mieux mettre en valeur les réponses fournies par le moteur de recherche, mais également d’enrichir l’analyse de la collection. Afin de rendre naturels la navigation au sein de la collection ainsi que le questionnement du moteur de recherche, une nouvelle interface homme/machine basée sur des métaphores visuelles intuitives et innovantes sera réalisée.

POEME associe un partenaire universitaire (CNAM), deux partenaires industriels (Nicéphore Cité - coordinateur, Sur-situ) ainsi qu’un partenaire privilégié (Musée Nicéphore Niépce), constituant ainsi un groupe d'équipes multidisciplinaires ayant des expertises complémentaires couvrant tous les domaines du projet, et ayant déjà collaborées au sein de projets dans le passé.