iTOWNS : Navigation immersive, annotation automatique, et recherche d’informations dans des masses d’images de rues à travers le web – ITOWNS

L'objectif de ce projet est de mettre au point une nouvelle génération d'outils multimédia sur
le web qui mélange un navigateur 3D géographique (comme le Geoportail, Google Earth,
Microsoft live Earth) avec un moteur de recherche basé sur une indexation des données
images/visuelles par le contenu.
Ce projet gère des données images panoramiques très haute résolution acquises avec une
très grande densité spatiale au niveau de la rue par un véhicule instrumentalisé.
Le premier objectif est de naviguer de manière fluide, libre et immersive, dans un flux
d'images panoramiques (sans modèles 3D) dans de très grandes collections de données de
manière à voir et visiter la ville comme si nous y étions.
Le deuxième objectif est de construire à partir des images un système d'information basé sur
le contenu image de manière à proposer au sein même du navigateur des services simples
ou complexe basés sur des requêtes (aller à une adresse donnée, générer une carte de
navigation enrichie avec de l'image, trouver la localisation d'une image apportée par
l'utilisateur, sélectionner les images avec tel objet, etc.).
Pour atteindre ces objectifs, nous devons relever trois défis.
Le premier est de visualiser et de naviguer à travers le web à l'intérieur de très grands
volumes d'images panoramiques géoréférencées de ville acquises par un système de
cartographie mobile. Dans le cadre de ce projet, un terra octet de données acquises sur la
ville de Paris sera acquise et exploitée. Cela correspond à 25000 vues panoramiques
(composées de dix images HD chacune) le long d'une centaine de kilomètres linéaires de
rues.
Le deuxième défi consiste à extraire des images de manière complètement automatique et
en un temps raisonnable autant de primitives, objets simples et complexes, et de relations
géométriques et topologiques entre objets que possible pour une indexation par le contenu.
Le troisième défi consiste à exploiter et combiner les différents objets, primitives et autres
signes précédemment extraits afin de construire des systèmes d'apprentissage efficaces sur
ces données permettant des comparaisons et des classifications à un haut niveau
sémantique. Des stratégies de recherche par le contenu permettront alors de fournir des
services de fouille de données intelligents avec différents niveaux de complexité.
Ce projet quoique ambitieux dans ces enjeux scientifiques sera également guidé par les
applications, puisque nous proposerons l'implémentation d'applications simples et plus
complexes utilisant les signes extraits et les moteurs de recherche développés.
La grande complémentarité des compétences techniques et scientifiques et expériences des
différents laboratoires présents dans ce projet (MATIS, LIP6, ETIS, LCPC, CMM) dans la
collecte de données photogrammétriques, l'extraction d'objets et la reconnaissance de
forme, les techniques d'apprentissage automatique et l'indexation par le contenu, sont une
clef du succès de ce projet