Indexation de collections multimédia pour la préservation et la dissémination de la culture mexicaine – MEX-CULTURE

Nous souhaitons apporter des contributions nouvelles significatives dans trois domaines : la description du contenu, les résumés multimédia et la recherche scalable par le contenu.

Nous souhaitons obtenir, à la fin du projet :
1. Des méthodes de description du contenu adaptées à la vidéo haute définition et permettant des traitements efficaces.
2. Indexation sonore avec reconnaissance de la parole et du locuteur.
3. Création efficace de résumés multimédia.
4. Recherche efficace par le contenu dans les bases de données multimédia.

Nous attendons un impact positif significatif sur la préservation et la dissémination de l'héritage culturel mexicain, ainsi que des perspectives intéressantes dans la coopération scientifique France - Mexique.

Voir mexculture.cnam.fr

Étant donné le rôle des contenus multimédia liés à l’héritage culturel dans la promotion de la diversité culturelle, il est très important de pouvoir rendre ces contenus facilement accessibles à un large public. De grands volumes de tels contenus doivent être indexés et il faut donner aux utilisateurs la possibilité de naviguer dans les collections, de rechercher et de visualiser le contenu d’archives multimédia. Cela exige l’indexation automatique du contenu. Le projet MEX-CULTURE vise à :

1. Concevoir, dans le cadre de recherches en collaboration, de nouvelles méthodes automatiques pour le traitement et l’indexation à grande échelle de contenus multimédia. Ces méthodes concernent l’indexation de la vidéo compressée, l’indexation audio en employant des descripteurs résultant de la reconnaissance de la parole et de l’identification du locuteur, l’indexation multimédia (image, vidéo, audio et parole) et les méthodes de recherche qui passent à l’échelle. Les techniques résultantes seront mises en œuvre sur une plate-forme ouverte commune.

2. Promouvoir la préservation et la dissémination de la culture mexicaine, en appliquant les méthodes mises au point dans le projet à la grande base de FONOTECA NACIONAL (Archive Sonore Nationale du Mexique) et la collection vidéo TVUNAM (plus de 100,000 heures de vidéo) de l’UNAM (Université Nationale Autonome de Mexico). MEX-CULTURE est le premier projet d’indexation multimédia présentant ces caractéristiques.

Ce projet sera mené par cinq institutions, trois françaises (CEDRIC-CNAM, LABRI, INA) et deux mexicaines (UNAM, IPN), et a comme point de départ une coopération de recherche existante (accord cadre) entre l’Université Bordeaux 1 et l’UNAM.
Les activités de recherche dans le cadre de ce projet visent à apporter des contributions significatives nouvelles dans les trois domaines suivants : la description des contenus, les résumés de contenus et le passage à l’échelle de la recherche par le contenu. La décomposition en tâches reflète les objectifs scientifiques et encourage la collaboration entre partenaires mexicains et français. La recherche sur la description du contenu se retrouve dans deux tâches distinctes, une par type de contenu (vidéo et audio). Les descriptions résultantes de la vidéo et de l’audio sont néanmoins employées conjointement dans une tâche qui a pour objectif la création de résumés et la recherche par le contenu. L’objectif de la tâche 1 est d’extraire des descriptions locales et globales de flux compressés JPEG2000 (qui s'impose dans le monde professionnel comme le standard de préservation du patrimoine culturel sous forme numérique), mais aussi à différents niveaux de résolution spatiale des contenus. La tâche 2 s’intéresse à la segmentation du signal audio, à la description et à la classification d’évènements sonores, ainsi qu’à la reconnaissance de la parole (Mexique). Les recherches concernant la création de résumés de contenus et le passage à l’échelle de la recherche seront réalisées dans la tâche 3. L’objectif final des résumés est de faciliter la navigation et la recherche. Les résumés, comme la recherche par le contenu (suivant plusieurs paradigmes), exploitent conjointement les descriptions de la vidéo et de l’audio. Toutes les activités d’intégration logicielle sont regroupées dans la tâche 4, qui produit une plate-forme expérimentale employée dans l’évaluation finale. L'INA a un apport significatif dans cette évaluation par l'implication de ses documentalistes expérimentés, qui interviendront aussi sur les pratiques de documentation. Cela doit également permettre d'évaluer l'intérêt pour les documentalistes de l'INA des méthodes mises au point dans ce projet.

Ce projet doit permettre d'initier une collaboration à long terme entre la France et le Mexique, impliquant potentiellement à l’avenir d’autres acteurs comme l’IRCAM sur des problématiques larges concernant la restauration, la préservation et l’indexation d’archives multimédia.