Indexation sémantique automatisée de programmes audiovisuels appliquée aux nouveaux modes d'accès délinéarisé et personnalisé. – Semim@ge

Le but du projet SemIm@ge est l'exploration et le prototypage d'applications d'accès aux et de consommation délinéarisée, personnalisée de contenus audiovisuels professionnels enrichis. Pour cela, il vise à développer une solution de re-destination (repurposing) et de ré-éditorialisation de programmes audiovisuels professionnels sur la base exclusive d'une chaîne de traitement entièrement automatique et générique. Cette chaîne prendra en charge l'ensemble des étapes depuis l'ingestion jusqu'à la publication adaptée à différents vecteurs de diffusion et des services associés en passant par l'indexation par génération automatique de métadonnées sémantiques et structurelles. Il s'agit donc d'un projet précompétitif, sur 27 mois, motivé par les besoins issus des évolutions fondamentales que vit actuellement le secteur de la diffusion des contenus audiovisuels, à savoir: §, la multiplication des canaux de distribution, notamment sur des réseaux possédant la propriété d'interactivité et permettant de ce fait d'offrir plus facilement des services enrichis et à la carte. §, Le développement croissant d'une consommation audiovisuelle de plus en plus personnelle et à la carte, donc délinéarisée associée à un accroissement de l'usage de l'Internet au détriment du temps passé à une consommation passive de la TV §, le lancement depuis début 2005 de services de moteur de recherche Web dédiés à la vidéo TV par plusieurs acteurs majeurs des moteurs de recherche de l'Internet tels que Google ou Yahoo la baisse prévisible des revenus publicitaires de la diffusion TV linéaire due notamment à une fragmentation croissante du marché et de ce fait la nécessité d'une valorisation accrue directe des contenus TV par une distribution adaptée et diversifiée en termes de services offerts sur les différents canaux possibles. Pour atteindre ce but, multiple en fait, l'approche retenue consiste d'une part à utiliser des algorithmes de reconnaissance automatiques d'usage relativement universel guidés par un modèle de connaissance spécifique de la famille de contenus à analyser et voire également de la finalité de l'analyse. Pour être pertinente, cette approche suppose l'utilisation ou le développement de cœ,urs de technologie de reconnaissance, soit génériques (i.e. applicables à un nombre de contenus variés), soit spécifiques d'entités d'intérêt universel, comme la parole ou les visages. Il faut aussi que ces algorithmes soient performants et robustes par rapport aux caractéristiques des vidéos traitées. Elle suppose que les modèles de connaissance soient capables d'adresser un nombre assez important d'applications à partir d'un ensemble limité d'outils et de résultats de reconnaissance. Ces deux points constituent donc les enjeux à la fois scientifiques et économiques du projet. Sur le plan plus technique, l'enjeu est l'intégration d'une solution complète intégrant et mutualisant l'ensemble des fonctions de gestion, moteur de recherche et ré-éditorialisation/republication de contenus audiovisuels. Seront en particulier développées, adaptées, ou simplement réutilisées des technologies de classification des sons en parole –, musique ou divers, de transcription vocale, d'identification d'œ,uvres musicales, de macro-segmentation multimodale de flux TV basée sur le regroupement automatique d'éléments visuels et sonores similaires, de reconnaissance de textes incrustés dans les vidéos, de reconnaissance de visages dans les vidéos et de traitement automatique du langage naturel, notamment dans un but de production de vocabulaires thématiques. Enfin, sur le plan des usages, il s'agira de valider d'une part le bienfondé des applications visées, et d'autre part la qualité des résultats d'analyse automatique au regard des attentes des utilisateurs. Pour cela, des expérimentations en vraie grandeur, mais en laboratoire cependant pour des questions de droits d'utilisation des contenus, seront menées. Seront considérés, à titre d'exemple pour valider l'approche et de man