Reconnaissance multimodale de concepts enrichis (statiques, dynamiques, émotionnels) dans des vidéos multilingue au travers de langages pivots. – VideoSense

Le projet VideoSense vise à utiliser des techniques de traitement multi-modales innovantes pour détecter et reconnaître des concepts enrichis (incluant des aspects statiques, dynamiques et émotionnels) dans des séquences vidéo. Une des applications-cibles est d'associer des publicités adéquates en fonction du contenu des vidéos vues par l'utilisateur. Une autre application est la recommandation de vidéos, à partir de liens entre les vidéos contenant des concepts similaires. Le projet combinera l'expertise des partenaires dans les traitements de l'audio, de l'image, de la vidéo et du texte pour améliorer les descripteurs existants. Des langages pivot seront utilisés pour traiter les sous-titres dans plusieurs langues. Les techniques d'apprentissage actif permettront de limiter la dépendance vis-à-vis des corpus d'apprentissage annotés. Une part importante de l'effort de recherche sera consacrée à la construction de détecteurs efficaces pour des concepts statiques, dynamiques et émotionnels. Les mécanismes de fusion permettront de renforcer les résultats des classifieurs. Les progrès du projet seront évalués sur une base vidéo fournie par le partenaire industriel Ghanni et construite à partir d'un service web existant, ce qui permettra de mesurer l'impact des algorithmes proposés sur une application réelle. Pour maintenir la généralité des méthodes et garantir l'excellence scientifique, le projet utilisera aussi le benchmark TRECVID comme mesure de ses progrès par rapport à l'état de l'art. Les algorithmes développés dans le projet seront réadaptés pour une meilleure efficacité en ressources de calcul, et implémentés dans l'environnement informatique de Ghanni. Ceci permettra au partenaire industriel d'inclure ces technologies dans un vrai service web et d'améliorer sa compétitivité par rapport à la compétition internationale.