reconnaiSsance de persOnnes pour Débats et les journAux télévisés – SODA

L’appel à projets REPERE est une campagne d’évaluation des systèmes de reconnaissance des personnes présentes dans des émissions audiovisuelles en français. Les systèmes concourants devront s’appuyer sur les différentes sources d’information présentes dans les émissions pour déterminer qui apparaît à l’image, qui parle, quels sont les noms et prénoms affichés à l’écran ou prononcés et à qui ils correspondent. Ces objectifs nécessitent des compétences variées. La reconnaissance des locuteurs et des visages nécessite une expérience solide en traitement automatique de l’audio, de la vidéo et en fusion de données. La maîtrise de la reconnaissance de parole, de la reconnaissance de caractères et du traitement de la langue naturelle permet d'extraire et d’associer correctement les noms de ces personnes.

Les laboratoires impliqués dans ce projet de recherche sont au nombre de deux : le Laboratoire Informatique de l’Université du Maine (LIUM) qui dirigera le projet, et l’institut de recherche suisse IDIAP. Les compétences des partenaires permettent de couvrir tous les thèmes du défi.

L’équipe Parole du LIUM a développé depuis 2004 un système de segmentation et de regroupement en locuteurs (SRL) performant qui a été classé 2e lors de la campagne d’évaluation ESTER en 2005 et 1er lors de la campagne d’évaluation ESTER 2 en 2008. Le LIUM travaille également depuis 2006 sur l’identification des locuteurs à partir de la transcription de la parole et des noms prononcés dans ces enregistrements. Le système d’identification s’appuie sur le système de reconnaissance de la parole à grand vocabulaire du LIUM développé depuis 2004.
De son côté, l’IDIAP a développé depuis de nombreuses années des compétences en traitement automatique de l’audio et de la vidéo. Dans le cadre du projet, l’IDIAP s’appuiera principalement sur ses travaux en détection, suivi et reconnaissance des personnes et en reconnaissance de caractères. L’IDIAP a participé régulièrement aux évaluations NIST en reconnaissance de locuteurs. Il a participé et conduit la tâche de suivi et de reconnaissance de l'orientation de la tête dans l’évaluation internationale CLEAR (Classification of Events, Activities, and Relationships) en 2006 et 2007. Il conduit actuellement une campagne d’évaluation de reconnaissance de visages et de locuteurs à ICPR 2010 (International Conference on Pattern Recognition).

Le projet bénéficiera des résultats précédemment obtenus par les partenaires, mais nécessitera des efforts d’intégration afin de construire un système complet permettant de suivre les intervenants principaux ainsi que de les nommer tout au long de l’émission.
Du point de vue de la recherche, la combinaison d’informations en provenance des différentes sources (signal acoustique, images, parole et texte) fédèrera nos travaux. Par ailleurs, une originalité du projet portera sur la reconnaissance des différents rôles (présentateur, journaliste ou modérateur, invité) des personnes, de leurs relations et leur interaction (qui s’adresse à qui par exemple), ainsi que de l'exploitation de la reconnaissance de ces rôles pour améliorer les performances de la segmentation ou de l'association entre une voix et un visage. Par exemple, les interactions pourront aider la détection de la personne s’exprimant parmi les personnes à l’image, tandis que les rôles pourront faciliter l’identification des locuteurs pour cibler les zones susceptibles de contenir de l’information utile.