Reconnaissance de personnes dans des contenus audiovisuels – PERCOL

Le but du projet PERCOL consiste à participer au défi REPERE en agrégeant au sein d'un même consortium des partenaires issus du milieu industriel (Orange Labs) et académique (LIA, LIF, LIFL). La complémentarité de ces partenaires permet de structurer le projet PERCOL en trois axes :

1) Utilisation de technologies existantes pour couvrir les différentes modalités prévues dans le défi REPERE.
Cet axe prévoit l'utilisation de "briques" déjà existantes chez les différents partenaires et permettant, en autre, de répondre aux tâches suivantes :
- Reconnaissance et segmentation en locuteur d'un flux audio
- Transcription automatique de Parole
- Localisation et reconnaissance de caractères incrustés dans des images
- Détection d'entités nommées dans du texte et de l'audio
- Reconnaissance automatique de visage
- Analyse de comportements à partir de documents vidéo

2) Développement d'axes de recherche novateurs, s'inscrivant dans le cadre de REPERE, et permettant à la fois le croisement de "cultures" scientifiques différentes (audio, texte, vidéo) et l'avancement de l'état de l'art concernant la tâche principale du défi. Les deux principaux axes de recherche qui seront étudiés sont :
- Algorithmes de fusion de descripteurs correspondant à différentes modalités (audio, texte, vidéo) pour la détection de personnes dans des flux audio.
- Amélioration des méthodes d'extraction des différents descripteurs grâce à l'introduction d'informations provenant d'une autre modalité. Par exemple on pourrait utiliser des informations provenant de l'analyse de scènes vidéo pour aider à déterminer le nombre de locuteurs d'un segment et ainsi améliorer la phase de segmentation en locuteurs, ce qui conduira aussi à améliorer la reconnaissance de la parole par une meilleur adaptation au locuteur des modèles acoustiques.

3) Introduction de la notion d'usage dans la mise au point et l'optimisation des systèmes de détection de personnes qui seront développés pour participer aux évaluations du défi REPERE. Cet aspect est particulièrement important pour permettre de développer des systèmes correspondant à des cadres applicatifs réalistes. Cet axe de travail est rendu possible par la participation au consortium du groupe traitant de l'ergonomie et des usages de la plateforme d'indexation et de recherche vidéo d'Orange Labs. La plateforme de démonstration d'Orange Labs pourra également être utilisées pour intégrer les résultats du projet qui auront été développés sous forme de Web services.