Reconnaissance automatique d’attributs faciaux (expression, âge, sexe, ethnie) basés sur les visages 3D – 3D Face Analyzer

Les visages humains véhiculent une quantité d'informations, comme par exemple la pose, l'identité, l'état émotionnel, le sexe, l'âge, l'origine ethnique, le niveau d'éducation, etc., et jouent un rôle important dans la communication face à face entre les humains. L'utilisation de ces indices facials dans une interaction entre les humains est rendue possible par la remarquable capacité de ceux-ci de reconnaître et interpréter les visages et leurs comportements.

Le projet 3D Face Analyzer vise une interprétation automatique de visages 3D afin de rendre possible une meilleure interaction homme/machine, par exemple sans contact, basée sur des attributs faciaux d’un utilisateur, e.g. les expressions faciales, le sexe, l’âge, l’origine ethnique.

Alors que la plupart des applications basées sur la reconnaissance automatique d’attributs faciaux sont probablement encore inconnues, notamment dans le domaine de l'interaction homme-ordinateur, on peut déjà imaginer quelques applications directes, par exemple la reconnaissance fiable du visage, la reconnaissance d’affect utilisateur basée sur les expressions faciales, des interactions homme/machine spécifiques à l’âge et au sexe, etc.

D'un point de vue scientifique, la reconnaissance automatique d’attributs faciaux est aussi un problème difficile et digne d’intérêt pour plusieurs communautés de recherche, y compris l'apprentissage automatique, la vision par ordinateur, les neurosciences, etc. Par exemple, la prédiction de l'âge d’une image faciale n'est pas un problème classique de l'apprentissage comme typiquement le vieillissement est difficilement prévisible dans le temps et les différentes personnes vieillissent différemment alors que les données d’apprentissage temporelles sont généralement très rares. En effet, l’effet de vieillissement est non seulement du aux facteurs biologiques mais il est aussi impacté par des facteurs externes aussi divers que l'origine ethnique, les conditions climatiques, les apports alimentaires, le stress, etc.

Pour toutes ces raisons, l'interprétation automatique d’images faciales a suscité un intérêt croissant de plusieurs communautés de recherche au cours des dernières années. Cependant, la majorité de ces travaux sont principalement basés sur l'analyse des images de texture faciale 2D, bien que des études ont montré que les caractéristiques du visage comme le vieillissement, le sexe ou l'origine ethnique ne sont pas seulement révélée par les textures 2D, mais ont également des relations étroites avec la morphologie 3D des visages humains.

Le projet 3D face analyzer propose de joindre l’effort de deux équipes françaises (ECL Liris et USTL LIFL) et deux équipes chinoises Beihang IRIP et NCUT IIP) ayant chacune une expertise significative dans le domaine du traitement de visages 3D et vise une reconnaissance fiable d’attributs facials à partir de modèles de visage 2.5D ou 3D et utilisent pour cela conjointement la morphologie faciale 3D, la texture faciale ainsi que des points caractéristiques. En développant des techniques d’analyse de visages 3D visant directement la reconnaissance des attributs facials, nous souhaitons aussi faire progresser nos connaissances sur des problèmes fondamentaux, comme par exemple la stabilité de mesures et descriptions géométriques (courbure, distance, etc.) sur des surfaces discrétisées à travers des variations de résolution ou de précision, la mise en correspondance de surfaces non rigides comme le visage notamment en présence de données bruitées. Un autre objectif du projet est l’identification et la collection de ressources représentatives de visages 3D en termes d’expressions faciales, âge et le sexe pour l’apprentissage et le test.