Multimodalités Points / Formes / Mouvements : De nouveaux procédés pour l'animation et la création audiovisuelle – DYNAMe

DYNAMé vise à augmenter le potentiel créatif des outils logiciels d'animation, principalement pour les applications dans lesquelles la créativité joue un rôle majeur : création artistique, produits audiovisuels, jeux vidéo, effets spéciaux, design sonore et visuel. Les avancées en synthèse d'images de ces vingt dernières années ont été surtout guidées par la recherche d'un plus grand degré de réalisme. Cela s'est néanmoins effectué via la conception de modèles dédiés, au détriment de la généricité des systèmes. Face à ce constat, le projet DYNAMé a pour objet de développer conjointement deux nouvelles techniques génériques de production : le modèle physique particulaire masses-interactions et son association à des modèles morphologiques incluant des modélisations topologique, géométrique et optique. Il s'agit de lever trois des limitations actuelles de la synthèse et d'images et de sons basée physique, de manière à répondre aux attentes relatives à cette technique très prometteuse : - le verrou de la généricité des systèmes de simulation physique disponibles, - le verrou de l'habillage pour parvenir à une visualisation des points physiques, - le verrou du savoir faire en modélisation (quel modèle pour quel effet ?). Le premier volet du projet affirmera la généricité du modèle physique particulaire pour la synthèse de phénomènes sensoriels. Il consistera à concevoir un environnement logiciel de modélisation et simulation physique basé sur le modèle physique particulaire masses-interactions qui soit générique et modulaire, qui inclut une base de modules élémentaires complète, qui dispose d'une architecture logicielle adaptée à la synthèse d'images animées et de sons, et qui soit susceptible d'être déployé sur les plateformes les plus diverses. Le deuxième volet du projet est relatif à l'habillage de la constellation non structurée de points en mouvement fournie par les modèles physiques particulaires. Pour dépasser les limitations des visualisations spécifiques caractérisant les méthodes développées jusqu'à ce jour, et répondre clairement au problème de la perte de la topologie opérée lors de la modélisation par particules, le projet propose une construction explicite de cette structure, en introduisant un niveau de modélisation topologique dans la chaîne de visualisation des points. Il s'agit d'associer systématiquement modèle physique et modèle topologique dans la chaîne de synthèse d'images. Le troisième volet du projet concerne la question de la validation par l'humain des associations multimodales mouvement/morphologie spatiale/son. Les artefacts produits pas synthèse étant faits pour être perçus, il est essentiel de pouvoir modéliser des effets multisensoriels en tenant compte du ressenti humain. Il s'agira, avec des objets virtuels audiovisuels réalisés à partir des méthodes proposées, d'étudier d'un point de vue perceptif et cognitif les relations entre le mouvement, la topologie, la forme et le son de façon à mettre en évidence les associations entre ces trois modalités qui sont pertinentes pour la perception. Il s'agira, plus fondamentalement, de questionner d'une part l'importance respective du mouvement et de la forme dans l'émergence de la notion d'objet via la perception visuelle et d'autre part de mieux connaître les conditions permettant la fusion sensorielle des stimuli sonores et visuels générés par une scène virtuelle. Trois laboratoires, chacun spécialiste reconnu de l'un des trois enjeux scientifiques, se sont associés pour une durée de trois ans dans le projet DYNAMé : le laboratoire ICA, spécialiste de la modélisation physique particulaire pour la synthèse de sons et d'images animées, le laboratoire XLIM, spécialiste de la modélisation topologique, géométrique et optique et le laboratoire LAM, spécialiste de l'analyse sensorielle