Modèles de synthèse audio interactifs, physiquement informé et sémantiquement contrôlables. – PHYSIS

PHYSIS est un projet de recherche industriel centrée sur la modélisation, la transformation et la synthèse des sons diégétiques pour les mondes virtuels interactifs (jeux vidéo, simulateur, serious game) et la réalité augmentée. Par sons diégétiques, nous entendons tous les sons générés par des objets identifiables dans la scène virtuelle (par exemple les bruits d’armes, de liquides, de feu, d’eau, de tissus, etc.) et leurs interactions possibles : impacts physiques, frottements, glissements, roulements... Cela ne comprend pas les sons musicaux.

PHYSIS considère la production de contenu sonore interactif dans son ensemble et de façon systémique. Il couvre en effet la totalité des étapes nécessaires à la réussite d’un tel challenge : depuis la recherche fondamentale indispensable pour une bonne modélisation des phénomènes sonores, jusqu’à la production de code compilé embarquable dans des consoles de jeu ou du matériel spécifique. PHYSIS prévoit également la création d’outils utilisables par des sound designers, l’analyse et la transformation de fichiers sonores, la création de contrôles sémantiques et physiques de haut niveau ainsi que leur mise en situation interactive.

Les principaux résultats du projet conduiront à :
• des avancées significatives dans la modélisation des propriétés acoustiques des sons du corpus ciblé ;
• des modèles de synthèse et de nouvelles stratégies destinés à créer et transformer les sons de façon interactive avec des commandes sémantiques et/ou physiques ;
• des démonstrateurs technologiques qui mettent en avant ces innovations.

Beaucoup de recherches on été conduites sur la synthèse des sons musicaux et vocaux, avec de très bons résultats tant du point de vue scientifique (norme MPEG7, communauté MIR, concours MIREX, etc.), qu’industriel (Applied Acoustics fondé par un ancien chercheur de l’IRCAM, Acapela, Vocaly, Native Instruments, etc.). La synthèse d’autres types de sons est cependant largement sous-explorée. Par exemple, la communauté MIR (Music Information Retrieval) n’a pas d’équivalent pour les sons non musicaux.
L’émergence récente de jeux vidéo complexes et des univers virtuels, comme « Second Life », a fait apparaître les limites des moteurs sons actuels, qui utilisent des sons préenregistrés alors que l’image de synthèse est, elle, calculée en temps réel. Par ailleurs, l’utilisation de modèles physiques permet un comportement graphique plus réaliste, plus complexe et plus varié, mais ces derniers n’ont qu'une faible incidence sur les comportements sonores basés sur des fichiers préenregistrés. Or, la montée en puissance du matériel a rendu possible la simulation précise des propriétés audio et acoustiques des bruits quotidiens basés sur des paramètres physiques.

De plus, de nouvelles interfaces sont maintenant incluses dans les smartphones, tablettes, consoles de jeux vidéo et sont en train de permettre une révolution dans la façon dont nous accédons à l’information numérique. Après la Wii et la Wiimote, la PlayStation 3 et le Move, les smartphones sont désormais équipés d’interfaces tactiles multipoints et la Xbox 360 de Microsoft permet de capturer la position du corps entier du joueur grâce à Kinect, une caméra 2.5D. Ces dispositifs sont sous-exploités d’un point de vue sonore car la lecture de sons préenregistrés ne permet pas une interaction correcte avec ce type d’interface. La synthèse audio en temps réel est ainsi parfaitement adaptée à ces nouvelles interfaces et aux usages qui en découlent.

En conclusion, PHYSIS permettra de créer une base scientifique et technologique solide pour répondre à l'ensemble de ces nouveaux besoins.