Edition et Diffusion Sonore spatialisée en 3 dimensions – EDISON 3D

Le projet EDISON 3D aborde cinq point cruciaux :
1 Veille technologique. Au cours du projet, les formats nouveaux et à venir seront analysés pour s’assurer de la compatibilité des développements avec les standards émergents.
2 Adaptation aux formats d’entrée existants. Les formats d’entrée (mono, stéréo, binaural, High Order Ambisonics, etc.) pour de nouveaux contenus ou déjà existant ont proliféré. Nous proposons d’utiliser une description spatiale par objets sonores qui reste neutre vis-à-vis de ces formats. Grâce aux techniques récentes d’analyse et de séparation de sources couplées à une interaction forte avec l’utilisateur, nous développerons un outil d’adaptation de format permettant de convertir des formats d’entrée audio dans cette description et inversement.
3 Interaction entre son et utilisateur en production de son 3D. Les interfaces homme-machine de dernière génération (interaction gestuelle, multitouch, 3D «en l'air« ou tangible) et les techniques de visualisation de l'information ouvrent de nouvelles possibilités. En lien étroit avec les utilisateurs, une interface de production 3D intuitive, précise et maniable sera réalisée. Contrairement aux solutions existantes, elle permettra une manipulation simple et intuitive du champ sonore 3D.
4 Solutions de rendu pour la maison. Nous proposerons des dispositifs de rendu de grande qualité qui puissent s’intégrer simplement dans un environnement domestique. Ces dispositifs comprendront un nombre limité d’enceintes ce qui relâchera les contraintes de placement et de câblage qui avaient retardé l’adoption du format 5.1 en son temps.
5 Évaluation régulière de la qualité des travaux. Les développements seront évalués tout au long du projet par des tests (qualité du rendu sonore, utilisabilité, ergonomie, etc.) dans un processus itératif afin d’orienter les tâches techniques en fonction des retours des utilisateurs.

1 Participation aux travaux de l’UER et de MPEG-H 3D (ajout de B-Com en tant que membre associé au consortium Edison 3D). BCom et sonic emotion réalisent un état de l’art sur les différents formats master (ou « pivot ») pour la création de contenus audiovisuels suivant une grille de lecture répondant aux besoins du projet.
2 Exploitation de principes de fusion en séparation de sources : combinaison de modèles d'ordres différents permettant d’obtenir une amélioration significative de la qualité de la séparation [1] Etude d’une stratégie alternative par réseaux de neurones afin d'opérer une fusion dite locale. Modulation de la fusion en fonction d'un critère objectif dédié au rendu 3D [2].
3 Définition des défis interactionnels pour l’édition et la manipulation de courbes 3D ainsi que pour la navigation dans des scènes 3D [3]. Définition des besoins interactions en réalisant des interviews avec Radio France et Sonic Emotion Labs. Développement en cours d’un prototype combinant gestes 3D pour l’édition de courbes 3D et mouvements de la tête pour la navigation.
Développement d’interfaces 3D de contrôle et de visualisation à destination des DJ.
4 Analyse du rayonnement d'un haut-parleur monté sur une boîte parallélépipédique. Comparaisons entre les approches numérique, analytique et des mesures de rayonnement d’un prototype de barre de son de Sonic Emotion [5].
Etude des invariants de la perception auditive de l’e´le´vation, cre´ation d’un mode`le simplifie´ de filtrage équivalent et validation de l’élévation perçue en fonction de la complexité du modèle [4].
5 Essais de matériel, installation et mise en exploitation en WFS avec le système Sonic Emotion Wave1 du studio 105 de la Maison de la Radio. Installation d'un studio d’essais en production orienté objet au studio 155 de la Maison de la Radio.
Mis en place d’un système de rendu spatialisé à l’université de Bretagne Occidentale pour partage d’expérience avec Radio France.

Définition d’un format pivot pour la production audio 3D, indépendant d’un format de transport et d’un logiciel d’édition audio. Synchronisation avec les efforts de normalisation actuels.
Thèse Thibaut Jacob, Télécom ParisTech IC2, Interaction et visualisation de signaux spatio-temporels, application au son 3D.
Développement d’interfaces et de techniques de contrôle des caractéristiques spatiales des scènes sonore : plugin de contrôle pour la production orientée objet, interfaces de visualisation 3D et de gestion des trajectoires.
Thèse Simon Leglaive, Télécom ParisTech AAO, Séparation sous-déterminée de sources sonores en milieu réverbérant. Développement de méthodes conduisant à une séparation de haute qualité, permettant par exemple de respatialiser les sources, ou encore d’augmenter le nombre de canaux/objets afin d’enrichir l’expérience d’écoute.
Thèse Vincent Roggerone, Ecole Polytechnique, LMS, Caractérisation et Contro^le du champ acoustique rayonne´ par des syste`mes de haut-parleurs pour la restitution sonore tridimensionnelle. Application à la restitution de l’élévation à l’aide de dispositifs de type barre de son.
Recrutement d’un post doc en cours à l’université de Bretagne Occidentale en cours. Etudes perceptives sur l’analyse de scène auditive et démasquage spatial, l’apport de la cohérence vision-son, la restitution et le perception de l’élévation.
Sonorisation de multiples formes artistiques à l’aide d’un système WFS dans le studio 105 de la maison de la Radio, retour d’expérience des opérateurs et retour continu sur les interfaces développées. Essais en production orienté objet dans le studio 155 et échange avec les partenaires du projet.

[1] X. Jaureguiberry, E. Vincent, and G. Richard. Multiple-order non-negative matrix factorization for speech enhancement. In Proc. of Interspeech, 2014.
[2] X. Jaureguiberry, E. Vincent, and G. Richard. Variational Bayesian model averaging for audio source separation. In Proc. of IEEE Statistical Signal Processing Workshop (SSP), pages 33–36, 2014.
[3] Jacob, T., Bailly, G., Lecolinet, E., Foulon, R., and Corteel, E. Un Espace de Caractérisation Pour L’édition de Courbes à Trois Dimensions. ACM IHM'14, 2014.
[4] Pérotin, L. Etude des invariants de la perception auditive de l’e´le´vation et cre´ation d’un mode`le simplifie´ de filtrage e´quivalent. Rapport de stage de l’ Ecole Polytechnique. Stage réalisé à Sonic Emotion Labs, 2014.
[5] Li, Y. Analyse du rayonnement d'un haut-parleur monté sur une boîte parallélépipédique: comparaisons entre les approches numérique et analytique. Rapport de stage de l’université du Maine, stage réalisé à l’Ecole Polytechnique, 2014.

Au cours des dernières années, le terme « 3D » a été de plus en plus utilisé dans de nombreux domaines : jeux vidéo, image stéréoscopique, etc. L’image 3D semble se faire une place au cinéma mais peine à s’imposer à la télévision (technologies pas encore matures, port des lunettes inconfortable à la maison, etc.).
Le son s’intéresse aussi de plus en plus à la troisième dimension afin d’offrir une nouvelle qualité spatiale. Toutefois, il ne s’agit pas de la même « troisième dimension ». Là où l’image s’attache à la profondeur dans l’axe de l’écran (derrière mais aussi devant), l’extension à la troisième dimension pour le son se fait dans la hauteur. Les formats existants permettent de gérer le plan horizontal (azimut et distance), avec certaines limites (taille de la zone d’écoute, profondeur limitée à l’arrière des haut-parleurs).
Des travaux sont en cours dans les instances de normalisation (ITU, MPEG) et chez les acteurs majeurs du cinéma (Dolby, BARCO). Ils laissent entrevoir une émergence des productions 3D audio et audiovisuelles chez le consommateur dans les années à venir. Aucun consensus n’émerge cependant sur les outils de création de contenu, les formats et les modes de diffusion de la 3D sonore. Le projet EDISON 3D se propose de réaliser des avancées scientifiques et des outils qui permettront aux acteurs de l’industrie audiovisuelle d’être aussi indépendants que possible des multiples formats à venir. Notre objectif est de préciser les paramètres physiques et perceptifs importants pour la production audio 3D - enregistrement, transformations, rendu - et de concevoir des briques technologiques qui s’adaptent indistinctement à l’un ou l’autre des futurs formats.
Les solutions audio développées dans le projet EDISON 3D répondront à des besoins croissants pour la production audio 3D et pour la restitution en environnement domestique.
Le projet EDISON 3D aborde six point cruciaux :
• Veille technologique. Au cours du projet, les formats nouveaux et à venir seront analysés pour s’assurer de la compatibilité des développements avec les standards émergents.
• Adaptation aux formats d’entrée existants. Les formats d’entrée (mono, stéréo, binaural, High Order Ambisonics, etc.) pour de nouveaux contenus ou déjà existant ont proliféré. Nous proposons d’utiliser une description spatiale par objets sonores qui reste neutre vis-à-vis de ces formats. Grâce aux techniques récentes d’analyse et de séparation de sources couplées à une interaction forte avec l’utilisateur, nous développerons un outil d’adaptation de format permettant de convertir des formats d’entrée audio dans cette description et inversement.
• Interaction entre son et utilisateur en production de son 3D. Les interfaces homme-machine de dernière génération (interaction gestuelle, multitouch, 3D "en l'air" ou tangible) et les techniques de visualisation de l'information ouvrent de nouvelles possibilités. En lien étroit avec les utilisateurs, une interface de production 3D intuitive, précise et maniable sera réalisée. Contrairement aux solutions existantes, elle permettra une manipulation simple et intuitive du champ sonore 3D.
• Solutions de rendu pour la maison. Nous proposerons des dispositifs de rendu de grande qualité qui puissent s’intégrer simplement dans un environnement domestique. Ces dispositifs comprendront un nombre limité d’enceintes ce qui relâchera les contraintes de placement et de câblage qui avaient retardé l’adoption du format 5.1 en son temps.
• Évaluation régulière de la qualité des travaux. Les développements seront évalués tout au long du projet par des tests (qualité du rendu sonore, utilisabilité, ergonomie, etc.) dans un processus itératif afin d’orienter les tâches techniques en fonction des retours des utilisateurs.
Le projet EDISON 3D aide au développement de contenus audio 3D et des technologies associées en facilitant l’adoption des nouveaux formats audio de diffusion 3D dans toute la chaîne de production et de diffusion sonore.