INteractivité dans l’Ecriture De l’Interaction et du Temps – INEDIT

Notre approche repose sur une vision langage : une œuvre interactive est vue comme un interprète au sens informatique qui doit articuler des flux temporels bas niveaux localement synchrones (le signal audio) dans un temps événementiel globalement asynchrone (les événements pertinents pour le processus de composition). Le calcul effectué consiste à répondre aux signaux et aux événements en provenance de l’environnement par des actions diverses coordonnées dans le temps. Cette coordination est spécifiée par un compositeur qui doit pouvoir exprimer et visualiser simplement des contraintes temporelles et des scénarios d’interactions complexes à travers différents outils dédiés.
Contrairement à la plupart des recherches dans le domaine fondé sur un formalisme de représentation temporelle spécifique, le projet INEDIT se distingue par son approche hybride : nous ne voulons pas réduire la diversité des approches possibles en développant un n-ième formalisme unifié et monolithique. Au contraire, INEDIT a pour objectif de permettre l’utilisation de différentes approches stylistiques grâce à la coopération de différents outils au sein d’un environnement supportant toutes les phases du workflow musical, de la composition à la performance. Nous nous appuyons donc sur des outils déjà développés par les partenaires et qui occupent une position de référence mondiale dans leur domaine respectif : OpenMusic et iscore pour la phase de composition, INScore pour la visualisation interactive de flux complexes, Antescofo pour l’articulation signal/événement et FAUST et LibAudioStream pour la gestion des flux audio synchrones. Rendre interopérables ces outils permet de mettre en place des workflows riches et originaux qui seraient impossibles avec une application intégrée et un formalisme unique forcément plus rigide.

Les résultats scientifiques d’INEDIT, salués par plusieurs prix et distinctions scientifique et public, ont permis de développer de nouvelles techniques à l’intersection du traitement du signal, des systèmes embarqués critiques, de l’interaction homme-machine et de la visualisation scientifique.

INEDIT a permis l’aboutissement et développement de plusieurs outils, dont certains sont devenus incontournables dans la communauté internationale et ont été repris dans des projets de recherche à l’étranger (voir inedit.ircam.fr/outils). INEDIT a également permis la création d’une dizaine d’œuvres originales grâce à des artistes de renommé internationale. Plusieurs œuvres ont été largement diffusées sur des scènes artistiques mondiales (voir inedit.ircam.fr/artists).

Le projet INEDIT a abouti à plus de 70 publications internationales et au développement de 8 logiciels distincts et interopérables diffusés auprès de la communauté internationale. Plusieurs ateliers internationaux ont été organisés pour disséminer les connaissances et les pratiques élaborées au cours du projet.
INEDIT est également à l’origine d’une création d’entreprise autours du logiciel Antescofo salué par des prix i-Lab Emergence (2015) et i-Lab Création-Développement (2016) du ministère de la recherche.

L’objectif du projet INEDIT est de fonder scientifiquement l’interopérabilité des outils de création sonore et musicale, afin d’ouvrir la voie à de nouvelles dimensions créatives couplant écriture du temps et écriture de l’interaction.
Nos motivations reflètent les efforts internationaux en informatique musicale pour réconcilier la division actuelle entre les aspects « compositionnels » et « performatifs » des outils existants de création sonores. Cette division est apparente dans la catégorisation des outils en « composition assistée par ordinateur » et « temps réel ».
Pour le compositeur, les outils « orientés performance » (synthèse et traitement, mixage, post-production audio) se limitent à des métaphores des sources de production et de traitement (oscillateurs, filtres, modèles physiques). Cependant, ces métaphores devraient s’intégrer dans un langage symbolique comme celui de la partition afin de permettre une réelle écriture musicale, sa représentation, sa conceptualisation et sa communication.
Inversement, les outils « orientés composition » peinent à prendre en compte une nouvelle problématique, celle de l’interaction : un dispositif sonore correspond de moins en moins à une œuvre fermée et spécifiée totalement à l’avance, mais doit de plus interagir en temps réel avec un environnement. C’est le cas par exemple pour les œuvres musicales interactives, les jeux vidéo, l’habillage sonore, les installations multimédia, etc.
Notre approche repose sur une vision langage : une œuvre interactive est vue comme un interprète au sens informatique qui doit articuler des flux temporels bas niveaux localement synchrones (signal audio) dans un temps événementiel globalement asynchrone (les événements pertinents pour le processus de composition). Le calcul effectué consiste à répondre aux signaux et aux événements en provenance de l’environnement par des actions diverses coordonnées dans le temps. Cette coordination est spécifiée par un compositeur qui doit pouvoir exprimer et visualiser simplement des contraintes temporelles et des scénarios d’interactions complexes à travers différents outils dédiés.
Contrairement à la plupart des recherches dans le domaine fondées sur un formalisme de représenta-tion temporelle spécifique, le projet INEDIT se distingue par son approche hybride : nous ne voulons pas réduire la diversité des approches possibles en développant un n-ième formalisme unifié et monolithique. Au contraire, INEDIT a pour objectif de permettre l’utilisation de différentes approches stylistiques grâce à la coopération de différents outils au sein d’un environnement supportant toutes les phases du work-flow musical, de la composition à la performance. Nous nous appuyons donc sur des outils déjà développés par les partenaires et qui occupent une position de référence mondiale dans leur domaine respectif : OpenMusic et iscore pour la phase de composition, INScore pour la visualisation interactive de flux complexes, Antescofo pour l’articulation signal/événement et FAUST et LibAudioStream pour la gestion des flux audio synchrone. Rendre interopérables ces outils permet de mettre en place des workflows riches et originaux qui seraient impossibles avec une application intégrée et un formalisme unique forcément plus rigide.
Mais pour atteindre cet objectif, il faut développer de nouvelles technologies : ordonnanceur dédié, mécanismes de coopération, compilation au vol, ainsi que les visualisations innovantes et les interfaces tangibles à base de papier augmenté qui permettront de spécifier et de contrôler en temps réel les processus musicaux. Un des challenges scientifiques posés par INEDIT est la formalisation des relations temporelles musicales et en particulier le développement d’une approche GALS (globally asynchronous, locally synchronous) permettant de concilier contraintes temporelles synchrones et asynchrones dans un contexte où il faut gérer plusieurs échelles de temps hétérogènes, un défi majeur dans tout moteur multimédia.