CE33 - Interaction, robotique 2022

Objets Musicaux Distribués pour les Interactions Collectives – DOTS

DOTS – Objets musicaux distribués pour les interactions collectives

Le projet DOTS a ouvert de nouvelles perspectives d'interaction créative et collective entre individus et systèmes distribués basés sur les technologies Web. Ancré dans une approche multidisciplinaire et centrée sur l'utilisateur, le projet s'est appuyé sur le phénomène de l'appropriation technologique à travers le regard d'utilisateurs créatifs (artistes, designers, chercheurs) afin de concevoir et de développer des outils innovants et de nouvelles perspectives sur les systèmes distribués.

Contexte et objectifs

Les évolutions récentes des technologies du Web et de l'Internet des objets (IoT) ont ouvert de nouvelles perspectives aux chercheurs et aux artistes s'appuyant sur des environnements multimédias distribués et collaboratifs, rendant possibles des transformations profondes des pratiques musicales et artistiques, de la phase de conception jusqu'à la production. Toutefois, la complexité inhérente à ces systèmes distribués — définis comme un « ensemble d'éléments informatiques autonomes apparaissant à l'utilisateur comme un système unique et cohérent » (van Steen, 2016) — soulève des questions inédites quant à la manière dont les praticiens peuvent se les approprier. Ces interrogations sont d'autant plus complexes lorsqu'il s'agit des interactions en temps réel, synchronisées et multimodales requises pour la musique et les arts du spectacle, lesquelles diffèrent sensiblement des paradigmes d'interaction asynchrone généralement mis en œuvre dans les systèmes IoT classiques. Dans ce contexte, le projet DOTS poursuivait un double objectif. Premièrement, il visait à développer un écosystème documenté d'outils et de bibliothèques fondés sur les technologies du Web — ciblant aussi bien les navigateurs web que les plateformes embarquées sans interface (headless) — afin de soutenir des utilisateurs experts engagés dans des démarches créatives et de répondre aux besoins d'applications musicales et artistiques, y compris dans les domaines de la santé et de la pédagogie. Deuxièmement, le projet proposait d'examiner le phénomène sociotechnique de l'appropriation technologique sous l'angle d'utilisateurs créatifs (artistes, designers, chercheurs), susceptibles d'apporter un éclairage nouveau sur cette question. Notre objectif était notamment d'étudier cette appropriation par le biais d'un travail de terrain mené auprès de praticiens experts et d'artistes, en exploitant les connaissances ainsi acquises pour orienter ou réorienter la conception de nos technologies. Le projet DOTS s'inscrivait ainsi dans une démarche interdisciplinaire centrée sur la pratique, à la croisée de l'interaction homme-machine (IHM), de l'informatique musicale et sonore (SMC), du design et des arts.

Le projet reposait principalement sur une méthodologie de recherche-action (McNiff & Whitehead, 2010), que nous jugions particulièrement pertinente pour deux raisons majeures. Premièrement, en prenant en compte la nature spécifique de la recherche artistique et de la recherche-création en tant qu'activités constructivistes ouvertes, où les chercheurs sont naturellement impliqués dans leur objet de recherche, adoptent une perspective « de l'intérieur » et visent l'amélioration de leurs pratiques. Deuxièmement, en considérant que la conception en vue de l'appropriation ne saurait se réduire à une activité de résolution de problèmes ou à un problème d'optimisation, et doit par conséquent être menée et validée selon une approche qualitative. Dans ce cadre, le projet a suivi une méthodologie itérative articulant études qualitatives, conception, développement logiciel et prototypage matériel.

 

Pour atteindre ces objectifs, le projet a favorisé et s'est appuyé sur des collaborations à long terme avec des artistes et praticiens associés, en reconnaissant et en intégrant leurs contraintes organisationnelles et socio-économiques spécifiques. Par ailleurs, afin de stimuler l'interdisciplinarité, l'horizontalité et l'égalité épistémique au sein de l'équipe, tous les membres ont été encouragés à s'investir dans diverses dimensions du projet, parfois au-delà de leur domaine d'expertise reconnu. Nous estimons que cette démarche nous a permis d'observer et de réfléchir à des aspects plus variés du processus d'appropriation, tout en contribuant au développement de technologies plus polyvalentes et robustes.

 

La nature interdisciplinaire du projet a abouti à des résultats dans différents domaines. Tout d'abord, dans le domaine de l'ingénierie et de l'informatique musicale, le projet a conduit au développement de nombreuses bibliothèques, outils, applications et tutoriels open source, tels que :

- la bibliothèque `node-web-audio-api`, qui propose une implémentation de la spécification Web Audio (W3C) pour l'environnement Node.js (https://github.com/ircam-ismm/node-web-audio-api),

- l'environnement `dotpi`, qui propose un ensemble d'outils, de ressources et de matériel dédiés à l'installation et à la gestion de parcs de micro-ordinateurs de type Raspberry Pi (https://ircam-ismm.github.io/dotpi/),

- la version 5 de la bibliothèque `soundworks`, dédiée à la mise en œuvre d'applications distribuées basées sur les technologies Web (https://soundworks.dev/),

- la version 2 de la bibliothèque `como`, dédiée à la création d'applications axées sur le son et le geste (https://github.com/ircam-ismm/como).

 

Dans le domaine de l'interaction homme-machine, le projet a permis de mener plusieurs études sur l'appropriation d'instruments de musique distribués et collectifs (par ex. hal.science/tel-05092751v1, hal.science/hal-04867345v1). Il a également soutenu des études utilisateurs autour de l'environnement CoMo, dédié au mapping son/geste et à l'interaction (https://hal.science/hal-05669471, hal.science/hal-05669586), ce qui a finalement abouti à une refonte complète de la conception et de l'implémentation de la bibliothèque `como` (https://ircam-ismm.github.io/como/). Enfin, le projet a permis de réaliser des entretiens et une analyse thématique auprès de deux concepteurs de systèmes (i.e. Max et Pure Data) largement utilisés au sein de la communauté de l'informatique musicale (SMC), débouchant sur un article théorique concernant l'appropriation par les utilisateurs, dont la publication est en attente.

 

Enfin, le projet a également permis de publier plusieurs articles ancrés dans des perspectives épistémologiques et méthodologiques, tels que hal.science/hal-04451057v1, hal.science/hal-05502536v1 et hal.science/hal-05671577.

 

 

Les principales perspectives ouvertes par le projet sont au nombre de deux.

Premièrement, d'un point de vue épistémologique, nous souhaitons approfondir les travaux initiés dans les publications suivantes : Benjamin Matuszewski et Frédéric Bevilacqua, *Composed epistemologies - A case from computer music research* (Undone Computer Science, février 2024, Nantes, France ; hal.science/hal-04451057v1) et Jean-Brice Godet, Aliénor Golvet, Suzanne Saint-Cast et Benjamin Matuszewski, *Reflecting on research-creation methodologies in the development of distributed applications for live performance* (Web Audio Conference 2025, Ircam, novembre 2025, Paris, France ; hal.science/hal-05502536v1). En particulier, nous estimons important d'approfondir l'hypothèse consistant à envisager la recherche-création comme un terrain fertile et une méthodologie structurante pour la recherche interdisciplinaire.

Deuxièmement, d'un point de vue technologique, le composant de script partagé ouvre des perspectives très prometteuses ainsi que de nouveaux défis. Il offre à l'utilisateur des moyens simples de mettre en œuvre et d'affiner, en temps réel, des parties de l'application globale spécifiques à un domaine.

 

Le développement récent des technologies Web et Internet des objets (IoT) - en démocratisant l’accès et la manipulation des technologies tant aux niveaux logiciels que matériels - a ouvert de nouvelles perspectives aux chercheurs et aux artistes s'appuyant sur des environnements multimédias distribués et s’intéressant aux interactions collaboratives. Cependant, la complexité inhérente à de tels systèmes distribués, en particulier quant aux nécessités d’interactions temps-réel, synchronisées et multimodales propres à la musique et aux arts vivants, pose de nouvelles questions sur la conception d'interactions permettant à ces praticiens d'utiliser et surtout, de s'approprier de manière créative ces technologies.
Dans ce contexte, les objectifs du projet Distributed Musical Things for Collective Interactions (DOTS) sont doubles : 1) Comprendre comment notre système expérimental pourrait mieux soutenir le travail créatif, collaboratif et multidisciplinaire dans des situations réelles, en re-questionnant l'impact des technologies dans de telles tâches. En particulier, notre objectif est de développer un cadre méthodologique destiné à faciliter le processus d'apprentissage des utilisateurs et à soutenir leur appropriation des aspects tant technologiques que de conception. 2) Développer une nouvelle version de notre plateforme pour créer un écosystème cohérent d'outils modulaires, portables, interopérables et à bas coût (ciblant à la fois les plateformes mobiles et embarquées) dédié aux applications créatives et musicales, y compris pédagogiques. En particulier – en tenant compte des spécificités liées aux interactions multimodales continues et synchronisées dans les systèmes distribués – notre objectif est de développer de nouveaux outils et de nouvelles interfaces qui permettent de soutenir le travail créatif (e.g. feedback immédiat, boucles rapides d'essais et d'erreurs) d’utilisateurs ayant différents parcours, compétences et objectifs.
Partant de l'hypothèse que les pratiques artistiques expertes nous fournissent un cadre exemplaire et stimulant pour aborder ces questions de recherche et proposer des technologies innovantes, nous mènerons ce projet selon une méthodologie de recherche-action et en nous appuyant sur le cadre conceptuel du méta-design. Plus précisément - dans une perspective interdisciplinaire centrée sur la pratique mêlant Interaction Homme-Machine, Ubiquitous Computing, Sound and Music Computing, Design et Arts - nous mettrons en œuvre une méthodologie itérative et incrémentale alternant phases de développement et travaux de terrain menés lors de résidences artistiques et d’ateliers menés dans des écoles d'art et des universités. Ainsi, nous allons à la fois 1) développer de nouveaux outils (logiciels et matériels) favorisant l'appropriation et le travail créatif au sein des systèmes distribués musicaux, et 2) produire des études de cas documentées nous permettant de mieux comprendre comment les praticiens experts en arts et en musique interagissent avec les outils technologiques et se les approprient de manière créative. Nous pensons également que les technologies et les méthodologies développées au cours du projet favoriseront la mise en place de nouveaux cadres expérimentaux permettant de soutenir des recherches dans d'autres domaines tels que la pédagogie ou le bien-être et le soin.

Coordination du projet

Benjamin Matuszewski (INSTITUT DE RECHERCHE ET COORDINATION ACOUSTIQUE MUSICALE)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenariat

MSHPN Centre national de la recherche scientifique
I3S Université Côte d'Azur
IRCAM INSTITUT DE RECHERCHE ET COORDINATION ACOUSTIQUE MUSICALE
LISN Université Paris-Saclay
Ecole nationale Supérieure des Arts Décoratifs

Aide de l'ANR 278 916 euros
Début et durée du projet scientifique : décembre 2022 - 36 Mois

Liens utiles

Explorez notre base de projets financés

 

 

L’ANR met à disposition ses jeux de données sur les projets, cliquez ici pour en savoir plus.

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter