Instrument de musique numérique corps et cerveau – BBDMI

S'appuyant sur l'utilisation musicale des technologies EMG et EEG, une équipe de développeurs, de chercheurs en SHS et de praticiens de la musique construisent des prototypes logiciels et hardware qu’ils testent dans des situation de création artisitique réelle. La première année en studio avec des experts, la deuxième avec des musiciens en situation d’apprentissage et la dernière année sur le terrain de la création artistique expérimentale présentée à un grand public. Une entreprise va accompagner ces développement pour proposer un design industriel ouvert pour le prototype final et l’ensemble des livrables logiciels et matériels.

Résultats escomptés.
hybridation multimodale des signaux du cerveau et du muscle.
Création musicale inclusive, via le traitement du son contrôlé par le cerveau et le corps.
Conception de prototypes et développement ouverts d'un nouvel instrument numérique.
Plateforme de science ouvert pour le partage des résultats du projet avec les communautés créatives et scientifiques.

Partager de manière ouverte des connaissances et des savoir-faire en matière de technologies EEG et EMG pour les mettre au service de la création musicale et de ses diverses communautés.

Bibliothèques logicielles, blocs-diagrammes, publications scientifiques, évènement artistiques.

Brain/Body Digital Musical Instrument (BBDMI) est un Projet de recherche collaborative - Entreprise (PRCE) qui vise un prototype de système d'instrument de musique numérique utilisant des signaux physiologiques provenant du corps humain (cerveau et muscles). Le système sera validé dans différents cadres musicaux, du concert au conservatoire, avec différents musiciens. En plus du prototype, le projet produira des livrables sous la forme de manuels pédagogiques et de présentations publiques, mais aussi des corpus de données et de bibliothèques de codes. Le projet rassemble une équipe interdisciplinaire de chercheurs, designers, musiciens et ingénieurs qui échangent et collaborent selon des méthodes mixtes. Le projet est coordonné par La Maison des Sciences de l'Homme Paris Nord, avec la PME Soixante Circuits et les partenaires Institut du Cerveau (ICM) et Centre de Recherches Informatique et Création Musicale de l'Université Paris 8 représentant des compétences allant du développement technique bas niveau à la conception innovante centrée sur l'utilisateur et l'intégration de méthodes de pointe associant les neurosciences et la création musicale.
Le projet est organisé en cinq lots de travail qui placent l’utilisateur au centre d’un processus R&D itératif. Ce cycle comprend un atelier de cadrage initial, puis trois études utilisateurs. L'activité de groupe générera des idées de tâches à développer lors d’essais individuels, incluant ainsi l'utilisateur dans la conception de chaque étude. Chaque étude testera des prototypes successifs qui éclaireront les recommandations de conception pour la prochaine itération.
Les innovations techniques comprennent l'hybridation des signaux du cerveau (électroencéphalographie : EEG) et du corps / des muscles (électromyographie : EMG). Séparément, les systèmes basés sur l'EEG souffrent d’une faible amplitude de signal et d'une mauvaise précision, tandis que les interfaces basées sur l’EMG sont sensibles à la fatigue et la paralysie spasmodique. En combinant l’EEG et l’EMG - selon un nouveau mode hybride d’interaction, nous tirerons parti de la complémentarité des signaux du cerveau et du corps. Les signaux EMG peuvent être rapides, précis et fournir un signal d'effort physique, tandis que les signaux EEG indiquent des fluctuations de l'activité mentale et de l’(in)attention. À notre connaissance, l'hybridation EEG-EMG n'a pas encore été tentée dans la génération musicale à base de biosignal.
Les innovations créatives comprennent l'étude du mapping des caractéristiques hybrides ExG avec la synthèse sonore, le traitement sonore et la composition musicale. Cela se traduira par le développement d'une boîte à outils musicale de modules pouvant être utilisés à différents niveaux des étapes expérimentales et créatives de la production musicale. La boîte à outils sera développée dans des langages de musique informatique open source dans un cadre modulaire qui permettra la pérennité, la portabilité et la compatibilité croisée avec les environnements de script de musique courants, aussi bien qu’un portage flexible vers des systèmes basés sur des microcontrôleurs.
Le projet bénéficiera aux communautés des arts créatifs, des sciences, du codage et des ‘makers’ grâce à un programme de présentations publiques et de médiation culturelle pour lesquels les partenaires sont particulièrement bien placés. Le BBDMI se traduira par des innovations techniques et de conception dans les interfaces physiologiques et l'audio numérique, et fournira de nouvelles technologies personnelles avec un haut degré de facilité d'utilisation. Cela faciliterait un transfert de technologies des laboratoires de recherche vers les technologies musicales grand publics. L'approche open source du projet garantira l'accessibilité à long terme des innovations fondamentales du projet aux futures communautés d'étudiants, d'artistes et de chercheurs, tout en laissant ouverte la possibilité de commercialisation par les partenaires du projet.