Réalité Musicale Mixte avec Instruments Créatifs – MERCI

Compte tenu du contexte de la recherche et des résultats préliminaires, nous souhaitons optimiser la productivité de la recherche et la limitation des risques en opérant simultanément dans deux directions symétriques et convergentes qui se rejoindront finalement dans la création de l'instrument créatif.
Augmenter les capacités des cyber-entités en améliorant la créativité informatique, l'autonomie et la sensibilité multimodale au contexte, ainsi que l'actionnement cyber-physique à l'intérieur de l'instrument, afin qu'elles puissent entrer dans une interaction experte convaincante avec les humains qui font fonctionner l'instrument de musique.
Augmenter les capacités humaines en les connectant à la réalité mixte par le biais d'interfaces instrumentales incarnées qui augmenteront leur conscience et leur efficacité musicales, afin qu'ils puissent interagir de manière naturelle et créative avec des agents artificiels.
L'articulation de ces deux approches à travers une série de cycles de recherche/développement alimentés par une série de tâches de recherche plus fondamentales, fournissant les outils de modélisation nécessaires et l'évaluation et les données des sciences sociales, jettera les bases de l'écosystème de recherche afin de viser la réalisation des premiers prototypes de Creative Instrument. Afin de coordonner cette approche multidisciplinaire dans le temps, nous lancerons deux groupes de travaux de recherche qui interagiront pendant toute la durée du projet :
la recherche en apprentissage machine fournissant des modèles entraînés, et la recherche en sciences sociales de terrain fournissant des données humaines et des guides heuristiques pour la paramétrisation des modèles.
-développer des plates-formes expérimentales pour la réalité mixte et les logiciels de créativité computationnelle, en réunissant les deux augmentations (a) et (b) dans les prototypes d'instruments créatifs.
Ces deux groupes seront complétés et articulés par (3) un ensemble d'expérimentation, d'utilisation et de diffusion, qui impulse le calendrier d'une série d'itérations entre les tâches de modélisation, de prototypage et d'expérimentation. Le fait de passer par des cycles de recherche et de développement rapides favorisant l'interaction entre tous les modules de travail, avec des livrables importants produits à la fin de chaque cycle annuel, facilitera la coopération interdisciplinaire et évitera les problèmes imprévus qui pourraient potentiellement bloquer l'organisation du projet. La sous-section du plan de travail ci-dessous détaille la répartition précise des paquets et des sous-tâches de ce programme.
Dans le cadre de ce programme, nous utiliserons conjointement des méthodes issues (1) de la créativité computationnelle interactive, (2) du contrôle acoustique actif des instruments de musique, (3) de l'apprentissage automatique et de la science des données de l'information musicale, et (4) des sciences sociales et de l'anthropologie des pratiques improvisées.

L'un des résultats pratiques du projet sera la réalisation du premier prototype concret d'instrument créatif basé sur la guitare HyVibe, en l'enrichissant de fonctionnalités de réalité mixte et d'interréalité et en l'équipant d'agents numériques créatifs, comme prélude à l'extension à d'autres familles d'instruments. De nouvelles applications permettant d'interagir avec des musiciens humains seront mises en œuvre dans l'instrument et évaluées, telles que : des pistes d'accompagnement créatives - ajoutant un accompagnement polyvalent dans des styles contraints ; une co-improvisation créative - où l'instrument crée librement un contenu autonome ou double le jeu du musicien avec des lignes musicales coordonnées et en constante évolution ; un looper créatif - avec des processus d'enregistrement/de boucle qui évoluent d'eux-mêmes vers de nouveaux contenus génératifs ; une orchestration créative - mélangeant des arrangements et des orchestrations sophistiqués. Il ne s'agit là que de quelques exemples de la manière dont l'instrument créatif permettra de réaliser la convergence tant attendue entre la physique, le traitement de l'information et la créativité, d'une manière qui sera maniable et agréable pour tous, à tous les niveaux de compétences et d'expertise.
Outre les prototypes d'instruments, le projet fournira des fondements théoriques, des technologies, des suites logicielles et des données expérimentales en libre accès à la communauté des chercheurs ainsi qu'à d'autres communautés (par exemple, la conception d'instruments augmentés). Ces produits seront le résultat de la confrontation de plusieurs défis scientifiques, notamment : la création d'un modèle de connaissance et de prise de décision pour les stratégies d'interaction synchrones et asynchrones d'agents impliqués dans des interactions improvisées individuelles et collectives ; l'augmentation des capacités humaines par le biais de configurations instrumentales en réalité mixte avec intelligence artificielle créative intégrée ; l'observation de comportements improvisés et la collecte et le partage de données humaines. Au cours de ce projet, nous souhaitons enfin mieux comprendre les processus de co-créativité cyber-humaine, enrichir l'expérience perceptive, émotionnelle et sociale des utilisateurs et dynamiser leur expérience individuelle ou collective de l'improvisation.

Au-delà des systèmes cyber-physiques connus qui créent une continuité entre le monde numérique et le monde physique, les instruments créatifs constituent une expérience cyber-humaine en reliant la créativité humaine et informatique par la médiation d'une combinaison d'outils matériels tels que des instruments acoustiques augmentés et d'outils numériques tels que l'apprentissage génératif et l'intelligence artificielle.
L'écosystème de recherche à mettre en place nécessite que nous répondions en collaboration à une série de questions de recherche :
- Comment augmenter l'expertise des agents numériques grâce à une créativité et une connectivité informatiques accrues afin qu'ils puissent entrer dans une interaction et une co-créativité plus convaincantes avec les humains ?
- Comment augmenter les capacités des agents numériques par des extensions physiques en instruments de musique acoustiques, afin qu'ils puissent favoriser des interactions incarnées avec les humains ?
- Comment augmenter les possibilités des humains en les interfaçant dans des configurations de réalité mixte ancrées dans des instruments de musique avec des agents créatifs afin qu'ils puissent stimuler leur potentiel créatif individuel et relationnel.
Ces questions sont essentielles pour que les ordinateurs soient capables de traiter en temps réel les signaux temporels complexes à plusieurs variables échangés par les humains et les cyber-entités. Ces signaux - surtout dans le cas de la musique - sont porteurs de structures sémantiques implicites multidimensionnelles et multi-échelles, difficiles à délimiter correctement et efficacement, mais néanmoins primordiales pour le bon fonctionnement de la perception artificielle et de la générativité musicale. Une autre difficulté réside dans le regroupement de ces fonctionnalités en un seul objet, l'instrument de musique, un dispositif emblématique de la relation hautement créative et esthétique entre le système sensori-moteur humain, la mémoire, l'imagination et l'intentionnalité.
Nous accorderons une grande attention à la conception minutieuse des fonctionnalités musicales du système et de la boucle perception/action qu'il supporte, de manière à réguler les processus de rétroaction appropriés entre l'interprète humain, la mécatronique physique et les agents logiciels créatifs, déclenchant en retour des mécanismes d'apprentissage croisé productifs. Afin de comprendre pleinement ces questions dans le contexte des pratiques humaines, nous nous attacherons également à étudier le pouvoir de ces instruments en tant que forces motrices dans le processus d'acquisition de connaissances et de création musicale, en considérant les traces sociales laissées dans le processus d'appropriation et de partage et les affordances qui façonnent leur utilisation. Cette dimension du projet liée à l'instrumentalité, l'incarnation et les interfaces nécessitera également l'expertise du domaine des sciences sociales.

Le projet produira des résultats (rapports scientifiques, prototypes de logiciels et de matériels, ateliers internationaux), une thèse de doctorat, une thèse de maîtrise, des articles de journaux, des articles de conférence, des livres et des chapitres de livres, une diffusion grand public (presse, radio, multimédia, web, réseaux sociaux), des créations artistiques (concerts, œuvres musicales), des conférences, des keynotes et des présentations lors d'événements académiques ou industriels.

L'improvisation constitue un moteur primordial des interactions humaines dans tous les aspects de la communication et de l'action.
Dans sa forme la plus élevée, l'improvisation musicale est un mélange d'actions structurées, planifiées et de décisions et d'écarts
locaux imprévisibles, optimisant l'adaptation au contexte, exprimant de façon unique la créativité du sujet et stimulant la
coordination et la coopération entre agents. La mise en place d'environnements homme-machine puissants et réalistes pour
l'improvisation nécessite d'aller au-delà de l'ingénierie logicielle des agents créatifs avec des capacités d'écoute et de génération de
signaux audio. Ce projet propose de renouveler radicalement le paradigme de l'interaction improvisée homme-machine en
établissant un continuum allant de la logique musicale co-créative à une forme d' "interréalité physique" (un schéma de réalité
mixte où le monde physique est activement modifié) ancrée dans des instruments acoustiques.