Dynamiques créatives de l'interaction improvisée – DYCI2

Le projet Dynamiques créatives de l'interaction improvisée porte sur la constitution, l'adaptation et la mise en œuvre effective de modèles performants d'écoute artificielle, d'apprentissage, d'interaction et de création automatique de contenus musicaux pour permettre la constitution d'agents musicaux numériques, autonomes, créatifs, capables de s'intégrer de façon interactive et artistiquement crédible dans des dispositifs humains variés tels que la scène vivante, la production, la pédagogie, l'écoute active ou de contribuer à terme aux compétences perceptives et communicatives de systèmes d’intelligence artificielle embarquée.

Le projet met en avant l'interaction improvisée, à la fois comme modèle cognitivement inspiré de l'action et de la décision individuelles et collectives, comme schéma de découverte et d'apprentissage non supervisé, et comme outil discursif pour l'échange humain - agent numérique, dans une perspective de modélisation du style et de l'interaction.

L’interaction improvisée entre des humains et des agents numériques est un domaine récent issu des études sur la créativité artificielle, qui repose sur l’observation que l’immense majorité des interactions humaines sont improvisées, et convoque plusieurs problématiques de recherche très actives : l’apprentissage interactif, dont les modèles se construisent dans le temps-même de l’interaction et dont les résultats infléchissent les conditions de cette interaction; la perception artificielle, base de cette interaction; la modélisation de l’interaction sociale et expressive entre agents humains et/ou numériques, dans ses dimensions à la fois anthropologique, sociale, linguistique, et informatique. Ce type d’interaction met en jeu la boucle perception / action et engage l’apprentissage dans une conception renouvelée où l’agent apprend notamment par les réactions d’autres agents à ses propres productions. Le modèle d’apprentissage intégrant la démarche d’improvisation est donc aussi bien génératif et réflexif.

Intégrer écoute artificielle, apprentissage de comportements musicaux, modélisation temporelle des structures musicales et dynamiques d’interaction créative dans une architecture permettant l'expérimentation effective en temps réel constitue un défi ambitieux de la sociéte de l’information et de la communication, riche de nombreuses applications potentielles susceptibles de changer la donne dans la relation entre humains et agents artificiels créatifs dans le contexte des industries culturelles, notamment pour la production et post-production audiovisuelles et musicales, le jeu vidéo, le spectacle vivant, les formats innovants renouvelant la diffusion et l’écoute active de la musique, les nouvelles formes narratives basées sur l’interaction.

Le projet articule entre elles trois grandes problématiques de recherche autour d’un environnement logiciel expérimental en tirant au mieux parti de l’expertise des partenaires et de leurs interactions. Ces trois thèmes, pour chacun desquels au moins deux des partenaire collaborent et co-encadrent des travaux correspondent aux principales compétences exercées de manière parallèle, compétitive et contributive, par un agent numérique « créatif » en situation d’interaction improvisée avec des humains et d’autres agents : l'écoute informée visant à analyser la scène sonore pour extrapoler la structure musicale en exploitant les similarités observées et les connaissances a priori disponibles ; l'apprentissage adaptatif de structures musicales visant à intégrer modélisation de séquences formelles et approches probabilistes pour rendre mieux compte de la complexité du discours musical à partir de données nécessairement limitées ; et les dynamiques d’interaction improvisée permettant d’envisager les architectures multi-agents et les modèles de connaissance et de décision permettant de mettre concrètement en jeu les scénarios de co-improvisation impliquant acteurs humains et numériques.