Analyse multivariée et inférence de savoir pour l’orchestration musicale – MAKIMOno

Ce projet cible les propriétés émergentes des mélanges instrumentaux à travers des informations multimodales liant les aspects spectraux (propriétés mathématiques), symboliques (écriture musicale) et perceptifs (timbre). Pour comprendre les effets orchestraux le projet développe des algorithmes d'apprentissage automatique innovants ciblant la perception, mais également la compréhension des connaissances pédagogiques sous-jacentes. Ainsi le projet vise à :
• modéliser la perception humaine à travers des représentations acoustiques et symboliques optimales des effets perceptifs dans la musique ;
• concevoir de nouveaux algorithmes d'apprentissage d'espaces permettant de lier les interactions signal-symbole sous-jacentes aux mélanges sonores ;
• permettre l'inférence sémantique et les relations métriques entre ces différentes modalités, permettant ainsi des méthodes innovantes de génération et créativité musicale ;
• valider les espaces et connaissances extraits en réalisant des expérimentations perceptives, mais aussi des applications pédagogiques et compositionnelles.
En effectuant la boucle entre effets perceptifs, analyses et validation perceptive des algorithmes d'IA, ce projet vise à apporter des méthodes génériques largement applicables à d'autres domaines scientifiques.

Ce projet a permis la création de la première base de données perceptive d’orchestration (Orchard), le premier synthétiseur embarquant une IA (Neurorack), le premier système permettant de démocratiser les synthétiseurs (FlowSynth). Ces recherches ont amené à la création du premier consortium international sur l’orchestration (ACTOR) de 19 partenaires sur 9 pays (1,5 M$ sur 7 ans), ainsi que les financements ANR MERCI (400k€), Sorbonnes ACIMO (100k€) et Emergence(s) ACIDITEAM (500k€). Enfin nos travaux ont été primés à de nombreuses reprises, et dans des domaines à la fois scientifiques et musicaux, notamment le prix international Ars Electronica pour la pièce Convergence (Alexander Schubert), le prix de la meilleure présentation à ISMIR 2018 (P. Esling) et le prix du meilleur stage de l'école Polytechnique (C. Tabary). Enfin, les technologies du projet ont fait l’objet d’une émission spéciale sur ARTE, diffusée le 23 octobre dans la série Xenius.

A plus long terme cette recherche se continuera dans notre nouveau réseau de collaboration qui perpétuera la voie ouverte grâce à ce projet. Les dérivés économiques potentiels à plus long terme prevoient l'intégration des nos résultats scientifiques et nos développements technologiques dans des bases de données de connaissances pour l’elaboration d’un traité en ligne de l'orchestration et des programmes d'enseignement complétés par un large répertoire d'exemples sonores. De tels outils pourraient devenir une base solide pour la pédagogie de l'orchestration et seraient disponibles et abordables par les écoles de musique, les enseignants et les compositeurs du monde entier. De plus, la recherche en apprentissage machine pour la créativité artificielle devrait nous conduire au développement de plusieurs technologies de pointe. Plus précisément, une toute nouvelle catégorie d'instruments embarqués reposant sur l'apprentissage en profondeur a été développée dans le cadre de ce projet et a déjà été utilisée dans des pièces musicales uniques. Ces technologies sont également largement applicables à d'autres domaines et ont reçu des propositions de commercialisation. En résumé, ce projet offrira de nombreuses opportunités importantes pour les contributions intellectuelles, culturelles, sociétales et économiques de la recherche en sciences sociales et humaines en interaction étroite avec d'autres disciplines scientifiques.

Le projet se distingue non seulement par sa très large quantité de production, mais surtout par leur diversité thématique, allant de la publication en sociologie aux technologies d’apprentissage profond embarquées sur électronique en passant par les concerts grands publics et les interventions ciblées pour les enfants. Ainsi le projet a vu l’avènement de 5 technologies uniques, la publication de 12 articles de revues et 46 articles de conférences internationales et un grand nombre de conférences invitées ou de vulgarisation ouvertes à tous dans le cadre de festival internationaux. Enfin, de nombreuses pièces musicales ont été produites grâce à ce projet.

L’orchestration musicale est l'art subtil de l'écriture pour orchestre, combinant les spécificités de chaque instrument pour atteindre un objectif sonore particulier. Cette compétence complexe a un impact énorme sur la musique classique et populaire, le cinéma et la télévision, et le développement de jeux vidéo. Depuis des siècles, l'orchestration est uniquement transmise de manière empirique et jamais une véritable théorie scientifique de l'orchestration n'a vu le jour. La pédagogie de l’orchestration se concentre uniquement sur des collections d’exemples tirés du répertoire classique plutôt que la compréhension de la raison amenant à ces choix. Ce problème doit être abordé de façon rationnelle et scientifique, même si les obstacles que cette formalisation doit surmonter sont immenses. Ce projet propose le premier partenariat international visant à la création d'une véritable théorie scientifique de l'orchestration, par incorporation d’expertises dans les domaines de l'informatique, l'intelligence artificielle, la psychologie expérimentale, le traitement du signal et l'analyse musicale théorique. Pour atteindre cet objectif, ce projet exploitera un grand nombre de pièces orchestrales disponibles simultanément sous forme de partitions (symbolique) numérisées et de rendus acoustiques séparés pour chaque instrument (signal). Ces données exhaustives sont actuellement collectées par le biais d'un projet de recherche à effet de levier, pour lequel les partenaires de ce projet sont également collaborateurs. Ces extraits sont également annotés pour des catégories d'effets perceptifs donnés par des panels d'experts en orchestration. Cette bibliothèque de connaissances orchestrales sans précédent, rendant disponible l’information symbolique, signal et perceptive permet d’envisager pour la première fois le dévelopement de méthodes spécifiques pour la fouille de données et l’inférence statistique. Ce projet vise à exploiter cette source unique de connaissances, en évaluant tout d’abord les représentations optimales pour les partitions symboliques et les enregistrements audio orchestraux, par leurs capacités prédictives sur des effets perceptifs donnés. Par la suite, ce projet développera des modèles d'apprentissage et d'extraction de connaissances spécifiques à partir des représentations optimales des effets orchestraux. À cette fin, nous proposons de développer des méthodes de deep learning capables de lier signal musical, information symbolique, et analyse perceptive à travers des espaces de plongement multimodaux (transformant différentes sources d'informations vers un système de coordonnées unifié). Ces espaces peuvent fournir des relations métriques entre modalités, permettant ainsi la génération automatique et l'extraction de connaissances. Les résultats des modèles, espaces et connaissances extraites seront ensuite validés par des études perceptives approfondies. Ceci permettra ainsi le renforcement de la base de connaissances, ainsi que du logiciel de notre partenaire industriel OrchPlayMusic. En fermant la boucle entre effets perceptifs et apprentissage, tout en validant les connaissances extraites, ce projet pourra révolutionner les approches créatives de l'orchestration et de sa pédagogie. Les résultats prévus comprennent le développement d'outils technologiques pour l'analyse automatique de partitions musicales, la prédiction d’effets perceptifs issus de mixtures audio, ainsi que le développement d'environnements numériques pour la création orchestrale et sa pédagogie, et la performance instrumentale d’ensembles. Les algorithmes d'apprentissage développés seront également largement applicables à des champs de recherches tels que Music Information Retrieval (MIR), les moteurs de recherche, et la reconnaissance vocale. Ce projet permettra également d'impliquer communautés artistiques et partenaires privés pour évaluer directement les applications créatives et pédagogiques des résultats scientifiques.