Réseaux de neurones multirésolution – MuReNN

"Less is more", le mot d'ordre de l'art minimaliste, fait son entrée dans l'intelligence artificielle (IA). Après une décennie maximaliste de réseaux de neurones toujours plus grands entrainés sur des bases de données toujours plus grandes (2012-2022), une contre-tendance apparait. Et si l'on pouvait approcher l'intelligence humaine avec moins de calcul, moins de mémoire vive, et moins de supervision ?

L'ambition de "faire plus avec moins" en apprentissage profond est doublement motivée : par l'économie d'énergie et par l'économie de travail humain. Dans ce contexte, le projet MuReNN envisage une approche minimaliste de l'IA, spécifiquement d'une de ses composantes fondamentales : le réseau de neurones convolutif, ou convnet en bref. Le but de MuReNN est de réduire le cout énergétique et le cout humain des convnets sans fragiliser leur capacité de généralisation statistique en grande dimension.

MuReNN encourage un dialogue entre deux thématiques : l'analyse harmonique computationnelle et l'apprentissage de représentation de bout en bout. D'une part, nous revisiterons la théorie de l'approximation multirésolution (AMR) afin de porter un regard critique sur la génération actuelle de convnets. D'autre part, nous apporterons une implémentation en source ouverte de méthodes d'AMR en PyTorch—une bibliothèque Python d'apprentissage profond offrant une différentation automatique et une portabilité GPU.

MuReNN est le premier système d'IA proposant d'apprendre un banc de filtres auditif combinant une transformée en ondelettes complexe à arbre dual avec un réseau de neurones unidimensionnel dont les noyaux appris opèrent à des résolutions multiples. Son originalité principale réside dans le recours à des méthodes avancées en théories des ondelettes afin de résoudre des problèmes pratiques en apprentissage profond pour l'analyse de contenu audionumérique.

MuReNN contribue à la diversification des usages de l'écoute artificielle : pas seulement la parole et la musique, mais aussi les sons des villes, des animaux sauvages, des usines, et du corps humain. Ainsi, même s'il est guidé par la recherche fondamentalle en intelligence artificielle, MuReNN peut s'appliquer à un grand nombre de domaines scientifiques : l'urbanisme, l'écologie de la conservation, l'industrie du future, et la santé.

La valeur ajoutée du projet consiste à intégrer toutes les étapes de l'apprentissage profond frugal, depuis l'acquisition de données jusqu'au déploiement du capteur ; en passant par la spécification algorithmique, l'entrainement de réseaux de neurones, et la conception matérielle. Ceci place MuReNN dans une position unique afin de répondre à un besoin bien identifié : celui de produire des capteurs bioacoustiques bas carbone capables d'effectuer une détection d'évènement acoustique en temps réel et qui peuvent être reprogrammés pour reconnaitre les vocalisations de n'importe quelle espèce à partir d'un nombre restreint d'exemples annotés. De tels capteurs ont le potentiel de transformer les protocoles de télédétection en écologie et conservation tout en réduisant leur empreinte environnementale.

Le coordinateur est un expert de l'intelligence artificielle pour l'analyse de signaux audionumériques en général, et bioacoustiques en particulier. Le consortium regroupe une large palette d'expertise : P. Balazs (théorie mathématiques des trames), M. Lagrange (classification de sons environnementaux), A. Volkova (arithmétique computationnelle), et F. de Dinechin (calcul embarqué).