Energétique des calculs neuronaux – ENACT

Malgré la croissance insoutenable de la consommation d'énergie en intelligence artificielle et la reconnaissance que les contraintes métaboliques ont joué un rôle majeur dans l'évolution du cerveau, la relation entre apprentissage et énergie reste insuffisamment étudiée et comprise. L'hypothèse centrale du projet ENACT est que l'on peut s'inspirer d'un « vrai » système de mémoire - le centre de mémoire du cerveau de la drosophile - façonné par des millions d'années d'évolution dans des environnements où l'énergie est limitée. Notre projet combinera donc des approches théoriques et computationnelles fondées sur la physique statistique et l'apprentissage automatique avec des mesures expérimentales de l'interaction entre la dynamique de la mémoire et le métabolisme chez la drosophile pour répondre à deux questions fondamentales : Comment l'énergie est-elle allouée et dépensée dans un réseau d'apprentissage économe en énergie ? Quelles stratégies peuvent rendre les performances des réseaux neuronaux robustes aux variations de disponibilité de l'énergie ?
Le projet s'articule autour de trois axes principaux. Premièrement, nous extrairons les relations entre la performance et la consommation d'énergie pour des réseaux neuronaux simples capables de plasticité. En utilisant des outils théoriques issus de la physique statistique et de la théorie des champs, nous étudierons comment la dynamique d'apprentissage de ces réseaux modèles est affectée par les restrictions énergétiques, et nous caractériserons les compromis entre les performances, le temps d'apprentissage et la consommation globale. Nos modèles abstraits seront ensuite éclairés par les mesures de la relation entre le taux de consommation et l'amplitude des changements plastiques, ainsi que par la distribution spatialement inhomogène des flux d'énergie à travers l'assemblée neuronale impliquée dans la formation de la mémoire dans le cerveau de la mouche.
Deuxièmement, nous étudierons les multiples états couplés des systèmes neuronaux et métaboliques de la mouche des fruits, et nous examinerons comment cette organisation complexe est capable de maintenir les performances et de s'adapter à la disponibilité fluctuante de l'énergie. Ces recherches expérimentales seront complétées par une modélisation informatique détaillée de l'ensemble du centre d'apprentissage, ce qui nous permettra de faire des prédictions sur la cinétique et les performances de la formation de la mémoire dans diverses situations environnementales.
Enfin, nous exploiterons notre meilleure compréhension de la relation entre l'énergie et le calcul pour examiner comment les réseaux neuronaux pourraient être conçus de manière optimale afin de minimiser leur consommation, tout en garantissant la résilience à une pénurie temporaire d'énergie. Cet objectif sera atteint grâce à des techniques de méta-apprentissage, également appelées « apprendre à apprendre ». Nous entraînerons non seulement les réseaux neuronaux à réaliser les tâches souhaitées, mais aussi leur dynamique d'apprentissage pour nous assurer que les réseaux finaux sont performants, économes en énergie et robustes. Les résultats seront comparés à l'architecture des états métaboliques des mouches. En outre, nous testerons nos règles d'apprentissage optimales in silico, à l'aide de compteurs de contrôle des performances, afin d'estimer les gains d'énergie obtenus pour des tâches de calcul représentatives.
ENACT vise donc à favoriser l'émergence d'un nouveau domaine de recherche d'actualité, en relevant les multiples défis associés à l'énergie et à l'apprentissage.