Représentation auto-organisée [pour un apprentissage continu] sur des architectures neuronales matérielles adaptatives – SORLAHNA

La méthodologie repose sur une co-conception algorithmique et matérielle articulée autour de trois axes de recherche complémentaires.
Axe 1 (LORIA) : étude et développement de modèles dynamiques de quantification vectorielle topographique adaptés à des environnements non stationnaires. Les travaux porteront sur les dynamiques de croissance, de décroissance et de réorganisation des cartes neuronales, la décentralisation des calculs, la localité des règles d’adaptation et la gestion de cartes neuronales multiples échangeant leurs ressources sous contraintes matérielles.
Axe 2 (IJL) : conception d’une architecture matérielle générique pour implémenter ces modèles. Le travail portera sur la définition de Neural Processing Units (NPU) configurables, interconnectées dynamiquement dans des graphes neuronaux évolutifs. Les prototypes seront validés sur FPGA, avec une attention particulière aux performances et à la scalabilité.
Axe 3 (co-conception LORIA/IJL) : intégration des deux niveaux pour évaluer conjointement les choix de conception. Des outils d’analyse compareront la complexité algorithmique et les contraintes matérielles (mémoire, précision, latence), afin d’optimiser les compromis entre exactitude, efficacité et adaptabilité.
Cette approche garantira que chaque avancée algorithmique trouve une implémentation matérielle réaliste, et que chaque contrainte du matériel inspire de nouvelles variantes des modèles.

Le projet produira un ensemble cohérent d’outils, modèles et démonstrateurs, à la fois logiciels et matériels.

Les résultats attendus incluent :
- Une bibliothèque logicielle open source de modèles dynamiques de quantification vectorielle adaptés à l’apprentissage continu ;
- Une bibliothèque logicielle open source de génération de données d'apprentissage continu généralisé, et d'évaluation de modèles d'apprentissage sur ces données;
- Des modèles matériels génériques (NPU) capables d’héberger différentes variantes de réseaux auto-organisateurs ;
- Des architectures FPGA configurables validées pour des scénarios de traitement de flux non stationnaires ;
- Des rapports de co-évaluation documentant les compromis entre complexité, précision, énergie et rapidité.

À court terme, SORLAHNA posera les bases d’une approche de co-conception algorithmique/matérielle généralisable à d’autres modèles de réseaux de neurones adaptatifs.
À plus long terme, les NPU génériques développés seront étendus à des architectures neuromorphiques hybrides intégrant plusieurs types de modèles. L'apprentissage non supervisé des données et l'identification automatique des différentes distributions sous-jacentes pourrait ouvrir la voie vers une réutilisation des représentations apprises pour un apprentissage plus poussé ultérieur (par des réseaux profonds par exemple), soit grâce à une simplification des données, soit via une régénération des distributions de données sur la base de leurs représentations apprises.

[1] F. Derue, S. Jovanovic, H. Rabah, and S. Weber, SWAP-GNG : A Scalable HW Architecture for Multi Growing Neural Gas Graph Learning for Continual Learning, 2025 7th IEEE International Conference on Artificial Inteligence Circuits and Systems (AICAS), Bordeaux, France, 2025.
[2] F. Derue, S. Jovanovic, H. Rabah and S. Weber, «Scalable and Fully Configurable NoC-based Hardware Implemention of Growing Neural Gas for Continual Learning,« 2024 31st IEEE International Conference on Electronics, Circuits and Systems (ICECS), Nancy, France, 2024.

Face à la quantité exponentiellement croissante des données numériques recueillies et stockées dans tous les domaines, le prétraitement, la catégorisation et la visualisation des données jouent un rôle de plus en plus essentiel. Si l’apprentissage profond (Deep Learning) actuellement en plein essor offre de multiples possibilités pour répondre à une partie de ces besoins, l’apprentissage non supervisé est de plus en plus mis en avant pour en dépasser certaines limites. En effet, l’apprentissage profond repose sur l’ajustement d’un modèle paramétrique complexe à un ensemble gigantesque de données, fournies lors de cette phase d’ajustement. Le modèle une fois ajusté est alors déployé dans les applications réelles, partant du principe que la statistique des données reste alors la même que celle qui a servi à la phase d’apprentissage. Toutefois, certains contextes fournissent des données non-stationnaires, dont la statistique dérive peu à peu au cours du temps. Disposer d’un modèle paramétrique de ces données suppose que ce modèle puisse dériver avec elles. Les modèles supportant l’apprentissage continu ou incrémental doivent ainsi être privilégiés pour traiter dynamiquement de telles données non stationnaires, notamment rencontrées par de nombreux systèmes embarqués (internet des objets - IoT, edge computing). Parmi les modèles envisageables, nous nous intéressons aux modèles basés sur la quantification vectorielle topographique (cartes auto-organisatrices, réseaux incrémentaux). La simplicité algorithmique et la nature distribuée des calculs de tels modèles permet d’envisager une implémentation matérielle de ces algorithmes, qui prend tout son sens dans le contexte de systèmes embarqués. Le projet que nous proposons vise donc à combiner des compétences complémentaires en informatique et électronique pour co-concevoir des algorithmes modernes de quantification vectorielle topographique de sorte à intégrer dès leur conception la double exigence d’une adéquation avec l’apprentissage en ligne de données non-stationnaires et d’une compatibilité avec une implémentation matérielle réalisable et efficace, notamment à l’aide de circuits reconfigurables qui autorisent une flexibilité impossible sur les circuits ASIC. Cette approche de co-conception conduira à proposer des architectures matérielles génériques basées sur des unités de traitement neuronales (NPU) innovantes, hautement configurables et évolutives, qui aideront à réduire la haute dimensionalité des flux de données incessants générés par les infrastructures IoT, ou encore à construire des couches optimisées pour des modèles neuronaux hybrides visant un apprentissage continu.