Conception d'un système intégré sur puce neuromorphique basé sur la spintronique à très faible consommation – NEUSPIN

Le premier objectif principal est de développer un lien fort et un retour d'information à double sens entre le développement et l'optimisation de la technologie et des circuits qui, dans le projet, sont réalisés par le partenaire SPINTEC et la conception de l'architecture et des algorithmes d'entraînement développés par le partenaire allemand KIT.Cet objectif se décline en 3 objectifs techniques principaux :
Niveau dispositif/fabrication/circuit : A ce niveau, l'objectif est le développement et l'optimisation des dispositifs spintroniques basés sur les exigences du matériel neuromorphique en i) réduisant le courant de lecture du fonctionnement neuromorphique en augmentant la résistance de la pile magnétique, ii) réduisant la variation du dispositif, iii) fournissant des modèles statistiques et stochastiques pour les dispositifs spintroniques AI à utiliser pendant les algorithmes d'apprentissage stochastiques.
Au niveau du circuit et de l'architecture, l'objectif est i) de concevoir des circuits neuromorphiques basés sur la cellule synaptique à base de SOT (SSC) développée au niveau technologique et de prendre en charge ses caractéristiques uniques, et en outre, ii) d'assurer un fonctionnement de haute précision malgré les variations et les défauts, en fournissant une conception matérielle neuromorphique fiable.
Solutions algorithmiques tenant compte de la technologie : Au niveau algorithmique, les objectifs sont les suivants : i) concevoir de nouveaux algorithmes d'apprentissage robustes aux variations du dispositif et au comportement variable dans le temps du matériel neuromorphique basé sur la spintronique ; ii) garantir un fonctionnement de haute précision en cas de variations et de défauts, en fournissant une conception matérielle neuromorphique fiable.
Solutions algorithmiques tenant compte de la technologie : Au niveau algorithmique, les objectifs sont les suivants : i) concevoir de nouveaux algorithmes d'apprentissage robustes aux variations du dispositif et au comportement variable dans le temps du matériel neuromorphique basé sur la spintronique, ii) développer des algorithmes d'apprentissage statistiques et stochastiques basés sur les modèles de variation du dispositif obtenus au niveau technologique.
Un deuxième objectif principal du projet était de construire un partenariat d'excellence entre les deux partenaires : En combinant les compétences de recherche complémentaires de très haut niveau et bien reconnues des deux universités allemandes et françaises, nous positionnerons le partenariat au cœur de la recherche et du développement de la conception et de la technologie de l'IA à la périphérie, bien placé pour l'avenir, permettant à l'une des centrales de recherche européennes pour le développement de l'IA à la périphérie d'exister.

Au niveau technologique, la mise au point et l'optimisation des paramètres des empilements de matériaux et des dispositifs pour les applications IA ont été conçues dans le but principal d'augmenter la résistivité globale de l'empilement afin de réduire le courant (et la puissance/l'énergie) pour les applications IA (vertes). À ce jour, des dispositifs simples à base de SOT ont été caractérisés.
Nous démontrons que nous pouvons contrôler la RA pour divers types de principes de calcul - d'où la résistance finale du dispositif, nous signalons une faible TMR que nous attribuons à l'outil de dépôt et que nous espérons améliorer dans un avenir proche avec l'acquisition d'un nouvel outil optimisé pour le dépôt de MRAM modernes.
Sur la base de ces caractérisations, un modèle multi-niveaux a été développé et spécifiquement conçu pour les circuits de réseaux neuronaux.
Plusieurs conceptions de coeurs neuromorphiques ont été réalisées. Ils sont tous évolutifs et ont un objectif commun : réduire le nombre de vrais générateurs aléatoires nécessaires à l'inférence bayésienne.
Plusieurs types d'algorithmes bayésiens sont à l'étude et l'évaluation comparative des méthodes proposées sur des applications de santé est actuellement à l'étude, comme l'approximation bayésienne basée sur Montecarlo Dropout, les techniques d'inférence variationnelle (VI). Par conséquent, notre approche est le premier cadre BayNNs binaire basé sur la VI avec une mise en œuvre CIM basée sur la spintronique. Les principales réalisations comprennent la capacité de détecter jusqu'à 100 % de données hors distribution, d'améliorer constamment la précision de l'inférence, en particulier en présence de données corrompues, et de renforcer la robustesse face aux propriétés non idéales de la spintronique. En outre, l'intégration de l'innovation algorithmique avec des technologies matérielles avancées telles que la spintronique et les architectures CIM a permis une percée notable, conduisant à des réductions substantielles de la consommation d'énergie (jusqu'à 100 %) et de l'encombrement de la mémoire (158,7 %). Par conséquent, nos nouvelles approches ont ouvert la voie à des BayNN efficaces, fiables et évolutifs dans diverses applications réelles et critiques en matière de sécurité.

Les principaux résultats du projet NeuSpin peuvent être résumés comme suit: 1) Détection efficace des données hors distri-
tion : Dans de nombreuses études, nous avons constaté que les BayNNs ont ont montré leur capacité à détecter jusqu'à 100 % des données hors distribution de distribution, ce qui met en évidence leur robustesse face à des données
inattendues ou bruyantes. 2) Amélioration de la précision de l'inférence pour les données corrompues : Nous constatons que la mise en œuvre de méthodes bayésiennes améliore considérablement la précision de l'inférence pour les données corrompues.Cette amélioration est essentielle dans les applications où l'intégrité des données ne peut pas toujours être garantie. 3) Incorporation de technologies spintroniques
Technologies : L'utilisation de mémoires à base de spintronique, dans les architectures CIM, est avantageuse en termes de consommation d'énergie et de vitesse de commutation
De plus, en utilisant leur régime stochastique, la mise en œuvre de RNG est possible avec la même technologie. 4) Modélisation des défauts dans les dispositifs : Il est essentiel de comprendre et de prendre en compte les défauts de modélisation
dans les dispositifs à base de spintronique utilisés pour les implémentations BayNN.
L'intégration de ces défauts dans le processus de modélisation permet de créer des représentations plus précises du matériel. et conduit à de meilleures stratégies de co-conception algorithme-matériel. 5) Co-conception algorithme-matériel : La tendance à la co-conception algorithme-matériel, où les algorithmes bayésiens sont spécifiquement conçus pour tirer parti des caractéristiques des matérielles modernes telles que la spintronique et le CIM, permet des implémentations plus efficaces et plus pratiques des BayNN. 6) BayNNs quantisés : La quantification ou la binarisation des paramètres et des activations dans les BayNNs est une stratégie clé non seulement pour
mémoire, mais aussi pour surmonter les états limités des mémoires spintroniques. Ainsi, certains des coûts inhérents aux
BayNNs peuvent être réduits, ce qui les rend plus faciles à déployer dans les applications critiques de sécurité à ressources limitées.
6. Méthodes d'approximation bayésienne tenant compte des ressources : De nouvelles techniques de dropout et des approximations centrées sur la mémoire permettent non seulement de réduire le nombre de RNG, mais aussi de mettre en œuvre efficacement les BayNN.
7. Robustesse inhérente et autoréparation : Les BayNN sont intrinsèquement robustes aux variations et aux défauts par rapport aux NN conventionnels. Leur propriété d'autoréparation peut être encore améliorée grâce à des techniques spécifiquement conçues, telles que la normalisation inversée avec Affine Dropout.

8 publications acceptés en conférence et journaux, dont 2 sont en cours de review.
2 Papiers en Best Paper candidates.
S. T. Ahmed, et al., SpinDrop: Dropout-Based Bayesian Binary Neural Networks with Spintronic Implementation, IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2023
S. T. Ahmed, et al., Algorithm-Hardware Co-Design for Uncertainty Estimation on Spintronic-Based Architectures, ESWeek 2023/ACM Transactions on Embedded Computing Systems, 2023
S. T. Ahmed, et al., Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation, IEEE Transactions on Nanotechnology (TNANO) [Under Review], 2023
S. T. Ahmed, et al., Binary Bayesian Neural Networks for Efficient Uncertainty Estimation Leveraging Inherent Stochasticity of Spintronic Devices, IEEE/ACM International Symposium on Nanoscale Architectures (NANOARCH), 2022 [Best Paper Candidate]
S. T. Ahmed, et al., Scalable Spintronics-based Bayesian Neural Network for Uncertainty Estimation, Design, Automation and Test in Europe Conference, 2023
S. T. Ahmed, et al., Enhancing Reliability of Neural Networks at the Edge: Inverted Normalization with Stochastic Affine Transformations, Design, Automation and Test in Europe Conference (DATE), 2024 [Accepted, Best Paper Candidate] ?
S. T. Ahmed, et al., NeuSpin: Design of a Reliable Edge Neuromorphic System Based on Spintronics for Green AI, 2024, Design, Automation and Test in Europe Conference (DATE), 2024 [Accepted]
S. T. Ahmed, et al., Testing Spintronics Implemented Monte Carlo Dropout-Based Bayesian Neural Networks IEEE European Test Symposium, 2024 [Under Review]

Le calcul neuromorphique bio-inspiré offre d'excellentes capacités de calcul par rapport aux architectures classiques basées sur les architectures von Neumann. Les architectures existantes avec les parties calcul et mémorisation séparées ne sont pas idéales pour l'apprentissage et l'inférence sous contraintes de consommation d'énergie. Pour les applications de pointe, il est envisagé de remplacer les solutions classiques dites "von Neumann" par des architectures innovantes, où la mémoire et le calcul seront effectués aux mêmes endroits, ce qu'on appelle le "Calcul en Mémoire" (CIM). Le projet NeuSPIN ambitionne de transférer les algorithmes d'Intelligence Artificielle (IA) traditionnellement réalisés dans le cloud vers une architecture d'IA complexe, embarquée sur puce et bio-inspirée avec une très grande précision et une consommation d'énergie extrêmement faible. Les objectifs du projet sont de développer et de déployer du matériel et des logiciels interdisciplinaires permettant une IA écologique pour l'informatique de pointe. Il mettra en oeuvre une combinaison de nouvelles technologies Spintroniques à Mémoire Non-Volatile (NVM), avec la conception d'architectures de neurones et de synapses inédites conduisant à des de réseaux de neurones CIM. La technologie Spintronique à Mémoire Non Volatile est une approche très prometteuse pour les systèmes informatiques CIM grâce à leur implémentation efficace. Cependant, la mise en œuvre d'algorithmes adaptés à l'IA de pointe reste un défi sérieux en raison de multiples limitations de ces technologies, en particulier la stochasticité et les variabilités. De nouveaux algorithmes d'apprentissage spécifiques tels que les modèles d'apprentissage machine bayésiens, tirant parti des imperfections technologiques et adaptés à la conception d'architectures neuromorphiques seront développés et utilisés dans le matériel neuromorphique basé sur la spintronique. Enfin, les objectifs du projet au délà de la recherche multi disciplinaire sur les architectures matérielles et logicielles embarquées de pointe de l'IA, mais aussi de créer un partenariat européen solide entre deux centres de recherche et universités de haut niveau, reconnus au niveau international et industriel.