Adéquation Algorithme Architecture basée sur une description flot de données du pipeline SKA pour la radioastronomie exascale – DARK-ERA

L'objectif de SimSDP est de fournir des analyses précoces en termes d'utilisation de la mémoire, de latence, de débit et de consommation d'énergie grâce à une approche mixte originale basée sur l'exécution et la simulation. Suivant une approche de type Algorithm Architecture Matching (AAM), SimSDP s'appuiera sur un modèle de flux de données de l'algorithme et un modèle de l'architecture cible. SimSDP sera basé sur deux outils existants : PREESM et SimGrid. PREESM évalue avec précision les performances d'un nœud unique hétérogène ; SimGrid simule avec précision les communications inter-nœuds. Leur association permettra de réaliser des simulations fiables de systèmes HPC hétérogènes à grande échelle.

le projet a débuté en 2021

le projet a débuté en 2021

sur HAL

Le Square Kilometer Array (SKA) nécessitera des supercalculateurs à fortes contraintes techniques. Le Science Data Processor (SDP) chargé de produire les images multidimensionnelles du ciel devra exécuter en temps réel une chaîne d'algorithmes complexes à partir de données provenant de télescopes ayant un débit de plusieurs Tb/s sans aucune capacité de stockage. Le SDP devra également être le plus écologique possible avec un budget énergétique de seulement 1 MWatt pour 250 pétaflops. De telles exigences en matière d'énergie et de calcul impliquent que le SDP soit une architecture innovante orientée flux de données et hétérogène, basée sur un système HPC standard combiné à un FPGA ou à une architecture manycore de type GPUs ou MPPA de Kalray. Un défi crucial consiste à évaluer les performances, tant en temps qu'en énergie, des nouveaux algorithmes de flux de données scientifiques complexes sur des infrastructures de calcul complexes qui n'existent pas encore, ce qui est difficilement possible sans des méthodes de co-conception efficaces et des outils de prototypage rapide.

SimSDP est l'outil de prototypage rapide pour les applications en flux de données de type SKA développée par Dark-Era. Grâce à une approche mixte originale basée sur l'exécution et la simulation, SimSDP a pour but de fournir des analyses précoces en termes d'utilisation de la mémoire, de latence, de débit et de consommation d'énergie. Suivant une approche d’Adéquation Algorithme Architecture, SimSDP s'appuiera sur un modèle de flux de données de l'algorithme et un modèle de l'architecture cible. SimSDP est bâti sur deux outils existants : PREESM et SimGrid. PREESM évalue avec précision les performances d'un seul nœud hétérogène ; SimGrid simule avec précision les communications entre les nœuds. Ainsi, l'association de PREESM et de SimGrid permettra des simulations fiables de systèmes HPC hétérogènes à grande échelle.

Via SimSDP, les espaces des algorithmes et des architectures seront explorés dans le contexte de SKA. La nouvelle génération de pipelines d'imagerie en radioastronomie comme DDFacet sera décrite à un niveau d'abstraction élevé, adapté au ciblage de tout système HPC hétérogène multinoeuds que SKA pourrait choisir à l'avenir. Ensuite, plusieurs configurations d'architecture SDP (nombre de nœuds, type d'accélérateurs) et plusieurs configurations d'algorithmes SDP seront explorées conjointement grâce aux simulations à grande échelle offertes par SimSDP. En outre, des prototypes SDP sur MPPA et sur FPGA conçus par synthèse de haut niveau (HLS) et mis en place au radiotélescope NenuFAR de Nançay seront développés et profilés sur des jeux de données à petite échelle en streaming afin d'évaluer le potentiel des accélérateurs à low-power alternatifs à l'architecture GPU classique. Les performances sur GPU/MPPA/FPGA seront transmises au SimSDP via des annotations sur les graphes de flux de données. Les prototypes SDP seront également comparés aux simulations SimSDP sur des ensembles de données à moyenne échelle afin d'évaluer les nouvelles fonctionnalités de SimSDP.

Dark-Era sera un consortium regroupant des compétences complémentaires en informatique, traitement du signal et astronomie, avec douze membres permanents provenant des équipes de SimGrid et de PREESM (IETR), du GPI au L2S et de deux équipes de radioastronomie aux Obs. de Paris et de la Côte d'Azur. Les résultats préliminaires obtenus par ce consortium en collaboration avec Atos-Bull dans le cadre du projet CNRS SKALLAS seront poursuivis. Deux doctorants travailleront sur l'association des outils PREESM et Simgrid dans SimSDP, et deux post-docs seront recrutés. Avec le soutien de SKA-France, ce projet de 4 ans vise à promouvoir les contributions françaises à SKA telles que DDFacet et à être une force de proposition pour SKA computing. Enfin, Dark-Era entend être le terreau de nouvelles collaborations internationales notamment à travers le réseau européen et international Rising STARS.