Permettre des flux de travail dynamiques et intelligents dans le futur EuroHPCecosystème – eFlows4HPC
Vers des worklows dynamiques et intelligents dans le futur écosystème EuroHPC
Une plateforme de workflows pour le calcul intensif et le big data démontrée dans la fabrication, le climat et la prévision des risques naturels.
ENJEUX ET PROBLEMATIQUE, ETAT DE L’ART
Les méthodologies actuellement disponibles pour développer des workflows :<br />a) ne répondent pas aux exigences d'applications de plus en plus complexes, qui nécessitent de nouvelles méthodologies prenant en charge, dans un workflow holistique, les simulations ou la modélisation HPC, l'analyse des données et l'apprentissage automatique.<br />b) ne sont pas en mesure de tirer le meilleur parti de la complexité de l'infrastructure sous-jacente, qui est distribuée par nature. L'infrastructure à considérer est composée d'un grand nombre de nœuds dotés de nouveaux types de processeurs à cœurs multiples (y compris des accélérateurs tels que les GPU), de nouveaux dispositifs de stockage qui ont le potentiel de changer la manière dont les données sont stockées par les applications, et d'une connexion à des instruments externes, à des dispositifs périphériques et à un stockage en nuage en tant que sources de données.<br />c) ne comprennent pas de techniques permettant d'adapter dynamiquement l'exécution des workflows sur les plateformes informatiques<br />d) ne fournissent pas de moyens permettant de déployer, d'exécuter et de réutiliser facilement les workflows dans les systèmes HPC<br />e) ne fournissent pas une approche totalement intégrée de la gestion des exigences en matière de calcul intensif et d'analyse des données massives (Big Data) en fournissant des cadres orientés données faciles à étendre avec des fonctionnalités supplémentaires liées à la fois aux tâches de calcul intensif et aux techniques d'analyse des données.<br />f) négligent ou ne relèvent pas pleinement le défi de la mise à disposition des données requises pour le traitement dans les délais, le format et la qualité attendus.
Le projet eFlows4HPC a fourni une plateforme de workflows, la pile logicielle eFlows4HPC, et un ensemble de services pour l'intégration de la simulation HPC avec l'analyse des big data et l'apprentissage automatique pour applications scientifiques et industrielles. La plateforme comprend également des méthodologies visant à élargir l'accès au HPC par les différentes communautés grâce au concept HPC Workflows as a Service (HPCWaaS). Trois piliers d'application servent de démonstrateurs : l'industrie manufacturière, le climat et le calcul urgent pour les risques naturels. L'objectif principal a été décomposé en objectifs spécifiques classés en :
? Objectifs scientifiques et technologiques (STO) axés sur une pile logicielle de workflows et de services à utiliser par les centres HPC en Europe.
? Objectifs scientifiques spécifiques au pilier (PSO) axés sur la fourniture de workflows d'application et de modèles de workflows, qui peuvent être exploités par les parties prenantes impliquées dans le projet et par les communautés correspondantes.
? Objectifs sociétaux et industriels (SIO) axés sur l'évaluation et la validation précommerciale des solutions du projet et sur l'exploitation des résultats.
Le projet a d'abord défini les exigences des piliers d’application et des composants de la pile logicielle. Une première version de l'architecture logicielle a été conçue sur la base de ces exigences. Les partenaires ont défini et mis en œuvre des abstractions pour intégrer les différents composants de la pile. Une étape importante a été la conception et le développement d'un workflow minimal sur un cas simple mais couvrant la plupart des fonctionnalités du cycle de vie d'un workflow. En outre, les partenaires du projet ont conçu et développé le service HPCWaaS. D'autres activités ont visé l'optimisation des différents aspects de la pile logicielle, comme un outil basé sur l'apprentissage automatique pour trouver la taille de bloc optimale lors du partage de données en parallèle, ou de stratégies pour passer d'un stockage distribué à un stockage centralisé. Le projet a conçu et mis en œuvre un service de catalogue de données, désormais opérationnel avec des liens vers certains données du projet. Les noyaux de calcul et d'intelligence artificielle susceptibles de constituer des bottleneck dans les applications ont été identifiés et certains optimisés sur GPU, FPFA et l'EPI.
RESULTATS OBTENUS
Sur la base de la pile logicielle eFlows4HPC, le pilier I a développé une première version «complète« workflow de fabrication, en exécutant de bout en bout la réduction de modèle pour un système de refroidissement d'un moteur électrique SIEMENS.
Le pilier II a développé deux workflow : le modèle dynamique du système terrestre (assisté par l'IA) qui fouille des simulations utilisant des données en temps réel ; le workflow d'analyse statistique et extraction de caractéristiques qui prédit les cyclones tropicaux.
Le pilier III a développé un workflow pour les tremblements de terre (UCIS4EQ) et un pour les tsunamis subséquents (FTRT/PTF). Les deux ont une structure similaire, générant des simulations d'ensemble, pour prédire l'impact, suivies par des phases de post-traitement et analyse.
Le projet a fourni une première version de la pile logicielle et de la méthodologie HPCWaaS dans des dépôts publics avec une documentation en ligne. Le consortium a réalisé une série de formations sur les composants de la pile logicielle et sur le HPCWaaS. eFlows4HPC a obtenu une bonne visibilité grâce à des publications, des keynotes et présentations invitées, ainsi qu'une présence dans les médias.
Un travail approfondi a été mené pour identifier une liste exhaustive des résultats du projet eFlows4HPC, 47 résultats ont été listés. Pour chaque résultat, les partenaires propriétaires, la maturité, le degré d'innovation, les plans d'exploitation et de durabilité ont été spécifiés. Ensuite, 14 résultats Key Exploitable Results (KER) ont été sélectionnés dans cette liste, sur la base du degré d'innovation, de l'exploitabilité et de l'impact de chaque résultat, et validés avec tous les partenaires du projet eFlows4HPC. Ces KER ont été publiés sur la plateforme Horizon Results. Une description de ces KER avec des liens vers les résultats eux même est disponible sur le site du projet ( eflows4hpc.eu/key-exploitable-results/ ).
eFlows4HPC a donné lieu à 30 articles dans des revues des communautés de géophysique, de physique et mécanique computationnelles, calcul haute performance, génie logiciel, big data et intelligence artificielle. 14 Key Exploitable Results ont été téléchargés sur la Horizon Results Platform. Ceux-ci comprennent des workflows pour applications spécifiques, des recommandations pour le déploiement de scénarios de calcul sur des systèmes complexes, des applications pour l'optimisation de workflows.
Aujourd'hui, les développeurs manquent d'outils qui permettent de gérer des flux des workflows complexes impliquant la simulation et la modélisation HPC
avec l'analyse des données (DA) et l'apprentissage machine (ML). TheFlows4HPC vise à fournir une pile logicielle de flux de travail et un
un ensemble de services supplémentaires pour permettre l'intégration de la simulation et de la modélisation HPC avec des analyses de données et des machines de grande taille
l'apprentissage dans les applications scientifiques et industrielles. La pile logicielle permettra de développer des flux de travail adaptatifs innovants qui
d'utiliser efficacement les ressources informatiques et d'envisager des solutions de stockage innovantes.
Afin d'élargir l'accès au HPC aux nouveaux venus, le projet fournira des flux de travail HPC en tant que service (HPCWaaS), un
environnement pour le partage, la réutilisation, le déploiement et l'exécution des flux de travail existants sur les systèmes HPC. Les technologies de flux de travail,
L'apprentissage machine associé et les grandes bibliothèques de données utilisées dans le projet s'appuient sur les initiatives européennes précédentes en matière de logiciels libres.
Des tâches d'optimisation spécifiques pour l'utilisation des accélérateurs (FPGA, GPU) et de l'EPI seront réalisées dans le cadre du projet
des affaires.
Pour démontrer la pile logicielle du workflow, des cas d'utilisation de trois piliers thématiques ont été sélectionnés. Le premier pilier se concentre sur
la construction de DigitalTwins pour le prototypage d'objets manufacturés complexes intégrant les technologies adaptatives de pointe
des solveurs avec apprentissage machine et exploration de données, contribuant à la vision de l'industrie 4.0. Le deuxième pilier développe des solutions innovantes et adaptatives
les flux de travail pour le climat et pour l'étude des cyclones tropicaux (TC) dans le cadre de l'expérience CMIP6, y compris in-situ
l'analyse. Le troisième pilier explore la modélisation des catastrophes naturelles - en particulier les tremblements de terre et les tsunamis qui leur sont associés - en bref
après l'enregistrement d'un tel événement. En s'appuyant sur deux flux de travail existants, le pilier s'efforcera de les intégrer à la
eFlows4HPC et sur la production de politiques pour l'accès urgent aux superordinateurs. Les résultats des piliers seront
démontré dans la communauté cible des CdE pour favoriser l'adoption et obtenir un retour d'information.
Coordination du projet
Mario RICCHIUTO (Centre de Recherche Inria Bordeaux - Sud-Ouest)
L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.
Partenariat
Inria BSO Centre de Recherche Inria Bordeaux - Sud-Ouest
Aide de l'ANR 151 125 euros
Début et durée du projet scientifique :
décembre 2020
- 36 Mois
