Gestionnaire de données adaptatfif multi-niveau pour l'Exascale – ADMIRE

La nécessité de traiter des ensembles de données de plus en plus volumineux est l'une des principale raison motivant la construction de systèmes HPC Exascale.
Cependant, les architectures de stockage uniformes que l'on retrouve dans les systèmes HPC classiques ne répondent plus aux exigences de performances des applications de traitement intensif des données. L'accès aux fichiers non coordonné associé à une bande passante limitée font du système de fichiers parallèle centralisé un facteur limitant des performances. Dans le même temps, on assiste à l'émergence de hiérarchies de stockage multi-niveaux qui offre la possibilité de surmonter ce point de blocage. Mais l'optimisation des performances vient au prix d'un contrôle fin de la congestion et d'équilibrage de charge entre le calcul et les performances de stockage. Malheureusement, il n'existe pas interfaces conçues de manière appropriées pour gérer la pile d'E / S dans ce contexte de gestion des ressources.
L'objectif principal du projet ADMIRE est de réaliser ce contrôle fin en créant une pile d'E / S arbitrant dynamiquement entre les besoins de calcul et ceux de stockage grâce à une orchestration globale, la malléabilité du calcul et des E / S, et la gestion des ressources de stockage à tous les niveaux de la hiérarchie de stockage. Pour y parvenir, nous développerons environement défini par logiciel basé sur les principes de contrôle commande évolutifs, cet environnement sera conçu pour passer à l’échelle avec des canaux pour le contrôle et les données séparés, ainsi que par une orchestration des composants clés du système et des applications via des points de contrôle pre-définis.
Notre solution purement logicielle permettra d'augmenter considérablement le débit des systèmes HPC et les performances des applications individuelles - et par conséquent de réduire la consommation d'énergie - en tirant parti de niveaux de stockage de nœuds locaux rapides et a consommation énergétique optimisées, d'un système de fichiers Européen ad-hoc et de capacité de traitement en transit / in situ.
De plus, notre pile augmentée d'E / S offrira de la qualité de service (QoS) et de la résilience. Un prototype intégré et opérationnel sera validé avec plusieurs cas d'utilisation de divers domaines, notamment le climat / météo, les sciences de la vie, la physique, la télédétection et l'apprentissage profond.