Data-oriented Software and Tools for the Exascale

L'ave`nement des futurs supercalculateurs Exascale soule`ve de multiples de´fis lie´s aux donne´es. Pour permettre aux applications d'exploiter pleinement les infrastructures a` venir, un de´fi majeur concerne le passage a` l’e´chelle des techniques utilise´es pour le stockage, le transfert, le traitement et l'analyse des donne´es. D'autres challenges importants de´coulent de la ne´cessite´ d'exploiter de manie`re ade´quate les technologies e´mergentes pour le stockage et le traitement, ce qui conduit a` des hie´rarchies de stockage nouvelles et plus complexes. Enfin, il est de´sormais ne´cessaire de prendre en charge des flux de travail (workflows) hybrides, de plus en plus complexes, impliquant a` la fois la simulation, l'analyse et l'apprentissage, et fonctionnant a` des e´chelles extre^mes sur des superordinateurs interconnecte´s a` des infrastructures de type Cloud ou Edge. Le projet Exa-DoST aborde la plupart de ces de´fis, organise´s en 3 domaines :

1. Stockage et E/S a` l'e´chelle exaflopique ;

2. Traitement in situ a` l'e´chelle exaflopique ;

3. Analyse intelligente a` l'e´chelle exaflopique.

Beaucoup de ces de´fis ont de´ja` e´te´ identifie´s, par exemple par l'"Exascale Computing Project" aux Etats-Unis ou par de nombreux projets de recherche en Europe et en France. Dans le cadre du programme NumPEx, le projet Exa-DoST vise un niveau de pre´paration technologique (TRL) plus e´leve´ que les projets nationaux pre´ce´dents en ce qui concerne la pile logicielle HPC. Il vise à proposer des solutions ope´rationnelles co-conc¸ues et valide´es avec des applications franc¸aises et europe´ennes. Cela permettra de combler les lacunes laisse´es par les projets internationaux pre´ce´dents et d'assurer la prise en compte des besoins franc¸ais et europe´ens dans les feuilles de route pour la construction de la pile logicielle Exascale oriente´e donne´es.