Interopérabilité des grilles de calcul et transferts massifs de données en vue de l&aposoptimisation du traitement des données du LHC – IGTMD

Les grilles sont des systèmes de calcul et de stockage haute performance distribués à très large échelle qui sont administrés et utilisés par de larges communautés d'utilisateurs. A ce jour, plusieurs grilles et progiciels de grille existent, tels: UNICORE , ARC , EGEEG/LCG/gLite/NorduGrid , Globus , Condor , SRB . L'émergence et le vaste déploiement des différents progiciels pose le problème de l'Interopérabilité des grilles. Ces environnements logiciels proposent des services généraux de gestion des travaux, de gestion des données, de contrôle d'accès, d'information « Grid information services »... Le Global Grid Forum développe des standards tels OGSA pour permettre l'interopérabilité de ces services, mais la mise en œuvre de l'interopérabilité requiert de nombreux travaux de recherche. Par ailleurs, il n'existe pas de standard pour le transfert massif fiable de données. Le but du projet est donc de concevoir et de réaliser, puis de valider les mécanismes mettant en œuvre concrètement l'interopérabilité entre des grilles différentes. Le projet se concentre sur les principaux points suivants : a) le transfert des données, b) les mécanismes de réplications et de référencement des données, c) l'interopérabilité des systèmes d'informations et de soumissions des tâches, d) le contrôle et la surveillance des grilles, l'exploitation des statistiques et du comptage (accounting). L'accent sera mis sur les transferts de masses énormes de données sur de très longues distances de disque à disque avec des performances optimales. L'idée est d'exploiter les spécificités d'applications et d'infrastructures réelles pour analyser et tester de nouveaux modèles de communication, de réplication et des protocoles de transport alternatifs émergeants au niveau international. La participation à la standardisation d'un service générique dédié aux transports massifs entre grilles hétérogènes est un des objectifs forts du projet. Une fois développés, les mécanismes proposés seront testés et validés en vraie grandeur sur deux grilles existantes : LCG en France et OSG aux Etats-Unis en utilisant les données de productions des expériences LHC et en utilisant le réseau transatlantique entre les sites du CCIN2P3 à Lyon et du Fermi National Laboratory (FNAL) aux Etats-Unis. Le CCIN2P3 et le FNAL sont des centres de calcul majeurs (Tier 1) pour la grille de calcul LHC Les thématiques de l'interopérabilité des grilles et de l'unification d'un service de transport de masse bien que souvent mentionnées comme des nécessités sont très peu étudiées. Le présent projet permettrait à la France d'acquérir une position de leader dans ce domaine qui sera absolument crucial pour assurer l'exploitation des données du LHC. La très forte expérience des différents partenaires dans le domaine du déploiement et de l'exploitation d'instruments de recherche et de production internationaux donne une perspective prometteuse à ce projet et à son approche expérimentale ambitieuse.