Optimisation, analyse d'incertitudes et de fiabilité basées sur des simulations et des méta-modèles – SAMOURAI

Le premier défi scientifique du projet porte sur la construction de métamodèles adaptés à des problèmes de grande taille (typiquement une centaine de variables d'entrée) dans le contexte d'un budget limité de simulations (environ 500).

Le deuxième objectif est d'adapter les stratégies d'enrichissement séquentiel aux problèmes de grande taille à des fins d'optimisation et d'inversion sous contraintes de fiabilité. Ceci nécessite de définir des fonctions d'acquisition simplifiées et de concevoir des méthodes adaptées pour leur optimisation.

Certaines applications réelles du projet SAMOURAI sont des problèmes de conception optimale mélangeant des variables de différents types : continues, ordinales et nominales. Le troisième objectif du projet est donc de concevoir des méthodes d'optimisation efficaces de type boîte noire capables de traiter ce type de variables.

Le quatrième objectif est d'augmenter la performance du processus itératif (optimisation et construction de méta-modèles) en cas d'instabilités, de défaillances ou de résultats non physiques de la chaine de simulation : l'objectif est d'apprendre les contraintes cachées associées et de les intégrer dans la procédure de conception adaptative.

Dans cette première phase du projet, plusieurs cas tests ont été mis en place : 2 cas de conception de pales de turbines (Safran), un cas de placement d’éoliennes dans une ferme (EDF) et un cas d’analyse de fiabilité d’une éolienne (IFPEN).

Nous décrivons les principaux résultats obtenus pour les 4 défis
Défi 1 : Méta-modèles en grande dimension
• Une extension bayésienne du modèle de régression non-paramétrique COSSO (Component Selection and Smoothing Operator) a été proposée et repose sur un modèle hiérarchique de processus gaussiens (PG). Les paramètres de ce modèle permettent de définir un modèle bayésien de sélection de fonctions.
• Indices HSIC-ANOVA pour sélectionner et hiérarchiser les variables d’entrée les plus influentes : des travaux théoriques ont permis de démontrer certaines propriétés des noyaux (de Sobolev) associés aux indices HSIC-ANOVA : noyau caractéristique, et identification de plusieurs features maps associées aux noyaux. Fort de ces propriétés, des tests d’indépendance pour la sélection de variables ont été développés, avec une puissance en pratique au moins aussi grande que celle des tests HSIC usuels.
• Amélioration de l’estimation des hyperparamètres par un algorithme d’optimisation multi-objectifs sous contraintes, prenant en compte non seulement la vraisemblance des données, mais aussi des critères relatifs à la qualité de la loi prédictive du métamodèle.
Défi 2 : Stratégie d'enrichissement efficace pour l’inversion sous incertitude
• Une revue bibliographique sur l’optimisation et l’inversion pour les problèmes de fiabilité a été réalisée.
• Un critère d'échantillonnage a été développé pour les problèmes d’inversion pour la fiabilité et est en cours d’évaluation sur un cas d’application de conception de pales de turbine.
Défi 3 : Méta-modèles et optimisation avec variables mixtes continues et catégorielles
• Une étude des noyaux pour les PG à entrées mixtes a été menée en considérant le cas des nuages de points à taille variable, en lien avec la conception de fermes éoliennes.
• Des premières applications de ces nouveaux méta-modèles basés sur les noyaux proposés ont été réalisées : une application au calcul du productible annuel d’une ferme éolienne en fonction de l’emplacement des turbines avec deux versions, un cas jouet analytique et le cas test d’EDF.
Défi 4 : apprentissage et prise en compte des contraintes cachées
• Archissur, une méthode d’apprentissage basée sur une stratégie de réduction progressive de l'incertitude avec des modèles PG de classification (PGC) a été développée. La méthode a été appliquée sur un cas test d'analyse de la fiabilité des éoliennes (cas test IFPEN).
• L’autre volet de ce défi est consacré à l’optimisation de boîtes noires en présence de contraintes cachées, en particulier grâce à l’algorithme MADS et son implémentation NOMAD. Une autre famille de modèles de classification (k-nearest neighbours) a d’abord été utilisée, qui sera remplacée par ARCHISSUR dans un second temps.

Pour le défi 1 :
• Il est prévu de comparer l’utilisation des HSIC-ANOVA avec d’autres méthodes de sélection de features (HSIC LASSO, e.g.) pour étendre l’utilisation des PG en grande dimension
• L’algorithme d’optimisation des hyperparamètres proposé sera comparé à d’autres méthodes d’estimation « robustes » récentes (utilisation de scoring rules, reparamétrisation de la fonction de vraisemblance, approches bayésiennes).

Pour le défi 2 :
• L’évaluation du critère d’enrichissement proposé se poursuivent sur les applications aux autres cas tests
• Travaux pour une implémentation efficace du critère d’échantillonnage, à base de méthodes SMC (Sequential Monte-Carlo). Suivant les besoins des applications, une planification par lot de points sera étudiée.

Pour le défi 3 :
• Etendre la définition des nuages de point en introduisant des poids différenciés, représentant l’influence de chaque éolienne sur le productible de toutes les autres
• Généraliser le choix des noyaux sur nuages de points
• Optimisation basée sur ces nouveaux métamodèles

Pour le défi 4 :
La prochaine phase consistera à coupler la méthode Archissur d'apprentissage des contraintes cachées à la génération d'un plan d'expérience optimal dédié à la construction d'un méta-modèle prédictif et à l’optimisation.

Gabriel Sarazin, Amandine Marrel, Sébastien da Veiga, Vincent Chabridon. Test d'indépendance basé sur les indices HSIC-ANOVA d'ordre total. 53èmes Journées de Statistique de la SFdS, Société Française de Statistique (SFdS); Université Claude Bernard Lyon 1, Jun 2022, Lyon, France. ?cea-03701170?

Babacar Sow, Rodolphe Le Riche, Julien Pelamatti, Sanaa Zannane, Merlin Keller. Gaussian Processes Indexed by Clouds of Points: a study Babacar SOW (EMSE, LIMOS), Rodolphe LE RICHE (CNRS, LIMOS). MASCOT-NUM, Jun 2022, Clermont Ferrand, France. ?emse-03720276>

Romain Ait Abdelmalek-Lomenech, Julien Bect, Emmanuel Vazquez. Sequential Bayesian inversion of black-box functions in presence of uncertainties. MASCOT-NUM 2022, Jun 2022, Clermont-Ferrand, France. ?hal-03694867?

Morgane Menz, Miguel Munoz Zuniga, Delphine Sinoquet. Learning hidden constraints using a Stepwise Uncertainty Reduction strategy with Gaussian Process Classifiers. Optimization days 2022, May 2022, Montréal, Canada. ?hal-03688224?

Amandine Marrel, Bertrand Iooss, Vincent Chabridon. The ICSCREAM methodology: identification of penalizing configurations in computer experiments using screening and metamodel applications in thermal-hydraulics. UQ22 - SIAM Conference on Uncertainty Quantification, SIAM, Apr 2022, Atlanta, United States. ?cea-03700747?

Romain Ait Abdelmalek-Lomenech, Julien Bect, Emmanuel Vazquez. Reliability-based inversion: Stepwise uncertainty reduction strategies?. SIAM Conference on Uncertainty Quantification (UQ22), Apr 2022, Atlanta, United States. ?hal-03694921?

Gabriel Sarazin, Amandine Marrel, Sébastien da Veiga, Vincent Chabridon. What is hidden behind the Sobolev kernels involved in the HSIC-ANOVA decomposition ?. 2022 SAMO Conference - 10th International Conference on Sensitivity Analysis of Model Output, Florida State University, Mar 2022, Tallahassee, United States. ?cea-03701074?

A. Marrel, Bertrand Iooss, V Chabridon. The ICSCREAM methodology: Identification of penalizing configurations in computer experiments using screening and metamodel -- Applications in thermal-hydraulics. Nuclear Science and Engineering, Academic Press, 2022, 196, pp.301-321. ?10.1080/00295639.2021.1980362?. ?hal-02535146v4?

R package Sensitivity, Version 1.28.0, Global Sensitivity Analysis of Model Outputs, CRAN.R-project.org/package=sensitivity

Pour accroître l'efficacité des processus industriels basés sur la simulation, il faut améliorer les étapes de quantification de l'incertitude et d'optimisation numérique. De telles questions se posent dans la plupart des domaines de l'ingénierie (par exemple, l'énergie, les transports, l'agriculture) et des domaines scientifiques (par exemple, la biologie, la physique). Un problème majeur vient de la nature « boîte noire » du processus d'intérêt qui n'est souvent pas directement accessible : en général, les seules informations disponibles sont les sorties de la simulation « boîte noire ». En particulier, les informations dérivées, qui sont très précieuses dans le contexte de l'optimisation et de la quantification des incertitudes, ne sont pas disponibles. Cette situation est une conséquence directe de la complexité et de la diversité croissantes des problèmes industriels traiter (par exemple, couplage de simulateurs multi-physiques ou multidisciplinaires, modèles économiques, modèles d'apprentissage plus sophistiqués, intégration de variables incertaines ou non euclidiennes). Résoudre ce problème est donc un enjeu majeur avec des retombées industrielles directes et significatives.

Au cours des deux dernières décennies, le domaine des méthodes d'optimisation « boîte noire » (BBO) a connu des développements théoriques et pratiques majeurs. Néanmoins, malgré la popularité croissante de ces méthodes, certaines limites fondamentales subsistent : en particulier, la taille des problèmes qui peuvent actuellement être résolus efficacement par les méthodes BBO ne dépasse pas quelques dizaines de variables et les méthodes permettant de traiter des problèmes avec des variables catégorielles sont limitées. Dans les applications réelles, le budget de simulation est souvent très limité. De plus, les algorithmes BBO sont eux-mêmes devenus complexes, ce qui soulève des questions sur leur généralité d'utilisation (choix des noyaux pour les MM) et sur la fiabilité de l'apprentissage des hyperparamètres.

Les principaux objectifs du projet sont, conjointement, de développer des méthodes innovantes de simulation et d'optimisation basées sur des MM, tout en repoussant leurs limites actuelles de performance et d'applicabilité, guidées par des applications réelles. Ces applications sont liées à la conception et à l'évaluation des risques de systèmes complexes. Ainsi, les partenaires du projet fourniront des applications complexes et critiques dans les domaines des énergies renouvelables et décarbonées et du transport aérien à faible émission de CO2 afin de démontrer la pertinence et l'efficacité des méthodologies développées.
L'ambition des partenaires est de relever les quatre défis suivants:
- concevoir des MM adaptés à des problèmes de grande taille (généralement environ 100 variables d'entrée) dans le contexte d'un budget limité de simulations (environ 500);
- adapter des stratégies d'enrichissement séquentiel aux problèmes de grande taille dans le contexte de la conception optimale et l’inversion en fiabilité;
- développer des méthodes efficaces d'optimisation « boîte noire » capables de traiter des problèmes de conception optimale mélangeant des variables de différents types : variables continues, ordinales et nominales;
- d’augmenter les performances du processus itératif (optimisation et construction de MM) en cas d'instabilités, de défaillances ou de résultats non physiques de la simulation : le but sera d'apprendre les contraintes cachées et de les intégrer dans la procédure séquentielle d’optimisation.
Ainsi, le projet vise à (i) consolider et étendre les méthodes d'optimisation « boite noire » existantes afin de fournir une réelle amélioration de leur application aux problèmes industriels, (ii) partager les expériences et les méthodologies des partenaires industriels pour la résolution de problèmes industriels, (iii) intégrer les méthodes et les méthodologies développées dans des plateformes open-source développées par les partenaires.