Bridging Black-box Optimization and Machine Learning for Dynamic Algorithm Configuration – Opt4DAC

Le choix du meilleur solveur possible pour un problème d'optimisation dépend des caractéristiques du problème ainsi que des ressources de calcul disponibles. Comprendre cette dépendance est une tâche de recherche essentielle en optimisation. Pour aider les chercheurs et les praticiens à choisir les bonnes approches d'optimisation pour leur problème, l'apprentissage automatique automatisé (AutoML) propose une pléthore de techniques de sélection et de configuration d'algorithmes qui sont explicitement formées pour recommander les algorithmes les plus appropriés pour une tâche d'optimisation donnée. Cependant, jusqu'à très récemment ces approches AutoML étaient limitées à une sélection statique d'algorithme et de configuration, ignorant ainsi le fait que les meilleurs choix peuvent changer radicalement au cours du processus d'optimisation. Dynamic Algorithm Configuration (DAC) résout ce problème en demandant explicitement une sélection d'algorithmes et de configurations en fonction de l'état.

Le projet Opt4DAC réunira des experts en optimisation et en AutoML pour exploiter le potentiel du DAC. Nous visons spécifiquement à proposer des approches qui identifient les commutateurs appropriés entre différents solveurs et leurs configurations à la volée, c'est-à-dire en réponse directe aux exigences de la progression actuelle de l'optimisation. Pour cela, nous visons (i) optimiseur de démarrage à chaud avec des informations obtenues à partir d'autres solveurs, (ii) des fonctionnalités pertinentes pour décrire l'état actuel du processus d'optimisation, et (iii) des mécanismes pour identifier le meilleur moment pour reconfigurer les solveurs. Les analyses théoriques seront remises en question par des évaluations empiriques approfondies, allant de la configuration d'algorithmes évolutifs pour résoudre les problèmes traditionnels d'optimisation de type boîte noire à l'optimisation Bayésienne pour l'optimisation des hyperparamètres des réseaux de neurones profonds.