Apprentissage adaptatif multi-agent – ALIAS

Un des challenges cruciaux de l’ère digitale est le besoin de prendre des décisions en temps réel dans des systèmes complexes, reposant souvent sur des données qui arrivent avec des volumes importants: acheminement du trafic, marchés en relation en ligne et la détection de logiciels malveillants et de fraudes ne sont que quelques-uns des exemples marquants dans lesquels la prise de décision en temps réel joue un rôle majeur.
L’apprentissage adaptatif a permis de relever ces défis. Un dénominateur commun est que un agent cherche à améliorer progressivement ses performances au sein d'une boucle de rétroaction: D'abord, l'agent s'interface avec son environnement (réseau informatique etc.) en sélectionnant une action (des poids dans un réseau neuronal etc.). Ensuite, l'agent reçoit des informations en fonction de la qualité de l'action et de l'état de l'environnement. Bien que l'apprentissage ait connu des succès dans de nombreuses applications, des défis fondamentaux demeurent:
A. L'apprentissage adaptatif conduit-il à des résultats stables dans les systèmes multi-agents?
B. Quels types de comportement peuvent être attendus autrement et à quelle distance sont-ils de l'optimalité?
Nous allons d'aborder ces questions avec des techniques de la théorie des jeux, de l'apprentissage automatique, de l'optimisation en ligne et des systèmes dynamiques, notre objectif ultime étant de contourner ou, au pire, de prédire, les échecs et les succès de l'apprentissage en ligne dans les systèmes multi-agents.
De manière plus détaillée, nous avons l'intention de structurer notre travail selon deux axes théoriques synergiques qui visent une distinction qui est généralement négligée dans la littérature:
1. Apprentissage multi-agents prescriptif: ici, les fonctionnalités du jeu sous-jacent sont connues à l'avance et l'objectif est de calculer un profil d'action optimal. Le processus de calcul n'a pas besoin d'être rationnellement justifiable: le seul souhait est de renvoyer une configuration optimale (ou quasi optimale). En conséquence, l’objectif principal est la conception d’algorithmes d’apprentissage convergents pour les interactions complexes multi-agents.
2. Apprentissage multi-agents prédictif: à l’autre bout du spectre, si le jeu n’est pas connu à l’avance (ou qu’il évolue dans le temps), le choix le plus judicieux des agents est de mettre en œuvre un algorithme en ligne simple avec le pire cas raisonnable. garanties - telles que la minimisation des regrets des agents. Dans ce cas, l’objectif primordial est de prévoir le résultat d’un processus d’apprentissage multi-agents adaptatif et de le comparer à la solution du jeu sous-jacent.
Ces objectifs globaux concourent à apporter une réponse unifiée à la question de la stabilité dans les systèmes multi-agents: pour les systèmes contrôlables, des algorithmes d'apprentissage normatifs peuvent orienter le système vers une configuration optimale; pour les systèmes qui ne peuvent pas être contrôle, une analyse d’apprentissage prédictif peut déterminer si la stabilité peut survenir à long terme. En élevant ces observations, les objectifs d’ALIAS sont:
I. Identifiez les limites fondamentales de l’apprentissage dans les systèmes multi-agents: en particulier, déterminez quelles classes de jeux sont "apprenables" et lesquelles ne le sont pas.
II. Concevez de nouveaux algorithmes robustes qui permettent la convergence dans les cas où les méthodes classiques d’apprentissage en ligne échouent.
III. Mettez en œuvre ces avancées théoriques dans des problèmes du monde réel, allant des réseaux contradictoires génératifs aux marchés d'affectation en ligne.
La réalisation de ces objectifs ambitieux nécessite une expertise interdisciplinaire dans les domaines mentionnés. Cet amalgame de compétences est la caractéristique déterminante de l’équipe franco-singapourienne, qui se trouve ainsi dans une position privilégiée pour relever avec succès les défis identifiés large éventail de systèmes numériques multi-agents.