Contrôle basé sur l’Intelligence Artificielle de réseau en nuage – ARTIC

Deux outils d'IA sont prometteurs pour atteindre les objectifs du projet : (i) Deep Learning (DL) ; et, (ii) l'apprentissage par renforcement (RL). L'apprentissage en profondeur (DL) est un type d'apprentissage des représentations qui trouve des représentations de données adaptées à la tâche en créant une hiérarchie de représentations de données plus abstraites à partir de représentations moins abstraites. DL est basé sur des architectures de réseau neuronal artificiel (ANN) composées de « nombreuses » couches avec seulement certaines connexions (poids non nuls) entre elles. L'apprentissage par renforcement (RL) est un type d'apprentissage automatique utilisé pour apprendre le contrôle optimal en interagissant avec l'environnement (dans notre cas, le réseau et les utilisateurs). RL interagit avec l'environnement en prenant des actions (décisions de contrôle) qui génèrent une récompense (ou une pénalité) du réseau et une transition de l'état actuel au prochain état du réseau. Ces interactions peuvent être utilisées pour guider l'apprentissage des poids de l'ANN. L'ANN ainsi entraîné (i) transformera la représentation de données originale de l'état du réseau en une représentation « adaptée » au problème de contrôle ; et, (ii) trouver les décisions de contrôle (actions) optimales à partir de la représentation « adaptée » d'une manière plus maniable (puisque la représentation de l'état du réseau est adaptée au contrôle). En fait, l'ANN entraîné constitue lui-même un algorithme heuristique sur mesure pour le problème de contrôle ciblé. Il faut noter que cette stratégie de Deep Reinforcement Learning (DRL) présente trois avantages principaux : (i) elle peut apprendre à la fois des modèles et des données (l'environnement utilisé dans la partie RL peut être soit un modèle de réseau, soit un réseau opérationnel réel), ( ii) un cadre unique est utilisé pour résoudre le contrôle global (au lieu de l'étape basée sur les données et l'étape basée sur le modèle d'un contrôle traditionnel basé sur le ML) ; et (iii) les problèmes d'évolutivité peuvent être mieux traités puisqu'un vecteur adapté aux tâches (potentiellement de dimension inférieure) concentrant la plupart des informations pertinentes pour notre problème de contrôle est utilisé pour résoudre le problème d'optimisation. Par conséquent, la méthodologie DRL proposée constitue une approche prometteuse pour résoudre tout problème de contrôle de réseau quel que soit le niveau de complexité (NP) ou d'incertitude sur le modèle d'optimisation.

Les résultats attendus du projet sont des algorithmes basés sur l'apprentissage automatique, notammentt basés sur l'apprentissage par renforcement approfondi, conçus pour résoudre les problèmes d'allocation de ressources dans le contrôle de réseau. Ces algorithmes seront accompagnés de frameworks pour la simulation ou l'émulation de réseaux informatiques. Ces frameworks sont nécessaires pour valider le fonctionnement de l'algorithme dans des scénarios proches de la réalité. Les algorithmes et les frameworks sont encore en développement.

L'objectif initial du projet était l'allocation dynamique de chaînes de services de fonctions de réseau virtuel, notamment l'allocation de chaînes de services de diffusion vidéo. Dans ce qui suit, l'objectif du projet pourrait être élargi à d'autres scénarios de travail pertinents, tels que l'intégration de l'accès sans fil et filaire dans les réseaux fog ou les réseaux multi-agents dans les réseaux multi-domaines.

Les soumissions aux conférences et revues internationales sont en préparation.

D'ici 2021, le trafic IP en nuage constituera la majeure partie d’un trafic Internet complexifié avec une diversité croissante de dispositifs et une dynamique de trafic accrue. Une solution pour faire face à cette situation est le Knowledge Defined Networking (KDN), où machine learning (ML) et intelligence artificielle (IA) sont combinés avec SDN / NFV et la surveillance de réseau pour collecter des données, les transformer en connaissances (c.-à-d. modèles) via ML, et prendre des décisions avec cette connaissance. Selon ce paradigme, nous visons à développer un cadre unifié basé sur l'IA capable d'apprendre de nouveaux algorithmes de contrôle de réseau en nuage efficaces. Ce cadre intégrera de manière transparente le contrôle basé sur les données (sur le ML) et le contrôle basé sur les modèles d’optimisation. Pour ce faire, nous avons l’intention d’appliquer deux outils d’IA prometteurs: Deep Learning (DL); et apprentissage par renforcement (RL).

Dans le projet, un réseau de neurones artificiels à apprentissage en profondeur (ANN) sera utilisé pour transformer les représentations de données d'entrée d'origine (dans notre cas, l'état du réseau dans le nuage) en un espace de petite dimension où les informations structurelles et les propriétés du réseau sont préservées au maximum et sont utilisées pour résoudre de manière plus facile le problème du contrôle optimal. RL sera appliqué pour apprendre le contrôle optimal en interagissant avec l'environnement (dans notre cas, le réseau). Ces interactions peuvent être utilisées pour guider l'apprentissage des poids de l'ANN profond. Le résultat est que l'algorithme RL (agissant en tant que boucle de contrôle) résoudra plus facilement le problème de contrôle en utilisant en entrée ces représentations de dimensionnes plus petites trouvées par le réseau de neurones profond. La principale nouveauté de notre approche est que nous affirmons que, pour les problèmes de contrôle de réseau, l’ANR profond ne doit pas être mis en œuvre en utilisant les mêmes architectures de couche profondes utilisées en vision par ordinateur (les couches dites convolutives), mais en utilisant un type différent (des nouvelles architectures dites graph embedding), mieux adaptées à la nature de graphe des problèmes de réseau.

Nous proposons ensuite d'utiliser les couches graph embedding en tant que couches profondes pour résoudre les problèmes de contrôle de réseau dans le cloud, à savoir l'allocation dynamique de chaînes de services composées de fonctions virtualisées en réseau. À partir du cas où le service réseau est unicast, nous passerons ensuite au cas multicast, car la diffusion vidéo, le service multicast classique, est ls principale application d'internet. Enfin, nous mettrons en place une plateforme KDN comme ue preuve de concept dans laquelle notre Deep Reinforcement Learning enverra via l’interface nord les décisions de contrôle à un contrôleur SDN, qui à son tour contrôlera un réseau SDN émulé.