Optimization asynchrone décentralisée de modèle d'apprentissage automatique – ADONIS

Pour répondre à ces enjeux, ADONIS a suivi une approche très concrète : partir des contraintes réelles des infrastructures (réseau parfois lent, machines hétérogènes, échanges coûteux) et concevoir des façons d’entraîner les modèles qui continuent d’avancer même quand tout n’est pas parfaitement synchronisé. Plutôt que d’attendre que chaque ordinateur ait fini à chaque étape, l’idée est de permettre à chacun de calculer et de partager ses informations “au fil de l’eau”, en s’appuyant sur une coopération décentralisée entre machines.

Le projet a ensuite testé ces principes dans des situations proches de l’usage réel, en développant des techniques pour réduire et mieux organiser la communication (par exemple en la recouvrant avec le calcul, ou en la rendant plus efficace) afin d’accélérer l’entraînement, notamment pour des modèles de grande taille. Enfin, une partie importante du travail a consisté à vérifier que ces méthodes restent fiables et reproductibles, en diffusant des implémentations et des scripts permettant à d’autres équipes de reproduire et comparer les résultats.

Le projet ADONIS a montré qu’on peut entraîner des modèles d’apprentissage automatique de manière plus rapide et plus robuste quand plusieurs ordinateurs travaillent ensemble, même si le réseau est imparfait ou si certaines machines sont plus lentes que d’autres. En pratique, nous avons proposé des méthodes qui réduisent les temps d’attente liés aux échanges entre machines, ce qui améliore l’efficacité de l’entraînement distribué, en particulier lorsque la communication devient le principal frein.

Ces avancées ont été validées et diffusées sous forme de publications internationales et de logiciels et scripts reproductibles mis à disposition. L’impact concret est double : de meilleures “recettes” pour organiser l’entraînement réparti (moins de blocages, meilleure utilisation des ressources) et des outils réutilisables par d’autres équipes pour tester, comparer et intégrer ces approches dans leurs propres travaux.

Les perspectives d’ADONIS consistent à pousser ces méthodes vers des situations encore plus proches du terrain : des réseaux plus instables, des machines très hétérogènes, et des entraînements répartis sur davantage de nœuds. L’objectif est de rendre l’entraînement distribué encore plus “autonome”, capable de s’adapter en temps réel aux conditions (qui est lent, quel est l’état du réseau) pour choisir automatiquement la meilleure façon d’échanger et de calculer, afin de réduire encore le gaspillage de temps et d’énergie.

Une autre perspective importante est le passage à l’échelle pour les très grands modèles : il s’agit de mieux “cacher” le coût des communications derrière le calcul et de rendre ces stratégies faciles à déployer dans les outils standards. Enfin, le projet vise à renforcer la diffusion et la pérennité des logiciels (archivage, documentation, benchmarks) pour que ces idées soient réutilisées plus largement, aussi bien en recherche que dans des applications industrielles où l’efficacité des ressources de calcul est cruciale.

L’apprentissage statistique étudie des problèmes toujours plus grands, nécessitant plus de données, plus de ressources numériques et des recherches coûteuses d’hyper-paramètres. Cela est en particulier vrai pour l’apprentissage profond, qui nécessite beaucoup d’ingénierie qui rend les modèles difficiles à paralléliser. Ainsi, l’apprentissage distribué va devenir incontournable : l’idée est d’isoler chaque composant d’une fonction de coût sur les nœuds d’un réseau informatique de serveur, et de faire des calculs locaux sur chaque nœud. Ce projet a pour objectif d’étudier l’optimisation à la fois convexe et profonde, pour fournir des algorithmes asynchrones et robustes aux modifications de connectivité du réseau. Tout d’abord nous proposerons de nouveaux algorithmes pour le cas convexe. Puis, nous poursuivrons avec de nouvelles méthodes pour apprendre des cascades de couches de manière collaborative. Nous développerons de nouveaux environnements de tests pour évaluer ces algorithmes.