Optimization asynchrone décentralisée de modèle d'apprentissage automatique – ADONIS

L’apprentissage statistique étudie des problèmes toujours plus grands, nécessitant plus de données, plus de ressources numériques et des recherches coûteuses d’hyper-paramètres. Cela est en particulier vrai pour l’apprentissage profond, qui nécessite beaucoup d’ingénierie qui rend les modèles difficiles à paralléliser. Ainsi, l’apprentissage distribué va devenir incontournable : l’idée est d’isoler chaque composant d’une fonction de coût sur les nœuds d’un réseau informatique de serveur, et de faire des calculs locaux sur chaque nœud. Ce projet a pour objectif d’étudier l’optimisation à la fois convexe et profonde, pour fournir des algorithmes asynchrones et robustes aux modifications de connectivité du réseau. Tout d’abord nous proposerons de nouveaux algorithmes pour le cas convexe. Puis, nous poursuivrons avec de nouvelles méthodes pour apprendre des cascades de couches de manière collaborative. Nous développerons de nouveaux environnements de tests pour évaluer ces algorithmes.