Monitoring et amélioration continus pour une IA de confiance : Etude de cas sur les classifieurs de contenu – WestOps

Ouest-France, société de médias de premier plan, utilise des techniques de Machine Learning (ML) pour la classification, l'extraction et la recommandation de contenu. Ouest-France souhaite explorer de nouvelles approches afin de rationaliser le processus d'évaluation, d'assurer une détection rapide des variations de performance de ses modèles et de permettre une adaptation plus rapide et plus fiable des composants d'apprentissage automatique. Le projet WestOps vise à relever ces défis.
Tout d'abord, il vise à simplifier l'intégration de tests de non-régression fonctionnels pour les systèmes de classification et de recommandation. Cet objectif sera atteint grâce à un langage dédié personnalisé qui s'intègre de manière transparente dans le système de ML existant de Ouest France. Deuxièmement, le projet se concentrera sur la détection précoce de déviations des modèles en utilisant des techniques de variabilité. En analysant les résultats de différents variants, le projet vise à identifier et à résoudre les problèmes de performance. En outre, un module de monitoring sera développé pour déclencher des alertes et des boucles de rétroaction, améliorant ainsi la maturité du pipeline MLOps.
Les résultats attendus de WestOps comprennent un cadre global de MLOps validé par l'étude de cas de Ouest-France, un cadre de test unifié open-source pour les modèles de ML, et la mise en œuvre d'un monitoring de performances incluant les boucles de rétroaction dans un environnement réel.
Cette collaboration entre Ouest-France, Kereval et Inria DiverSE représente une opportunité unique. Elle permettra de fiabiliser les systèmes d'IA des partenaires industriels. Les composants sont développés dans le cadre de ce projet dans un objectif d'adaptation à de nombreux secteurs, favorisant ainsi l'amélioration des pratiques et des applications globales MLOps.