Sécurité par Conception pour la Robustesse de l'Apprentissage Fédéré – AIMMUNITY

Malgré plus d'une décennie de recherche sur la sécurité de l'IA et des avancées majeures et régulières de l'état de l'art, des limitations importantes persistent lorsqu'il s'agit de protéger des systèmes réels complexes, en particulier les systèmes fortement dynamiques et distribués tels que les systèmes basés sur l'apprentissage fédéré (Federated Learning – FL). AI.MMUNITY propose de répondre à deux défis majeurs pour sécuriser ces systèmes. En utilisant le formalisme et la modélisation MLOps, le projet vise à élargir la modélisation des menaces en prenant en compte l'intégralité du cycle de vie d'un système FL, et pas seulement les modèles. L'objectif est de caractériser des menaces avancées qui exploitent la vaste surface d'attaque d'un système FL, telles que les attaques par empoisonnement de données et/ou de modèles, les attaques ciblant l'agrégation des modèles locaux ou leur déploiement, ainsi que les attaques sur les implémentations logicielles (SW) ou matérielles (HW). Deuxièmement, AI.MMUNITY se concentre sur la "sécurité par conception" (security-by-design) à travers une approche holistique fondée sur trois niveaux: à l'échelle du système avec le renforcement d'opérations et processus considérés comme des angles morts de la sécurité du cycle de vie du FL; à l'échelle des modèles avec des techniques de renforcement des modèles à l'apprentissage et à l'échelle des implémentations grâce au développement de protections SW et HW innovantes sur des plateformes avancées (SoC, MCU, RISC-V). AI.MMUNITY démontrera ses innovations grâce à trois cas d'utilisation dans les domaines de la cybersécurité pour l'IoT, des systèmes de reconnaissance faciale et des applications IoT en reconnaissance d'activités humaines (HAR). Les méthodes et les outils développés dans le cadre d'AI.MMUNITY permettront d'accompagner les acteurs de l'IA et les agences de sécurité et de normalisation pour améliorer l'évaluation et réduire l'impact des risques associés à ces systèmes d'apprentissage distribué.