Sécurité physique et intrinsèque des modèles de réseaux de neurones embarqués – PICTURE

PICTURE est structurée selon 3 grands axes de recherche. Dans un premier temps, le consortium s’attache à effectuer un état de l’art complet sur l’ensemble des menaces visant des modèles de neurones embarqués et plus particulièrement sur des implémentations logicielles. Ce travail permet de définir un ensemble de modèles de menace reposant sur les connaissances d’un adversaire (paradigme boîte blanche/noire) ses capacités (e.g., obtention d’un clone de la cible). En parallèle, un ensemble de cas d’usage est défini regroupant des benchmarks majoritairement publics et une liste de cibles matérielles (principalement des microcontrôleurs 32-bit). Une attention particulière est apportée aux systèmes de reconnaissance de visages particulièrement sensibles aux questions d’intégrité et de confidentialité.
Deuxièmement, nous cherchons à caractériser finement la criticité de mécanismes d’attaque utilisant des failles algorithmiques mais aussi des attaques physiques comme les analyses par canaux auxiliaires et par injection de fautes. Pour ces dernières, des bancs de caractérisation avancées sont utilisés au Centre de Microélectronique de Provence. Plusieurs attaques sont d’un grand intérêt pour le consortium. Tout d’abord, l’intégrité d’un modèle à l’inférence peut être fortement perturbée par des perturbations sur les entrées du modèle mais aussi sur des attaques portant sur les paramètres stockés en mémoire, voire même sur la perturbation directe de certaines instructions du programme d’inférence. Enfin, le reverse engineering de modèle est une menace majeure pour le déploiement des modèles et l’utilisation de techniques par canaux auxiliaires peut considérablement aider un attaquant à obtenir des informations précises sur un modèle afin d’un voler la propriété et/ou les performances.
Enfin, conjointement à l’étude des attaques, nous développons des outils et méthodologies d’évaluation ainsi que de nouveaux schémas de protections des modèles embarqués. Cela passe notamment par l’évaluation de contremesures déjà utilisés dans d’autres contextes (e.g., protection de modules cryptographiques) et dont il faut analyser finement l’efficacité sur des modèles de réseaux de neurones.

Projet en cours...

Aujourd’hui, la Sécurité est un domaine important dans la communauté du Machine Learning avec plusieurs sessions dédiées à cette thématique dans les grandes conférences et revues d’Intelligence Artificielle mais aussi dans les grandes conférences sur la sécurité (e.g., USENIX Security Symposium, ACM CCS, IEEE S&P). Néanmoins, cette prise en compte reste timide et le développement de l’IA, dans le monde académique et industriel, reste profondément ancrer dans la pure performance, la sécurité jouant un rôle de simple option. Un des objectifs principaux de PICTURE est de faciliter cette transformation du design et du développement des modèles de machine learning en plaçant la sécurité au cœur de ces processus de développement et de déploiement et, ainsi, d’anticiper des futurs schémas de standardisation, voire de certification. D’un point de vue sociétal, le consortium a construit PICTURE afin de contribuer aux actions permettant d’améliorer la confiance des citoyens dans l’IA en analysant avec transparence les menaces et en démontrant des moyens de défense.

Rémi Bernhard, Pierre-Alain Moellic, Jean-Max Dutertre, Luring Transferable Adversarial Perturbations for Deep Neural Networks, In International Joint Conference on Neural Networks, IJCNN 2021.

Mathieu Dumont, Pierre-Alain Moellic, Raphael Viera, Jean-Max Dutertre, Rémi Bernhard, An Overview of Laser Injection against Embedded Neural Network Models, In 7th World Forum on Internet on Things (WF-IOT), 2021.

Raphael Joud, Pierre-Alain Moellic, Rémi Bernard, Jean-Baptiste Rigaud, A Review of Confidentiality Threats Against Embedded Neural Network Models, In 7th World Forum on Internet on Things (WF-IOT), 2021.

K. Hector, P-A. Moellic, M. Dumont, J-M. Dutertre, A Closer Look at Evaluating the Bit-Flip Attack Against Deep Neural Networks, To Appear In 28th IEEE International Symposium on On-Line Testing and Robust System Design, IOLTS 2022, 12-14 September, Torino.

Une tendance majeure dans l’Intelligence Artificielle est le déploiement de modèles de Machine Learning même pour des plateformes fortement contraintes comme des microcontrôleurs 32-bit « low-power ». Mais la sécurité de ces systèmes est l'un des grands freins à ce déploiement massif notamment pour les systèmes à base de réseaux de neurones. La difficulté vient d'une surface d'attaque complexe car double. En premier lieu, de très nombreux travaux ont démontré des failles algorithmiques visant l'intégrité des modèles (e.g., adversarial examples) ainsi que la confidentialité des données ou des modèles (e.g., membership inference, model inversion). Néanmoins, rares sont ces travaux qui prennent en considération les particularités des modèles embarqués (e.g., quantification, network pruning). En second lieu, les attaques physiques (analyses par canaux cachés et injections de fautes) représentent une menace émergente mais hautement critique. Ces deux types de menaces sont aujourd’hui considérés séparément. Pour la première fois, le projet PICTURE propose de considérer conjointement les menaces algorithmiques et les attaques physiques pour développer des stratégies de protection mêlant les deux mondes et diffuser un ensemble de bonnes pratiques favorisant le design, le développement et le déploiement de modèles plus robustes.
PICTURE regroupe le CEA Tech (LETI) et l’Ecole des Mines de Saint-Etienne (Centre de Microélectronique de Provence) comme partenaires académiques ainsi qu’IDEMIA et STMicroelectronics comme partenaires industriels qui permettront d’apporter des cas d’usage réels, critiques et complets axés, plus particulièrement, sur la reconnaissance biométrique faciale.
Pour atteindre ses objectifs, le consortium PICTURE s’attachera à décrire avec précision les différents modèles de menaces visant l’intégrité et la confidentialité de modèles de réseaux de neurones profonds, implémentés en logiciel sur des cibles allant du microcontrôleurs 32-bit (Cortex-M), des architectures combinant Cortex-M et Cortex-A, jusqu’à des plateformes GPU pour l’embarqué. Par la suite, il s’agira de démontrer et d’analyser pour la première fois des attaques complexes combinant des approches algorithmiques et des attaques physiques. D’une part, pour les menaces ciblant l’intégrité des modèles (i.e. tromper la prédiction d’un modèle) en combinant le principe des attaques dites « adversarial examples » et des approches d’injection de fautes. D’autre part, en étudiant l’impact de l’exploitation de fuites par canaux cachés (side-channel analysis) voire d’injections de fautes (fault injection analysis) associée à des approches théoriques de reverse-engineering de modèle (model inversion) ou d’extraction de données d’apprentissage (membership inference attack). Le développement de schémas de protections innovants passera notamment par l’analyse de la pertinence de contremesures à l’état de l’art contre les attaques physiques dans le cadre de réseaux de neurones embarqués (une telle analyse n’ayant pour le moment jamais été entreprise à cette échelle). PICTURE proposera des protections prenant place à différentes étapes du traditionnel « Machine Learning pipeline » et notamment des méthodes d’apprentissage permettant de converger vers des modèles plus robustes. Enfin, PICTURE proposera de nouvelles méthodes d’évaluation qui permettront de promouvoir les résultats du projet aux acteurs académiques et industriels. PICTURE souhaite engager un vrai changement de paradigme quant à la prise en compte de la sécurité au plus tôt du processus de design et développement des modèles et anticiper de futures recommandations ou schémas de certification.