inspection visuelle auTomatique de défauts d’aspects en tEmps réel et en ligne par l’usage de Machines apprenantes : contribution à l’InduStrie 4.0 – TEMIS

D’importants efforts d’expérimentation et de validation doivent être réalisés pour, d’une part, doter la communauté scientifique et industrielle d’un véritable jeu de données expérimental issu de conditions réelles de production, d’autre part, à partir de ce jeu de données, de fournir une étude complète et détaillée de comparaison en terme de précision et de performances avec des approches statistiques comparables tels que les ACP (analyse en composantes principales), les SVM (Support Vector Machine), les Auto-Encodeurs, les réseaux neuronaux etc.

Il est aussi possible de penser que l’approche AE+GAN offre une certaine flexibilité, car elle mobilise moins l’expert pour caractériser un défaut et parce qu’elle permet de détecter une grande variété, voire n’importe quelle variété de défauts. Ce point reste toutefois à confirmer par une mise en œuvre expérimentale telle que mentionnée ci-avant. Ensuite, pour le déploiement industriel d’approches non-supervisées/supervisées, Il est impératif d’estimer la variation de la précision et de la performance en environnement industriel hostile où se trouvent des conditions telles que des variations de température changeant l’aspect d’une surface conforme, des changements de conditions de luminosité, la présence de saletés sur les systèmes de vision, des vibrations pouvant perturber l’acquisition etc. Tous ces éléments durant la mise en œuvre expérimentale devront être intégrés et considérés, cela sera possible via la plateforme AMS de l’UTC (cf. WP1). Enfin, concernant la généricité des approches apprenantes envisagées, c’est-à-dire l’application similaire à d’autres jeux de données, il est aussi intéressant, industriellement, d’expérimenter le potentiel de généricité via un pipeline (processus) de mise en œuvre générique qui pourra être validé sur les données des industriels AML systems et d’Inteva Products.

D’un point de vue génie mécanique et industriel, ce qu’il est important de retenir, est l’architecture globale de type Encodeur et DCGAN pour la détection de défauts. C’est une approche dite non supervisée. La pré-étude a été testée sur un calculateur comprenant 3 GPU Nvidia (localisé à l’UTC à proximité de la plateforme AMS). L’entrainement, sur les 1000 clichés conformes des 10 classes (taille d’image 256 par 256), peut durer plusieurs heures. Sur notre calculateur, entre 5 et 6 h étaient requises. Le temps d’inférence constaté est inférieur à 1 seconde (0,96 seconde). Le taux maximal atteint par notre pré-étude est de 92.48% TVP en moyenne et 81.63% pour TVN en moyenne. Les travaux de (Zhao et al., 2018) ont un taux moyen de détection un peu plus élevé. Bien qu’utilisée en supervision, dans le sens où, le jeu de données d’entraînement ne contient que des images réelles conformes ayant nécessité la labélisation préalable par un expert, la méthode AE+DCGAN possède une composante non supervisée, car aucune typologie de défauts n’a besoin d’être définie au préalable par un expert.

Comme prévu, et suite aux travaux de recherche menés sur la première période, une collaboration avec Renault Group a été entreprise afin de constituer le tout premier jeu de données en conditions opérationnelles. Les images acquises par Renault Group sur le site de Douai ont permis de proposer à la communauté de recherche un jeu de données nommé AutoVI, intégrant des classes réelles et réalistes sur les sites de production. Ainsi, un tel jeu de données permettra de réduire le fossé qui existe entre les méthodes actuelles de la littérature et leur transposition sur d’autres jeux de données. Pour démontrer l’impact d’un tel jeu de données, une vaste étude comparative des méthodes les plus connues a été faite sur AutoVI. Ces méthodes, habituellement très performantes, sur des jeux de données parfait (pas de flou, pas de variation de lumière, pas de bruit etc.) obtiennent des résultats bien inférieurs. Cette étude, dédiée aux méthodes non supervisées, montrent qu’elles apportent un réel intérêt sur la détection de défauts structurels (textures) et logiques (présence/absence de pièces ou raisonnement sur des cablâge). De plus, elles sont la capacité a été transposable tout en minimisant l’effort d’étiquetage des données. AutoVi comptant à ce jour plus de 1400 téléchargements sur Zenodo devrait dans les prochaines années devenir un jeu de données de référence pour la mise au point d’algorihtmes non supervisés pour l’industrie et la recherche (Autovi.utc.fr) Également, sur cette période, d’un point de vu informatique, un prototype (nommé PowerEyes) a été mis en place permettant de prendre en compte ces différents aspects tout en inscrivant ces travaux dans une perspective de développement pour le projet et d’industrialisation postérieure. Cette architecture s’appuie sur les technologies Microsoft .NET (pour les aspects IHM, fichier, intégration, …) couplé à des bibliothèques natives (DLL) en C++ (pour les traitements mathématiques et la performance) et finalement sur la bibliothèque OpenCL pour le support GPU générique (pour les algorithmes vectoriel/matriciel et plus largement la partie Intelligence Artificielle et Deep Learning). Les travaux des doctorants ont permis l’identification et l’expérimentation des composants. Ceci s’est fait dans la continuation de la mise en œuvre des systèmes d’acquisition, avec la cellule AMS qui s’est vue agrémentée des nouveaux éléments nécessaires pour la réalisation du banc d’essai pour assure le contrôle visuel de l’ESL : Le banc de contrôle est ainsi constitué d’un bras de robot KuKa pour manipuler la pièce, d’une caméra Inspector VSPI-4F2111 de chez SICK et d’une boite d’inspection avec isolation lumineuse : Par ailleurs, les résultats des travaux de recherche bibliographique menés en première période (qui ont donné lieu à une vaste étude de l’état de l’art concernant les datasets existants, les publications s’y référant et les algorithmes/approches utilisées) se sont confirmés.

Les perspectives ouvertes par le projet s’orientent autour de la consolidation des méthodes non supervisées. Elles pourraient en effet constituer une aide précieuse pour un pré étiquetage des données (ok / non ok) et ainsi limiter encore le besoin en étiquetage pour la mise en place d’une solution de confiance en production. Pour cela, une piste de recherche consistant à exploiter les méthodes basées sur le langage permettrait de décrire les items attendues et non attendues dans une distribution.

Carvalho, P.; Durupt, A.; Grandvalet, Y. A Review of Benchmarks for Visual Defect Detection in the Manufacturing Industry. International Joint Conference on Mechanics, Design Engineering & Advanced Manufacturing (JCM 2022), Jun 2022, Ischia, Italy. 1527-1538.

Carvalho, P.; Durupt, A.; Grandvalet, Y. A Survey of Machine Learning Approaches for Visual Inspection on the DAGM Dataset. 19th International Conference on Manufacturing Research (ICMR2022), Sep 2022, Derby, United Kingdom. 255-260.

Carvalho, P.; Lafou, M.; Durupt, A.; Grandvalet, Y.; Leblanc, A. The Automotive Visual Inspection Dataset (AutoVI): A Genuine Industrial Production Dataset for Unsupervised Anomaly Detection. 2024.

L’inspection visuelle et la détection des défauts des produits manufacturés sur une chaîne de production doivent se réaliser en temps réel et à des cadences très élevées (sous la seconde). Cette activité fait partie intégrante de la stratégie globale d’amélioration de la qualité des produits, elle permet de limiter les retours clients couteux. Il existe déjà des approches pour automatiser les inspections visuelles mais elles nécessitent bien souvent d’être reprogrammées et calibrées en cas d’évolution du produit ou de la chaine de production. Tous les produits même les plus standards d’entre-eux sont susceptibles d’évoluer (e.g. formes, aspects, fonctions) pour répondre aux besoins spécifiques de chaque client. Pour rester concurrentielle, l’entreprise doit se doter d’une inspection visuelle automatique qui s’adapte rapidement aux changements de configurations du produit (grande variabilité du produit) et qui soit très performante sur la chaîne de production. Cela signifie que dans ce contexte de produits customisés, de nouveaux défauts encore inconnus peuvent apparaître, et doivent donc pouvoir être détectés à moindre frais. Le projet TEMIS vise donc à développer une approche automatisée et reconfigurable pour le contrôle en ligne de produits manufacturés et cela en respectant des exigences production sévères (granularité et temps d’inférence <1 seconde).

L’objectif scientifique et industriel de TEMIS est d’expérimenter puis de recommander les solutions existantes de l’état de l’art par Machine Learning (ML) ou Deep Learning (DL) répondant au besoin d’identification de défauts en ligne. La recherche qui sera menée dans ce programme ANR, axée sur le Génie Industriel, est une étude expérimentale complète et détaillée sur l’inspection visuelle réalisée en condition réelle via une plateforme expérimentale industrielle (plateforme AMS Agile Manufacturing – LabCom DIMEXP) située à l’UTC et pour laquelle les données constituantes d’un dataset de validation, dont les données sont issues de condition réelles, seront mises à disposition en open source.

L’un des caractères novateurs du projet est lié à l’élaboration d’une étude expérimentale établissant précisément des comparaisons (de granularité et de précisions) entre les approches de la littérature. Cette étude visera à établir et vérifier que les approches apprenantes statistiques supervisées et non supervisées en ML et DL peuvent offrir une agilité dans l’inspection. De cette étude seront produits des préconisations sur l’usage d’algorithmes de ML et DL vis-à-vis des critères d’exigences de production ainsi que des pipelines (chainage des approches) génériques pour atteindre les niveaux de détection souhaités.