Evaluation de l'utilisabilité de Technologies de Santé / Dispositifs Médicaux – Useval-DM

Lot 1 - Identification des erreurs d'utilisation raisonnablement prévisibles pour chaque DM
L'objectif est ici de fournir le matériel nécessaire à la réalisation des études de validation d'aptitude à l'utilisation des 3 dispositifs médicaux de l'étude. En s'appuyant sur une triangulation des méthodes, la meilleure liste possible (en terme d'exhaustivité) des erreurs d'utilisation raisonnablement prévisibles a été établie pour chaque DM.

Lot 2 - Définition des environnements expérimentaux d'évaluation
L'objectif est ici de spécifier les caractéristiques des environnements de validation de l'aptitude à l'utilisation de chaque DM.
Deux analyses de la littérature ont été réalisées. La première a permis de définir précisément le concept de validité écologique et de dégager les dimensions liées pouvant avoir un impact sur les résultats d'évaluation d'aptitude à l'utilisation. La deuxième a permis d'identifier (i) le nombre pertinent de participants pour des études d'évaluation de l'aptitude à l'utilisation de dispositifs médicaux ainsi que (ii) les données nécessaires à l'analyse économique à venir. Ces résultats ont permis de spécifier précisément les environnements expérimentaux de chaque DM.

Lots 3 - 4 - 5 - Etudes de validation de l'aptitude à l'utilisation de chaque DM
L'objectif est ici de réaliser les études de validation de l'aptitude à l'utilisation de chaque DM de l'étude. Pour cela, les plans de validations de chaque DM ont été finalisés, les évaluations d'aptitude à l'utilisation de chaque DM seront menées et la collecte des données nécessaires aux analyses statistiques et économiques réalisée.

Lot 6 - Analyses statistiques et évaluation économique
L'objectif est ici de réaliser les analyses statistiques et économiques de l'étude afin de déterminer la valeur ajoutée de chaque environnement d'évaluation selon ses caractéristiques (validité écologique et nombre de participants). Sur cette base, des guides de bonnes pratique illustrés seront élaborés.

En cours

En cours

J Rochat, T Wheinwold, C Lovis, J Schiro, R Marcilly, S Pelayo. A Literature Review to Define Concepts and Dimensions of Ecological Validity/Fidelity for Usability Validation. Communication submitted to the International conference of the European Federation for Medical Informatics, May 2017, Manchester, UK.

R Marcilly, J Schiro, B Dervaux, A Duhamel, C Lovis, MC Beuscart-Zephir, S Pelayo. Toward Scientific Evidence Regarding the Medical Devices Usability Validation Stage: The Useval-DM project. Poster presented at the International conference of the European Federation for Medical Informatics, May 2016, Munich, Germany.

T Weinhold, M Del Zotto, J Rochat, C Lovis, J Schiro, S PELAYO, R Marcilly. Literature review of potential use errors of adrenaline auto-injection pens. Communication submitted to the International conference of the European Federation for Medical Informatics, May 2017, Manchester, UK.

M Del Zotto, PF Gautier, T Weinhold, J Schiro, J Rochat, C Lovis, S PELAYO, R Marcilly. Potential use errors of ANI Monitor to evaluate patient pain and discomfort. Communication submitted to the International conference of the European Federation for Medical Informatics, May 2017, Manchester, UK.

J Schiro, S Pelayo, T Weinhold, M Del Zotto, R Marcilly. Adherence to Guidelines for Identifying Known Use-errors for the Medical Devices Usability Validation: lessons learned. Communication submitted to the International conference Building capacity for the health informatics in the future (ITCH), February 2017, Victoria, Canada

Le projet Useval-DM concerne le défi 4 "Vie Santé Bien-être" et son axe 13 "Technologies pour la santé". Il est relié secondairement au défi 7 "Société de l'Information et de la communication" et à son axe 7 "Interaction Humain-Machine".
L'axe 13 TECSAN du défi 4 mentionne les "espoirs" et "promesses" portées par les technologies médicales innovantes, mais aussi les "inquiétudes" relatives aux "risques liés à [...] leurs effets sur les capacités humaines". Ce sont exactement ces risques que les évaluations qualitatives "d'aptitude à l'utilisation", au cœur du projet Useval-DM, cherchent à prévenir. Ce projet permettra comme le suggère l'appel "la mise en œuvre de preuves de concept pertinentes sur le plan industriel et médical, ainsi que le transfert de connaissances entre des partenaires industriels et académiques [...] afin de renforcer la compétitivité française dans le secteur biomédical."
La nature des technologies médicales innovantes et leur large recours au numérique justifie un traitement sérieux de leurs IHM (Défi 7 Axe 7). La réglementation européenne sur les dispositifs médicaux (DM) (notamment ceux à forte valence technologique) suggère le recours à l'ingénierie d'aptitude à l'utilisation qui permet, comme le mentionne l'appel "d’intégrer l’utilisateur [...] et de prendre en compte la dimension interdisciplinaire de l’interaction humain-machine "
L'ingénierie d'aptitude à l'utilisation est obligatoire pour les DM depuis 2010, mais elle est mal connue et mal implémentée. Pour répondre à l'exigence essentielle d’ergonomie pour les DM, les normes harmonisées imposent notamment une évaluation finale cruciale, la "validation de l'aptitude à l'utilisation" (VAU).
Celle-ci est difficile à réaliser car:
• elle requiert des compétences pluridisciplinaires et un équipement permettant les tests, de préférence dans un milieu institutionnel (par exemple hospitalier) agréé.
• elle nécessite de mettre en place des tests d'utilisabilité sur la base de simulations et de "scenarios du pire". Ceci présente l'avantage de la reproductibilité mais aussi le désavantage d'une faible validité écologique.
• le nombre de participants à ces tests est une question clé, qui peut induire de larges variations de coûts et impacter la validité des résultats. Mais les normes harmonisées ne donnent aucune indication et il n'existe pas d'évidence scientifique sur le sujet.
• la VAU est coûteuse pour le fabricant. Il devient urgent de conduire une évaluation économique des options méthodologiques possibles afin de guider les fabricants dans la planification de l'effort à mettre en œuvre.
L'OBJECTIF PRINCIPAL du projet Useval-DM est de fonder scientifiquement, y compris sur le plan économique, les choix méthodologiques princeps pour les VAU de DM en étudiant notamment l'impact (i) des variations de validité écologique (laboratoire, simulateur, terrain) et de contexte culturel (France, Suisse) (ii) des variations du nombre de participants aux tests. Sur la base des résultats obtenus, le projet délivrera aux parties prenantes (fabricants, autorités de santé, certificateurs, concepteurs des normes harmonisées) des recommandations et protocoles illustrés pour une mise en œuvre optimisée de la VAU de DM.
Deux centres européens d'utilisabilité pour les technologies médicales (CHU Lille et HU Genève) encadreront et mettront en œuvre les différents protocoles scientifiques de VAU. L'évaluation des protocoles sera réalisée par des experts en statistiques et économie de la santé (CHU Lille). Ils travailleront en collaboration avec trois fabricants dont les DM innovants seront évalués. Les trois DM inclus dans l'étude varient selon le type d'utilisateur (professionnels de santé ou patients) et la complexité de leur interface humain-machine. Ceci permettra d'estimer les possibilités de généralisation des résultats et les efforts à poursuivre, éventuellement au niveau Européen, pour étendre les preuves scientifiques à une large catégorie de technologies médicales.