Le travail scientifique à l’épreuve du Post-Publication Peer Review. Evaluation de la recherche et Intégrité scientifique – SKEPTISCIENCE

Le projet SKEPTISCIENCE repose sur une approche méthodologique mixte, combinant outils quantitatifs et qualitatifs issus des sciences sociales, de l’informatique et des études sur la science ouverte. Cette complémentarité a permis de saisir à la fois les dynamiques globales de l’évaluation post-publication (PPPR) et les expériences vécues par ses acteurs.

1. Extraction et analyse de données issues des plateformes de PPPR. L’un des axes du projet a consisté à collecter et analyser des données massives issues de plateformes telles que PubPeer et PubMed Commons. Ces données (commentaires, métadonnées des publications, profils d’utilisateurs) ont été extraites via des scripts spécifiques, puis structurées dans des bases interopérables. En les reliant à d’autres sources (OpenAlex, Retraction Watch), nous avons pu cartographier les domaines concernés par le PPPR, mesurer son évolution temporelle, identifier les types d’utilisateurs actifs, et repérer les publications les plus commentées ou rétractées. Cette cartographie a mis en évidence une forte concentration des activités dans les sciences de la vie et la biomédecine.

2. Enquêtes quantitatives par questionnaire Pour saisir la perception du PPPR par la communauté scientifique, une enquête par questionnaire a été administrée auprès de personnels d’organismes de recherche (notamment CNRS et Inserm). Le questionnaire explorait la connaissance des plateformes de PPPR, leur légitimité perçue, les conditions d’acceptabilité de ces pratiques, et les représentations associées à la correction de la science. Cette phase a permis de quantifier l’adhésion potentielle au PPPR et d’identifier les freins à son adoption.

3. Enquêtes qualitatives par entretiens. Une série d’entretiens semi-directifs a été conduite auprès d’utilisateurs, de fondateurs de plateformes, de lanceurs d’alerte, de membres de comités d’intégrité et de journalistes scientifiques. Ces entretiens ont éclairé les logiques d’engagement des acteurs du PPPR, leurs dilemmes, leurs stratégies de communication, ainsi que leur vision du système d’évaluation scientifique. Ils ont également permis d’identifier l’émergence d’un nouveau rôle : celui de « détective de la science », porteur d’un souci de vigilance épistémique et morale.

4. Ancrage théorique et hypothèses. Sur le plan conceptuel, le projet mobilise la notion de « scepticisme organisé » pour penser l’évaluation post-publication comme un mécanisme collectif de régulation scientifique. Trois hypothèses ont structuré l’enquête : 1) le PPPR contribue à démarquer bonnes et mauvaises pratiques ; 2) il redéfinit la valeur des publications comme ressource évolutive ; 3) il se développe préférentiellement dans des contextes où les institutions intermédiaires sont perçues comme déficientes.

Cette combinaison de méthodes a permis d’articuler description empirique fine et réflexion théorique, et d’offrir une lecture renouvelée des transformations contemporaines de l’évaluation scientifique..

Le projet SKEPTISCIENCE a produit une série de résultats originaux qui éclairent les mutations en cours dans l’évaluation scientifique à l’ère numérique. Ces résultats peuvent être regroupés en quatre grands ensembles.

1. Cartographie inédite des pratiques d’évaluation post-publication. En analysant plus de dix années de données issues de la plateforme PubPeer, SKEPTISCIENCE a permis de dresser une cartographie détaillée des usages du PPPR. Il en ressort que les sciences de la vie et la biomédecine concentrent l’essentiel des commentaires, avec une montée en puissance nette jusqu’en 2018. Parallèlement, les sciences sociales, très présentes au début, se sont marginalisées. Cette analyse révèle aussi que 70 % des commentaires sont produits par seulement 20 % des utilisateurs, suggérant une structuration de l’espace PPPR autour d’un noyau actif.

2. Perception et légitimité du PPPR dans la communauté scientifique. L’enquête par questionnaire réalisée auprès des personnels du CNRS et de l’Inserm a montré que si la majorité des scientifiques interrogés ne rejettent pas le principe de l’évaluation post-publication, son acceptabilité est conditionnée à certains critères. Ainsi, près d’un chercheur sur deux déclare n’accepter les critiques en ligne que si elles proviennent de pairs identifiés. De façon plus générale, le PPPR est mieux accepté lorsqu’il est perçu comme une extension du système traditionnel d’évaluation par les pairs, et non comme un mécanisme concurrent ou alternatif.

3. Émergence de nouveaux rôles et figures de vigilance scientifique. Les entretiens menés avec les utilisateurs de plateformes comme PubPeer ont permis d’identifier l’apparition de nouveaux acteurs : des « détectives de la science » engagés dans la dénonciation d’erreurs, de fautes ou de fraudes scientifiques. Ce travail, longtemps mené dans l’anonymat, tend aujourd’hui à gagner en visibilité, via les médias ou les publications académiques. Il s’accompagne de nouvelles normes d’intervention : partage des doutes, mobilisation collective, revendication de transparence. La plateforme devient ainsi un espace d’élaboration d’un jugement collectif, à la fois scientifique et éthique.

4. Analyse différenciée des rétractations et effets de genre. Enfin, l’exploitation croisée des bases Retraction Watch et OpenAlex a permis de dégager des profils différenciés de rétractation selon le genre du premier auteur. Les publications dirigées par des hommes sont davantage associées à des méconduites caractérisées (fraude, manipulation, etc.), tandis que celles dirigées par des femmes le sont davantage à des erreurs non intentionnelles. Ces résultats soulignent que les dynamiques de rétractation ne sont pas neutres et qu’elles s’inscrivent dans des configurations sociales spécifiques.

A l’heure où l’essor du numérique et des plateformes collaboratives transforme les normes et pratiques de la communauté scientifique, le projet SKEPTISCIENCE apporte une contribution originale à l’étude des transformations de l’évaluation du travail scientifique. En adoptant une approche multi échelle il rend compte tant de la cartographie générale de l’évaluation post-publication (PPPR) que de sa diffusion à l’échelle des organismes de recherche ou à celle des acteurs de la recherche.

Que ce soit à travers la collecte et l’exploitation de données en ligne, la passation de questionnaires ou la conduite d’entretiens, SKEPTISCIENCE a permis de mettre en évidence que le PPPR ne constitue pas seulement une évolution technologique de l’évaluation par les pairs, mais aussi une innovation sociale et organisationnelle qui contribue à redéfinir les frontières de la régulation sociale qui s’exerce sur la communauté scientifique. Le PPPR contribue à interroger les critères traditionnels de validation des publications scientifiques, en instaurant un processus d’évaluation dynamique. Le PPPR participe également d’une vigilance collective renforcée face aux multiples dérives des publications comme des éditeurs scientifiques. Les résultats tirés de SKEPTISCIENCE suggèrent que si le PPPR apparaît comme un vecteur de transformation des normes épistémiques et éthiques de la recherche, son acceptabilité sociale demeure partiellement conditionnée à son articulation avec les cadres traditionnels du contrôle par les pairs.

Loin de constituer un aboutissement en soi, le projet SKEPTISCIENCE représente une étape exploratoire majeure pour l’analyse sociologique des mutations du travail scientifique et de son évaluation. Grâce au soutien de l’ANR il a permis de produire des connaissances inédites mais également de poser quelques jalons qu’il conviendra d’exploiter et d’approfondir dans de futurs projets. Parmi les pistes susceptibles d'être explorées, on peut mentionner notamment les deux suivantes :

1. Poursuivre l’étude de l’évaluation post-publication à l’échelle internationale. Le projet a mis en évidence le rôle central joué par certaines plateformes, mais aussi la diversité des contextes nationaux en matière de réception et d’appropriation du PPPR. Une prochaine étape consistera à élargir le périmètre comparatif en collaborant avec des équipes étrangères engagées dans des recherches similaires.

2. Approfondir l’analyse des trajectoires des publications commentées ou rétractées. Grâce à l’exploitation croisée de plusieurs bases de données, SKEPTISCIENCE a ouvert la voie à une étude longitudinale des publications scientifiques faisant l’objet de critiques ou de retraits. Ces travaux seront poursuivis afin de mieux cerner les effets du PPPR sur la visibilité, la circulation et la réputation des articles concernés.

SKEPTISCIENCE étudie l'impact des innovations technologiques sur le travail scientifique et son évaluation. Ce projet propose un travail d'enquête consacré aux plateformes de discussion en ligne (PubPeer, PubMed Commons, F1000Research, etc.) créées dans les années 2010 et qui promeuvent une nouvelle façon d'évaluer les pratiques et les organisations professionnelles scientifiques, à savoir le Post-Publication Peer Review (PPPR). Le PPPR se développe dans le cadre d'un mouvement plus large de transformation du contrôle par les pairs. Bien que ce mécanisme d'évaluation et de certification soit toujours considéré comme central en science pour évaluer la qualité de la littérature scientifique, de multiples études ont souligné ses limites : il est lent, potentiellement biaisé et souvent incohérent. Une part importante de la visibilité publique du PPPR tient à sa capacité à alerter la communauté scientifique, et plus largement le grand public, sur d'éventuelles erreurs mais aussi sur des inconduites scientifiques. SKEPTISCIENCE est innovant car il aborde d'un point de vue scientifique et multidisciplinaire un sujet qui demeure remarquablement sous-étudié. Malgré les divers appels à faire des transformations du contrôle par les pairs un sujet d'enquête, il n'existe pas d'études empiriques majeures sur le PPPR et les quelques études existantes se limitent à des questions ou des domaines de recherche limités. Ce projet a trois objectifs principaux. Le premier objectif est de construire la carte globale du PPPR. Quel est le paysage technologique et scientifique contemporain du PPPR ? Quelles sont ses propriétés et ses modalités générales ? À quelle échelle le PPPR est-il pratiqué et quelle est sa dynamique dominante ? Le deuxième objectif de SKEPTISCIENCE est d'établir les conséquences du PPPR pour les pratiques, les trajectoires et les organisations professionnelles des chercheurs et des éditeurs. Le PPPR produit-il de nouvelles lignes de démarcation entre ce qui est considéré comme une bonne ou une mauvaise publication, mais plus largement ce qui est considéré comme une bonne ou une mauvaise pratique de recherche? Le troisième objectif principal de SKEPTISCIENCE est d'analyser la variété des utilisateurs et des parties prenantes impliqués dans la dynamique du PPPR considérée comme une innovation non institutionnelle controversée. Le PPPR est souvent décrit comme coïncidant avec l'émergence d'une nouvelle génération de "watchdogs" de la science. Pourquoi les chercheurs investissent-ils leur temps et leur énergie dans ces plateformes de discussion en ligne ? Peut-on affirmer que le PPPR coïncide avec l'émergence de nouveaux rôles scientifiques ? Basé sur la collecte et le traitement de données tant quantitatives que qualitatives, SKEPTISCIENCE nécessite de fortes interactions avec des experts issus de disciplines multiples, notamment la sociologie, l'analyse des systèmes complexes et des réseaux sociaux, la biologie, la médecine, la physique, les entrepreneurs du PPPR acceptant d'agir en tant que consultants, et plus largement encore tout chercheur impliqué dans l'un des quatre domaines de recherche sélectionnés.