Comprendre et faciliter la confiance dans les vérités scientifiques: approche expérimentale – TrustSciTruths

L'économie expérimentale est la principale méthodologie prévue dans ce projet. Elle permet non seulement de créer des environnements contrôlés qui peuvent restreindre la portée de l'étude, mais aussi de démêler plusieurs explications différentes pour un phénomène donné. Nous pourront également éliciter et contrôler les croyances sur les performances relatives des participants dans les tâches étudiées. L'économie expérimentale apparaît donc comme une approche prometteuse pour étudier précisément la confiance dans la science, tout en limitant les risques associés à des facteurs de confusion non contrôlés.
Dans le cadre du projet sur l'aversion pour les algorithmes, nous menons une expérience en ligne dans laquelle les participants jouent soit le rôle de travailleurs, soit celui de managers. Les travailleurs effectuent trois tâches d'effort réel. Les travailleurs choisissent s'ils préfèrent qu'une décision d'embauche entre eux et un autre travailleur soit prise par un participant dans le rôle d'un manager ou par un algorithme. Les managers doivent décider s'ils veulent déléguer les décisions d'embauche à l'algorithme ou décider eux-mêmes. S'ils délèguent les décisions, leur rémunération dépendra des décisions d'embauche de l'algorithme et non des leurs. Les différences de traitement permettent d'étudier ce qui affecte la préférence pour l'algorithme.
Dans le cadre du projet visant à déterminer comment les mesures comportementales peuvent améliorer le recrutement par l'IA, nous étudions tout d'abord l'efficacité des mesures comportementales pour expliquer la productivité des spécialistes du crédit dans une société de microfinance. Nous utilisons l'IA, en particulier les random forests, pour entrainer l'algorithme. Nous utilisons ensuite l'algorithme pour prédire les performances futures des employés hors échantillon. Nous évaluons la productivité d'un échantillon d'employés un an après l'enquête et la comparons à la prédiction de l'algorithme. Enfin, nous menons une expérience de terrain pour comparer les performances des employés embauchés par les managers et celles des employés dont l'embauche est recommandée par l'algorithme.

Dans le projet sur la confiance dans les experts, nous utilisons des expériences en ligne. La manière dont la recommandation est donnée est fixée et ne dépend donc pas du fait que l'expert soit un homme ou une femme. Il est donc exclu que les experts masculins et féminins puissent différer dans la manière dont ils formulent une recommandation. En outre, la tâche que nous avons choisie - le «problème de Monty Hall« - comporte une réponse correcte non ambiguë.

Dans le projet sur le raisonnement motivé, nous utiliseront des expériences en laboratoire. L'un des inconvénients des expériences en ligne est que la capacité d'attention des participants est susceptible d'être réduite. Les tâches que nous envisageons d'utiliser font qu'il est particulièrement important d'avoir toute l'attention des participants.

Les expériences sur l'aversion pour les algorithmes auront lieu à partir de mai 2022.
En ce qui concerne le projet sur l'utilisation de mesures comportementales pour le recrutement par l'IA, nos résultats à ce stade suggèrent que les mesures comportementales basées sur des enquêtes améliorent considérablement les prédictions de l'IA par rapport à l'IA utilisant uniquement des informations démographiques. Nous attendons les résultats de l'expérience de terrain.

En ce qui concerne le projet sur la confiance dans les expertes et les experts, les résultats préliminaires montrent qu'il n'y a pas de différence significative en fonction du sexe de l'expert. Une explication détaillée et la mise en évidence des incitations données à l'expert(e) augmentent le taux de suivi de la recommandation.

Les expériences sur l'aversion pour les algorithmes seront menées en ligne à partir de mai 2022.
En ce qui concerne le projet sur l'utilisation de mesures comportementales pour le recrutement par IA, nous pourrons tester la performance «out of sample« de l'algorithme sur les employés ayant moins d'un an d'ancienneté en septembre 2001, lorsque nous obtiendrons une mesure de leur productivité après un an d'emploi. Enfin, depuis mars 2022, une expérience de terrain a lieu. Les candidats à l'embauche sont affectés de manière aléatoire au traitement AI ou HR. Un candidat dans le traitement IA (RH) sera embauché si et seulement si l'IA (les RH) recommande(nt) son embauche. L'expérience de terrain prendra fin au bout d'un an.
En ce qui concerne le projet sur la confiance dans les expert(e)s, de nouvelles expériences seront probablement planifiées pour étudier le choix entre un expert et une experte.

Au 1er mai 2022, le projet sur la confiance dans les expert(e)s (pour lequel des données ont déjà été collectées) a été présenté dans des groupes de travail, séminaires et conférences (congrès annuel de l'AFSE 2021, ASFEE 2021, ESA world meeting 2021).

La confiance insuffisante dans les vérités scientifiques peut avoir des conséquences dramatiques. La rationalité étant limitée, une confiance dans les experts et dans les processus qu'ils mettent en place est nécessaire. La confiance dans un expert peut dépendre de ses caractéristiques. La confiance dans un processus peut être affectée par le fait que le résultat du processus nous plaise ou non. Notre projet s'articule autour de 4 axes.
Le premier axe étudie l'aversion pour les algorithmes, c'est-à-dire la méfiance du public à l'égard d'une procédure scientifique visant à atteindre un résultat. Nous nous intéressons au contexte de l'allocation d'étudiants dans des universités.
Le deuxième axe étudie la confiance dans les experts en fonction de leur genre et des stéréotypes de genre associés au domaine d'expertise. Suit-on plus volontiers la recommandation d'un expert que d'une experte quand le domaine d'expertise est perçu comme masculin ? Préfère-t-on alors également recevoir une recommandation d'un expert que d'une experte ? La réponse à ces questions est-elle modifiée quand le domaine d'expertise est perçu comme féminin ?
Le troisième axe s'intéresse à la confiance que nous avons dans le raisonnement humain selon que nous sommes d'accord ou non avec la conclusion. Est-il plus difficile de percevoir des failles dans un raisonnement logique quand on est d'accord avec sa conclusion que quand on ne l'est pas ?
Le quatrième axe proposera un mode théorique qui visera à approfondir la compréhension de l'interaction et de la dynamique entre la confiance dans un processus scientifique - l'algorithme de matching - et le résultat de ce processus - l'affectation des étudiants dans les universités. Le modèle pourrait également nous permettre d'évaluer la performance des algorithmes selon une nouvelle dimension en distinguant ceux pour lesquels il existe un équilibre de confiance élevé de ceux pour lesquels la confiance n'est pas un résultat soutenable.