Scénariser l’évolution des risques potentiels à travers les algorithmes et les données dans les sciences – SPREADS
SPREADS
Sce´nariser l’e´volution des risques potentiels a` travers les algorithmes et les donne´es dans les sciences
L’hypothe`se d’un sabotage radical des bases de la cognition par la corruption du savoir scientifique
SPREADS est une e´tude prospective des conse´quences des ruptures technologiques affectant la gestion strate´gique des connaissances a` l’e`re des plateformes nume´riques et des bases de donne´es massives infectables. Dans la perspective de guerres cognitives, il s’agit d’explorer l’hypothe`se d’un sabotage radical des bases de la cognition par la corruption du savoir scientifique. La vulne´rabilite´ des re´sultats de la recherche s’accroi^t au fur et a` mesure que les algorithmes prennent une importance toujours plus grande dans ses proce´dures. La complexite´ et l’opacite´ des intelligences artificielles favorisent la possibilite´ de biaiser leur apprentissage par piratage des donne´es. SPREADS aborde cet enjeu a` travers le design de fictions spe´culatives envisage´es sous l’angle de la conception adversariale (mise en sce`ne de mesures et contre- mesures). On conside´rera notamment le sce´nario d’une guerre cognitive totale ou` des puissances antagonistes ont simultane´ment recours a` la diffusion de fictions infectieuses et au secret des recherches scientifiques.
Le projet comporte trois phases :
– La première étape est analytique et descriptive, elle vise à cartographier les opportunités d'attaque de la science, en particulier lorsqu'elle repose sur des méthodes numériques, à partir de l'enquête de terrain menée à l‘Institut Pasteur (partenaire 2).
– La deuxième étape est spéculative et prospective, elle a pour objectif d’imaginer, dans un premier temps, les modalités d’exploitation de ces opportunités d'attaque et leurs répercussions générales (guerre cognitive totale), puis, de manière symétrique mais d’abord indépendante, les contre-mesures pour s’en prémunir, ainsi que l’effet de leur généralisation, à patir du terrain de recherche de l’INSTN CEA Paris-Saclay (partenaire 3).
– La troisième étape est réflexive et générative, elle cherche à établir – à partir de la confrontation des scénarios d’attaque et de défense – le bilan de la dynamique déclenchée et à élaborer le cadre d’exploration de différentes dynamiques analogues sous forme d’un dispositif génératif ludique.
En plus des livrables sous forme de scénarios issus de l'enquête à l'Institut Pasteur et des contre-mesures imaginées à l'INSTN-CEA, SPREADS ambitionne de produire un dispositif fictionnel génératif, pouvant donner lieu à de multiples explorations divergentes à partir de diverses formes de hasard (tirage au sort, randomisation, improvisation, etc.), afin de permettre à ses utilisateurs de s’approprier les dynamiques émergentes des situations de guerre cognitive totale en y intégrant la rencontre de l’inconnu. Il n’est pas possible de décrire à l’avance la forme finale que prendra ce dispositif (livre illustré dont vous êtes le héros, war game, pièce de théâtre interactive, jeu de rôle, etc.) mais le livrable final est destiné à différents publics : écoles de stratégie, expositions publiques, etc.
Une exploitation commerciale du livrable final n'est pas exclue, si un partenariat est trouvé à partir de la licence Creative Commons, qui est le statut privilégié pour les livrables du projet.
Des articles scientifiques seront produits ainsi que l'organisation d'un événement de médiation scientifique à l'Institut Pasteur.
SPREADS est une étude prospective des conséquences des ruptures technologiques affectant la gestion stratégique des connaissances à l’ère des plateformes numériques et des bases de données massives infectables. Dans la perspective de guerres cognitives, il s’agit d’explorer l’hypothèse d’un sabotage radical des bases de la cognition par la corruption du savoir scientifique. La vulnérabilité des résultats de la recherche s’accroît au fur et à mesure que les algorithmes prennent une importance toujours plus grande dans ses procédures. La complexité et l’opacité des intelligences artificielles favorisent la possibilité de biaiser leur apprentissage par piratage des données. SPREADS aborde cet enjeu à travers le design de fictions spéculatives envisagées sous l’angle de la conception adversariale (mise en scène de mesures et contre-mesures). On considérera notamment le scénario d’une guerre cognitive totale où des puissances antagonistes ont simultanément recours à la diffusion de fictions infectieuses et au secret des recherches scientifiques.
Coordination du projet
Cléo Collomb (Institut du droit de l'espace et des télécommunications)
L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.
Partenariat
CEA Commissariat à l'énergie atomique et aux énergies alternatives
IDEST Institut du droit de l'espace et des télécommunications
IP Institut Pasteur
Aide de l'ANR 289 440 euros
Début et durée du projet scientifique :
décembre 2022
- 36 Mois