Bias, intégrité et éthique des modèles TALN compressés – DIKE

La traitement automatique de la langue a fait un bond en avant grâce à l’architecture Transformer inventée en 2017, permettant l’apprentissage parallélisé sur GPU. Cela a permis l'entraînement de modèles de langue avec de nombreux paramètres (BERT étant le plus connu). Ces modèles sont très exigeants en quantité de mémoire de sorte que des techniques de compression de modèles ont ainsi été proposées comme la quantification de poids, l’élagage des poids, ou la distillation. Ces méthodes permettent de conserver la même justesse (accuracy) avec un gros gain d’espace mémoire. Au-delà de la justesse, nous étudierons comment la compression influe sur le biais, la perte d’équité ou de capacité éthique des modèles compressés (rien n’est jamais gratuit). Nous proposerons également de nouveaux algorithmes qui préviendront, par nature, des problèmes de bias, équité ou d’éthique dans les représentations apprises ou les prédictions faites.