Modèles de fondation pour la réponse automatique aux questions statistiques. – StatQA

Avec le lancement de ChatGPT fin 2022, les grands modèles de langage (LLMs) ont attiré l'attention du grand public. Ces modèles simplifient remarquablement les recherches web en synthétisant automatiquement les informations pertinentes. Cela est vrai en particulier pour les questions statistiques, telles que celles impliquant des projections et des estimations (par exemple, "Quel devrait être le prix de location d’un appartement de 40m² dans le centre de Paris ?"). Alors que ces modèles influencent de plus en plus la prise de décision dans des contextes personnel et professionnel, évaluer leur solidité statistique devient crucial. Plus précisément, nous devons évaluer leur capacité à fournir des estimations utiles ainsi que des incertitudes calibrées.

Malgré ce besoin, l'évaluation statistique des LLMs reste largement sous-développée. Ce projet vise à évaluer la solidité statistique des LLMs sur des questions quantitatives et non déterministes. Nous évaluerons l'informativité de leurs connaissances antérieures par rapport à des données institutionnelles de référence et évaluerons la (multi-)calibration de leurs estimations d'incertitude.

Pour améliorer leurs connaissances paramétriques, une solution naturelle consiste à donner aux LLMs accès à des sources de données structurées, telles que les statistiques nationales. Cependant, l'intégration de grandes sources de données structurées dans les LLMs présente des défis importants. Notre second objectif est d'améliorer les compétences en raisonnement statistique des LLMs en développant une architecture multimodale qui raisonne à la fois sur les tableaux et le langage. Cela impliquera de poursuivre le développement de modèles tabulaires pré-entraînés pour l'apprentissage en contexte et d'intégrer les embeddings de tableaux appris avec ceux des LLMs.