BenchArk - Une suite d'évaluation numérique efficace et robuste pour l'intelligence artificielle – BenchArk

Les comparaisons numériques sont un pilier de la démarche scientifique dans le domaine de l'apprentissage automatique.
En raison de nombreux obstacles pratiques et statistiques, la reproductibilité des résultats publiés est cependant souvent insuffisante : de nombreux détails peuvent invalider les comparaisons numériques, qu'il s'agisse d'une méthodologie inappropriée ou d'une quantification insuffisante des incertitudes.
En 2022, nous avons publié benchopt, un package Python open source doublé d'un cadre pour exécuter, réutiliser, partager et publier de manière transparente des benchmarks en optimisation numérique.
Dans ce projet, nous visons à étendre Benchopt à l'ensemble de la communauté machine learning, pour en faire un nouveau standard qui fournisse aux chercheurs et aux praticiens des méthodes de benchmarking efficaces et valides.
Notre objectif est de fédérer la communauté de l'apprentissage automatique pour développer des benchmarks informatifs et statistiquement valides, tout en fournissant des outils pour réduire les freins identifiés dans la mise en œuvre de ces pratiques.
Les résultats du projet seront intégrés dans la bibliothèque open source Benchopt.