Synthetisation d'analyses de performance spécifiques d'application – Sapper

L'évaluation des performances est cruciale pour comprendre la consommation des ressources, tant dans les milieux universitaires qu'industriels. Une telle évaluation est réalisée à l'aide du benchmarking, i.e., mesures et analyses systématiques. Malgré son importance, la rédaction d'évaluations de performances solides reste complexe dans l'état actuel de la technique. Premièrement, les benchmarks reposent sur des mesures telles que le temps d'horloge qui sont instables à cause des non-déterminismes du matériel, des systèmes d'exploitation et des implémentations du langage de programmation.
Deuxièmement, les applications présentent des profils de performance différents en fonction de leur entrée et de leur charge de travail.
Troisièmement, les méthodologies actuelles de conception de benchmark visent à produire des programmes diversifiés mais non interprétables.
Ainsi, un bon benchmarking requiert une bonne combinaison de connaissances (a) spécifiques à l'application, (b) statistiques, (c) du langage de programmation et (d) sur la conception du système.

Nous proposons Sapper, un projet de recherche qui réunira les connaissances fondamentales, pratiques et empiriques de l'implémentation des langages de programmation, des systèmes logiciels, du génie logiciel et des statistiques. En particulier, nous définirons comment construire automatiquement des programmes de benchmark pertinents, reproductibles et interprétables.
Nous étudierons l'analyse statique et dynamique pour extraire des benchmarks à partir de cas de tests d'applications, nous étudierons les techniques de fuzzing de tests pour générer des charges de travail liées aux performances et nous étudierons l'utilisation d'outils statistiques modernes pour rendre les résultats interprétables.

L'équipe de Sapper, dirigée par Guillermo Polito, est multidisciplinaire et couvre tous les aspects du projet : implémentation du langage, profilage, fuzzing, analyse statique et dynamique, et statistiques.