Du test à partir de modèle à une automatisation apprenante du test logiciel – PHILAE

Le projet PHILAE vise à automatiser la création et la maintenance des tests fonctionnels automatisés (typiquement les tests de non-régression) en utilisant des techniques d'inférence de modèle et d'apprentissage automatique à partir des traces d'exécution existantes et de métadonnées du développement (tels que l’historique de changement du code et les résultats d’exécution des tests).

L'objectif du projet est de réduire considérablement le coût des tests de régression dans les projets logiciels agiles (généralement 25% des coûts de développement), permettant d’augmenter la détection des anomalies.

PHILAE s’appuie sur un processus itératif et incrémental en quatre étapes :
, 1. Sélection des traces candidates pour mettre à la jour les tests de non-régression automatisés ;
2. Inférence de modèle à partir des traces sélectionnées ;
3. Génération de suites de tests exécutables réduites;
4. Analyse des résultats d’exécution pour réduire et prioriser les anomalies détectées.

Ainsi, le projet PHILAE produira une technologie de test automatisé, visant les applications Web, à un niveau de maturité TRL4, structurée en quatre composants (correspondant aux étapes du processus), et évaluée sur 3 applications réelles issues des partenaires du projet.

La nouveauté de l'approche PHILAE réside dans la généralisation et l'association de l'apprentissage automatique, de l'inférence modèle et des techniques de génération automatique de tests pour inventer, mettre à jour et faire évoluer automatiquement les tests fonctionnels de régression. Plus précisément, la technologie PHILAE utilise des traces d'exécution de test de bas niveau, des traces d'exécution utilisateur, des méta-données de test et des scripts ainsi que des éléments de workflow de haut niveau. Ces artefacts seront reliés entre eux par des modèles d'apprentissage à plusieurs niveaux formés en sélectionnant les caractéristiques pertinentes des données disponibles. Les méthodes de clustering dédiées nous permettront d'élever le niveau d'abstraction des tests en regroupant les traces d'exécution et de détecter les anomalies par classification automatique. Cela permettra aussi déduire automatiquement les prototypes du code de l'adaptateur de test qui rend les tests de haut niveau exécutables. Combinée à l'extraction passive de modèles à partir d'artefacts, l'inférence active basée sur des tests dérivés améliorera les modèles de test de haut niveau. Ces techniques seront utilisées de manière itérative dans les processus d'intégration continue, apprenant à mettre à jour, sélectionner, prioriser et planifier l'exécution des cas de test.

Le consortium du projet PHILAE est composé de 6 partenaires - 4 laboratoires - UFC / FEMTO-ST, UGA / LIG, USC (Australie) et SRL / CERTUS (Norvège), 1 grande entreprise - Orange Labs Services, et 1 PME innovante - Smartesting Solutions & Services, avec des expertises fortes et complémentaires dans le domaine.

Le projet PHILAE est décomposé en six workpackages :
WP1- Sélection des traces WP2- Inférer de modèle
WP3- Générer des suites de tests exécutables
WP4- Analyse des anomalies
WP5- Études de cas et évaluation
WP6- Gestion de projet, diffusion et exploitation

Ces workpackages sont organisés en quatre phases définissant quatre jalons aux dates T0 + 6, T0 + 18, T0 + 28 et T0 + 36 (fin du projet).

En termes de diffusion et de transfert de l'innovation, la stratégie du consortium PHILAE est de fournir l'ensemble d'outils résultant en tant que logiciel open source, librement et publiquement disponible à partir du référentiel de code source et de contrôle de version de PHILAE.