La vie articifielle comme banc d'essai pour l'évolution moléculaire – Evoluthon

(1) Les méthodes d'inférence et les benchmarks simulés ne doivent pas être construits par la même équipe. De plus, les équipes de référence et d'inférence, tout en ayant une culture biologique commune, devraient être « méthodologiquement aveugles » les unes par rapport aux autres, ce qui signifie que les principes des méthodes d'inférence ne devraient pas être inclus dans les simulations, et inversement, les principes spécifiques aux simulations ne devraient pas être utilisé par des méthodes d'inférence. A cet effet, les méthodes de simulation et d'inférence devraient être produites par des équipes appartenant à des communautés scientifiques différentes.
(2) Les benchmarks simulés sont produits par un modèle qui n'a pas été conçu pour être utilisé comme outil de benchmarking. Bien que cela semble difficilement faisable et quelque peu contradictoire, nous soutenons que c'est la façon d'aborder le principe de double aveugle, et qu'il est possible pour l'évolution moléculaire en raison de l'existence de communautés scientifiques disjointes autour de la modélisation de l'évolution du génome.
(3) Dans la mesure du possible, les processus, et non les modèles, doivent être simulés. Cela signifie qu'au lieu de régler les paramètres pour qu'ils ressemblent à des données empiriques dans un sens arbitraire, nous devrions découvrir les processus qui produisent ces données empiriques et les mettre en œuvre dans un modèle mécaniste. Bien qu'il soit souhaitable de produire des données simulées qui ressemblent à des données empiriques, les définitions des mesures de similarité peuvent elles-mêmes être des choix de conception ad hoc, dépendant d'une méthode d'inférence particulière.
Un effort de coopération est nécessaire pour organiser et standardiser les benchmarks, comme le reconnaît par exemple l'ajout d'une section dans PLoS Computational Biology dédiée au benchmarking, ou la prochaine édition en 2019 d'un numéro spécial de Genome Biology sur les études de benchmarking.

Le simulateur issu de la vie artificielle est en cours de construction.

Dès qu'il sera opérationnel, nous testerons les données issues du simulateur sur des programmes de phylogénie.

Pas encore

Nous proposons d’implémenter un principe original de test par simulations informatiques pour les méthodes d'inférence en génomique évolutive. Ces méthodes, bien qu’utilisées quotidiennement dans des domaines aussi divers que la santé, l’agriculture, la protection de la biodiversité ou la justice, font des inférences de type historique difficiles à tester expérimentalement. La faiblesse des systèmes actuels d'évaluation est d’insérer dans des simulations les mêmes hypothèses simplificatrices que dans les méthodes d'inférence, car ils sont développés par les mêmes concepteurs, à des fins de validation. Par exemple, les gènes sont définis a priori comme des unités évolutives, ce qui rend triviale leur annotation et classification. Les espèces éteintes ne sont habituellement pas simulées si aucune mesure n'est faite sur elles, même si elles interfèrent via l'hybridation ou le transfert horizontal de gènes.
Nous proposons une approche nouvelle de test par banc d'essai plutôt que de validation, où les équipes de développement et l'équipe de tests seront distinctes. Nous rassemblons donc deux équipes, l'une en phylogénie, l'autre en vie artificielle, pour construire des simulations “aveugles” aux méthodes d’inférence.
Des tests préliminaires ont prouvé que ce principe scientifique universellement reconnu (tests à l'aveugle) mais jamais utilisé en évolution, pouvait mettre à jour des défauts inattendus des méthodes, et les corriger. Nous mettrons à disposition de la communauté les résultats des simulations pour en faire un standard de validation. Cette preuve de principe est encourageante pour l'efficacité de notre démarche.
Nous allons généraliser ce principe à d'études évolutives en adaptant un programme issu de la vie artificielle, Aevol. De façon importante Aevol n'a pas été conçu pour générer un banc d'essai, ce qui le rend paradoxalement intéressant pour être utilisé comme tel. Nous organiserons la collaboration entre les deux équipes sur un mode de défis mutuellement adressés par les uns et les autres, en respectant une communication sur les processus biologique, et en évitant la communication sur les modèles informatiques, qui devront autant que possible rester distincts.
Nous organiserons une compétition internationale pour promouvoir cette démarche et tester un grand nombre de méthodes. Le projet aura donc également un effet de renforcer la coopération entre les équipes et des meilleures pratiques de comparaisons de méthodes.
Nous appliquerons en particulier le banc d'essai à des méthodes modernes de phylogénie développés dans l'équipe, intégrant plusieurs échelles évolutives et leurs interactions.