Algorithmes d'approximation et randomisés pour le traitement de texte – PARSe
PARSe
Dans ce projet, nous avons étudié les fondements du traitement de grandes quantités de données sous forme de chaînes de caractères, souvent bruitées, afin de comprendre les limites computationnelles et de proposer de nouveaux algorithmes et structures de données ultra-efficaces, inspirés des méthodes de hachage et de géométrie en haute dimension
Algorithmes et sketches pour le traitement massif de chaînes de caractères
Le besoin urgent de méthodes pour traiter de grandes masses de chaînes de caractères est dicté par la croissance rapide du volume de données disponibles. La quantité totale de données produites double environ tous les sept mois, dépassant même les prévisions de la loi de Moore. De plus, ces données sont souvent bruitées, nécessitant des méthodes robustes. De nombreux algorithmes et structures de données classiques présentent des limites défavorables en temps et en espace et doivent être réévalués pour s’adapter à l’échelle des jeux de données modernes. Deux approches possibles pour gérer ces données sont la programmation distribuée et le cloud computing, mais elles sont souvent insuffisantes et doivent être complétées par de nouveaux outils logiciels. Nous avons mis l’accent sur une approche innovante basée sur les « sketches » pour traiter des données massives. Notre objectif était d’étudier les fondements de cette approche afin de comprendre les limites computationnelles et de proposer des méthodes ultra-efficaces pouvant avoir un impact en bioinformatique, recherche d’information et sécurité numérique. Un sketch est une description compacte des données, ne conservant que les caractéristiques essentielles pour répondre à la question posée ; on peut donc le voir comme une compression avec perte. Les questions centrales de notre projet étaient : pour quelles tâches de traitement de chaînes les sketches permettent-ils d’obtenir des algorithmes et structures efficaces ? Quel sketch est le plus adapté pour une tâche donnée ? Peut-on exploiter la nature des données pour améliorer le sketch ? Quels schémas d’approximation peuvent être utilisés ?
Notre hypothèse de recherche était que les sketches, la randomisation et l’approximation sont essentielles pour des tâches telles que le traitement de données massives et bruitées, pour lesquelles les approches classiques présentent des limites infaisables. Pour examiner cette hypothèse dans toute sa généralité et répondre à nos questions centrales, nous avons organisé notre travail en trois volets : comparaison de chaînes, indexation probabiliste et recherche de motifs en flux.
Le projet a donné lieu à plusieurs publications dans des conférences internationales majeures en informatique théorique, notamment STOC, FOCS, SODA, ICALP et ESA. De plus, deux articles produits dans le cadre du projet ont reçu le prix du Meilleur Article lors de CPM.
Les résultats principaux du projet, étroitement alignés avec les objectifs scientifiques initiaux, incluent les éléments suivants :
1) Le développement d’un algorithme en flux (streaming) pour la recherche approximative de motifs sous distance d’édition.
2) La conception d’algorithmes en flux pour la reconnaissance de langages réguliers, de langages à pile visible (VPL), ainsi que de langages de palindromes et de carrés dans le modèle en streaming.
3) Le développement d’algorithmes à fenêtre glissante pour les langages réguliers, permettant un traitement efficace de flux dynamiquement évolutifs.
4) La conception de structures de données probabilistes pour la recherche dans des dictionnaires avec erreurs (mismatches) et pour des requêtes fondamentales de recherche de motifs.
Au-delà de ses contributions scientifiques, le projet a également soutenu la formation de jeunes chercheurs. Pendant le projet, deux doctorants ont soutenu avec succès leur thèse, tandis qu’une autre thèse est actuellement en voie d’achèvement. Le financement du projet a également permis le recrutement de deux chercheurs postdoctoraux.
Le projet a contribué à l’organisation d’événements scientifiques visant à diffuser les connaissances et à favoriser la collaboration au sein de la communauté :
1) Une école d’été sur la bioinformatique et les algorithmes sur chaînes, organisée en 2023, qui a réuni environ 50 étudiants participants.
2) L’atelier international « New Horizons of Stringology », organisé au CIRM à Marseille en 2024, avec environ 50 participants.
Les résultats de ce projet ouvrent deux directions de recherche prometteuses. La première concerne les algorithmes approximatifs et randomisés pour la reconnaissance de langages formels, essentiels pour traiter efficacement de grands flux de données bruitées et identifier des motifs d’intérêt. La seconde porte sur les techniques de préservation de la vie privée pour le traitement en flux de chaînes et motifs, notamment en garantissant la confidentialité via la confidentialité différentielle tout en maintenant des garanties théoriques sur la précision des algorithmes. Ces deux axes offrent de nombreuses perspectives pour des recherches futures.
Dans ce projet, nous visons à étudier les fondements du traitement de texte à grande échelle. Notre objectif est à comprendre la limite des calculs et à fournir de nouveaux algorithmes et structures de données ultra-efficaces pour le traitement de ces données, inspirés d'approches de hachage et de géométrie à grande dimension. Nous nous concentrerons sur trois axes de recherche : la recherche de motif dans un flot de caractères, l'indexation probabiliste de texte et la comparaison de séquences à base de sketching. Les algorithmes et les structures pour le traitement de texte sont traditionnellement exploités dans des domaines tels que la bioinformatique, la recherche d'information et la sécurité numérique. Nous espérons que notre projet aura un impact significatif sur ces domaines.
Coordination du projet
Tatiana Starikovskaya (Département d'Informatique de l'Ecole Normale Supérieure)
L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.
Partenariat
University of Wroclaw / Institute of Informatics
DI ENS Département d'Informatique de l'Ecole Normale Supérieure
IRISA Institut de Recherche en Informatique et Systèmes Aléatoires
LIRMM Laboratoire d'Informatique, de Robotique et de Microélectronique de Montpellier
Aide de l'ANR 202 340 euros
Début et durée du projet scientifique :
décembre 2020
- 48 Mois