Information, Filtrage , Evaluation – InFile

Contexte et vation Contexte et motivation Depuis une quinzaine d'années, à l'initiative du NIST aux États-Unis ont été menées des campagnes de tests comparatifs concernant la recherche d'information (TREC, TRT, MUC). En Europe de telles campagnes ont été mises en place (AMARYLLIS, CLEF) mais toujours en respectant les protocoles mis en place par le NIST. Ces protocoles sont orientés évaluation quantitative de la technologie mais les conditions sont assez éloignées d'un usage réel des systèmes. C'est la raison pour laquelle un certain nombre de critiques ont été apportées sur les conditions d'évaluation. Ces critiques portent sur le caractère artificiel des conditions de test (plusieurs mois pour étudier la base de données, au moins un mois pour traiter les requêtes) cela amène une distorsion dans la comparaison des technologies par le fait que le manpower mis en œuvre joue un rôle essentiel dans la qualité des résultats. Cela favorise aussi certaines approches basées sur des apprentissages statistiques qui s'avèrent impraticables d'un point de vue économique dans le cas général pour une exploitation réelle. Les critères de coût informatique ne sont pas pris en compte, des temps de traitement prohibitifs ou l'usage de matériels surdimensionnés peuvent amener à des résultats de qualité mais qui ne pourront être exploités par la grande masse des utilisateurs qu'après de nombreuses années d'évolution des matériels. L'autre ensemble de critiques que l'on peut faire porte sur l'absence de l'utilisateur dans le processus de recherche. La qualité de l'interface utilisateur peut amener de grandes différences dans le temps d'accès à une information pertinente. Il est donc nécessaire de mettre en place des évaluations qui tiennent compte du fait que les systèmes dans leur usage réel sont en général pilotés par des utilisateurs motivés par leur recherche. Cette réflexion nous amène à proposer à la communauté de la recherche et des industriels producteurs d'outils de nouveaux modes d'évaluation qui tiennent compte des conditions réelles d'usage des systèmes. Bien entendu ces campagnes ne peuvent se faire sans le consensus des auteurs de systèmes à évaluer. C'est la raison pour laquelle la première partie de ce projet consiste à établir en accord avec la communauté, les nouvelles règles d'évaluation. On portera une attention particulière à la fonctionnalité de filtrage d'information qui est très mal prise en compte par les évaluations TREC. Cette fonctionnalité est particulièrement importante pour toutes les actions de veille qu'elle soit stratégique, commerciale ou scientifique et technique. La procédure de TREC consiste à faire entraîner les systèmes sur une base avec des profils dont on connaît les réponses. L'épreuve consiste à utiliser les mêmes profils sur une autre base homogène avec la première. Si on veut se rapprocher de la réalité de l'usage, on peut envoyer les profils aux participants et leur demander de mettre leur système en ligne. L'organisateur peut envoyer un à un les documents à filtrer et obtenir immédiatement une réponse positive ou négative pour chaque filtre. Il sera possible alors en examinant les réponses par tranches de voir si le système améliore sa performance au cours du temps (en fonction d'un feed back automatique ou manuel). D'autre part, les campagnes doivent prendre en compte les besoins réels en particulier concernant l'information multilingue. Les campagnes organisées par les Américains sont bien entendu orientées par leur besoin et en particulier les besoins des financeurs (DARPA). L'impossibilité même en Europe à cause de l'opposition des Américains de faire des évaluations sur certains couples de langues (par exemple arabe-francais, ou arabe-allemand ou chinois-français, ...) nous amène à prendre l'initiative en France de faire des évaluations qui sont économiquement importantes pour nos industriels. Retombées scientifiques et techniques attendues Retombées scientifiques et techniques attendues Ce proj