DS0701 - Le numérique pour la formation et l’éducation

Reconnaissance de Végétaux Récréative, Interactive et Educative sur Smartphone – ReVeRIES

Reconnaissance de Végétaux Récréative, Interactive et Educative sur Smartphone

L’urbanisation de ces dernières décennies a indéniablement fait évoluer notre rapport aux plantes dans notre vie quotidienne. Pour une majorité de gens, la botanique reste difficilement abordable. Dans le cadre du projet ReVeRIES (Reconnaissance de Végétaux Récréative, Interactive et Educative sur Smartphone), nous nous proposons d’utiliser les technologies mobiles pour aider l’homme à connaître son environnement et plus précisément les végétaux qui l’entourent.

Enjeux et objectifs

Premièrement, nous visons la conception d’applications ludo-éducatives mobiles qui aideront les utilisateurs à acquérir des connaissances sur les plantes et sur les méthodes employées par les experts en botanique pour reconnaître les familles, les genres et les espèces. Afin de motiver les enfants et les néophytes en botanique dans l’exploration de la nature, nous avons pour objectif d’utiliser des mécaniques de jeu afin de concevoir des activités ludiques d’identification des plantes. <br />Concernant l’algorithme de reconnaissance d’images, nous allons l’étendre aux principaux arbres et arbustes exotiques que l’on trouve en France. De plus, nous allons désormais prendre en compte d’autres organes. Cette multimodalité est essentielle si nous souhaitons que l’utilisateur apprenne et s’entraîne aux différentes méthodes de reconnaissance, pour lesquelles les botanistes utilisent la variété des organes (i.e. les feuilles, les fleurs, les fruits, les écorces, etc.). Par ailleurs, l’utilisation combinée de différents organes devrait grandement améliorer le taux de bonne classification. L’ancienne méthode proposée pour la reconnaissance de feuilles ne pouvant pas s’appliquer directement aux autres organes, de nouveaux verrous scientifiques se posent, tant au niveau du traitement des images qu’au niveau de la fusion de données. <br />Pour finir, nous allons explorer des pistes pour accroître la conscience sociale des ressources naturelles et soutenir la science citoyenne. Les photos et les informations géolocalisées, prises avec l’application mobile et validées par des experts, pourront être transférées à des réseaux spécialisés, tel que Tela-Botanica, intégrées à des systèmes d’information géographique, tel que OpenStreetMap, et mobilisées par des institutions locales pour soutenir des actions et des projets impliquant des citoyens. Ceci soulève des problèmes liés au champ de l’Information Géographique Volontaire.

Les travaux de recherche seront validés par l’expérimentation de 2 prototypes d’applications mobiles fondées sur des algorithmes de reconnaissance de plantes à partir de photos.
Le premier prototype concerne des jeux éducatifs sur mobiles que l’on peut créer à partir d’un outil auteur ne nécessitant pas de connaissance en programmation. Par exemple, un joueur est mis dans la « peau » d’un botaniste dont l’objectif sera de localiser et d’identifier des plantes, selon des mécanismes de jeux prédéfinis (jeux de rôles, collaboration, compétition, …).
Le second prototype est un outil pour réaliser des inventaires de plantes de façon collaborative. L’objectif est de mesurer l’impact de la ludification et de l’adaptation de ce type d’activités.
Ces prototypes s’appuieront sur les résultats du projet ANR ReVeS et l’application Folia (application Android et IOS) ainsi que sur des nouveaux algorithmes de reconnaissance multimodale. Ils permettront de reconnaitre des arbres et arbustes que l’on trouve en France (plantes indigènes et principales plantes exotiques).

- Proposition d’un méta-modèle permettant de créer une grande variété de jeux éducatifs mobiles
- Reconnaissance d’un arbre à partir d’images de ses feuilles et de son écorce
- Une étude menée auprès de 400 étudiants et 50 enseignants en botanique
- Analyse des besoins auprès du parc Echologia

Grâce aux résultats du projet ReVeRIES et des prototypes développés qui seront publiquement disponibles, nous pensons que le projet aura un impact important sur une grande variété d'utilisateurs.
Le premier type d’applications s'adresse aux néophytes dans le cadre d’une sortie dans un parc botanique par exemple. Les mécaniques de jeu, tels que la chasse au trésor et les activités de groupe, rend leur utilisation particulièrement adaptée aux enfants et aux familles. Ces applications pourront également être utilisées pour des sorties scolaires ou des sorties organisées par des associations de botanistes et des parcs nationaux.
Le deuxième type d’application s'adresse aux botanistes amateurs qui veulent améliorer leurs compétences d'identification et recueillir des données pour les inventaires botaniques. Cet outil pourra être utilisé par des parcs naturels ou des associations botaniques qui voudraient créer des atlas locaux, en devant pour cela former et motiver un grand nombre de bénévoles pour collecter des données.

P.-Y. Gicquel, S. George, I. Marfisi « Technologies sémantiques pour l’apprentissage de la botanique en mobilité », Presented at the SemWebPro professional Conference, 21 November 2016, Paris, France.

S. George, D. Coquin, T. Joliveau, V. Mal

L’urbanisation de ces dernières décennies a indéniablement fait évoluer notre rapport aux plantes dans notre vie quotidienne. Il n’en reste pas moins que, d’une part, des générations de botanistes ont accumulé des connaissances concernant ces espèces et que, d’autre part, nombreuses sont les personnes intéressées par la nature qui les entoure et qui sont conscientes que les ressources naturelles sont un trésor à préserver. Cependant, il faut bien avouer que pour une majorité de gens, la botanique reste difficilement abordable.
Dans le cadre du projet ReVeRIES (Reconnaissance de Végétaux Récréative, Interactive et Educative sur Smartphone), nous nous proposons d’utiliser les technologies mobiles pour aider l’homme à connaître son environnement et plus précisément les végétaux qui l’entourent.

Le projet ReVeRIES s’appuie sur une application mobile, nommée Folia et développée dans le cadre du projet ANR ReVeS, capable de reconnaître les espèces d’arbres et d’arbustes à partir de photos de leurs feuilles. Ce prototype se différencie des autres outils car il est capable de simuler le comportement du botaniste. Dans le contexte du projet ReVeRIES, nous nous proposons d’aller beaucoup plus loin en développant de nouveaux aspects : l’apprentissage par le jeu sur dispositif mobile, la reconnaissance multimodale d’images et les sciences citoyennes.
Premièrement, nous visons la conception d’applications ludo-éducatives mobiles qui aideront les utilisateurs à acquérir des connaissances sur les plantes et sur les méthodes employées par les experts en botanique pour reconnaître les familles, les genres et les espèces. Afin de motiver les enfants et les néophytes en botanique dans l’exploration de la nature, nous avons pour objectif d’utiliser des mécaniques de jeu afin de concevoir des activités ludiques d’identification des plantes. Les utilisateurs pourront ainsi améliorer leurs compétences en comparant leurs résultats à ceux obtenus par l’algorithme de reconnaissance d’images.
Concernant l’algorithme de reconnaissance d’images, nous allons l’étendre aux principaux arbres et arbustes exotiques que l’on trouve en France. De plus, nous allons désormais prendre en compte d’autres organes. Cette multimodalité est essentielle si nous souhaitons que l’utilisateur apprenne et s’entraîne aux différentes méthodes de reconnaissance, pour lesquelles les botanistes utilisent la variété des organes (i.e. les feuilles, les fleurs, les fruits, les écorces, etc.). Par ailleurs, l’utilisation combinée de différents organes devrait grandement améliorer le taux de bonne classification. L’ancienne méthode proposée pour la reconnaissance de feuilles ne pouvant pas s’appliquer directement aux autres organes, de nouveaux verrous scientifiques se posent, tant au niveau du traitement des images qu’au niveau de la fusion de données.
Pour finir, nous allons explorer des pistes pour accroître la conscience sociale des ressources naturelles et soutenir la science citoyenne. Les photos et les informations géolocalisées, prises avec l’application mobile et validées par des experts, pourront être transférées à des réseaux spécialisés, tel que Tela-Botanica, intégrées à des systèmes d’information géographique, tel que OpenStreetMap, et mobilisées par des institutions locales pour soutenir des actions et des projets impliquant des citoyens. Ceci soulève des problèmes liés au champ de l’Information Géographique Volontaire.

Globalement, le projet s’attaque à plusieurs défis scientifiques en EIAH-Serious Game, analyse d’images, fusion de données, IHM et aussi dans le domaine des inventaires collaboratifs. Les impacts possibles sont nombreux : enseignement de la botanique à des publics variés, l’intelligence collective, la science citoyenne, la préservation de la nature et les jeux collaboratifs environnementaux. Au-delà des citoyens intéressés par la nature, ce système peut être utile aux enseignants et à leurs étudiants, aux botanistes et également aux parcs naturels.

Coordinateur du projet

Monsieur Sébastien George (Laboratoire d'Informatique de l'Université du Maine)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

LISTIC Laboratoire d'Informatique, Système, Traitement de l'Information et de la Connaissance
EVS Laboratoire Environnement Ville et Société
IRHS Institut de Recherches en Horticulture et Semences
LIUM Laboratoire d'Informatique de l'Université du Maine
LIRIS Laboratoire d'Informatique en Image et Système d'Information

Aide de l'ANR 643 463 euros
Début et durée du projet scientifique : septembre 2015 - 48 Mois

Liens utiles