REconnaissance de VEgétaux pour des interfaces Smartphones – REVES

De nos jours, tout le monde ou presque possède un téléphone portable. Ces derniers ne sont pas seulement utilisés pour téléphoner, mais intègrent de nombreuses fonctionnalités (un GPS, un appareil photo, une caméra vidéo, un accéléromètre, une connexion Internet, etc.). Compte tenu des caractéristiques de ces nouveaux dispositifs (informatique embarquée de puissance relativement modeste, mémoire limitée, mauvaise qualité des images, connexion réseau qui peut être perdue, batterie limitée) et compte tenu de leurs différentes utilisations possibles, de nouveaux défis scientifiques existent en informatique mais aussi en sciences humaines.

Afin de mettre en évidence ces défis, nous allons étudier dans ce projet, le scénario suivant : une personne, lors d'une promenade, prend une photo d'une plante (une fleur ou / et des feuilles) avec son téléphone afin d’obtenir des informations à son sujet. Elle peut éventuellement interagir avec l'application en spécifiant la partie de la plante, qui sera prise en considération (fleur ou feuille) et / ou pointer l'objet sur l'écran tactile. Si l'image n'est pas d’assez bonne qualité, le système peut proposer à l'utilisateur de prendre une autre photo. Puis, après un processus d’extraction de l’objet d’intérêt et de caractérisation de cet objet, le système propose une ou plusieurs réponses associées à des niveaux de confiance. Le système peut aussi retourner une ou plusieurs photos des plantes proposées, afin de permettre à l'utilisateur de vérifier la validité de la réponse en regardant la plante réelle. L'utilisateur choisit alors une réponse et obtient la description de la plante. Il est à noter que pour donner la meilleure réponse possible à la requête, le système sera bien entendu basé sur l'analyse des photographies prises par l'utilisateur, mais aussi sur diverses données disponibles sur les téléphones portables telles que les coordonnées géographiques obtenues par le biais du GPS, la date, le temps, etc. mais aussi d’autres caractéristiques telles que les espèces de fleurs ou de feuilles habituellement rencontrées à une altitude donnée, dans une région donnée ou à un moment donné de l'année.

Premièrement, nous proposons d'étudier différentes méthodes pour caractériser l'objet d'intérêt dans l'image. Les méthodes de la littérature devront être adaptées pour tenir compte d'une part, des objets naturels visés, a priori, assez difficiles à traiter et d'autre part, aux contraintes liées à l’utilisation du téléphone portable. Deuxièmement, comme nous nous proposons de récupérer des données enregistrées dans une base de données botaniques, en tenant compte de la position de l'utilisateur (données spatiales) mais aussi certaines autres données accessibles via le téléphone, un important travail sera effectué sur la fusion de données hétérogènes. Dans ce contexte, les géographes vont participer à la définition d’une signature. Troisièmement, les géographes étudieront les usages d'un tel dispositif. Nous envisageons de questionner des scientifiques, des gestionnaires du parc, des biologistes et des marcheurs etc. sur leur point de vue concernant l’utilisation d’un tel outil.

Une entreprise, spécialisée dans le développement mobile, fait partie du projet. Elle guidera les chercheurs, dont l'objectif est de développer un prototype, vers des solutions viables sur mobile. L'entreprise, suite à un accord de consortium, pourrait alors exploiter le fruit de cette recherche.
Les résultats scientifiques de ces travaux seront publiés dans des revues et conférences internationales et seront utilisables dans d'autres contextes intégrant des contraintes similaires. Les travaux seront également vulgarisés auprès du grand public à travers un site web et de nombreuses applications d'un tel projet pourrait voir le jour comme une contribution au Web 2.0, la science des citoyens, la conservation de la nature ou le serious game environnemental pour apprendre à reconnaître les espèces de végétaux.