Formation intelligente à l'écriture manuscrite basée sur Kaligo – KIHT

Écrire à la main à l'aide de stylos numériques est un moyen de faciliter l'interaction entre l'homme et l'ordinateur grâce à la reconstruction de la trajectoire de l'écriture manuscrite en ligne. Nous utilisons le stylo numérique de stabilo « digiPen » qui est équipé de capteurs à partir desquels nous voulons reconstruire la trajectoire de l'écriture manuscrite en ligne. Un tel stylo permet d'écrire sur n'importe quelle surface et d'obtenir une trace numérique qui peut aider à l'apprentissage de l'écriture, en écrivant sur du papier.
Nous concevons un nouveau pipeline de traitement qui associe les signaux des capteurs du stylo à la trajectoire de l'écriture manuscrite en ligne correspondante. Notamment, pour tenir compte de la différence de taux d'échantillonnage entre le stylo et la tablette (qui fournit des informations de référence), notre pipeline de prétraitement s'appuie sur la déformation temporelle dynamique (DTW) pour aligner les signaux. Nous avons conçu une architecture de réseau de neuronne profond dédiée, inspirée d'un réseau convolutionnel temporel (TCN), pour reconstruire la trajectoire en ligne à partir des signaux du capteur du stylo.

Lors de la première année du projet, les travaux menés par l’IRISA ont porté principalement sur la chaîne de préprocessing pour traiter, synchroniser et labéliser les données (capteur et trajectoire) afin de les rendre utilisables par l'apprentissage d’un réseau de neurones profond. De plus, plusieurs expérimentations ont été menées sur différents types d’architectures de réseaux de neurones profonds (CNN, TCN…).
Lors de cette deuxième année, nous avons réalisé une collecte significative de données avec la dernière génération de stylo Digipen. La chaîne de préprocessing a été finalisée. Elle se base sur un l'alignement automatique entre la vérité terrain (trajectoire capturée sur tablette numérique) et les données capteurs du DigiPen (capteur cinématique) réalisé à l'aide de l'algorithme de déformation temporelle dynamique (DTW).
Une architecture de réseaux de neurones basée sur des Temporal Convolutional Networks (TCN) a été conçue et ses hyperparamètres optimisés. Une stratégie d’apprentissage basée sur les mouvements plume basse (trajectoire en contact surface) a été mise en œuvre. Pour une analyse optimale des résultats, une évaluation basée sur la distance de Fréchet a été mise en place.
Ces contributions ont fait l’objet d’une publication scientifique [1] dans la revue internationale « IJDAR » (International Journal on Document Analysis and Recognition) en mars 2023 et fera l’objet d’une présentation dans le cadre de la conférence internationale « ICDAR 2023 » (International Conference on Document Analysis and Recognition) en août prochain. Par ailleurs, à la suite de cette publication, nous avons mis en libre accès une partie de ces données pour servir de benchmark à d'autres travaux de recherche.

[1] Wassim Swaileh, Florent Imbert, Yann Soullard, Romain Tavenard, Eric Anquetil. Online Handwriting Trajectory Reconstruction from Kinematic Sensors using Temporal Convolutional Network. International Journal on Document Analysis and Recognition IJDAR (2023), 2023. ?hal-04076399v2?

Les principaux challenges étudiés en ce moment sont : (i) la modélisation des trajectoires plume haute (trajectoire au-dessus de la surface) pour lesquelles nous ne possédons pas de vérité terrain pour l’apprentissage (pas de capture possible de ces trajectoires pour l’apprentissage d’un modèle) ; (ii) la prise en compte de la troisième dimension (relative à la hauteur du stylo) qui impacte les performances de reconstruction ; (iii) le passage à des données acquises sur divers supports notamment le papier (pour lesquels nous n’avons pas de vérité terrain et dont les signaux sont plus bruités à cause des frottements sur le papier).
Par conséquent, pour la suite du projet, nous prévoyons tout d’abord la mise en place d’une fonction de coût hybride pour mieux guider le réseau dans l'apprentissage conjoint des trajectoires plume basse et plume haute, ainsi que l’intégration de données acquises sur différents plans inclinés pour simuler des trajectoires dans un espace 3D. En outre, nous souhaitons mettre en place des techniques d’adaptation de domaine pour passer de données acquises sur tablette à des données acquises sur papier. Ces mêmes méthodes seront également expérimentées pour différents types d’utilisateur (adulte ou enfant) afin de prendre en compte des différences de dynamique de l’écriture.

[1] Wassim Swaileh, Florent Imbert, Yann Soullard, Romain Tavenard, Eric Anquetil. Online Handwriting Trajectory Reconstruction from Kinematic Sensors using Temporal Convolutional Network. International Journal on Document Analysis and Recognition IJDAR (2023), 2023. ?hal-04076399v2?
[2] Toward Deep neural network for pen trajectory reconstruction from kinematic sensors Florent Imbert, Eric Anquetil, Romain Tavenard, Yann Soullard, Wassim Swaileh Symposium International Francophone sur l’Ecrit et le Document (SIFED’2022), Oct 2022, Rennes, France
[3] Adaptation de domaine pour la reconstruction de la trajectoire du stylo à partir de capteurs cinématiques Florent Imbert, Eric Anquetil, Romain Tavenard, Yann Soullard Symposium International Francophone sur l’Ecrit et le Document (SIFED’2023), Juin 2023, Paris, France

L'objectif de ce projet est de développer un dispositif d'apprentissage intelligent pour l'écriture auto-matique ,qui peut être mis à la disposition du plus grand nombre d'élèves possible, à partir de com-posants existants. La base est l'application "Kaligo" de la société française Learn&Go, qui jusqu'à présent dépendait pour la production écrite de tablettes informatiques avec un dispositif d'écriture dédié et nécessitait d'écrire sur le champ tactile capacitif. Seuls les pays ou écoles avec des bud-gets pour l'équipement numérique peuvent disposer de cet apprentissage hybride reconnu scientifi-quement. A terme proposer un apprentissage numérique sans support telle que la fusion du "Di-giPen" électronique de la société STABILO et de l'application Kaligo devrait rendre cela possible : Une aide à l'apprentissage peu coûteuse pour le développement de l'écriture manuscrite automa-tisée dont le plus grand nombre d'enfants possible peut bénéficier. En outre, le Digipen permet non seulement d'utiliser des tablettes disponibles dans le commerce, mais aussi d'écrire sur du papier normal, ce qui est un grand avantage pour le développement du geste graphomoteur chez les en-fants.
L'institut de recherche français IRISA, et plus particulièrement l’équipe Intuidoc, a pour but de mener des recherches sur des algorithmes d'IA afin de générer automatiquement le tracé manuscrit en-ligne à partir de signaux produits par des capteurs du stylo numérique, tandis que l'institut allemand ITIV, qui fait partie du KIT, étudie différents concepts visant à intégrer des algorithmes d'IA adaptés au matériel embarqué. De cette façon, la complexité du système global est répartie à la fois sur le logiciel et le matériel, ce qui permet une exécution rapide et efficace de l'IA. L'objectif est de per-mettre la reconstruction en ligne de la trace du stylo à partir des données du capteur du digipen. Un test pratique avec un système de démonstration doit prouver le succès des travaux à la fin du projet de trois ans.