Sémantique des Vêtements par Apprentissage Profond – GarSeM

Dans un scénario où les robots soignant seront capables d'aider les personnes âgées ou les individus blessés, dans les tâches quotidiennes, on peut imaginer un robot effectuant des tâches ménagères liées aux vêtements, telles que le ramassage, le pliage, l'agencement des vêtements, voire même l'aide à l'habillage ou au déshabillage de la personne nécessitant des soins. Plusieurs problèmes de recherche se posent, incluant la compréhension visuelle et le raisonnement sur le vêtement manipulé, que GarSeM a l'intention d'adresser. Plus précisément, il se concentre sur le développement des capacités liées à la vision pour manipuler les vêtements, ce qui englobe des tâches telles que la reconnaissance d'un vêtement ainsi que de ses parties sémantiques à partir du contexte visuel. Lorsqu'on prend un vêtement dans une armoire bien rangée, on rencontre des vues topologiquement propres, bien que l'étendue de l'obstruction visuelle puisse varier, principalement en raison de l'occultation par d'autres vêtements. D'autre part, lorsqu'il s'agit de vêtements froissés ou d'aider dans le processus d'habillage/déshabillage, on rencontre des vues qui présentent des (auto-)occultations importantes étroitement liées à la complexité topologique des vêtements, ce qui rend leur interprétation très difficile. Dans le contexte du comblement des lacunes par rapport à l'état de l'art en matière de modélisation des vêtements, GarSeM vise à atteindre son objectif en poursuivant les objectifs de recherche suivants:
1. Création d'un ensemble de données de vêtements synthétiques et réels avec des parties sémantiques annotées;
2. Détection des types de vêtements et des parties sémantiques dans des vêtements canoniques/habillés avec des occultations partielles;
3. Enregistrement temporel des parties sémantiques des vêtements;
4. Détection des types de vêtements et des parties sémantiques dans un état non canonique avec des déformations et des occultations significatives.