Apprendre à traduire des dessins de conception en programmes de CAO – NaturalCAD

La conception assistée par ordinateur (CAO) est une industrie de plusieurs milliards de dollars responsable de la conception numérique de presque tous les produits manufacturés. Il s'appuie sur la modélisation paramétrique, qui permet de modifier les dimensions d'une conception, facilitant l'optimisation physique et le remixage de la conception par des non-experts. Mais le potentiel de la CAO est amoindri par la difficulté de créer des modèles paramétriques : en plus de maîtriser les principes de conception, les professionnels doivent apprendre les interfaces complexes des logiciels de CAO. Pour promouvoir des stratégies de modélisation efficaces et un flux créatif, les éducateurs en design préconisent le dessin à main levée comme étape préliminaire à la modélisation paramétrique. Malheureusement, les systèmes de CAO ne comprennent pas ces dessins, les concepteurs doivent donc recréer l'intégralité de leur conception à l'aide d'un logiciel de CAO complexe. Pouvons-nous convertir automatiquement des dessins à main levée en modèles CAO paramétriques ? Les techniques de modélisation basées sur des esquisses ne produisent pas de programmes de CAO paramétriques ; les techniques de rétro-ingénierie CAO classiques ne peuvent pas gérer les dessins en entrée ; le domaine plus récent de l'induction de programmes visuels est prometteur mais n'a été démontré que sur des formes et des programmes simples. En tirant parti du vocabulaire visuel partagé par le dessin et la modélisation CAO, nous développerons un système permettant de traduire du langage naturel du dessin au langage formel de la CAO.

Pour gérer les dessins en entrée, nous les traiterons comme des séquences de traits ordonnés, ce qui nous permettra de définir le problème comme un problème de traduction automatique des séquences de traits de dessin en séquences d'instructions de programme CAO. Nous observons que les traits de dessin sont regroupés en opérations de dessin cohérentes qui sont corrélées avec les stratégies de modélisation CAO (par exemple, dessiner d'abord des lignes de construction et des formes primitives simples, puis affiner). Nous proposons d'extraire ces opérations de dessin comme une représentation intermédiaire, ce qui aide à lever l'ambiguïté entre les (potentiellement infiniment) nombreux programmes qui peuvent représenter une seule forme. La réalisation de cette extraction puis la production de programmes CAO sont des problèmes de recherche complexes ; nous tirerons parti de nouveaux réseaux de neurones profonds pour guider la recherche. Nous proposons de rassembler un ensemble de données appariées (dessin, programme CAO) auprès de concepteurs professionnels pour nous aider à développer ces réseaux. Nous développerons également des algorithmes d'apprentissage qui ne nécessitent pas de telles données couplées de vérité terrain. Enfin, nous développerons des mesures pour évaluer les programmes de CAO produits par notre système, que nous utiliserons pour évaluer notre travail et guider le processus de recherche de programmes.