DIRECT CLOTHING MODELING FOR A DRIVABLE FULL-BODY ANIMATABLE HUMAN AVATAR

• Main Authors: WU, Chenglei, XU, Weipeng, PRADA NINO, Fabian, XIANG, Donglai, HODGINS, Jessica, BAGAUTDINOV, Timur
• Format: Patent
• Language: English; French
• Published: 04.08.2022
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

A method for training a real-time, direct clothing modeling for animating an avatar for a subject is provided. The method includes collecting multiple images of a subject, forming a three-dimensional clothing mesh and a three-dimensional body mesh based on the images of the subject, and aligning the three-dimensional clothing mesh to the three-dimensional body mesh to form a skin-clothing boundary and a garment texture. The method also includes determining a loss factor based on a predicted cloth position and garment texture and an interpolated position and garment texture from the images of the subject, and updating a three-dimensional model including the three-dimensional clothing mesh and the three-dimensional body mesh according to the loss factor. A system and a non-transitory, computer-readable medium storing instructions to cause the system to execute the above method are also provided. L'invention concerne un procédé d'apprentissage d'une modélisation de vêtement directe en temps réel pour animer un avatar d'un sujet. Le procédé consiste à collecter de multiples images d'un sujet, à former un maillage de vêtement tridimensionnel et un maillage de corps tridimensionnel sur la base des images du sujet, et à aligner le maillage de vêtement tridimensionnel sur le maillage de corps tridimensionnel pour former une limite peau-vêtement et une texture de vêtement. Le procédé consiste également à déterminer un facteur de perte sur la base d'une position de tissu et d'une texture de vêtement prédites et d'une position et d'une texture de vêtement interpolées à partir des images du sujet, et à mettre à jour un modèle tridimensionnel comprenant le maillage de vêtement tridimensionnel et le maillage de corps tridimensionnel conformément au facteur de perte. L'invention concerne également un système et un support non transitoire lisible par ordinateur maintenant des instructions permettant d'amener le système à mettre en œuvre le procédé susmentionné.