MULTIVIEW NEURAL HUMAN PREDICTION USING IMPLICIT DIFFERENTIABLE RENDERER FOR FACIAL EXPRESSION, BODY POSE SHAPE AND CLOTHES PERFORMANCE CAPTURE

• Main Authors: ZHANG, Qing, XIAO, Hanyuan
• Format: Patent
• Language: English; French
• Published: 06.10.2022
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

A neural human performance capture framework (MVS-PERF) captures the skeleton,body shape and clothes displacement, and appearance of a person from a set of calibratedmultiview images. It addresses the ambiguity of predicting the absolute position in monocularhuman mesh recovery, and bridges the volumetric representation from NeRF toanimation-friendly performance capture. MVS-PERF includes three modules to extract featuremaps from multiview images and fuse them to a feature volume, regress the feature volume to anaked human parameters vector, generating an SMPL-X skin-tight body mesh with a skeletalpose, body shape, and expression, and leverage a neural radiance field and a deformation field toinfer the clothes as the displacement on the naked body using differentiable rendering. Clothedbody mesh is obtained by adding the interpolated displacement vectors to the SMPL-X skin-tightbody mesh vertices. The obtained radiance field is used for free-view volumetric rendering of theinput subject. Une structure de capture de performance humaine neuronale (MVS-PERF) capture le squelette, la forme du corps et un déplacement de vêtements, et l'apparence d'une personne à partir d'un ensemble d'images multivues calibrées. Elle aborde l'ambiguïté de prédiction de la position absolue dans la récupération d'un maillage humain monoculaire, et relie la représentation volumétrique de NeRF à une capture de performance adaptée à l'animation. La structure MVS-PERF comprend trois modules pour extraire des cartes de caractéristiques d'images multivues et les fusionner en un volume de caractéristiques, régresser le volume de caractéristiques à un vecteur de paramètres humains nus, générer un maillage de corps moulant SMPL-X avec une pose du squelette, une forme du corps et une expression, et utiliser un champ de radiance neuronale et un champ de déformation pour inférer les vêtements en tant que le déplacement sur le corps nu à l'aide d'un rendu différentiable. Un maillage de corps vêtu est obtenu par ajout des vecteurs de déplacement interpolés aux sommets de maillage de corps moulant SMPL-X. Le champ de radiance obtenu est utilisé pour un rendu volumétrique exempt de vue du sujet d'entrée.