얼굴 표정, 신체 자세 형상 및 의류 퍼포먼스 캡처를 위해 암시적 구별가능 렌더러를 사용하는 멀티뷰 신경 사람 예측

• Main Authors: XIAO HANYUAN, ZHANG QING
• Format: Patent
• Language: Korean
• Published: 31.10.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

신경 사람 활동 캡처 프레임워크(MVS-PERF)는 교정된 멀티뷰 이미지들의 세트로부터 골격, 신체 형상 및 의류 변위, 및 사람의 외관을 캡처한다. 이것은 단안(monocular) 사람 메쉬 복구에서 절대 위치를 예측하는 모호성을 해결하고, NeRF로부터의 볼륨 표현과 애니메이션-친화적 퍼포먼스 캡처에 가교 역할을 한다. MVS-PERF는 멀티뷰 이미지들로부터 피쳐 맵들을 추출하고 이들을 피쳐 볼륨에 융합하고, 피쳐 볼륨을 벌거벗은 사람 파라미터 벡터로 회귀시켜, 골격 자세, 신체 형상, 및 표정을 갖는 SMPL-X 피부 밀착 신체 메쉬를 생성하며, 신경 래디언스 필드 및 변형 필드를 활용하여, 구별 가능한 렌더링을 사용함으로써 벌거벗은 신체 상의 변위로서 의류를 추론하기 위한 3개의 모듈을 포함한다. SMPL-X 피부 밀착 신체 메쉬 정점들에 보간된 변위 벡터들을 추가함으로써 의류를 입은 신체 메쉬가 취득된다. 획득된 래디언스 필드는 입력 피사체의 프리-뷰(free-view) 볼륨 렌더링을 위해 사용된다. A neural human performance capture framework (MVS-PERF) captures the skeleton,body shape and clothes displacement, and appearance of a person from a set of calibratedmultiview images. It addresses the ambiguity of predicting the absolute position in monocularhuman mesh recovery, and bridges the volumetric representation from NeRF toanimation-friendly performance capture. MVS-PERF includes three modules to extract featuremaps from multiview images and fuse them to a feature volume, regress the feature volume to anaked human parameters vector, generating an SMPL-X skin-tight body mesh with a skeletalpose, body shape, and expression, and leverage a neural radiance field and a deformation field toinfer the clothes as the displacement on the naked body using differentiable rendering. Clothedbody mesh is obtained by adding the interpolated displacement vectors to the SMPL-X skin-tightbody mesh vertices. The obtained radiance field is used for free-view volumetric rendering of theinput subject.