NON-RIGID ALIGNMENT FOR VOLUMETRIC PERFORMANCE CAPTURE

• Main Authors: IZADI, Shahram, RHEMANN, Christoph, TANKOVICH, Vladimir, DAVIDSON, Philip L, KOWDLE, Adarsh Prakash Murthy, KHAMIS, Sameh, FANELLO, Sean Ryan, DOU, Mingsong
• Format: Patent
• Language: English; French
• Published: 06.12.2018
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

An electronic device [100] estimates a pose of one or more subjects in an environment based on estimating a correspondence between a data volume [120] containing a data mesh [117] based on a current frame [105] captured by a depth camera [102] and a reference volume [125] containing a plurality of fused prior data frames based on spectral embedding and performing bidirectional non-rigid matching between the reference volume and the current data frame to refine the correspondence so as to support location-based functionality. The electronic device predicts correspondences between the data volume and the reference volume based on spectral embedding. The correspondences provide constraints that accelerate the convergence between the data volume and the reference volume. Dispositif électronique [100] estimant une pose d'un ou de plusieurs sujets dans un environnement sur la base de l'estimation d'une correspondance entre un volume de données [120] contenant un maillage de données [117] sur la base d'une trame en cours [105] capturée par une caméra de profondeur [102] et un volume de référence [125] contenant une pluralité de trames de données antérieures fusionnées sur la base d'une incorporation spectrale et de la réalisation d'une correspondance non rigide bidirectionnelle entre le volume de référence et la trame de données en cours pour affiner la correspondance de manière à prendre en charge une fonctionnalité basée sur l'emplacement. Le dispositif électronique prédit des correspondances entre le volume de données et le volume de référence sur la base de l'incorporation spectrale. Les correspondances fournissent des contraintes qui accélèrent la convergence entre le volume de données et le volume de référence.