MODELING PHOTOREALISTIC FACES WITH EYEGLASSES

• Main Authors: SARAGIH, Jason, LOMBARDI, Stephen Anthony, KREUZ, Tomas Simon, PRADA NINO, Fabian Andres, SHIRATORI, Takaaki, LI, Junxuan, JOSHI, Rohan, SAITO, Shunsuke, BAGAUTDINOV, Timur, IWASE, Shun, SHEIKH, Yaser
• Format: Patent
• Language: English; French
• Published: 06.06.2024
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

Methods, systems, and storage media for modeling subjects in a virtual environment are disclosed. Exemplary implementations may: receiving, from a client device, image data including at least one subject; extracting, from the image data, a face of the at least one subject and an object interacting with the face, wherein the object may be glasses worn by the subject; generating a set of face primitives based on the face, the set of face primitives comprising geometry and appearance information; generating a set of object primitives based on a set of latent codes for the object; generating an appearance model of photometric interactions between the face and the object; and rendering an avatar in the virtual environment based on the appearance model, the set of face primitives, and the set of object primitives. L'invention divulgue des procédés, des systèmes et des supports de stockage permettant de modéliser des sujets dans un environnement virtuel. Des modes de réalisation donnés à titre d'exemple peuvent : recevoir, en provenance d'un dispositif client, des données d'image comprenant un ou plusieurs sujets ; extraire, à partir des données d'image, un visage desdits un ou plusieurs sujets et un objet interagissant avec le visage, l'objet pouvant être des lunettes portées par le sujet ; générer un ensemble de primitives de visage sur la base du visage, l'ensemble de primitives de visage contenant des informations de géométrie et d'apparence ; générer un ensemble de primitives d'objet sur la base d'un ensemble de codes latents pour l'objet ; générer un modèle d'apparence d'interactions photométriques entre le visage et l'objet ; et rendre un avatar dans l'environnement virtuel sur la base du modèle d'apparence, de l'ensemble de primitives de visage et de l'ensemble de primitives d'objet.