NEURAL RENDERING

• Main Authors: DUPONT, Emilien, SANKAR, Aditya, SHAN, Qi, SUSSKIND, Joshua M, COLBURN, Robert Alex, BAUTISTA MARTIN, Miguel Angel
• Format: Patent
• Language: English; French
• Published: 12.08.2021
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

The subject technology provides a framework for learning neural scene representations directly from images, without three-dimensional (3D) supervision, by a machine-learning model. In the disclosed systems and methods, 3D structure can be imposed by ensuring that the learned representation transforms like a real 3D scene. For example, a loss function can be provided which enforces equivariance of the scene representation with respect to 3D rotations. Because naive tensor rotations may not be used to define models that are equivariant with respect to 3D rotations, a new operation called an invertible shear rotation is disclosed, which has the desired equivariance property. In some implementations, the model can be used to generate a 3D representation, such as mesh, of an object from an image of the object. La technologie selon l'invention fournit un cadre d'apprentissage de représentations de scène neuronale directement à partir d'images, sans supervision tridimensionnelle (3D), par un modèle d'apprentissage automatique. Dans les systèmes et les procédés révélés par l'invention, une structure 3D peut être imposée en garantissant que la représentation apprise se transforme comme une scène 3D réelle. Par exemple, une fonction de perte peut être prévue, laquelle applique une équivariance à la représentation de scène par rapport à des rotations 3D. Étant donné que les rotations tensorielles élémentaires ne peuvent pas être utilisées pour définir des modèles qui sont équivariants par rapport à des rotations 3D, l'invention révèle une nouvelle opération appelée rotation de cisaillement réversible, qui a la propriété d'équivariance souhaitée. Selon certains modes de réalisation, le modèle peut être utilisé pour générer une représentation 3D, telle qu'un maillage, d'un objet à partir d'une image de l'objet.