TEMPORALLY COHERENT VOLUMETRIC VIDEO

• Main Authors: GREEN, Amir, KEINAN, Shirley, KAGARLITSKY, Vsevolod, BIRNBOIM, Michael, HEKER, Michal, TALMON, Gilad
• Format: Patent
• Language: English; French
• Published: 22.08.2024
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

A method for generating temporally coherent frames in a volumetric video. For a source frame and a target frame, the process comprises: finding a deformation field transforming a source frame into a target frame by: building a texture implicit function for the target frame; training a neural network to generate a deformation field between the source frame and the target frame, with the texture implicit function for the target frame being a texture matching loss for the neural network; and applying the deformation field to the source frame, thereby generating a deformed source frame matching the original target frame. The process is then repeated across frames in the volumetric video, either by going frame-to-frame, with each target frame becoming the source frame for the next target frame, or by deforming the same source frame for all target frames. L'invention concerne un procédé de génération d'images temporellement cohérentes dans une vidéo volumétrique. Pour une image source et une image cible, le procédé consiste à : trouver un champ de déformation transformant une image source en une image cible par : construction d'une fonction implicite de texture pour l'image cible ; formation d'un réseau neuronal pour générer un champ de déformation entre l'image source et l'image cible, la fonction implicite de texture pour l'image cible étant une perte de correspondance de texture pour le réseau neuronal ; et application du champ de déformation à l'image source, générant ainsi une image source déformée correspondant à l'image cible d'origine. Le processus est ensuite répété à travers des images dans la vidéo volumétrique, soit en allant d'image à image, chaque image cible devenant l'image source pour l'image cible suivante, soit en déformant la même image source pour toutes les images cibles.