A METHOD AND APPARATUS FOR ENCODING AND RENDERING A 3D SCENE WITH INPAINTING PATCHES

Methods, devices and stream are disclosed for encoding, transporting and decoding a 3D scene prepared to be viewed from the inside of a viewing zone. A central view comprising texture and depth information is encoded by projected points of the 3D scene visible from a central point of view onto an im...

Full description

Saved in:
Bibliographic Details
Main Authors FLEUREAU, Julien, CHUPEAU, Bertrand, THUDOR, Franck
Format Patent
LanguageEnglish
French
Published 17.09.2020
Subjects
CALCULATING
COMPUTING
COUNTING
ELECTRIC COMMUNICATION TECHNIQUE
ELECTRICITY
IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
PHYSICS
PICTORIAL COMMUNICATION, e.g. TELEVISION
Online AccessGet full text

Cover

More Information
Summary:Methods, devices and stream are disclosed for encoding, transporting and decoding a 3D scene prepared to be viewed from the inside of a viewing zone. A central view comprising texture and depth information is encoded by projected points of the 3D scene visible from a central point of view onto an image plane. Patches are generated to encode small parts of the 3D scene not visible from the central point of view. At the rendering, a viewport image is generated for the current point of view. Holes, that is dis-occluded areas, of the viewport are filled using a patch based inpainting algorithm adapted to take the patches, warped according to the rotation and translation between virtual camera used for capturing the patch and the current virtual camera. L'invention concerne des procédés, des dispositifs et un flux pour coder, transporter et décoder une scène 3D préparée pour être vue depuis l'intérieur d'une zone de visualisation. Une vue centrale comprenant des informations de texture et de profondeur est codée par des points projetés de la scène 3D visibles depuis un point de vue central sur un plan d'image. Des pièces sont générées pour coder de petites parties de la scène 3D non visibles depuis le point de vue central. Au niveau du rendu, une image de fenêtre d'affichage est générée pour le point de vue courant. Des trous, qui sont des zones occluses, de la fenêtre d'affichage sont remplis à l'aide d'un algorithme d'inpeinture à base de timbre conçu pour prendre les timbres, gauchi en fonction de la rotation et de la translation entre une caméra virtuelle utilisée pour capturer le timbre et la caméra virtuelle actuelle.
Bibliography:Application Number: WO2020US19582