VIDEO DISPLAY DEVICE, VIDEO PROCESSING SYSTEM, AND VIDEO PROCESSING METHOD

• Main Author: YONEZAWA Kota
• Format: Patent
• Language: English; French; Japanese
• Published: 31.08.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

The present invention relates to a video display device, a video processing system, and a video processing method that make it possible to improve the accuracy of estimation of the position and orientation of a camera that performs photography while using a displayed video as a background. A virtual production system, by using ranging data acquired from a sensor, estimates the position and orientation of a camera that performs photography while using a video as a background, the video being displayed on a video display unit provided with a plurality of pixels at which light sources are disposed and having a light absorbing region where light having prescribed wavelengths is absorbed, the light absorbing region being at least a partial region in the region excluding the light sources of light absorbing pixels, which are at least some pixels among the plurality of pixels. Furthermore, the virtual production system generates video data in which the position of the camera in the photography space is associated with a position in the video, on the basis of the result of estimation of the position and orientation, and outputs the generated video data to the video display unit. The present invention is applicable to virtual production systems. La présente invention concerne un dispositif d'affichage vidéo, un système de traitement vidéo et un procédé de traitement vidéo qui permettent d'améliorer la précision de l'estimation de la position et de l'orientation d'un appareil photo qui effectue une photographie tout en utilisant une vidéo affichée comme arrière-plan. Un système de production virtuelle, en utilisant des données de télémétrie acquises à partir d'un capteur, estime la position et l'orientation d'un appareil photo qui effectue la photographie tout en utilisant une vidéo comme arrière-plan, la vidéo étant affichée sur une unité d'affichage vidéo pourvue d'une pluralité de pixels sur lesquels sont disposées des sources de lumière et ayant une région d'absorption de la lumière où la lumière ayant des longueurs d'onde prescrites est absorbée, la région d'absorption de la lumière étant au moins une région partielle dans la région excluant les sources de lumière des pixels d'absorption de la lumière, qui sont au moins quelques pixels parmi la pluralité de pixels. En outre, le système de production virtuelle génère des données vidéo dans lesquelles la position de la caméra dans l'espace de photographie est associée à une position dans la vidéo, sur la base du résultat de l'estimation de la position et de l'orientation, et transmet les données vidéo générées à l'unité d'affichage vidéo. La présente invention est applicable à des systèmes de production virtuelle. 本技術は、表示される映像を背景として撮影するカメラの位置姿勢の推定精度を向上させることができるようにする映像表示装置、映像処理システム、および映像処理方法に関する。 バーチャルプロダクションシステムは、光源が配置される複数の画素を備え、複数の画素の少なくとも一部の画素である光吸収画素の光源を除く領域の少なくとも一部の領域である光吸収領域が所定の波長の光を吸収する映像表示部に表示される映像を背景に撮影するカメラの位置姿勢を、センサから取得される測距データを用いて推定し、位置姿勢の推定結果に基づいて、撮影空間におけるカメラの位置と映像内の位置とを関係付けた映像データを生成し、生成した映像データを映像表示部に出力する。本技術は、バーチャルプロダクションシステムに適用することができる。