DEPTH SUPERRESOLUTION DEVICE, DEPTH SUPERRESOLUTION METHOD, AND PROGRAM

• Main Authors: SAGATA, Atsushi, KURATA, Kana, YAO, Yasuhiro, NIIGAKI, Hitoshi, ANDO, Shingo
• Format: Patent
• Language: English; French; Japanese
• Published: 06.08.2020
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

It is possible to generate dense depth information using only a monocular image and sparse depth information.　A depth superresolution device 100 comprises: an input data processing unit 22 for converting the resolutions of an input image and input depth information in accordance with a predetermined number of levels and thereby outputting a hierarchical input image and hierarchical input depth information; a depth contiguity estimation unit 24 for deriving hierarchical estimated depth contiguity on the basis of the hierarchical input image; a depth contiguity mask derivation unit 26 for outputting a hierarchical depth contiguity mask that represents the value of each position that corresponds to whether or not the depth is contiguous on the basis of the hierarchical input image and hierarchical estimated depth contiguity; and a cost function minimization unit 30 for deriving superresolution depth information so as to minimize a cost function represented using the hierarchical input depth information, the hierarchical depth contiguity mask, and the superresolution depth information. Il est possible de générer des informations de profondeur dense à l'aide uniquement d'une image monoculaire et d'informations de profondeur clairsemée.　Un dispositif de super-résolution de profondeur 100 comprend : une unité de traitement de données d'entrée 22 pour convertir les résolutions d'une image d'entrée et d'informations de profondeur d'entrée en fonction d'un nombre prédéterminé de niveaux et délivrer ainsi en sortie une image d'entrée hiérarchique et des informations de profondeur d'entrée hiérarchique ; une unité d'estimation de contiguïté de profondeur 24 pour dériver une contiguïté de profondeur estimée hiérarchique sur la base de l'image d'entrée hiérarchique ; une unité de dérivation de masque de contiguïté de profondeur 26 pour délivrer en sortie un masque de contiguïté de profondeur hiérarchique qui représente la valeur de chaque position qui correspond à la contiguïté ou non de la profondeur sur la base de l'image d'entrée hiérarchique et de la contiguïté de profondeur estimée hiérarchique ; et une unité de minimisation de fonction de coût 30 pour dériver des informations de profondeur de super-résolution de façon à minimiser une fonction de coût représentée à l'aide des informations de profondeur d'entrée hiérarchique, du masque de contiguïté de profondeur hiérarchique et des informations de profondeur de super-résolution. 単眼画像と疎な深度情報のみを用いて密な深度情報を生成することができる。　深度超解像装置１００は、入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力する入力データ処理部２２と、前記階層的入力画像に基づいて階層的推定深度連続性を導出する深度連続性推定部２４と、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力する深度連続性マスク導出部２６と、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出するコスト関数最小化部３０と、を備える。