SUPER-RESOLUTION DEPTH MAP GENERATION FOR MULTI-CAMERA OR OTHER ENVIRONMENTS

• Main Authors: LUO CHENCHI, POLLEY MICHAEL OLIVER, YOO YOUNG JUN, VYAS KUSHAL KARDAM, LI YINGMAO, CHEN GEORGE QIAN, SHEIKH HAMID RAHIM
• Format: Patent
• Language: English; Korean
• Published: 15.09.2021
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

In accordance with an embodiment of the present disclosure, a method for generating a super-resolution depth map for a multi-camera or other environments, comprises the steps of: obtaining first and second input image frames related to first and second image planes, respectively, using at least one processor; obtaining a first depth map related to the first input image frame using the processor; and generating a second depth map by performing, one or more times, a step (a) of projecting the first input image frame to the second image plane using the processor to generate a projected image frame using (i) a depth map and (ii) information for identifying transformation from the first image plane to second image plane, and a step (b) of adjusting at least one of the depth map and the information of identifying transformation from the first image plane to the second image plane using the processor. 본 개시의 일 실시예에 의한 방법은, 적어도 하나의 프로세서를 이용하여, 각각 제 1 영상 평면 및 제 2 영상 평면과 관련된 제 1 입력 영상 프레임 및 제 2 입력 영상 프레임을 획득하는 단계; 적어도 하나의 프로세서를 이용하여, 제 1 입력 영상 프레임과 연관된 제 1 뎁스 맵을 획득하는 단계; 및 하기의 단계 (a) 및 (b)를 한 번 이상 수행하여 제 2 뎁스 맵을 생성하는 단계를 포함한다: (a) (i) 뎁스 맵 및 (ii) 제 1 영상 평면으로부터 제 2 영상 평면으로의 변환을 식별하는 정보를 이용하여, 투영된 영상 프레임을 생성하기 위해, 적어도 하나의 프로세서를 이용하여, 제 1 입력 영상 프레임을 제 2 영상 평면에 투영하는 단계; 및 (b) 적어도 하나의 프로세서를 이용하여, 뎁스 맵 및 제 1 영상 평면으로부터 제 2 영상 평면으로의 변환을 식별하는 정보 중 적어도 하나를 조정하는 단계.