APPARATUS AND METHOD FOR DYNAMIC MULTI-CAMERA RECTIFICATION Using DEPTH CAMERA

• Main Authors: LUO CHENCHI, YOO YOUNG JUN, LI YINGMAO, CHEN GEORGE QIAN
• Format: Patent
• Language: English; Korean
• Published: 14.06.2021
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

The present invention relates to an apparatus for dynamic multi-camera rectification using a depth camera and a method thereof. According to the present invention, the method comprises the following steps: acquiring first and second images of a scene by using first and second image sensors of an electronic device, respectively; acquiring a third image and a first depth map of the scene by using an image depth sensor of the electronic device, wherein the first depth map has a lower resolution than those of the first and second images; removing distortion from the first and second images by using the third image and the first depth map; rectifying the first and second images by using the third image and the first depth map; generating a disparity map by using the first and second images from which the distortion has been removed and rectified; and generating a second depth map by using the disparity map and the first depth map, wherein the second depth map has a higher resolution than that of the first depth map. 방법은 전자 기기의 제1 및 제2이미지 센서들을 이용하여 장면에 대한 제1 및 제2이미지들을 각기 획득하는 단계를 포함한다. 그 방법은 또한, 전자 기기의 이미지 깊이 센서를 이용하여, 장면의 제3이미지 및 제1깊이 맵을 획득하되, 제1깊이 맵은 제1 및 제2이미지들의 해상도보다 낮은 해상도를 가지는 단계를 포함한다. 그 방법은 제3이미지 및 제1깊이 맵을 이용하여 제1 및 제2이미지들의 왜곡을 없애는 단계를 더 포함한다. 그 방법은 제3이미지 및 제1깊이 맵을 이용하여 상기 제1 및 제2이미지들을 조정하는 단계를 또한 포함한다. 그 방법은 왜곡이 제거되고 조정되어 있는 제1 및 제2이미지들을 이용하여 디스패리티 맵을 생성하는 단계를 더 포함한다. 또한, 그 방법은 디스패리티 맵 및 제1깊이 맵을 이용하여 제2깊이 맵을 생성하는 단계를 포함하고, 제2깊이 맵은 제1깊이 맵의 해상도보다 높은 해상도를 가진다.