이미지의 다중-프레임 깊이 기반 다중-카메라 재조명

• Main Authors: LE LONG N, ROY DEBOLEENA, SHEIKH HAMID R
• Format: Patent
• Language: Korean
• Published: 24.03.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

방법은 제1 이미지 센서를 사용하여 복수의 제1 이미지를 캡처하고, 제2 이미지 센서를 사용하여 복수의 제2 이미지를 캡처하는 단계를 포함한다. 본 방법은 또한 제1 이미지 및 제2 이미지로부터 쇼트 싱글 뷰, 쇼트 깊이 맵, 롱 싱글 뷰 및 롱 깊이 맵을 생성하는 단계를 포함한다. 본 방법은 또한 쇼트 싱글 뷰, 쇼트 깊이 맵, 롱 싱글 뷰 및 롱 깊이 맵을 사용하여 다중-프레임 깊이 맵을 생성하는 단계를 포함한다. 본 방법은 또한 다중-프레임 깊이 맵 및 조명 조건을 사용하여 이득 맵을 생성하는 단계를 포함하며, 여기서 조명 조건은 이득 맵으로 재조명 효과를 도입한다. 본 방법은 또한 이득 맵을 쇼트 싱글 뷰 및 롱 싱글 뷰에 적용함으로써 재조명된 쇼트 싱글 뷰 및 재조명된 롱 싱글 뷰를 생성하는 단계를 포함한다. 또한, 본 방법은 재조명된 쇼트 싱글 뷰 및 재조명된 롱 싱글 뷰를 융합함으로써 재조명된 이미지를 생성하는 단계를 포함한다. A method includes capturing a plurality of first images using a first image sensor and a plurality of second images using a second image sensor. The method also includes generating a short single view, short depth map, long single view, and long depth map from the first and second images. The method further includes generating a multi-frame depth map using the short single view, short depth map, long single view, and long depth map. The method also includes generating a gain map using the multi-frame depth map and lighting conditions, where the lighting conditions introduce a relighting effect into the gain map. The method further includes generating a relit short single view and a relit long single view by applying the gain map to the short and long single views. In addition, the method includes generating a relit image by fusing the relit short and long single views.