DSLR depth-of-field refinement Bokeh image SYSTEM AND METHOD FOR GENERATING BOKEH IMAGE FOR DSLR QUALITY DEPTH-OF-FIELD RENDERING AND REFINEMENT AND TRAINING METHOD FOR THE SAME

• Main Authors: LUO CHENCHI, YOO YOUNG JUN, LI YINGMAO, LIN KAIMO
• Format: Patent
• Language: English; Korean
• Published: 04.02.2022
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

The present invention relates to a system and method for generating a bokeh image for digital single-lens reflex (DSLR) quality depth-of-field (DoF) rendering and refinement to increase the aesthetic quality of images. According to the present invention, the method comprises the following steps: using at least one processor of an electronic device to process a plurality of reference images of a scene with a first convolutional neural network (CNN) so that a confidence map and a disparity map are generated; using a DoF renderer to generate an initial bokeh image on the basis of the disparity map and the reference images; and refining the initial bokeh image with a second CNN to generate a refined bokeh image, wherein the second CNN uses the confidence map, the disparity map, and the reference images to generate the refined bokeh image. 디지털 일안 반사식 (digital single-lens reflex: DSLR) 품질 피사계 심도(depth-of-field) 렌더링 및 정제(refinement)를 위한 보케 이미지(Bokeh image)를 생성하는 시스템 및 방법에 관한 것이다. 방법은, 전자 장치의 적어도 하나의 프로세서를 이용하여, 신뢰도 맵(confidence map) 및 시차 맵(disparity map)을 생성하기 위해 제1 컨볼루션 신경망(convolutional neural network: CNN)을 이용하여 장면의 다수의 기준 이미지들(reference images)을 처리하는 단계를 포함할 수 있다. 피사계 심도(depth-of-field: DoF) 렌더러(renderer)를 이용하여 상기 시차 맵 및 상기 기준 이미지들에 기초하여 초기 보케 이미지를 생성하는 단계를 포함할 수 있다. 방법은 또한, 정제된(refined) 보케 이미지를 생성하기 위해 제2 CNN을 이용하여 상기 초기 보케 이미지를 정제하되, 상기 제2 CNN은 상기 정제된 보케 이미지를 생성하기 위해 상기 신뢰도 맵, 상기 시차 맵, 및 상기 기준 이미지들을 이용하는 단계를 더 포함할 수 있다.