소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3D 사진

• Main Authors: TUCKER RICHARD, KRAININ MICHAEL, LIU CE, KAR ABHISHEK, CHANG HUIWEN, CURLESS BRIAN L, SALESIN DAVID, SARGENT KYLE, FREEMAN WILLIAM T, JAMPANI VARUN, KAESER DOMINIK
• Format: Patent
• Language: Korean
• Published: 14.02.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

방법은 초기 시점을 갖는 이미지에 기초하여 깊이 이미지를 결정하는 단계, 및 깊이 이미지의 깊이 기울기에 반비례하는 가시성 값들을 포함하는 전경 가시성 맵을 결정하는 단계를 포함한다. 방법은 또한 상기 깊이 이미지에 기초하여, 이미지의 픽셀이 시점 조정에 의해 가려지지 않을 가능성을 나타내는 배경 비폐색 마스크를 결정하는 단계를 포함한다. 방법은 추가로, 이미지, 깊이 이미지 및 배경 비폐색 마스크에 기초하여, 복원된 이미지 및 복원된 깊이 이미지를 생성하는 단계를 포함한다. 방법은 깊이 이미지 및 복원된 깊이 이미지 각각에 기초하여, 이미지의 제1 3차원(3D) 표현 및 복원된 이미지의 제2 3D 표현을 생성하는 단계 및 전경 가시성 맵에 기초하여 제1 및 제2 3D 표현을 결합함으로써 조정된 시점을 갖는 수정된 이미지를 생성하는 단계를 추가로 결정한다. A computer-implemented method comprising: determining, for each respective pixel of a plurality of pixels of a depth image, a corresponding depth gradient associated with the respective pixel of the depth image, wherein the depth image corresponds to a monocular image having an initial viewpoint, and wherein each respective pixel of the plurality of pixels of the depth image has a corresponding depth value, determining a foreground visibility map comprising, for each respective pixel of the plurality of pixels of the depth image, a visibility value that is inversely proportional to the corresponding depth gradient associated with the respective pixel of the depth image, generating (i) an inpainted image by inpainting portions of the monocular image based on a background disocclusion mask that indicates, for each respective pixel of the plurality of pixels of the depth image, a disocclusion likelihood that a corresponding pixel of the monocular image will be disoccluded by a change in the initial viewpoint and (ii) an inpainted depth image by inpainting portions of the depth image based on the background disocclusion mask, and generating a modified image having an adjusted viewpoint that is different from the initial viewpoint by combining visual information of the monocular image and the inpainted image in accordance with the depth image, the inpainted depth image, and the foreground visibility map.