System and Method for Improving Low Light Level Image Using Generative Adversarial Network

• Main Authors: KWON DOKYUNG, KWON JUNSEOK, KIM GUISIK
• Format: Patent
• Language: English; Korean
• Published: 15.07.2020
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

The present invention relates to an apparatus for improving a low light-level image using a generative adversarial network (GAN) to efficiently improve the low light-level image through the GAN, which gradually improves performance while a generator and a determiner are confronted with each other, and a method thereof. According to the present invention, the apparatus comprises: a low light-level image input unit inputting a low light-level image; a low light GAN learning unit including a generator and a determiner to improve a low light-level of the image inputted through the low light-level image input unit, using, as a critic network, the same network structure as that of WGAN-GP in a learning step, additionally using spectrum normalization for stable learning, and applying global-skip connection to improve the brightness of the low light-level image in detail; and a loss function value calculation unit calculating loss function values of adversarial loss, perceptual loss, color loss, and total variation loss to increase correctness when the brightness of the low light-level image is improved in the low-light GAN learning unit. 본 발명은 생성자와 판별자가 서로 대립하며 성능을 점차 개선해 나가는 적대적 생성망(Generative Adversarial Network;GAN)을 이용하여 효율적인 저조도 영상 개선이 가능하도록 한 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법에 관한 것으로, 저조도 영상을 입력하는 저조도 영상 입력부;저조도 영상 입력부를 통하여 입력되는 영상의 저조도 개선을 위하여, 생성자와 판별자를 갖고 학습 단계에서 critic network로 WGAN-GP와 동일한 네트워크 구조를 사용하고, 안정적인 학습을 위해서 스펙트럼 정규화(spectral normalization)를 추가적으로 사용하고, 글로벌 스킵 연결(global-skip connection)을 적용하여 세부적인 저조도 영상 밝기 개선이 이루어지도록 하는 Low-lightGAN 학습부;Low-lightGAN 학습부에서의 저조도 영상 밝기 개선의 정확도를 높이기 위하여 적대적 손실(adversarial loss), 지각 손실(perceptual loss), 칼라 손실(color loss), 전체 변동 손실(Total variation loss)의 손실 함수값 산출을 하는 손실 함수값 산출부;를 포함하는 것이다.