APPARATUS AND METHOD FOR MULTI-INPUT IMAGE SIGNAL PROCESSING PIPELINE IMAGE ENHANCEMENT

• Main Authors: HUANG, Hsilin, REN, Haoyu, YOO, Chungkuk
• Format: Patent
• Language: English; French
• Published: 11.05.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

According to one aspect of the present disclosure, an image-enhancement system is provided. The image-enhancement system may include a first and second residual-in-residual dense block (RRDB) component. The first RRDB component may be configured to extract a first set of feature maps from a first image data of a scene captured using a first exposure ratio. The second RRDB component may be configured to extract a second set of feature maps from the second image data of the scene captured using a second exposure ratio. The image-enhancement system may include a matching volume component configured to generate a set of matched volume feature maps based on a feature-matching procedure applied to the first and second set of feature maps. The image-enhancement system may include a stacked hourglass component configured to generate an enhanced output image by inputting the set of matched volume feature maps into a plurality of hourglass convolutional networks. Un aspect de la présente invention concerne un système d'amélioration d'image. Le système d'amélioration d'image peut comprendre un premier et un second composant de bloc dense résiduel-résiduel (RRDB). Le premier composant de RRDB peut être configuré pour extraire un premier ensemble de cartes de caractéristiques à partir d'une première donnée d'image d'une scène capturée à l'aide d'un premier rapport d'exposition. Le second composant de RRDB peut être configuré pour extraire un second ensemble de cartes de caractéristiques à partir des secondes données d'image de la scène capturées à l'aide d'un second rapport d'exposition. Le système d'amélioration d'image peut comprendre un composant de volume d'appariement configuré pour générer un ensemble de cartes de caractéristiques de volume appariées sur la base d'une procédure d'appariement de caractéristiques appliquée au premier et au second ensemble de cartes de caractéristiques. Le système d'amélioration d'image peut comprendre un composant de sablier empilé configuré pour générer une image de sortie améliorée par entrée de l'ensemble de cartes de caractéristiques de volume appariées dans une pluralité de réseaux de convolution en forme de sablier.