FLOW-ALIGNED SPATIALLY-ADAPTIVE CONVOLUTION

• Main Authors: MAGGIONI, Matteo, LEONARDIS, Ales, TANAY, Thomas
• Format: Patent
• Language: English; French
• Published: 19.05.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

The present disclosure provides an image processing apparatus for mitigating the effects of image degradation, the image processing apparatus comprising one or more processors configured to: receive two or more images depicting at least a portion of a common subject; calculate at least one optical offset between the two or more images;extract, from each of the two or more images, one or more feature representations, each of which represents tensor data based on the two or more images; extract, from the one or more feature representations, a plurality of patches, which represent one or more characteristics of the two or more images; generate, for each of the plurality of patches, a warp corrected patch by applying a warping operation, the warping operation being based on the calculated at least one optical offset between the two or more images; generate, for each of the plurality of patches, a plurality of kernels based on each warp corrected patch; correct, for each of the warp corrected patches, distortions of the characteristics of the two or more images based on the plurality of kernels; generate, for each of the warp corrected patches, a convolved patch by applying a convolution; and combine each of the convolved patches into an output feature representation. This provides the ability to account for motion in the scene when combining images, adaptively process and aggregate corresponding regions in different image frames and maximize restoration quality at the end of the image processing pipeline. La présente invention concerne un appareil de traitement d'image destiné à atténuer les effets de dégradation d'image, l'appareil de traitement d'image comprenant un ou plusieurs processeurs configurés pour : recevoir deux images ou plus représentant au moins une partie d'un sujet commun ; calculer au moins un décalage optique entre les deux images ou plus ; extraire, de chacune des deux images ou plus, une ou plusieurs représentations d'attributs, dont chacune représente des données de tenseur basées sur les deux images ou plus ; extraire, de la ou des représentations d'attributs, une pluralité de patchs, qui représentent une ou plusieurs caractéristiques des deux images ou plus ; générer, pour chaque patch de la pluralité de patchs, un patch corrigé par déformation par application d'une opération de déformation, l'opération de déformation étant basée sur le ou les décalages optiques calculés entre les deux images ou plus ; générer, pour chaque patch de la pluralité de patchs, une pluralité de noyaux sur la base de chaque patch corrigé par déformation ; corriger, pour chacun des patchs corrigés par déformation, des distorsions des caractéristiques des deux images ou plus sur la base de la pluralité de noyaux ; générer, pour chacun des patchs corrigés par déformation, un patch convolué par application d'une convolution ; et combiner chacun des patchs convolués en une représentation d'attributs de sortie. Ceci offre la capacité de tenir compte d'un mouvement dans la scène lors de la combinaison d'images, de traiter et d'agréger de manière adaptative des régions correspondantes dans différentes images et de maximiser la qualité de restauration à la fin du pipeline de traitement d'image.