PERCEPTUAL OPTIMIZATION FOR MODEL-BASED VIDEO ENCODING

• Main Authors: TUN, MYO, KOTTKE, DANE, P, WEED, CHRISTOPHER, LEE, NIGEL, PARK, SANGSEOK, LEE, JEYUN
• Format: Patent
• Language: English; French
• Published: 17.03.2016
• Subjects: ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; PICTORIAL COMMUNICATION, e.g. TELEVISION

Perceptual statistics may be used to compute importance maps that indicate which regions of a video frame are important to the human visual system. Importance maps may be applied to the video encoding process to enhance the quality of encoded bitstreams. The temporal contrast sensitivity function (TCSF) may be computed from the encoder's motion vectors. Motion vector quality metrics may be used to construct a true motion vector map (TMVM) that can be used to refine the TCSF. Spatial complexity maps (SCMs) can be calculated from metrics such as block variance, block luminance, SSIM, and edge strength, and the SCMs can be combined with the TCSF to obtain a unified importance map. Importance maps may be used to improve encoding by modifying the criterion for selecting optimum encoding solutions or by modifying the quantization for each target block to be encoded. Selon la présente invention, des statistiques de perception peuvent être utilisées pour calculer des cartes d'importance indiquant les régions d'une image vidéo qui sont importantes pour le système visuel humain. Les cartes d'importance peuvent être appliquées au processus de codage vidéo afin d'améliorer la qualité des trains de bits codés. La fonction de sensibilité au contraste temporelle (TCSF) peut être calculée à partir des vecteurs de mouvement du codeur. Des mesures de la qualité des vecteurs de mouvement peuvent être utilisées pour construire une carte de vecteurs de mouvement vrai (TMVM) qui peut servir à affiner la TCSF. Des cartes de complexité spatiale (SCM) peuvent être calculées à partir de mesures, telles que la variance de bloc, la luminance de bloc, la SSIM et la résistance de bord, et les SCM peuvent être combinées avec la TCSF pour obtenir une carte d'importance unifiée. Les cartes d'importance peuvent être utilisées pour améliorer le codage grâce à la modification du critère de sélection de solutions de codage optimales, ou grâce à la modification de la quantification pour chaque bloc cible à coder.