TRIM PASS METADATA PREDICTION IN VIDEO SEQUENCES USING NEURAL NETWORKS

• Main Authors: ROTTI, Shruthi Suresh, CHOUDHURY, Anustup Kumar Atanu, MUSUNURI, Sri Harsha
• Format: Patent
• Language: English; French
• Published: 23.11.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; INFORMATION STORAGE; INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORDCARRIER AND TRANSDUCER; PHYSICS

Methods and systems for generating trim-pass metadata for high dynamic range (HDR) video are described. The trim-pass prediction pipeline includes a feature extraction network followed by a fully connected network which maps extracted features to trim-pass values. In a first architecture, the feature extraction network is based on four cascaded convolutional networks. In a second architecture, the feature extraction network is based on a modified MobileNetV3 neural network. In both architectures, the fully connected network is formed by a set of three linear networks, each set customized to best match its corresponding feature extraction network. L'invention concerne des procédés et des systèmes de génération de métadonnées de passage de compensation pour une vidéo à plage dynamique élevée (HDR). Le pipeline de prédiction de passage de compensation comprend un réseau d'extraction de caractéristiques suivi d'un réseau entièrement connecté qui mappe des caractéristiques extraites à des valeurs de passage de compensation. Dans une première architecture, le réseau d'extraction de caractéristiques est basé sur quatre réseaux convolutifs en cascade. Dans une seconde architecture, le réseau d'extraction de caractéristiques est basé sur un réseau neuronal mobileNetV3 modifié. Dans les deux architectures, le réseau entièrement connecté est formé par un ensemble de trois réseaux linéaires, chaque ensemble étant personnalisé pour correspondre au mieux à son réseau d'extraction de caractéristiques correspondant.