LEARNED VIDEO COMPRESSION FRAMEWORK FOR MULTIPLE MACHINE TASKS

• Main Authors: BEGAINT, Jean, RACAPE, Fabien, PUSHPARAJA, Akshay, HEWA GAMAGE, Lahiru Dulanjana
• Format: Patent
• Language: English; French
• Published: 12.05.2022
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

Processing of a compressed representation of a video signal is optimized for multiple tasks, such as object detection, viewing of displayed video, or other machine tasks. In one embodiment, multiple analysis stages and a single synthesis is performed as part of a coding/decoding operation with training of an encoder side analysis and, optionally, a corresponding machine task. In another embodiment, multiple synthesis operations are performed on the decoding side, so that respective analysis, synthesis, and task stages are optimized. Other embodiments comprise feeding decoded feature maps to tasks, predictive coding, and using hyperprior-based models. Le traitement d'une représentation compressée d'un signal vidéo est optimisé pour de multiples tâches, telles que la détection d'objet, la visualisation de vidéo affichée ou d'autres tâches automatiques. Dans un mode de réalisation, de multiples étapes d'analyse et une seule synthèse sont réalisées dans le cadre d'une opération de codage/décodage avec apprentissage d'une analyse côté codeur et, facultativement, d'une tâche automatique correspondante. Dans un autre mode de réalisation, de multiples opérations de synthèse sont effectuées du côté décodage, de telle sorte que l'analyse, la synthèse et les étapes de tâche respectives sont optimisées. D'autres modes de réalisation comprennent la fourniture de cartes de caractéristiques décodées à des tâches, le codage prédictif et l'utilisation de modèles hyper-antérieurs.