OBJECT-BASED PREDICTION OF SCENE TRANSITIONS USING NEURAL NETWORKS

• Main Author: CRESWELL, Antonia Phoebe Nina
• Format: Patent
• Language: English; French
• Published: 11.08.2022
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Methods, computer systems, and apparatus, including computer programs encoded on computer storage media, for predicting scene transitions. A computer system receives an input sequence of images of a scene with each image corresponding to a different time point in an observation time sequence. For each time point, the system processes the corresponding image using a decomposition neural network to generate one or more feature representations. The system processes the feature representations for the time points using an alignment neural network to generate a set of aligned sequences of feature representations. The system further processes the set of aligned sequences of feature representations using a transition neural network to predict, for each of the aligned sequences of feature representations, one or more feature representations that represent predicted features of the object represented by the aligned sequence at one or more successive time points. L'invention concerne des procédés, des systèmes informatiques et un appareil, comprenant des programmes informatiques codés sur des supports de stockage informatiques, permettant de prédire des transitions de scène. Un système informatique reçoit une séquence d'images d'entrée d'une scène, chaque image correspondant à un point temporel différent dans une séquence temporelle d'observation. Pour chaque point temporel, le système traite l'image correspondante à l'aide d'un réseau neuronal de décomposition en vue de générer une ou plusieurs représentations de caractéristiques. Le système traite les représentations de caractéristiques pour les points temporels à l'aide d'un réseau neuronal d'alignement en vue de générer un ensemble de séquences alignées de représentations de caractéristiques. Le système traite en outre l'ensemble de séquences alignées de représentations de caractéristiques à l'aide d'un réseau neuronal de transition pour prédire, pour chacune des séquences alignées de représentations de caractéristiques, une ou plusieurs représentations de caractéristiques qui représentent des caractéristiques prédites de l'objet représenté par la séquence alignée à un ou à plusieurs points temporels successifs.