METHOD, APPARATUS AND COMPUTER PROGRAM

• Main Authors: CAMERON, Pashmina Jonathan, GRAYSON, Martin Philip, FAIA MARQUES, Rita, JOHNSON, Matthew Alastair, MORRISON, Cecily Peregrine Borgatti, MASSICETI, Daniela, RINTEL, Edward Sean Lloyd
• Format: Patent
• Language: English; French
• Published: 03.08.2023
• Subjects: ACOUSTICS; CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; MUSICAL INSTRUMENTS; PHYSICS; SPEECH ANALYSIS OR SYNTHESIS; SPEECH OR AUDIO CODING OR DECODING; SPEECH OR VOICE PROCESSING; SPEECH RECOGNITION

A computer-implemented method comprising: receiving, from a user device, video data from a user; training a first machine learning model based on the video data to provide a second machine learning model, the second machine learning model being personalized to the user, wherein the second machine learning model is trained to predict movement of the user based on audio data; receiving further audio data from the user; determining predicted movements of the user based on the further audio data and the second machine learning model; using the predicted movements of the user to generate animation of an avatar of the user. Un procédé mis en œuvre par ordinateur comprend : la réception, en provenance d'un dispositif d'utilisateur, de données vidéo provenant d'un utilisateur; l'entraînement d'un premier modèle d'apprentissage automatique sur la base des données vidéo pour fournir un second modèle d'apprentissage automatique, le second modèle d'apprentissage automatique étant personnalisé pour l'utilisateur, le second modèle d'apprentissage automatique étant entraîné pour prédire le mouvement de l'utilisateur sur la base de données audio; la réception d'autres données audio de l'utilisateur; la détermination de mouvements prédits de l'utilisateur sur la base des autres données audio et du second modèle d'apprentissage automatique; l'utilisation des mouvements prédits de l'utilisateur pour générer une animation d'un avatar de l'utilisateur.