VIDEO-BASED PHYSIOLOGICAL SENSING INTEGRATED INTO VIRTUAL CONFERENCES

• Main Authors: SUH, Jin A, ROWAN, Kael R, MCDUFF, Daniel J, RIVERA, Javier Hernandez, CZERWINSKI, Mary P
• Format: Patent
• Language: English; French
• Published: 22.12.2022
• Subjects: DIAGNOSIS; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATIONTECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING ORPROCESSING OF MEDICAL OR HEALTHCARE DATA; HUMAN NECESSITIES; HYGIENE; IDENTIFICATION; INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTEDFOR SPECIFIC APPLICATION FIELDS; MEDICAL OR VETERINARY SCIENCE; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION; SURGERY; TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHICCOMMUNICATION

Systems and methods for providing a user characteristic to a service provider for a virtual conference with a user are provided. In particular, a computing device may collect raw media data associated with the user during the virtual conference between the user and the service provider. During the virtual conference, the computing device may perform a first processing of the raw media data to extract intermediate user data, wherein the intermediate user data comprises one or more of a physiological signal and a behavioral signal associated the user. The computing device may further transform the raw media data into transformed media data and transmit the transformed media data with the intermediate user data to a server for second processing of the intermediate user data. L'invention concerne des systèmes et des procédés permettant de fournir une caractéristique d'utilisateur à un fournisseur de services pour une conférence virtuelle avec un utilisateur. En particulier, un dispositif informatique peut collecter des données multimédias brutes associées à l'utilisateur pendant la conférence virtuelle entre l'utilisateur et le fournisseur de services. Pendant la conférence virtuelle, le dispositif informatique peut effectuer un premier traitement des données multimédias brutes pour extraire des données d'utilisateur intermédiaires, les données d'utilisateur intermédiaires comprenant un ou plusieurs éléments parmi un signal physiologique et un signal comportemental associé à l'utilisateur. Le dispositif informatique peut en outre transformer les données multimédias brutes en données multimédias transformées et transmettre les données multimédias transformées avec les données d'utilisateur intermédiaires à un serveur pour un second traitement des données d'utilisateur intermédiaires.