METHOD, SYSTEM AND MEDIUM FOR IDENTIFYING HUMAN BEHAVIOR IN A DIGITAL VIDEO USING CONVOLUTIONAL NEURAL NETWORKS

• Main Authors: DENG, Huawu, AHMED, Walid Mohamed Aly, MOUSAZADEH, Mohammad Hamed
• Format: Patent
• Language: English; French
• Published: 14.10.2021
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

A method, processing system and processor-readable medium for classifying human behavior based on a sequence of frames of a digital video. A 2D convolutional neural network is used to identify key points on a human body, such as human body joints, visible within each frame. An encoded representation of the key points is created for each video frame. The sequence of encoded representations corresponding to the sequence of frames is processed by a 3D CNN trained to identify human behaviors based on key point positions varying over time. L'invention concerne un procédé, un système de traitement et un support lisible par un processeur pour classifier un comportement humain sur la base d'une séquence de trames d'une vidéo numérique. Un réseau de neurones à convolution 2D est utilisé pour identifier des points clés sur un corps humain, tels que des articulations du corps humain, visibles à l'intérieur de chaque trame. Une représentation codée des points clés est créée pour chaque trame vidéo. La séquence de représentations codées correspondant à la séquence de trames est traitée par un CNN 3D entraîné pour identifier des comportements humains sur la base de positions de points clés variant dans le temps.