SEMANTIC PARSING OF OBJECTS IN VIDEO

• Main Authors: VAQUERO, DANIEL, BROWN, LISA, MARIE, FERIS, ROGERIO, SCHMIDT, HAMPAPUR, ARUN
• Format: Patent
• Language: English; French
• Published: 21.02.2013
• Subjects: CALCULATING; COMPUTING; COUNTING; PHYSICS

The invention provides an improved method to detect semantic attributes of human body in computer vision. In detecting semantic attributes of human body in computer vision, the invention maintains a list of semantic attributes, each of which corresponds to a human body part. A computer module then analyzes segments of a frame of a digital video to detect each semantic attribute by finding a most likely attribute for each segment. A threshold is applied to select candidate segments of the frame for further analysis. The candidate segments of the frame then go through geometric and resolution context analysis by applying the physical structure principles of a human body and by analyzing increasingly higher resolution versions of the image to verify the existence and accuracy of parts and attributes. A computer module computes a resolution context score for a lower resolution version of the image based on a weighted average score computed for a higher resolution version of the image by evaluating appearance features, geometric features, and resolution context features when available on the higher resolution version of the image. Finally, an optimal configuration step is performed via dynamic programming to select an optimal output with both semantic attributes and spatial positions of human body parts on the frame. L'invention porte sur un procédé amélioré pour détecter des attributs sémantiques de corps humain en vision par ordinateur. Dans la détection d'attributs sémantiques de corps humain en vision par ordinateur, l'invention maintient une liste d'attributs sémantiques, qui correspondent chacun à une partie du corps humain. Un module informatique analyse ensuite des segments d'une image d'une vidéo numérique afin de détecter chaque attribut sémantique par obtention d'un attribut le plus probable pour chaque segment. Un seuil est appliqué afin de sélectionner des segments candidats de l'image pour une analyse supplémentaire. Les segments candidats de l'image sont ensuite soumis à une analyse géométrique et de contexte de résolution par application des principes de structure physique d'un corps humain et par analyse de versions à résolution de plus en plus haute de l'image afin de vérifier l'existence et la précision de parties et d'attributs. Un module informatique calcule un score de contexte de résolution pour une version à plus basse résolution de l'image sur la base d'un score moyen pondéré calculé pour une version à plus haute résolution de l'image par évaluation de caractéristiques d'apparence, de caractéristiques géométriques et de caractéristiques de contexte de résolution lorsqu'elles sont disponibles sur la version à plus haute résolution de l'image. Enfin, une étape de configuration optimale est exécutée par l'intermédiaire d'une programmation dynamique afin de sélectionner une sortie optimale comprenant des attributs sémantiques et des positions spatiales de parties du corps humain sur l'image.