FACIAL EXPRESSION AND/OR INTERACTION DRIVEN AVATAR APPARATUS AND METHOD

• Main Authors: PARK, MINJE, DUCHENNE, OLIVIER, CHEON, YEONGJAE, RYU, WOOJU, WANG, TAO, LI, QIANG, SMILEY, MARY D, DU, YANGZHOU, ZHANG, YIMIN, LI, WENLONG, KIM, TAE-HOON, JUN, BONGJIN, SACHSON, THOMAS, TONG, XIAOFENG
• Format: Patent
• Language: English; French
• Published: 24.09.2015
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

Apparatuses, methods and storage medium associated with animating and rendering an avatar are disclosed herein. In embodiments, an apparatus may include a facial mesh tracker to receive a plurality of image frames, detect facial action movements of a face and head pose gestures of a head within the plurality of image frames, and output a plurality of facial motion parameters and head pose parameters that depict facial action movements and head pose gestures detected, all in real time, for animation and rendering of an avatar. The facial action movements and head pose gestures may be detected through inter-frame differences for a mouth and an eye, or the head, based on pixel sampling of the image frames. The facial action movements may include opening or closing of a mouth, and blinking of an eye. The head pose gestures may include head rotation such as pitch, yaw, roll, and head movement along horizontal and vertical direction, and the head comes closer or goes farther from the camera. Other embodiments may be described and/or claimed. La présente invention concerne des appareils, des procédés et un support de stockage associés à l'animation et au rendu d'un avatar. Dans des modes de réalisation, un appareil peut comprendre un dispositif de poursuite à maillage facial pour recevoir une pluralité de trames d'image, détecter des mouvements d'action faciale d'un visage et des gestes de posture de la tête d'une tête dans la pluralité de trames d'image, et transmettre en sortie une pluralité de paramètres de mouvement facial et de paramètres de posture de tête qui décrivent les mouvements d'action faciale et les gestes de posture de la tête détectés, tout cela en temps réel, pour l'animation et le rendu d'un avatar. Les mouvements d'action faciale et les gestes de posture de la tête peuvent être détectés par l'intermédiaire de différences inter-trames pour une bouche et un œil, ou la tête, sur la base d'un échantillonnage de pixels des trames d'image. Les mouvements d'action faciale peuvent comprendre l'ouverture ou la fermeture d'une bouche, et le clignement d'un œil. Les gestes de posture de la tête peuvent comprendre une rotation de la tête telle qu'un mouvement de tangage, d'oscillation, de roulement, et un mouvement de la tête le long de la direction horizontale et verticale, et la tête se rapprochant ou s'éloignant de la caméra. D'autres modes de réalisation peuvent être décrits et/ou revendiqués.