FACE ORIENTATION ESTIMATION DEVICE AND METHOD

• Main Author: AIZAWA, Tomoyoshi
• Format: Patent
• Language: English; French; Japanese
• Published: 04.03.2021
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

Provided is a face orientation estimation device that estimates, with respect to a face in image data, the position of a facial organ point and the angle of face orientation in a manner that is temporally stable and that does not reach stability at a false estimation position. The face orientation estimation device is provided with a face detection unit that detects face image data and a face orientation estimation unit that estimates, with respect to the face image data, the position of a facial organ point and the angle of face orientation. When face images detected by the face detection unit are continuous over a plurality of frames, the face orientation estimation unit executes, for each frame, (1) an estimation reference value calculation process for determining an estimation reference value from a global search fitting process, and (2) a tracking process for performing a local search fitting process on the basis of a three-dimensional face model that is a fitting result from a previous frame. The tracking process (2) includes a correction process that uses the estimation reference value. The face orientation estimation unit outputs, for each frame, the position of a facial organ point and the angle of face orientation from the result of the local search fitting process. L'invention concerne un dispositif d'estimation d'orientation de visage qui estime, par rapport à un visage dans des données d'image, la position d'un point d'organe facial et l'angle d'orientation du visage d'une manière qui est temporellement stable et n'atteint pas la stabilité à une position d'estimation incorrecte. Le dispositif d'estimation d'orientation de visage est pourvu d'une unité de détection de visage qui détecte des données d'image de visage, ainsi que d'une unité d'estimation d'orientation de visage qui estime, par rapport aux données d'image de visage, la position d'un point d'organe facial et l'angle d'orientation du visage. Lorsque des images de visages détectées par l'unité de détection de visage sont continues sur une pluralité de trames, l'unité d'estimation d'orientation de visage exécute, pour chaque trame : (1) un processus de calcul de valeur de référence d'estimation permettant de déterminer une valeur de référence d'estimation à partir d'un processus d'ajustement de recherche globale ; et (2) un processus de suivi permettant d'effectuer un processus d'ajustement de recherche local d'après un modèle de visage tridimensionnel qui est un résultat d'ajustement d'une trame précédente. Le processus de suivi (2) comprend un processus de correction qui utilise la valeur de référence d'estimation. L'unité d'estimation d'orientation du visage génère, pour chaque trame, la position d'un point d'organe facial et l'angle d'orientation du visage à partir du résultat du processus d'ajustement de recherche local. 画像データ中の顔に関し、時間的に安定し且つ誤った推定位置で安定してしまうことなく、顔器官点の位置及び顔向きの角度を推定する顔向き推定装置を提供する。当該顔向き推定装置は、顔画像データを検出する顔検出部と、及び、顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部とを備える。顔向き推定部は、顔検出部が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、（１）大局探索フィッティング処理から推定基準値を求める推定基準値算出処理と、（２）前フレームのフィッティング結果である３次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理とを実行する。（２）トラッキング処理は、推定基準値を利用する補正処理を含む。顔向き推定部は、局所探索フィッティング処理の結果からフレーム毎に顔器官点の位置及び顔向きの角度を出力する。