Kinect v2에서 얼굴점간 거리 특징에 의한 얼굴표정 인식

• Published in: 정보과학회 컴퓨팅의 실제 논문지 Vol. 24; no. 4; pp. 165 - 171
• Main Authors: 김왕수(Wangsoo Kim), 박경수(Kyoungsoo Park), 홍진표(Jinpyo Hong)
• Format: Journal Article
• Language: Korean
• Published: Korean Institute of Information Scientists and Engineers 2018; 한국정보과학회
• Subjects: 컴퓨터학; 기계학습; facial expression; 감정인식; Action Unit; 얼굴표정; machine learning; emotion recognition
• ISSN: 2383-6318; 2383-6326
• DOI: 10.5626/KTCP.2018.24.4.165

The purpose of this study is to classify any input facial video sequence into the six different emotional states by training the model feeding the extracted features that reflect the geometric characteristics of facial movement related to the basic emotion states. Using Kinect v2 to capture 3D facial video sequences for the subjects, the 17 Animation Units (AnUs) and the 3D positions of face points for each frame have been collected by taking advantage of Kinect SDK. Representing all the Action Units (AUs) related to the basic emotions as 19 distances, input features are described by the difference of the distances from those of average neutral facial expression. We analyze the recognition rates with the five different feature sets. The RBF-SVM classifier with the feature set combining AnU and the horizontal/vertical distance differences shows 74.92% recognition rate. 30명의 한국인을 대상으로 얼굴 표정 비디오 데이터를 수집하고, Action Unit(AU)과 관련된 얼굴 표정 변화의 기하학적 특성을 반영한 feature을 선정, 추출하여 학습시킴으로써 감정 상태를 분류하고자 한다. Kinect 카메라와 SDK를 활용하여 얼굴 비디오를 촬영하고, 6개 기본 감정과 관련된 AU 모두를 19개의 거리로 표현하고, 평균 무표정 얼굴에서의 거리와의 차이를 입력 feature로 삼는다. 그 후 ELM과 RBF-SVM 알고리즘에 대해 다음 5종의 feature set에 대해 인식률을 비교 분석한다: Animation Unit(AnU) 세트, 유클리드 거리 및 수평/수직 거리 변화 2 세트, AnU과 거리 차 2 세트. 실험 결과, Kinect Animation Unit과 수평/수직 거리 조합으로 feature를 선택한 RBF-SVM 분류기에서 74.92%의 인식 정확도를 얻었다.