인게이지먼트값 처리 시스템 및 인게이지먼트값 처리 장치

• Main Authors: OKAZAKI MIKIO, HIRAIDE RYUICHI, NISHIO SEIICHI, HACHIYA SHOUICHI, MURAYAMA MASAMI
• Format: Patent
• Language: Korean
• Published: 04.03.2019
• Subjects: BROADCAST COMMUNICATION; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; PICTORIAL COMMUNICATION, e.g. TELEVISION

촬상 장치로부터 얻어지는 영상 데이터만을 사용하여, 인게이지먼트값에 추가로 맥박 등의 생체 정보를 동시에 취득할 수 있는 인게이지먼트값 처리 시스템을 제공한다. 촬상 장치가 출력하는 화상 데이터 스트림은 특징점 추출부에 의해 얼굴의 특징점을 나타내는 특징점 데이터가 생성된다. 특징점 데이터로부터 유저의 컨텐츠에 대한 인게이지먼트값을 산출하기 위한 얼굴 방향 벡터와 시선 방향 벡터가 산출된다. 한편, 특징점 데이터는 맥박을 검출할 때의 부분 화상 데이터의 절출과, 유저의 감정 추정에도 이용할 수 있다. 따라서, 촬상 장치로 유저를 촬영하는 것만으로 컨텐츠를 시청하는 유저의 컨텐츠에 대한 인게이지먼트값과, 맥박과, 감정을 동시에 취득할 수 있다. An engagement value processing system is provided which can simultaneously acquire biological information such as a pulse in addition to an engagement value by using only video data obtained from an imaging apparatus. In an image data stream outputted by the imaging apparatus, feature data indicating features of a face is generated by a feature extraction unit. A face direction vector and a line-of-sight direction vector for calculating an engagement value of a user for a content are calculated from the feature data. On the other hand, the feature data can also be used to cut out partial image data for detecting a pulse and estimate the emotion of the user. Therefore, the engagement value for the content, the pulse, and the emotion of the user viewing the content can be simultaneously acquired simply by capturing the user with the imaging apparatus.