LEARNING METHOD AND LEARNING APPARATUS FOR TRAINING DEEP LEARNING-BASED GAZE DETECTION MODEL FOR DETECTING GAZE, AND TEST METHOD AND TEST APPARATUS USING SAME

• Main Authors: EGAY, Vladimir Vladimirovich, HWANG, Yoon Jung, LEE, Su Min
• Format: Patent
• Language: English; French; Korean
• Published: 08.02.2024
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

This method for training a deep learning-based gaze detection model comprises the steps of: (a) generating at least one body direction loss by using predicted body direction information and labeled body direction information included in first ground truth information corresponding to a first training image, and training a body FC layer and a body convolutional layer by using the body direction loss; and (b) inputting a first integrated feature map into a head FC layer so that the head FC layer outputs at least one piece of first predicted head direction information in which a direction, in which the front of the head of a second person faces, is predicted by performing FC calculation on the first integrated feature map at least once, generating at least one head direction loss by using the first predicted head direction information and labeled head direction information included in a second ground truth corresponding to a second training image, and training the head FC layer and a head convolutional layer by using the head direction loss. Ce procédé d'entraînement d'un modèle de détection du regard basé sur un apprentissage profond comprend les étapes consistant à : (a) générer au moins une perte de direction de corps à l'aide d'informations prédites de direction de corps et d'informations étiquetées de direction de corps incluses dans des premières informations de réalité de terrain correspondant à une première image d'entraînement, et l'entraînement d'une couche FC de corps et d'une couche de convolution de corps à l'aide de la perte de direction de corps ; et (b) introduire une première carte de caractéristiques intégrées dans une couche FC de tête de sorte que la couche FC de tête délivre en sortie au moins un élément de premières informations prédites de direction de tête dans lesquelles une direction, dans laquelle la face de la tête d'une seconde personne fait face, est prédite en réalisant au moins une fois un calcul FC sur la première carte de caractéristiques intégrées, générer au moins une perte de direction de tête à l'aide des premières informations prédites de direction de tête et des informations étiquetées de direction de tête incluses dans une seconde réalité de terrain correspondant à une seconde image d'entraînement, et entraîner la couche FC de tête et une couche de convolution de tête à l'aide de la perte de direction de tête. 딥러닝 기반의 시선 방향 검출 모델을 학습하는 방법에 있어서, (a) 예측된 바디 디렉션 정보와 제1 학습 이미지에 대응되는 제1 그라운드 트루스 정보에 포함된 라벨링된 바디 디렉션 정보를 이용하여 적어도 하나의 바디 디렉션 로스를 생성하며, 바디 디렉션 로스를 이용하여 바디 FC 레이어 및 바디 컨볼루셔널 레이어를 학습시키는 단계; 및 (b) 제1 통합 피처맵을 헤드 FC 레이어에 입력하여 헤드 FC 레이어로 하여금 제1 통합 피처맵을 적어도 한번 FC 연산하여 제2 사람의 헤드의 정면이 향하는 방향을 예측한 적어도 하나의 제1 예측된 헤드 디렉션 정보를 출력하도록 하며, 제1 예측된 헤드 디렉션 정보와 상기 제2 학습 이미지에 대응되는 제2 그라운드 트루스에 포함된 라벨링된 헤드 디렉션 정보를 이용하여 적어도 하나의 헤드 디렉션 로스를 생성하고, 헤드 디렉션 로스를 이용하여 헤드 FC 레이어 및 상기 헤드 컨볼루셔널 레이어를 학습시키는 단계; 를 포함한다.