BEHAVIOR RECOGNITION METHOD USING DEEP LEARNING, AND DEVICE THEREOF

• Main Authors: SHIN, Joong Chol, PARK, Ha Sil, PAIK, Joon Ki, HA, Jin Sol
• Format: Patent
• Language: English; French; Korean
• Published: 27.04.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Disclosed are a behavior recognition method using deep learning, and a device thereof. The behavior recognition method using deep learning may comprise the steps of: sampling a video and generating a video clip composed of the sampled frames; generating a differential image set between the sampled frames; generating a spatiotemporal combined feature map having temporal features and spatial features by applying the sampled frames and the differential image set to a deep learning-based behavior recognition model; and then calculating a bidirectional exponential moving average to adjust weights of the spatiotemporal combined feature map and thereby classify behaviors via late fusion with a temporal saliency map having three-dimensional features of the sampled frames. Sont divulgués un procédé de reconnaissance de comportement utilisant un apprentissage profond, et un dispositif associé. Le procédé de reconnaissance de comportement utilisant un apprentissage profond peut comprendre les étapes suivantes : l'échantillonnage d'une vidéo et la génération d'une séquence vidéo composée des trames échantillonnées ; la génération d'un ensemble d'images différentielles entre les trames échantillonnées ; la génération d'une carte de caractéristiques combinées spatio-temporelles ayant des caractéristiques temporelles et des caractéristiques spatiales par l'application des trames échantillonnées et de l'ensemble d'images différentielles à un modèle de reconnaissance de comportement basé sur un apprentissage profond ; puis le calcul d'une moyenne mobile exponentielle bidirectionnelle pour ajuster les poids de la carte de caractéristiques combinées spatio-temporelles et la classification ainsi des comportements par fusion tardive avec une carte de relief temporel ayant des caractéristiques tridimensionnelles des trames échantillonnées. 딥러닝을 이용한 행동 인식 방법 및 그 장치가 개시된다. 딥러닝을 이용한 행동 행동 인식 방법은, 비디오를 샘플링하여 샘플링된 프레임들로 구성된 비디오 클립을 생성하고, 상기 샘플링된 프레임들간의 차영상 세트를 생성하며, 상기 샘플링된 프레임들과 상기 차영상 세트를 딥러닝 기반 행동 인식 모델에 적용하여 시간적 특징과 공간적 특징을 가지는 시-공간 결합 특징맵을 생성한 후 양방향 지수 이동 평균값을 계산하여 시-공간 결합 특징맵의 가중치를 조정하여 상기 샘플링된 프레임들에 대한 3차원 특징을 가지는 시간적 연관성 중요도 맵과 융합하여 행동을 분류할 수 있다.