DEVICE AND METHOD FOR RECOGNIZING ACTIVITY IN SPORTS VIDEO BY USING CGAM

• Main Authors: RYU, Kwanghyun, LEE, Soowon
• Format: Patent
• Language: English; French; Korean
• Published: 22.06.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; PHYSICS

The present invention relates to a device and a method for recognizing an activity in a sports video by using a CGAM. The device for recognizing an activity in a sports video by using a CGAM according to the present invention comprises: an object feature extraction unit for extracting an object feature value by multiplication of a first feature value and a second feature value, wherein the first feature value is output by sequentially inputting, into multiple convolution blocks and spatial attention modules (CBAMs) each being disposed between the convolution blocks, frames, the importance of which is divided in a temporal attention module (TAM) in which a video to be analyzed is input in units of frames and the importance among the frames is divided, and the second feature value is output by the CGAM which generates an object representation by compressing different pieces of object information output from each of the spatial attention modules; and an activity feature extraction unit for sequentially inputting the extracted object feature value into a recurrent neural network (RNN) and a fully-connected (FC) layer, and classifying a final activity from a probability value for each activity, estimated using a sigmoid function. La présente invention concerne un dispositif et un procédé permettant de reconnaître une activité dans une vidéo de sport à l'aide d'un CGAM. Le dispositif de reconnaissance d'une activité dans une vidéo de sport à l'aide d'un CGAM selon la présente invention comprend : une unité d'extraction de caractéristique d'objet pour extraire une valeur de caractéristique d'objet par multiplication d'une première valeur de caractéristique et d'une seconde valeur de caractéristique, la première valeur de caractéristique étant délivrée par entrée séquentielle, en de multiples blocs de convolution et de modules d'attention spatiale (CBAM) dont chacun est disposé entre les blocs de convolution, des trames dont l'importance est divisée dans un module d'attention temporelle (TAM) dans lequel une vidéo à analyser est entrée dans des unités de trames et l'importance entre les trames est divisée, et la seconde valeur de caractéristique est délivrée par le CGAM qui génère une représentation d'objet par compression de différents éléments d'informations d'objet délivrés en sortie à partir de chacun des modules d'attention spatiale ; et une unité d'extraction de caractéristique d'activité pour entrer séquentiellement la valeur de caractéristique d'objet extraite dans un réseau de neurones récurrents (RNN) et une couche entièrement connectée (FC), et à classifier une activité finale à partir d'une valeur de probabilité pour chaque activité, estimée à l'aide d'une fonction sigmoïde. 본 발명은 CGAM을 이용한 스포츠 동영상 내 활동 인식 장치 및 그 방법에 대한 것이다. 본 발명에 따른 CGAM을 이용한 스포츠 동영상 내 활동 인식 장치는 분석하고자 하는 동영상을 프레임 단위로 입력받아 프레임 간 중요도를 구분하는 시간적 주의 집중 모듈(TAM)에서 중요도가 구분된 프레임들이 다수의 컨볼루션 블록과, 컨볼루션 블록 사이마다 배치되는 각각의 공간적 주의 집중 모듈(CBAM)에 순차적으로 입력되어 출력되는 제1 특징 값과, 상기 각각의 공간적 주의 집중 모듈에서 각각 출력되는 상이한 객체 정보를 압축하여 객체 표현을 생성하는 CGAM에 의해 출력되는 제2 특징 값의 곱에 의해 객체 특징 값을 추출하는 객체 특징 추출부; 및 상기 추출된 객체 특징 값을 순환 신경망(RNN)과 FC(Fully-Connected) Layer에 순차적으로 입력하고 시그모이드 함수를 이용하여 추정되는 각 활동 별 확률 값으로부터 최종 활동을 분류하는 활동 특징 추출부를 포함한다.