HUMAN ACTION RECOGNITION SYSTEM AND METHOD USING LIGHTWEIGHT SEMANTIC-GUIDED NEURAL NETWORKS BASED ON SINGLE HEAD ATTENTION

• Main Authors: KIM BYEONG IL, KIM SEON BIN, JUNG CHANHYUK, KO BYOUNG CHUL
• Format: Patent
• Language: English; Korean
• Published: 16.07.2024
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

본 발명은 싱글 헤드와 경량 의미-유도 신경망을 이용한 사람 행동 인식 시스템에 관한 것으로서, 보다 구체적으로는 골격 시퀀스를 입력받아 의미-유도 신경망(Semantic-Guided Neural Networks, SGN)을 이용해 사람 행동을 인식하는 사람 행동 인식 시스템으로서, 상기 골격 시퀀스에서 추출된 입력 특징에 싱글 헤드 어텐션(Single Head Attention, SHA)을 적용해 동일한 프레임에서 관절의 상관관계를 나타내는 조인트-레벨 출력 특징을 생성하는 조인트-레벨 모듈을 포함하는 것을 그 구성상의 특징으로 한다. 또한, 본 발명은 싱글 헤드와 경량 의미-유도 신경망을 이용한 사람 행동 인식 방법에 관한 것으로서, 보다 구체적으로는 골격 시퀀스를 입력받아 의미-유도 신경망을 이용해 사람 행동을 인식하는, 컴퓨터에서 수행되는 사람 행동 인식 방법으로서, 상기 골격 시퀀스에서 추출된 입력 특징에 싱글 헤드 어텐션(SHA)을 적용해 동일한 프레임에서 관절의 상관관계를 나타내는 조인트-레벨 출력 특징을 생성하는 조인트-레벨 모듈을 이용해, 상기 골격 시퀀스로부터 최종 행동 분류를 출력하는 것을 그 구성상의 특징으로 한다. 본 발명에서 제안하고 있는 싱글 헤드와 경량 의미-유도 신경망을 이용한 사람 행동 인식 시스템 및 방법에 따르면, 골격 시퀀스를 입력받아 의미-유도 신경망(SGN)을 이용해 사람 행동을 인식하되, 골격 시퀀스에서 추출된 입력 특징에 싱글 헤드 어텐션(SHA)을 적용해 동일한 프레임에서 관절의 상관관계를 나타내는 조인트-레벨 출력 특징을 생성하는 조인트-레벨 모듈을 포함함으로써, 골격 관절의 공간적 특징 추출을 위해 GCN 대신 단일 SHA를 적용해 매개변수의 개수 및 연산 수를 대폭 줄이면서도 높은 정확도를 달성할 수 있다.