基于骨架的自适应图卷积和LSTM行为识别

TP273; 针对骨架行为识别任务的识别精确度问题,提出了一种自适应图卷积和长短时记忆相结合的模型(AAGC-LSTM).该模型以捕获人体骨架运动的时空共现特征为出发点,提取运动特征时打破以人体自然骨架为固有图卷积邻接矩阵的束缚,利用自适应图卷积与长短时记忆神经网络的结合进行时空共现特征的提取.为了捕获行为识别任务的关键节点信息,嵌入了空间注意力模块,将人体骨架信息以一种动态的方式进行结合,同时将骨骼关节点一级运动信息和骨骼边二级运动信息送入模型组成双流分支并进行融合以提高模型识别的准确率.该模型在NTU RGB+D数据集的Cross Subject和Cross View协议下分别取得了90....

Full description

Saved in:
Bibliographic Details
Published in华东理工大学学报（自然科学版） Vol. 48; no. 6; pp. 816 - 825
Main Authors 冒鑫鑫, 吴胜昔, 咸博龙, 顾幸生
Format Journal Article
LanguageChinese
Published 华东理工大学能源化工过程智能制造教育部重点实验室, 上海 200237 01.12.2022
Subjects
行为识别
注意力机制
长短时记忆神经网络
图卷积
自适应结构
Online AccessGet full text

Cover

More Information
Summary:TP273; 针对骨架行为识别任务的识别精确度问题,提出了一种自适应图卷积和长短时记忆相结合的模型(AAGC-LSTM).该模型以捕获人体骨架运动的时空共现特征为出发点,提取运动特征时打破以人体自然骨架为固有图卷积邻接矩阵的束缚,利用自适应图卷积与长短时记忆神经网络的结合进行时空共现特征的提取.为了捕获行为识别任务的关键节点信息,嵌入了空间注意力模块,将人体骨架信息以一种动态的方式进行结合,同时将骨骼关节点一级运动信息和骨骼边二级运动信息送入模型组成双流分支并进行融合以提高模型识别的准确率.该模型在NTU RGB+D数据集的Cross Subject和Cross View协议下分别取得了90.1％和95.6％的准确率,在North Western数据集上取得了93.6％的准确率,验证了该模型在提取骨架运动时空特征和行为识别任务上的优越性.
ISSN:1006-3080
DOI:10.14135/j.cnki.1006-3080.20210625001