基于CNN-LSTM双流融合网络的危险行为识别

TP391; 针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型.该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别.在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度(Cross view,CV)精度达到 9...

Full description

Saved in:
Bibliographic Details
Published in数据采集与处理 Vol. 38; no. 1; pp. 132 - 140
Main Authors 高治军, 顾巧瑜, 陈平, 韩忠华
Format Journal Article
LanguageChinese
Published 沈阳建筑大学信息与控制工程学院,沈阳110168%中北大学信息与通信工程学院,太原030051 2023
Subjects
人体骨架
危险行为识别
卷积神经网络
长短时记忆网络
融合实验
Online AccessGet full text

Cover

More Information
Summary:TP391; 针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型.该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别.在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度(Cross view,CV)精度达到 92.5％,平均跨视角(Cross subject,CS)精度为87.9％.所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果.
ISSN:1004-9037
DOI:10.16337/j.1004-9037.2023.01.011