基于多特征融合时差网络的带式输送机区域违规行为识别

TD634; 现有的煤矿井下带式输送机区域违规行为(如攀爬、跨越、倚靠带式输送机等)识别方法对特征提取不充分、难以考虑到行为时间差异,导致违规行为识别准确率不高.针对该问题,基于ResNet50模型,提出了一种基于多特征融合时差网络(MFFTDN)的带式输送机区域违规行为识别方法,将多特征融合和时间差分进行结合,对不同时间段的行为进行多特征融合.首先在原始模型ResNet50的第2和第3阶段引入短期多特征融合(STMFF)模块,将来自多个连续帧的时间和特征拼接在一起,再对融合后的特征进行时间差分计算,即相邻帧的特征差值,以在短期内捕捉局部动作变化.然后在原始模型ResNet50的第4阶段引入长...

Full description

Saved in:
Bibliographic Details
Published in工矿自动化 Vol. 50; no. 7; pp. 115 - 122
Main Authors 马天, 姜梅, 杨嘉怡, 张杰慧, 丁旭涵
Format Journal Article
LanguageChinese
Published 西安科技大学计算机科学与技术学院,陕西西安 710054%西安科技大学安全科学与工程学院,陕西西安 710054 2024
Subjects
长期多特征融合
时间差分
不安全行为
time-difference
recognition of violations
short-term multi-feature fusion
短期多特征融合
违规行为识别
belt conveyor area
long-term multi-feature fusion
带式输送机
unsafe behavior
multi-feature fusion for time difference network
多特征融合时差网络
Online AccessGet full text
ISSN1671-251X
DOI10.13272/j.issn.1671-251x.2023080108

Cover

More Information
Summary:TD634; 现有的煤矿井下带式输送机区域违规行为(如攀爬、跨越、倚靠带式输送机等)识别方法对特征提取不充分、难以考虑到行为时间差异,导致违规行为识别准确率不高.针对该问题,基于ResNet50模型,提出了一种基于多特征融合时差网络(MFFTDN)的带式输送机区域违规行为识别方法,将多特征融合和时间差分进行结合,对不同时间段的行为进行多特征融合.首先在原始模型ResNet50的第2和第3阶段引入短期多特征融合(STMFF)模块,将来自多个连续帧的时间和特征拼接在一起,再对融合后的特征进行时间差分计算,即相邻帧的特征差值,以在短期内捕捉局部动作变化.然后在原始模型ResNet50的第4阶段引入长期多特征融合(LTMFF)模块,将来自连续帧的短期多特征拼接在一起,再对相邻时间点的特征进行时间差分计算,以获取行为的长期多特征.最后将融合后的特征进行分类,输出识别结果.实验结果表明:①该方法的平均精度和准确率较原始模型ResNet50分别提高了 8.18％和8.47％,说明同时引入STMFF和LTMFF模块能够有效提取到不同时间段的多特征信息.②该方法在自建煤矿井下带式输送机区域违规行为数据集上的准确率为89.62％,平均精度为89.30％,模型的参数量为197.2 ×106.③Grad-CAM热力图显示,该方法能够更有效地关注到违规行为的关键区域,精确捕捉到井下带式输送机区域的违规行为.
ISSN:1671-251X
DOI:10.13272/j.issn.1671-251x.2023080108