基于持续时空注意力网络的人脸微表情识别

TP391.41; 人脸微表情具有持续时间短,运动幅度小,只发生在面部局部区域的特点,给微表情的准确识别带来了极大的挑战.针对上述问题,提出一种基于持续时空注意力网络(Continuous Spatiotemporal Attention Network,CSTN)的人脸微表情识别算法.该算法由主、副两个通道组成,主通道为持续时空注意力模块,副通道为位置校准模块.首先主通道进行离散采样,等间隔抽取原始视频帧组成一个新的视频序列,利用帧间差分法提取各帧之间的运动差异,再将其输入到持续时空网络,提取面部肌肉运动的时空特征;其次利用副通道提取的面部位置信息对主通道信息进行位置校准,最后将融合信息输入...

Full description

Saved in:
Bibliographic Details
Published in南昌大学学报（理科版） Vol. 47; no. 1; pp. 95 - 102
Main Authors 叶天祺, 曾张帆
Format Journal Article
LanguageChinese
Published 湖北大学计算机与信息工程学院,武汉 430062%湖北大学计算机与信息工程学院,武汉 430062 2023
湖北省教育信息化工程技术研究中心,武汉 430062
Subjects
位置校准
长短期记忆网络
持续时空注意力网络
微表情识别
帧间差分法
Online AccessGet full text
ISSN1006-0464
DOI10.3969/j.issn.1006-0464.2023.01.014

Cover

More Information
Summary:TP391.41; 人脸微表情具有持续时间短,运动幅度小,只发生在面部局部区域的特点,给微表情的准确识别带来了极大的挑战.针对上述问题,提出一种基于持续时空注意力网络(Continuous Spatiotemporal Attention Network,CSTN)的人脸微表情识别算法.该算法由主、副两个通道组成,主通道为持续时空注意力模块,副通道为位置校准模块.首先主通道进行离散采样,等间隔抽取原始视频帧组成一个新的视频序列,利用帧间差分法提取各帧之间的运动差异,再将其输入到持续时空网络,提取面部肌肉运动的时空特征;其次利用副通道提取的面部位置信息对主通道信息进行位置校准,最后将融合信息输入到Softmax分类器对微表情进行分类.实验表明在3个公开微表情数据集CASMEⅡ,SAMM,MMEW上该算法识别的平均准确度分别达到了89.96％,86.73％,89.76％,优于现有其他算法.
ISSN:1006-0464
DOI:10.3969/j.issn.1006-0464.2023.01.014