基于时域卷积网络的中文句子级唇语识别算法

TP391.4; 针对现有中文句子级唇语识别技术存在的视觉歧义、特征提取不充分导致识别准确率偏低的问题,提出了 一种基于时域卷积网络,采用三维时空卷积的中文句子级唇语识别算法——3DT-CHLipNet(Chinese LipNet based on 3 DCNN,TCN).首先,针对特征提取不充分的问题,所提算法采用了比长短期记忆网络(LSTM)感受野更大的时域卷积网络(temporal convolutional network,TCN)来提取长时依赖信息;其次,针对中文唇语识别中存在的"同型异义"视觉歧义问题,将自注意力机制应用于中文句子级唇语识别,以更好地捕获上下文...

Full description

Saved in:
Bibliographic Details
Published in计算机应用研究 Vol. 40; no. 9; pp. 2596 - 2602
Main Authors 刘培培, 贾静平
Format Journal Article
LanguageChinese
Published 华北电力大学 控制与计算机工程学院,北京102206 2023
Subjects
时域卷积网络
中文唇语识别
注意力机制
Chinese lip recognition
deep learning
attention mechanism
深度学习
temporal convolutional network
Online AccessGet full text

Cover

More Information
Summary:TP391.4; 针对现有中文句子级唇语识别技术存在的视觉歧义、特征提取不充分导致识别准确率偏低的问题,提出了 一种基于时域卷积网络,采用三维时空卷积的中文句子级唇语识别算法——3DT-CHLipNet(Chinese LipNet based on 3 DCNN,TCN).首先,针对特征提取不充分的问题,所提算法采用了比长短期记忆网络(LSTM)感受野更大的时域卷积网络(temporal convolutional network,TCN)来提取长时依赖信息;其次,针对中文唇语识别中存在的"同型异义"视觉歧义问题,将自注意力机制应用于中文句子级唇语识别,以更好地捕获上下文信息,提升了句子预测准确率;最后,在数据预处理方面引入了时间掩蔽数据增强策略,进一步降低了算法模型的错误率.在最大的开源汉语普通话句子级数据集CMLR上的实验测试表明,与现有中文句子级唇语识别代表性算法相比,所提算法的识别准确率提高了 2.17％至23.99％.
ISSN:1001-3695
DOI:10.19734/j.issn.1001-3695.2023.02.0051