融合上下文的残差门卷积实体抽取

基于传统卷积框架的实体抽取方法,由于受到卷积感受野大小的控制,当前词与上下文的关联程度有限,对实体词在整个句子中的语义欠考虑,识别效果不佳.针对这一问题,提出一种基于残差门卷积的实体识别方法,利用膨胀卷积和带残差的门控线性单元,从多个时序维度同步考虑词间的语义关联,借助门控单元调整流向下一层神经元的信息量,缓解跨层传播的梯度消失问题,同时结合注意力机制捕捉词间的相关语义.在公开命名实体识别数据集和专业领域数据集上运行结果表明,与传统的实体抽取框架相比,基于残差门卷积命名实体算法的速度和精度都有较强的竞争优势,体现出算法的优越性和强鲁棒性....

Full description

Saved in:
Bibliographic Details
Published in北京大学学报（自然科学版） Vol. 58; no. 1; pp. 69 - 76
Main Authors 苏丰龙, 孙承哲, 景宁
Format Journal Article
LanguageChinese
Published 国防科技大学电子科学学院, 长沙 410073 20.01.2022
Subjects
实体抽取;残差门卷积;梯度消失;注意力机制
Online AccessGet full text
ISSN0479-8023
DOI10.13209/j.0479-8023.2021.102

Cover

More Information
Summary:基于传统卷积框架的实体抽取方法,由于受到卷积感受野大小的控制,当前词与上下文的关联程度有限,对实体词在整个句子中的语义欠考虑,识别效果不佳.针对这一问题,提出一种基于残差门卷积的实体识别方法,利用膨胀卷积和带残差的门控线性单元,从多个时序维度同步考虑词间的语义关联,借助门控单元调整流向下一层神经元的信息量,缓解跨层传播的梯度消失问题,同时结合注意力机制捕捉词间的相关语义.在公开命名实体识别数据集和专业领域数据集上运行结果表明,与传统的实体抽取框架相比,基于残差门卷积命名实体算法的速度和精度都有较强的竞争优势,体现出算法的优越性和强鲁棒性.
ISSN:0479-8023
DOI:10.13209/j.0479-8023.2021.102