基于Transformer局部信息及语法增强架构的中文拼写纠错方法

针对中文拼写纠错,提出两种新的改进方法.其一,在Transformer注意力机制的基础上,添加高斯分布的偏置矩阵,用于提高模型对局部文本的关注程度,加强对错误文本中错误字词和周边文字的信息提取.其二,使用ON_LSTM模型,对错误文本表现出的特殊语法结构特征进行语法信息提取.实验结果表明,所提出的两种方法均能有效提高准确率和召回率,并且,将两种方法融合后的模型取得最高F1值....

Full description

Saved in:
Bibliographic Details
Published in北京大学学报（自然科学版） Vol. 57; no. 1; pp. 61 - 67
Main Authors 段建勇, 袁阳, 王昊
Format Journal Article
LanguageChinese
Published 北方工业大学信息学院,北京 100043 20.01.2021
Subjects
语法增强
Transformer模型
拼写纠错
局部信息
Online AccessGet full text

Cover

More Information
Summary:针对中文拼写纠错,提出两种新的改进方法.其一,在Transformer注意力机制的基础上,添加高斯分布的偏置矩阵,用于提高模型对局部文本的关注程度,加强对错误文本中错误字词和周边文字的信息提取.其二,使用ON_LSTM模型,对错误文本表现出的特殊语法结构特征进行语法信息提取.实验结果表明,所提出的两种方法均能有效提高准确率和召回率,并且,将两种方法融合后的模型取得最高F1值.
ISSN:0479-8023
DOI:10.13209/j.0479-8023.2020.081