基于BERT的汽车生产设备故障领域命名实体识别

TP391; 在汽车生产设备故障领域,中文命名实体识别时实体类别复杂,且传统词向量无法解决一词多义等问题.针对上述问题,文中提出一种基于BERT(Bidirectional Encoder Representations From Transformer)的汽车生产设备故障领域命名实体识别模型.首先,通过BERT预训练模型提取语义信息和句法特征,生成动态词向量.然后,将词向量输入到双向长短期记忆进行双向编码,获得长序列语义特征.最后,通过条件随机场进行序列解码,学习标签之间的依赖关系,得到最优的标签序列.在自建真实汽车生产设备故障领域数据集上进行实验,得到新方法的准确率、召回率和F1 值分别为...

Full description

Saved in:
Bibliographic Details
Published in电子科技 Vol. 36; no. 11; pp. 35 - 55
Main Authors 倪骥, 王宇嘉, 赵博
Format Journal Article
LanguageChinese
Published 上海工程技术大学 电子电气工程学院,上海 201620 2023
Subjects
设备故障
LSTM
conditional random fields
natural language processing
sequence labeling
深度学习
条件随机场
named entity recognition
pre-training model
deep learning
equipment fault
序列标注
自然语言处理
命名实体识别
预训练模型
Online AccessGet full text

Cover

More Information
Summary:TP391; 在汽车生产设备故障领域,中文命名实体识别时实体类别复杂,且传统词向量无法解决一词多义等问题.针对上述问题,文中提出一种基于BERT(Bidirectional Encoder Representations From Transformer)的汽车生产设备故障领域命名实体识别模型.首先,通过BERT预训练模型提取语义信息和句法特征,生成动态词向量.然后,将词向量输入到双向长短期记忆进行双向编码,获得长序列语义特征.最后,通过条件随机场进行序列解码,学习标签之间的依赖关系,得到最优的标签序列.在自建真实汽车生产设备故障领域数据集上进行实验,得到新方法的准确率、召回率和F1 值分别为87.9%、89.6%和88.7%.
ISSN:1007-7820
DOI:10.16180/j.cnki.issn1007-7820.2023.11.006