基于BERT-BiGRU-Attention的在线健康社区用户意图识别方法

TP391; 针对传统用户意图识别主要使用基于模板匹配或人工特征集合方法导致成本高、扩展性低的问题,提出了一种基于BERT词向量和BiGRU-Attention的混合神经网络意图识别模型.首先使用BERT预训练的词向量作为输入,通过BiGRU对问句进行特征提取,再引入Attention机制提取对句子含义有重要影响力的词的信息以及分配相应的权重,获得融合了词级权重的句子向量,并输入到softmax分类器,实现意图分类.爬取语料实验结果表明,BERT-BiGRU-Attention方法性能均优于传统的模板匹配、SVM和目前效果较好的CNN-LSTM深度学习组合模型.提出的新方法能有效提升意图识别模...

Full description

Saved in:
Bibliographic Details
Published in河北科技大学学报 Vol. 41; no. 3; pp. 225 - 232
Main Authors 迟海洋, 严馨, 周枫, 徐广义, 张磊
Format Journal Article
LanguageChinese
Published 昆明理工大学云南省人工智能重点实验室,云南昆明 650500%云南南天电子信息产业股份有限公司,云南昆明,650040 2020
昆明理工大学信息工程与自动化学院,云南昆明 650500
Subjects
BiGRU
意图识别
Attention机制
在线健康社区
自然语言处理
BERT词向量
Online AccessGet full text
ISSN1008-1542
DOI10.7535/hbkd.2020yx03004

Cover

More Information
Summary:TP391; 针对传统用户意图识别主要使用基于模板匹配或人工特征集合方法导致成本高、扩展性低的问题,提出了一种基于BERT词向量和BiGRU-Attention的混合神经网络意图识别模型.首先使用BERT预训练的词向量作为输入,通过BiGRU对问句进行特征提取,再引入Attention机制提取对句子含义有重要影响力的词的信息以及分配相应的权重,获得融合了词级权重的句子向量,并输入到softmax分类器,实现意图分类.爬取语料实验结果表明,BERT-BiGRU-Attention方法性能均优于传统的模板匹配、SVM和目前效果较好的CNN-LSTM深度学习组合模型.提出的新方法能有效提升意图识别模型的性能,提高在线健康信息服务质量、为在线健康社区问答系统提供技术支撑.
ISSN:1008-1542
DOI:10.7535/hbkd.2020yx03004