基于全局覆盖机制与表示学习的生成式知识问答技术

针对现有生成式问答模型中陌生词汇导致答案准确率低下的问题和模式混乱导致的词汇重复问题,本文提出引入知识表示学习结果的方法提高模型识别陌生词汇的能力,提高模型准确率.同时本文提出使用全局覆盖机制以平衡不同模式答案生成的概率,减少由预测模式混乱导致的重复输出问题,提高答案的质量.本文在知识问答模型基础上结合知识表示学习的推理结果,使模型具备模糊回答的能力.在合成数据集和现实世界数据集上的实验证明了本模型能够有效地提高生成答案的质量,能对推理知识进行模糊回答....

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 48; no. 10; pp. 2392 - 2405
Main Authors 刘琼昕, 王亚男, 龙航, 王佳升, 卢士帅
Format Journal Article
LanguageChinese
Published 北京市海量语言信息处理与云计算应用工程技术研究中心 北京100081 2022
北京理工大学计算机学院 北京100081%北京理工大学计算机学院 北京100081
Subjects
覆盖机制
深度学习
知识表示学习
生成式知识问答
自然语言处理
Online AccessGet full text

Cover

More Information
Summary:针对现有生成式问答模型中陌生词汇导致答案准确率低下的问题和模式混乱导致的词汇重复问题,本文提出引入知识表示学习结果的方法提高模型识别陌生词汇的能力,提高模型准确率.同时本文提出使用全局覆盖机制以平衡不同模式答案生成的概率,减少由预测模式混乱导致的重复输出问题,提高答案的质量.本文在知识问答模型基础上结合知识表示学习的推理结果,使模型具备模糊回答的能力.在合成数据集和现实世界数据集上的实验证明了本模型能够有效地提高生成答案的质量,能对推理知识进行模糊回答.
ISSN:0254-4156
1874-1029
DOI:10.16383/j.aas.c190785