基于对抗正则化的自然语言推理

目前自然语言推理(Natural language inference,NLI)模型存在严重依赖词信息进行推理的现象.虽然词相关的判别信息在推理中占有重要的地位,但是推理模型更应该去关注连续文本的内在含义和语言的表达,通过整体把握句子含义进行推理,而不是仅仅根据个别词之间的对立或相似关系进行浅层推理.另外,传统有监督学习方法使得模型过分依赖于训练集的语言先验,而缺乏对语言逻辑的理解.为了显式地强调句子序列编码学习的重要性,并降低语言偏置的影响,本文提出一种基于对抗正则化的自然语言推理方法.该方法首先引入一个基于词编码的推理模型,该模型以标准推理模型中的词编码作为输入,并且只有利用语言偏置才能推...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 45; no. 8; pp. 1455 - 1463
Main Authors 刘广灿, 曹宇, 许家铭, 徐波
Format Journal Article
LanguageChinese
Published 哈尔滨理工大学自动化学院 哈尔滨150080 01.08.2019
中国科学院脑科学与智能技术卓越创新中心 上海200031
中国科学院自动化研究所 北京100190%哈尔滨理工大学自动化学院 哈尔滨150080%中国科学院自动化研究所 北京100190%中国科学院自动化研究所 北京100190
Subjects
自然语言推理
语言偏置
对抗正则化
深度学习
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c190076

Cover

More Information
Summary:目前自然语言推理(Natural language inference,NLI)模型存在严重依赖词信息进行推理的现象.虽然词相关的判别信息在推理中占有重要的地位,但是推理模型更应该去关注连续文本的内在含义和语言的表达,通过整体把握句子含义进行推理,而不是仅仅根据个别词之间的对立或相似关系进行浅层推理.另外,传统有监督学习方法使得模型过分依赖于训练集的语言先验,而缺乏对语言逻辑的理解.为了显式地强调句子序列编码学习的重要性,并降低语言偏置的影响,本文提出一种基于对抗正则化的自然语言推理方法.该方法首先引入一个基于词编码的推理模型,该模型以标准推理模型中的词编码作为输入,并且只有利用语言偏置才能推理成功;再通过两个模型间的对抗训练,避免标准推理模型过多依赖语言偏置.在SNLI和Breaking-NLI两个公开的标准数据集上进行实验,该方法在SNLI数据集已有的基于句子嵌入的推理模型中达到最佳性能,在测试集上取得了87.60％的准确率;并且在Breaking-NLI数据集上也取得了目前公开的最佳结果.
ISSN:0254-4156
DOI:10.16383/j.aas.c190076