融合干预与反事实的知识感知型去偏推理模型

TP181; 溯因自然语言推理任务旨在根据给定前提事件和结果事件选择更加合理的假设事件.针对推理过程中由中介变量与混杂变量导致的"逻辑缺陷"与"单句标签泄露"偏差问题,提出一种基于干预与反事实原理推理模型(KDIC).该模型中包含了中介变量调节器、单句假设偏差、外部知识融合三个模块.中介变量调节器由因果图干预与假设对比学习组成.因果图干预旨在基于给定事件构建一个因果图,基于注意力机制和图卷积网络提取中介变量指导深度网络编码,去捕获未观察事件的潜在特征.同时,引入假设对比学习,激励模型主动区分影响假设判断的关键因素并弥补"逻辑缺陷".基...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 18; no. 12; pp. 3288 - 3299
Main Authors 孙圣杰, 马廷淮, 黄凯
Format Journal Article
LanguageChinese
Published 南京信息工程大学 计算机学院,南京 210044%南京信息工程大学 软件学院,南京 210044 01.12.2024
江苏海洋大学 计算机工程学院,江苏 连云港 222005%南京信息工程大学 软件学院,南京 210044
Subjects
自然语言推理
debiased inference
反事实
counterfactual
去偏推理
natural language inference
intervention
干预
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2403018

Cover

More Information
Summary:TP181; 溯因自然语言推理任务旨在根据给定前提事件和结果事件选择更加合理的假设事件.针对推理过程中由中介变量与混杂变量导致的"逻辑缺陷"与"单句标签泄露"偏差问题,提出一种基于干预与反事实原理推理模型(KDIC).该模型中包含了中介变量调节器、单句假设偏差、外部知识融合三个模块.中介变量调节器由因果图干预与假设对比学习组成.因果图干预旨在基于给定事件构建一个因果图,基于注意力机制和图卷积网络提取中介变量指导深度网络编码,去捕获未观察事件的潜在特征.同时,引入假设对比学习,激励模型主动区分影响假设判断的关键因素并弥补"逻辑缺陷".基于反事实问题构建单据假设偏差模块,以主动识别"单句标签泄露"带来的推理偏差,减少模型对假设中某些特定词汇或短语的依赖.采用预训练常识知识图谱编码器ComET引入外部知识,确保模型全面理解观察事件发生的动机和可能结果,增强事件间的整体逻辑性.在αNLI数据集上进行了实验,证明KDIC的推理能力仅次于基于自监督训练得到的Electra-large-discriminator,但KDIC具有更强的鲁棒性以缓解推理过程中的偏差.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2403018