前缀调优的少样本命名实体识别

TP391; 少样本命名实体识别通常使用基于相似性的度量,为了能够充分利用模型参数中的知识转移,提出一种前缀调优的少样本命名实体识别方法(P-NER).将输入文本的特征向量放入嵌入模块进行特征提取;把前缀提示的向量参数拼接到编码层模型的前端,并将编码层模型参数进行固定;对编码层得到的结果进行交叉熵模型的解码,并对每个训练样本采样两个子模型,通过最小化两个子模型之间相对熵的方式达到对模型预测进行正则化的目的;通过验证输出概率和真实标签概率来衡量模型对每个词的标签预测与实际标签的一致程度并输出分类结果.实验结果表明在CoNLL2003数据集上,该方法的域内少样本实体识别的平均F1得分为84.92%...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 18; no. 8; pp. 2180 - 2189
Main Authors 吕海啸, 李益红, 周晓谊
Format Journal Article
LanguageChinese
Published 海南大学 网络空间安全学院,海口 570228 01.08.2024
Subjects
少样本学习
named entity recognition(NER)
提示学习
命名实体识别(NER)
prompt learning
few-shot learning
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2307060

Cover

More Information
Summary:TP391; 少样本命名实体识别通常使用基于相似性的度量,为了能够充分利用模型参数中的知识转移,提出一种前缀调优的少样本命名实体识别方法(P-NER).将输入文本的特征向量放入嵌入模块进行特征提取;把前缀提示的向量参数拼接到编码层模型的前端,并将编码层模型参数进行固定;对编码层得到的结果进行交叉熵模型的解码,并对每个训练样本采样两个子模型,通过最小化两个子模型之间相对熵的方式达到对模型预测进行正则化的目的;通过验证输出概率和真实标签概率来衡量模型对每个词的标签预测与实际标签的一致程度并输出分类结果.实验结果表明在CoNLL2003数据集上,该方法的域内少样本实体识别的平均F1得分为84.92%,在跨领域少样本实体识别的MIT Movie、MIT Restaurant和ATIS三个数据集中均领先其他基线方法的结果.因此,该方法可在只需要调节以往微调方法的2.9%参数的情况下,显著提高少样本命名实体识别的效果.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2307060