增强提示学习的少样本文本分类方法

针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC).该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化.为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语言模型任务作为正则项,提升模型的泛化能力.在公开的 4 个中文文本和 3 个英文文本分类数据集上进行实验评估,结果表明 EPL4FTC 方法的准确度明显优于所对比的基线方法....

Full description

Saved in:
Bibliographic Details
Published in北京大学学报（自然科学版） Vol. 60; no. 1; pp. 1 - 12
Main Authors 李睿凡, 魏志宇, 范元涛, 叶书勤, 张光卫
Format Journal Article
LanguageChinese
Published 北京邮电大学计算机学院, 北京 100876 2024
北京邮电大学人工智能学院, 北京 100876
教育部信息网络工程研究中心, 北京 100876
交互技术与体验系统文化和旅游部重点实验室, 北京 100876%北京邮电大学人工智能学院, 北京 100876%教育部信息网络工程研究中心, 北京 100876
Subjects
少样本学习
预训练语言模型
提示学习
prompt learning
pre-trained language model
text classification
三元组损失
文本分类
few-shot learning
triplet loss
Online AccessGet full text

Cover

More Information
Summary:针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC).该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化.为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语言模型任务作为正则项,提升模型的泛化能力.在公开的 4 个中文文本和 3 个英文文本分类数据集上进行实验评估,结果表明 EPL4FTC 方法的准确度明显优于所对比的基线方法.
ISSN:0479-8023
DOI:10.13209/j.0479-8023.2023.071