融合双向注意力和对比增强机制的多标签文本分类

TP391; 现有多标签文本分类模型面对文本序列增长时语义信息缺失,预测特定标签时忽略已有实例中的丰富知识等问题不能很好地解决,由此提出一种融合双向注意力和对比增强机制的多标签文本分类模型.结合BERT词嵌入,利用CTransformer模型分别获取序列的全局依赖关系和局部结构信息;使用双向注意力和标签嵌入进一步生成最终文本表示和标签表示,将文本信息与标签信息进行交互,得到更为全面的综合语义信息;利用对比增强机制进行KNN实例检索,设计一个多标签对比学习目标,使模型意识到KNN分类过程,并提高推理过程中检索邻居实例的质量.分类器根据标签表示和文本表示进行文本分类.为了评估模型的性能,在三个公开...

Full description

Saved in:
Bibliographic Details
Published in计算机工程与应用 Vol. 60; no. 16; pp. 105 - 115
Main Authors 李建东, 傅佳, 李佳琦
Format Journal Article
LanguageChinese
Published 辽宁工程技术大学 软件学院,辽宁 葫芦岛 125105 15.08.2024
辽宁工程技术大学矿业学院,辽宁阜新 123000%辽宁工程技术大学 软件学院,辽宁 葫芦岛 125105
Subjects
注意力机制
多标签对比学习
对比增强机制
attention mechanism
多标签文本分类
contrast enhancement mechanism
multi-label comparative learning
CTransformer模型
multi-label text classification
CTransformer model
Online AccessGet full text
ISSN1002-8331
DOI10.3778/j.issn.1002-8331.2311-0079

Cover

More Information
Summary:TP391; 现有多标签文本分类模型面对文本序列增长时语义信息缺失,预测特定标签时忽略已有实例中的丰富知识等问题不能很好地解决,由此提出一种融合双向注意力和对比增强机制的多标签文本分类模型.结合BERT词嵌入,利用CTransformer模型分别获取序列的全局依赖关系和局部结构信息;使用双向注意力和标签嵌入进一步生成最终文本表示和标签表示,将文本信息与标签信息进行交互,得到更为全面的综合语义信息;利用对比增强机制进行KNN实例检索,设计一个多标签对比学习目标,使模型意识到KNN分类过程,并提高推理过程中检索邻居实例的质量.分类器根据标签表示和文本表示进行文本分类.为了评估模型的性能,在三个公开英文数据集上进行测试,实验结果表明提出的模型在P@K和nDCG@K指标上均优于其他主流基线模型.
ISSN:1002-8331
DOI:10.3778/j.issn.1002-8331.2311-0079