基于跨模态语义信息增强的多模态情感分析

TP391; 随着社交网络的发展,人类通过不同的方式表达自己的情感,包括文本、视觉和语音,即多模态.针对以往的多模态情感分析方法未能有效地获取多模态情感特征表示,以及没有充分考虑在多模态特征融合过程中冗余信息对实验的影响,提出了一种基于跨模态语义信息增强的多模态情感分析模型.该模型采用BiLSTM网络挖掘各单模态内部存在的上下文信息.通过跨模态信息交互机制对多种模态间的信息交互进行建模,得到文本对语音、视觉,语音对文本、视觉,视觉对文本、语音六种信息交互特征,将目标模态相同的信息交互特征进行拼接,得到信息增强后的单模态特征向量,有效地获取模态间共享和补充的深度语义特征.另外,使用多头自注意力机...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 18; no. 9; pp. 2476 - 2486
Main Authors 李梦云, 张景, 张换香, 张晓琳, 刘璐瑶
Format Journal Article
LanguageChinese
Published 内蒙古科技大学 信息工程学院,内蒙古 包头 014010%内蒙古科技大学 理学院,内蒙古 包头 014010%内蒙古科技大学 创新创业教育学院,内蒙古 包头 014010 01.09.2024
上海大学 计算机工程与科学学院,上海 200444
Subjects
多模态情感分析
特征融合
feature fusion
multimodal emotional analysis
multi-head attention mechanism
information interaction
信息增强
多头注意力机制
信息交互
information augmentation
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2307045

Cover

More Information
Summary:TP391; 随着社交网络的发展,人类通过不同的方式表达自己的情感,包括文本、视觉和语音,即多模态.针对以往的多模态情感分析方法未能有效地获取多模态情感特征表示,以及没有充分考虑在多模态特征融合过程中冗余信息对实验的影响,提出了一种基于跨模态语义信息增强的多模态情感分析模型.该模型采用BiLSTM网络挖掘各单模态内部存在的上下文信息.通过跨模态信息交互机制对多种模态间的信息交互进行建模,得到文本对语音、视觉,语音对文本、视觉,视觉对文本、语音六种信息交互特征,将目标模态相同的信息交互特征进行拼接,得到信息增强后的单模态特征向量,有效地获取模态间共享和补充的深度语义特征.另外,使用多头自注意力机制分别计算原始单模态特征向量和信息增强后的单模态特征向量间存在的语义相关性,提高识别关键情感特征的能力,降低冗余信息对情感分析的负面干扰.在公共数据集CMU-MOSI和CMU-MOSEI的实验结果表明,所提出的模型既能增强情感特征表示,也能有效降低冗余信息的干扰,在多模态情感分类准确率和泛化能力上的表现优于相关工作.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2307045