结合多粒度视图动态融合的多模态方面级情感分析

• Published in: 计算机工程与应用 Vol. 60; no. 22; pp. 172 - 183
• Main Authors: 杨颖, 钱馨雨, 王合宁
• Format: Journal Article
• Language: Chinese
• Published: 合肥工业大学 管理学院,合肥 230009 15.11.2024; 过程优化与智能决策教育部重点实验室,合肥 230009%合肥工业大学 管理学院,合肥 230009; 智能决策与信息系统技术教育部工程研究中心,合肥 230009; 过程优化与智能决策教育部重点实验室,合肥 230009; 智能决策与信息系统技术教育部工程研究中心,合肥 230009%合肥工业大学 管理学院,合肥 230009
• Subjects: dynamic fusion; multimodal aspect-level sentiment analysis; dynamic gated attention; 多模态方面级情感分析; 多粒度视图; 动态门控注意力; multi-granularity views; 动态融合
• ISSN: 1002-8331
• DOI: 10.3778/j.issn.1002-8331.2309-0082

TP391; 为了解决以往多模态方面级情感分析研究中存在的特征提取不充分、数据噪声未被有效处理以及多模态数据中的复杂交互被忽视等问题,提出了一种多粒度视图动态融合模型(multi-granularity view dynamic fusion model,MVDFM).从粗粒度和细粒度两个视角,对文本和图像数据进行向量化编码,以便充分捕捉数据特征,增强模型信息表达能力;提取文本、图像的多粒度视图特征,并设计动态门控自注意力机制,对细粒度级的文本、图像视图进行降噪,进一步保证特征提取质量;为了挖掘不同粒度上多视图之间的互补性和一致性,提出一种三视图分解高阶池化机制,对多粒度视图特征进行两阶段动态融合,得到最终的目标方面词情感极性.实验结果表明,该模型在公共数据集Twitter-2015和Twitter-2017上的准确率和F1值分别达到了 78.69％、74.48％以及72.77％、71.61％,相较于最优基线模型分别提升了 0.55、0.88个百分点,以及1.67、2.45个百分点.说明该方法能够充分利用多模态数据中包含的深层语义信息,并有效挖掘与目标方面词相关的重要信息,从而提高方面级情感预测效果.