多模态的情感分析技术综述

• Published in: 计算机科学与探索 Vol. 15; no. 7; pp. 1165 - 1182
• Main Authors: 刘继明, 张培翔, 刘颖, 张伟东, 房杰
• Format: Journal Article
• Language: Chinese
• Published: 西安邮电大学电子信息现场勘验应用技术公安部重点实验室,西安710121%西安邮电大学图像与信息处理研究所,西安710121 01.07.2021; 西安邮电大学电子信息现场勘验应用技术公安部重点实验室,西安710121; 西安邮电大学通信与信息工程学院,西安710121%西安邮电大学图像与信息处理研究所,西安710121%西安邮电大学图像与信息处理研究所,西安710121; 陕西省无线通信与信息处理技术国际合作研究中心,西安710121
• Subjects: 情感分析; 模态融合; 多模态
• ISSN: 1673-9418
• DOI: 10.3778/j.issn.1673-9418.2012075

TP391; 情感分析是指利用计算机自动分析确定人们所要表达的情感,其在人机交互和刑侦破案等领域都能发挥重大作用.深度学习和传统特征提取算法的进步为利用多种模态进行情感分析提供了条件.结合多种模态进行情感分析可以弥补单模态情感分析的不稳定性以及局限性等缺点,能够有效提高准确度.近年来,研究者多用面部表情信息、文本信息以及语音信息三种模态进行情感分析.主要从这三种模态对多模态情感分析技术进行综述:首先对多模态情感分析的基本概念以及研究现状进行简要介绍;其次总结了常用的多模态情感分析数据集;然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述;接下来详细介绍了模态融合技术,并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述;最后讨论了多模态情感分析存在的问题以及未来的发展方向.