基于深度域适应CNN决策树的跨语料库情感识别

TN912.3; 在跨语料库语音情感识别中,由于目标域和源域样本不匹配,导致情感识别性能很差.为了提高跨语料库语音情感识别性能,本文提出一种基于深度域适应和卷积神经网络(Convolutional neural network,CNN)决策树模型的跨语料库语音情感识别方法.首先构建基于联合约束深度域适应的局部特征迁移学习网络,通过最小化目标域和源域在特征空间和希尔伯特空间的联合差异,挖掘两个语料库之间的相关性,学习从目标域到源域的可迁移不变特征.然后,为了降低跨语料库背景下多种情感间的易混淆情感的分类误差,依据情感混淆度构建CNN决策树多级分类模型,对多种情感先粗分类再细分类.使用CASIA,...

Full description

Saved in:
Bibliographic Details
Published in数据采集与处理 Vol. 38; no. 3; pp. 704 - 716
Main Authors 孙林慧, 赵敏, 王舜
Format Journal Article
LanguageChinese
Published 南京邮电大学通信与信息工程学院,南京210003 01.05.2023
Subjects
跨语料库语音情感识别
迁移学习
卷积神经网络
深度域适应
决策树模型
Online AccessGet full text

Cover

More Information
Summary:TN912.3; 在跨语料库语音情感识别中,由于目标域和源域样本不匹配,导致情感识别性能很差.为了提高跨语料库语音情感识别性能,本文提出一种基于深度域适应和卷积神经网络(Convolutional neural network,CNN)决策树模型的跨语料库语音情感识别方法.首先构建基于联合约束深度域适应的局部特征迁移学习网络,通过最小化目标域和源域在特征空间和希尔伯特空间的联合差异,挖掘两个语料库之间的相关性,学习从目标域到源域的可迁移不变特征.然后,为了降低跨语料库背景下多种情感间的易混淆情感的分类误差,依据情感混淆度构建CNN决策树多级分类模型,对多种情感先粗分类再细分类.使用CASIA,EMO-DB和RAVDESS三个语料库进行验证.实验结果表明,本文的跨语料库语音情感识别方法比CNN基线方法平均识别率高19.32％～31.08％,系统性能得到很大提升.
ISSN:1004-9037
DOI:10.16337/j.1004-9037.2023.03.018