基于多模态融合技术的用户画像方法

针对当前用户画像工作中各模态信息不能被充分利用的问题,提出一种跨模态学习思想,设计一种基于多模态融合的用户画像模型.首先利用Stacking集成方法,融合多种跨模态学习联合表示网络,对相应的模型组合进行学习,然后引入注意力机制,使得模型能够学习不同模态的表示对预测结果的贡献差异性.改进后的模型具有精心设计的网络结构和目标函数,能够生成一个由特征级融合和决策级融合组成的联合特征表示,从而可以合并不同模态的相关特征.在真实数据集上的实验结果表明,所提模型优于当前最好的基线方法....

Full description

Saved in:
Bibliographic Details
Published in北京大学学报（自然科学版） Vol. 56; no. 1; pp. 105 - 111
Main Authors 张壮, 冯小年, 钱铁云
Format Journal Article
LanguageChinese
Published 武汉大学计算机学院,武汉,430072%中国电力财务有限公司,北京,100005 20.01.2020
Subjects
模型组合
用户画像
跨模态学习联合表示
多层多级模型融合
stacking
Online AccessGet full text
ISSN0479-8023
DOI10.13209/j.0479-8023.2019.097

Cover

More Information
Summary:针对当前用户画像工作中各模态信息不能被充分利用的问题,提出一种跨模态学习思想,设计一种基于多模态融合的用户画像模型.首先利用Stacking集成方法,融合多种跨模态学习联合表示网络,对相应的模型组合进行学习,然后引入注意力机制,使得模型能够学习不同模态的表示对预测结果的贡献差异性.改进后的模型具有精心设计的网络结构和目标函数,能够生成一个由特征级融合和决策级融合组成的联合特征表示,从而可以合并不同模态的相关特征.在真实数据集上的实验结果表明,所提模型优于当前最好的基线方法.
ISSN:0479-8023
DOI:10.13209/j.0479-8023.2019.097