反馈学习高斯表观网络的视频目标分割

• Published in: 自动化学报 Vol. 48; no. 3; pp. 834 - 842
• Main Authors: 王龙, 宋慧慧, 张开华, 刘青山
• Format: Journal Article
• Language: Chinese
• Published: 南京信息工程大学,江苏省大数据分析技术重点实验室,大气环境与装备技术协同创新中心 南京210044 01.03.2022
• Subjects: 视频目标分割;表观建模;反馈机制;深度学习
• ISSN: 0254-4156; 1874-1029
• DOI: 10.16383/j.aas.c200288

大量基于深度学习的视频目标分割方法存在两方面局限性:1)单帧编码特征直接输入网络解码器,未能充分利用多帧特征,导致解码器输出的目标表观特征难以自适应复杂场景变化;2)常采用前馈网络结构,阻止了后层特征反馈前层进行补充学习,导致学习到的表观特征判别力受限.为此,本文提出了反馈高斯表观网络,通过建立在线高斯模型并反馈后层特征到前层来充分利用多帧、多尺度特征,学习鲁棒的视频目标分割表观模型.网络结构包括引导、查询与分割三个分支.其中,引导与查询分支通过共享权重来提取引导与查询帧的特征,而分割分支则由多尺度高斯表观特征提取模块与反馈多核融合模块构成.前一个模块通过建立在线高斯模型融合多帧、多尺度特征来增强对外观的表征力,后一个模块则通过引入反馈机制进一步增强模型的判别力.最后,本文在三个标准数据集上进行了大量评测,充分证明了本方法的优越性能.