基于跨尺度特征融合自注意力的图像描述方法

TP181; 近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型.然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量.针对该问题,文中提出了一种基于跨尺度特征融合自注意力的图像描述方法.该方法在进行自注意力运算时,将低尺度和高尺度的视觉特征进行跨尺度融合,从视觉角度上提高自注意力关注的范围,增加有效视觉信息,减少噪声,从而学习到更准确的视觉语义关系.在M S CO-CO数据集上的实验结果表明,所提方法能够更精确地捕获跨尺度视觉特征间的关系,生成更准确的描述.特别地,该方法是一种通用的方法,通过与其他基于自注意力...

Full description

Saved in:
Bibliographic Details
Published in计算机科学 Vol. 49; no. 10; pp. 191 - 197
Main Authors 王鸣展, 冀俊忠, 贾奥哲, 张晓丹
Format Journal Article
LanguageChinese
Published 北京工业大学信息学部计算机学院 北京100124%北京工业大学北京人工智能研究院 北京100124 2022
Subjects
图像描述
跨尺度特征融合
自注意力
Online AccessGet full text

Cover

More Information
Summary:TP181; 近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型.然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量.针对该问题,文中提出了一种基于跨尺度特征融合自注意力的图像描述方法.该方法在进行自注意力运算时,将低尺度和高尺度的视觉特征进行跨尺度融合,从视觉角度上提高自注意力关注的范围,增加有效视觉信息,减少噪声,从而学习到更准确的视觉语义关系.在M S CO-CO数据集上的实验结果表明,所提方法能够更精确地捕获跨尺度视觉特征间的关系,生成更准确的描述.特别地,该方法是一种通用的方法,通过与其他基于自注意力的图像描述方法相结合,能进一步提高模型性能.
ISSN:1002-137X
DOI:10.11896/jsjkx.220600009