视觉Transformer研究的关键问题:现状及展望

Transformer所具备的长距离建模能力和并行计算能力使其在自然语言处理领域取得了巨大成功并逐步拓展至计算机视觉等领域.本文以分类任务为切入,介绍了典型视觉Transformer的基本原理和结构,并分析了 Transformer与卷积神经网络在连接范围、权重动态性和位置表示能力三方面的区别与联系;同时围绕计算代价、性能提升、训练优化以及结构设计四个方面总结了视觉Transformer研究中的关键问题以及研究进展;并提出了视觉Transformer的一般性框架;然后针对检测和分割两个领域,介绍了视觉Transformer在特征学习、结果产生和真值分配等方面给上层视觉模型设计带来的启发和改变;...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 48; no. 4; pp. 957 - 979
Main Authors 田永林, 王雨桐, 王建功, 王晓, 王飞跃
Format Journal Article
LanguageChinese
Published 青岛智能产业技术研究院 青岛266000 01.04.2022
中国科学技术大学自动化系 合肥230027
中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京100190
Subjects
视觉Transformer
图像分割
图像分类
计算机视觉
目标检测
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c220027

Cover

More Information
Summary:Transformer所具备的长距离建模能力和并行计算能力使其在自然语言处理领域取得了巨大成功并逐步拓展至计算机视觉等领域.本文以分类任务为切入,介绍了典型视觉Transformer的基本原理和结构,并分析了 Transformer与卷积神经网络在连接范围、权重动态性和位置表示能力三方面的区别与联系;同时围绕计算代价、性能提升、训练优化以及结构设计四个方面总结了视觉Transformer研究中的关键问题以及研究进展;并提出了视觉Transformer的一般性框架;然后针对检测和分割两个领域,介绍了视觉Transformer在特征学习、结果产生和真值分配等方面给上层视觉模型设计带来的启发和改变;并对视觉Transformer未来发展方向进行了展望.
ISSN:0254-4156
DOI:10.16383/j.aas.c220027