基于窗口自注意力网络的单图像去雨算法

• Published in: 上海交通大学学报 Vol. 57; no. 5; pp. 613 - 623
• Main Authors: 高涛, 文渊博, 陈婷, 张静
• Format: Journal Article
• Language: Chinese
• Published: 长安大学 信息工程学院,西安 710064%澳大利亚国立大学工程与计算机学院,澳大利亚 堪培拉 2600 28.05.2023
• Subjects: 单图像去雨; 自注意力机制; 窗口自注意力网络; 空洞卷积; 计算机视觉; 残差网络
• ISSN: 1006-2467
• DOI: 10.16183/j.cnki.jsjtu.2022.032

TP183%TP391.4; 单图像去雨研究旨在利用退化的雨图恢复出无雨图像,而现有的基于深度学习的去雨算法未能有效地利用雨图的全局性信息,导致去雨后的图像损失部分细节和结构信息.针对此问题,提出一种基于窗口自注意力网络(Swin Transformer)的单图像去雨算法.该算法网络主要包括浅层特征提取模块和深度特征提取网络两部分.前者利用上下文信息聚合输入来适应雨痕分布的多样性,进而提取雨图的浅层特征.后者利用 Swin Transformer 捕获全局性信息和像素点间的长距离依赖关系,并结合残差卷积和密集连接强化特征学习,最后通过全局残差卷积输出去雨图像.此外,提出一种同时约束图像边缘和区域相似性的综合损失函数来进一步提高去雨图像的质量.实验表明,与目前单图像去雨表现优秀的算法MSPFN、MPRNet相比,该算法使去雨图像的峰值信噪比提高 0.19dB 和 2.17 dB,结构相似性提高 3.433％和 1.412％,同时网络模型参数量下降84.59％和 34.53％,前向传播平均耗时减少 21.25％和 26.67％.