基于小波和动态互补滤波的图像与事件融合方法

• Published in: 工程科学学报 Vol. 46; no. 11; pp. 2076 - 2084
• Main Authors: 王瑞琳, 王立, 贺盈波
• Format: Journal Article
• Language: Chinese
• Published: 北京控制工程研究所,北京 100190 01.11.2024
• Subjects: event camera; 小波变换; 图像重建; complementary filtering; image and event fusion; 互补滤波; 事件相机; wavelet transform; image reconstruction; 图像与事件融合
• ISSN: 2095-9389
• DOI: 10.13374/j.issn2095-9389.2024.01.23.004

TP391; 本文探讨了事件相机和传统帧相机数据的融合,引入了一种旨在增强复杂光照条件下成像质量的新型融合方法.事件相机作为创新性视觉传感器的代表,以其高时域分辨率和极低功耗受到广泛关注.然而,事件相机产生的数据往往存在噪声和特征丢失等问题.相反,传统帧相机具有较高的空间分辨率,但在捕捉涉及快速运动或包含广泛动态范围场景时表现不佳.基于此,本文引入了一种创新方法,将离散小波变换与动态增益互补滤波相结合,有效地融合图像和事件数据.该方法首先通过计算图像的信息熵评估曝光水平.然后,采用离散小波变换来从事件数据和帧图像数据中分离高频和低频细节.随后,该方法应用动态增益互补滤波器来实现图像和事件数据的融合.该方法的核心在于其能够自适应地平衡每种数据源的贡献,从而确保在不同条件下实现最佳的图像重建质量.通过利用事件相机的高频时域信息和帧相机的高分辨率空间信息,该方法旨在克服每种传感器固有的局限性.这种融合不仅可以减轻事件相机数据中遇到的噪声和特征丢失,还可以解决帧相机在捕捉高速运动和具有明显亮度变化的场景时的缺点.该融合方法的有效性已经在HDR Hybrid Event-Frame数据集上进行了测试,该数据集具有高动态范围和复杂光照环境的真实场景.实验结果展示了该方法在提高图像质量方面实现的改进.与传统图像重建方法相比,本文方法在几个关键指标上表现出色:均方误差为0.0199,结构相似性指数为0.90,Q-score为6.07.这些结果不仅验证了所提出的融合方法在改善在挑战性条件下成像质量方面的有效性,还凸显了整合不同类型视觉数据以实现更优重建结果的潜力.