基于多粒度融合和跨尺度感知的跨模态行人重识别

TP391; 提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络,该网络能够有效提取行人图像特征并减少图像间的模态差异.首先,提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架,有效融合不同模态和不同尺度的图像特征;其次,提出一种跨尺度特征信息感知策略,该策略可有效降低因视角变化、行人背景变化等产生的无关噪声对行人判别的影响;最后,针对行人图像特征信息不足,设计并行空洞卷积残差模块,获取更为丰富的行人特征信息.将所提方法在2个标准公共数据集与当前先进的跨模态行人重识别方法比较.实验结果表明,所提方法在SYSU-MM01数据集的全搜索模式下的R-1和平均精度(mAP)分别达到75....

Full description

Saved in:
Bibliographic Details
Published in通信学报 Vol. 46; no. 1; pp. 108 - 123
Main Authors 程德强, 姬广凯, 张皓翔, 江鹤, 寇旗旗
Format Journal Article
LanguageChinese
Published 中国矿业大学信息与控制工程学院,江苏 徐州 221116%中国矿业大学计算机科学与技术学院,江苏 徐州 221116 2025
Subjects
cross-scale information
特征融合
跨尺度信息
feature fusion
cross-modality
跨模态
person re-identification
行人重识别
Online AccessGet full text

Cover

More Information
Summary:TP391; 提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络,该网络能够有效提取行人图像特征并减少图像间的模态差异.首先,提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架,有效融合不同模态和不同尺度的图像特征;其次,提出一种跨尺度特征信息感知策略,该策略可有效降低因视角变化、行人背景变化等产生的无关噪声对行人判别的影响;最后,针对行人图像特征信息不足,设计并行空洞卷积残差模块,获取更为丰富的行人特征信息.将所提方法在2个标准公共数据集与当前先进的跨模态行人重识别方法比较.实验结果表明,所提方法在SYSU-MM01数据集的全搜索模式下的R-1和平均精度(mAP)分别达到75.9%和73.3%,在RegDB数据集的可见光到红外的搜索(VIS to IR)模式下的Rank-1和mAP分别达到93.7%和89.3%,优于所对比的方法,充分证实了所提方法的有效性.
ISSN:1000-436X
DOI:10.11959/j.issn.1000-436x.2025019