四流输入引导的特征互补可见光-红外行人重识别

TP391; 目前可见光-红外行人重识别研究侧重于通过注意力机制提取模态共享显著性特征来最小化模态差异.然而,这类方法仅关注行人最显著特征,无法充分利用模态信息.针对此问题,本文提出了一种四流输入引导的特征互补网络(QFCNet).首先在模态特定特征提取阶段设计了四流特征提取和融合模块,通过增加两流输入,缓解模态间颜色差异,丰富模态的语义信息,进一步促进多维特征融合;其次设计了一个次显著特征互补模块,通过反转操作补充全局特征中被注意力机制忽略的行人细节信息,强化行人鉴别性特征.在SYSU-MM01,RegDB两个公开数据集上的实验数据表明了此方法的先进性,其中在SYSU-MM01的全搜索模式中...

Full description

Saved in:
Bibliographic Details
Published in光电工程 Vol. 51; no. 9; pp. 52 - 66
Main Authors 葛斌, 许诺, 夏晨星, 郑海君
Format Journal Article
LanguageChinese
Published 安徽理工大学计算机科学与工程学院,安徽 淮南 232001 2024
合肥综合性国家科学中心能源研究院,安徽 合肥 230031%安徽理工大学计算机科学与工程学院,安徽 淮南 232001
Subjects
注意力机制
cross-modal
data augmentation
attention mechanism
数据增强
跨模态
infrared
红外
person re-identification
行人重识别
Online AccessGet full text

Cover

More Information
Summary:TP391; 目前可见光-红外行人重识别研究侧重于通过注意力机制提取模态共享显著性特征来最小化模态差异.然而,这类方法仅关注行人最显著特征,无法充分利用模态信息.针对此问题,本文提出了一种四流输入引导的特征互补网络(QFCNet).首先在模态特定特征提取阶段设计了四流特征提取和融合模块,通过增加两流输入,缓解模态间颜色差异,丰富模态的语义信息,进一步促进多维特征融合;其次设计了一个次显著特征互补模块,通过反转操作补充全局特征中被注意力机制忽略的行人细节信息,强化行人鉴别性特征.在SYSU-MM01,RegDB两个公开数据集上的实验数据表明了此方法的先进性,其中在SYSU-MM01的全搜索模式中rank-1和mAP值达到了76.12%和71.51%.
ISSN:1003-501X
DOI:10.12086/oee.2024.240119