基于Transformer语义对齐的医学图像跨模态哈希检索

• Published in: Sheng wu yi xue gong cheng xue za zhi Vol. 42; no. 1; pp. 156 - 163
• Format: Journal Article
• Language: English
• Published: 中国四川 四川大学华西医院 25.02.2025
• Subjects: 论 著
• ISSN: 1001-5515
• DOI: 10.7507/1001-5515.202407034

医学跨模态检索旨在实现不同模态间医疗案例的语义相似性搜索，如通过超声报告快速定位相关的超声图像，或利用超声图像反向检索匹配的超声报告。然而，现有医学跨模态哈希检索方法面临显著挑战，包括不同模态之间的语义差异、视觉差异及哈希算法在大规模数据下的可扩展性问题。为应对这些挑战，本文提出了一种基于Transformer语义对齐的医学图像跨模态哈希检索算法（MSACH）。该算法通过分段式训练策略，结合模态特征提取与哈希函数学习，有效提取包含重要语义信息的低维特征，并通过Transformer编码器进行跨模态语义学习。通过流形相似度约束、平衡约束和线性分类网络约束，增强了哈希码的可判别性。实验结果表明，MSACH 算法在两个数据集上的平均检索精度比传统方法分别提高了11.8%和12.8%。该算法在提升检索精度、处理大规模医学数据方面表现出色，具有较好的应用前景。