典型文献
基于多尺度融合和投影匹配约束的跨模态哈希方法
文献摘要:
大多数基于深度学习的跨模态哈希方法直接通过神经网络学习不同模态数据的统一哈希码.这些方法忽略了单模态数据不同尺度包含不同语义信息这一影响数据特征表示的因素以及低维特征在弥合模态鸿沟上的重要性.基于上述问题,提出一种基于多尺度融合和投影匹配约束的跨模态哈希方法(MFPMC).通过设计图像多尺度融合网络和文本多尺度融合网络来获取不同模态数据的低维特征,引入低维特征投影匹配约束和对抗训练来保证低维特征在模态间分布的一致性,同时用包含丰富语义信息的低维特征作为哈希函数的输入,进一步构建模态内哈希码损失、模态间哈希码损失、量化损失、标签嵌入损失来约束哈希函数及哈希码的学习,以此保证生成具有判别性的离散二进制哈希码.在MIRFlickr-25K和NUS-WIDE两个基准的跨模态检索数据集上的实验表明:所提方法比现有的几种哈希方法具有更好的检索性能.
文献关键词:
跨模态哈希检索;多尺度融合;低维特征;投影匹配约束
中图分类号:
作者姓名:
邓万宇;赵怡娜;杨婉祯;张博;李昊;叶书齐
作者机构:
西安邮电大学计算机学院,陕西西安710121
文献出处:
引用格式:
[1]邓万宇;赵怡娜;杨婉祯;张博;李昊;叶书齐-.基于多尺度融合和投影匹配约束的跨模态哈希方法)[J].激光与光电子学进展,2022(24):56-65
A类:
投影匹配约束,MFPMC,二进制哈希码,MIRFlickr
B类:
哈希方法,接通,神经网络学习,单模,不同尺度,语义信息,数据特征,特征表示,低维特征,弥合,鸿沟,设计图,多尺度融合网络,特征投影,对抗训练,富语义,哈希函数,标签嵌入,判别性,25K,NUS,WIDE,跨模态检索,跨模态哈希检索
AB值:
0.217638
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。