典型文献
基于循环生成对抗网络的跨媒体信息检索算法
文献摘要：
随着近年来智能终端设备和多媒体社交网络平台的飞速发展,平台用户海量增加的同时,多媒体数据同样呈现海量增长的趋势.使当今主流的社交网络平台充斥着海量的文本、图像等多模态媒体数据,有效的信息检索和分析可以大大提高平台多模态数据的利用率及用户的使用体验,而不同模态间存在显著的语义鸿沟,大大制约了海量多模态数据的分析及有效信息挖局,因此,如何在海量的多模态数据中实现跨模态信息的精准检索就成为当今学术界和工业界面临的重要挑战.本文提出了一种基于循环生成对抗网络的跨媒体信息检索算法.方法基于对抗网络模型框架,通过约束条件的设计,实现了跨模态数据表征的一致性和信息的完整性.首先,该方法构建生成模型实现了文本和图像模态间的互相转换,并基于对抗学习理论,实现跨模态数据在独立空间下语义的一致性约束,保证跨模态数据信息表征的完整性;其次,为了进一步缩小跨模态数据的语义鸿沟,提出了循环交叉熵损失函数,增强跨模态数据在独立空间下表征的一致性,进一步确保信息表征的完整性;最后,通过多模异构数据共嵌特征空间构造引导跨模态数据在共嵌空间下的一致性表征,消除跨模态数据的语义鸿沟,实现跨媒体数据的精准检索.本文针对算法的优势在公开数据库Flickr30k和MSCOCO上的对比实验和相关实验分析,相关的实验结果也证明了本文所提算法的优越性和合理性.
文献关键词：
跨模态检索;图文检索;生成对抗网络
中图分类号：
作者姓名：
聂为之;王岩;杨嵩;刘安安;张勇东
作者机构：
天津大学电气自动化与信息工程学院 天津 300072;中国科学技术大学信息科学技术学院 合肥 230026
文献出处：
引用格式：
[1]聂为之;王岩;杨嵩;刘安安;张勇东-.基于循环生成对抗网络的跨媒体信息检索算法)[J].计算机学报,2022(07):1529-1538
A类：
跨媒体信息检索
B类：
循环生成对抗网络,检索算法,智能终端设备,社交网络平台,多媒体数据,充斥,高平,多模态数据,使用体验,语义鸿沟,有效信息,模态信息,工业界,模型框架,过约束,跨模态数据,数据表征,生成模型,模型实现,和图像,互相转换,对抗学习,学习理论,一致性约束,信息表征,交叉熵损失函数,异构数据,特征空间,空间构造,Flickr30k,MSCOCO,跨模态检索,图文检索
AB值：
0.252733
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
