典型文献
基于跨模态对比的场景图图像生成
文献摘要：
条件图像生成根据不同形式的输入生成符合条件的图像,其中场景图是一类具有代表性的条件输入形式.场景图将图像中的物体抽象为节点,将物体之间的关系抽象为边,是一种广泛应用在计算机视觉和跨模态领域的结构化图表示.由于场景图中包含多个物体和物体之间的关系,现有的场景图图像生成方法容易导致生成结果和条件语义不一致,例如物体缺失和关系错误等.本文提出基于跨模态对比的生成方法解决上述问题.首先,本文提出关系一致性对比使生成的物体关系和输入的边保持一致.我们设计了联合特征代表图像中的物体的关系,并拉近联合特征和与其相关的边特征的距离,使其相比于不相关的边特征距离更接近.本文引入物体一致性对比使的生成的物体区域和输入的节点保持对应.在这个部分我们使用注意力机制获得节点对应的物体特征,然后拉近相关的节点特征于物体特征的距离.最后,本文提出全局一致性对比使的生成的图像整体和输入的场景图保持一致,该对比损失将相关联的图像和场景图特征拉近,同时将不相关的样本特征相互远离.我们COCO-stuff和VG数据集上进行了详细的实验,实验结果表明我们的方法相比当前最佳性能分别在两个数据集上提升8.33％和8.87％的FID.消融实验表明每个对比损失模块都能够提升图像的生成质量,可视化结果展示了方法对于解决上述问题的有效性.从实验结果可知,我们的方法不仅能够提升图像的生成质量,并能够有效缓解物体缺失和关系错误等语义不一致问题.
文献关键词：
图像生成;场景图;对比学习
中图分类号：
作者姓名：
王鹏辉;胡博;毛震东
作者机构：
中国科学技术大学信息科学技术学院,安徽合肥230027;中国科学技术大学网络空间安全学院,安徽合肥230027
文献出处：
引用格式：
[1]王鹏辉;胡博;毛震东-.基于跨模态对比的场景图图像生成)[J].信号处理,2022(06):1222-1231
A类：
B类：
跨模态,场景图,图图,图像生成,生成根据,符合条件,中场,计算机视觉,图表,生成方法,生成结果,一致性对比,边保,保持一致,联合特征,拉近,不相关,注意力机制,节点特征,全局一致性,对比损失,将相,相关联,样本特征,COCO,stuff,VG,FID,消融实验,图像的生成,不一致问题,对比学习
AB值：
0.362705
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
