目的 针对目前足迹检索中存在的采集设备种类多样化、有效的足迹特征难以提取等问题,本文以赤足足迹图像为研究对象,提出一种基于非局部(non-local)注意力双分支网络的跨模态赤足足迹检索算法.方法 该网络由特征提取、特征嵌入以及双约束损失模块构成,其中特征提取模块采用双分支结构,各分支均以ResNet50作为基础网络分别提取光学和压力赤足图像的有效特征;同时在特征嵌入模块中通过参数共享学习一个多模态的共享空间,并引入非局部注意力机制快速捕获长范围依赖,获得更大感受野,专注足迹图像整体压力分布,在增强每个模态有用特征的同时突出了跨模态之间的共性特征;为了增大赤足足迹图像类间特征差异和减小类内特征差异,利用交叉熵损失LCE(cross-entropy loss)和三元组损失LTRI(triplet loss)对整个网络进行约束,以更好地学习跨模态共享特征,减小模态间的差异.结果 本文将采集的138人的光学赤足图像和压力赤足图像作为实验数据集,并将本文算法与细粒度跨模态检索方法FGC(fine-grained cross-model)和跨模态行人重识别方法HC(hetero-center)进行了对比实验,本文算法在光学到压力检索模式下的mAP(mean average precision)值和rank1值分别为83.63％和98.29％,在压力到光学检索模式下的mAP值和rank1值分别为84.27％和94.71％,两种检索模式下的mAP均值和rank1均值分别为83.95％ 和96.5％,相较于FGC分别提高了40.01％ 和36.50％,相较于HC分别提高了26.07％和19.32％.同时本文算法在non-local注意力机制、损失函数、特征嵌入模块后采用的池化方式等方面进行了对比分析,其结果证实了本文算法的有效性.结论 本文提出的跨模态赤足足迹检索算法取得了较高的精度,为现场足迹比对、鉴定等应用提供了研究基础.

图像检索;跨模态足迹检索;非局部注意力机制;双分支网络;赤足足迹图像

鲍文霞;茅丽丽;王年;唐俊;杨先军;张艳

安徽大学电子信息工程学院,合肥 230601;中国科学院合肥物质科学研究院,合肥 230031

中国图象图形学报

[1]鲍文霞;茅丽丽;王年;唐俊;杨先军;张艳-.非局部注意力双分支网络的跨模态赤足足迹检索)[J].中国图象图形学报,2022(07):2199-2213

LTRI,rank1,现场足迹,跨模态足迹检索

双分支网络,前足,赤足足迹图像,local,检索算法,特征嵌入,取模,双分支结构,ResNet50,有效特征,参数共享,共享学习,一个多,共享空间,非局部注意力机制,快速捕获,感受野,压力分布,共性特征,特征差异,内特,交叉熵损失,LCE,cross,entropy,loss,三元组损失,triplet,行约,地学,模态共享,共享特征,细粒度,跨模态检索,检索方法,FGC,fine,grained,model,跨模态行人重识别,HC,hetero,center,学到,mAP,mean,average,precision,损失函数,池化,图像检索

0.266378