典型文献
注意力机制下双模态交互融合的目标跟踪网络
文献摘要:
针对当前目标跟踪难以适应低光照、运动模糊、目标快速移动等挑战,提出了空间通道注意力下的红外与可见光双模态交互融合跟踪网络.首先,红外图像与可见光图像通过backbone三层卷积提取分层特征,并降维至统一分辨率,之后级联三层特征形成各模态特征.其次,多模态特征通过所设计的空间通道自注意力模块和跨模态交互注意力模块使得模态聚焦于全局空间特征和高响应通道,提高双模态信息的互补性,然后级联得到融合特征.最后,将融合特征送入三层全连接完成目标跟踪任务.在目前最大的红外可见光跟踪数据集RGBT234的实验结果表明,本文网络能有效提取双模态交互特征,提高目标跟踪精度,其精度/成功率比基线网络分别提高了5.3%和4.2%.
文献关键词:
红外与可见光;目标跟踪;深度学习;注意力融合
中图分类号:
作者姓名:
姚云翔;陈莹
作者机构:
江南大学物联网工程学院,江苏无锡214122
文献出处:
引用格式:
[1]姚云翔;陈莹-.注意力机制下双模态交互融合的目标跟踪网络)[J].系统工程与电子技术,2022(02):410-419
A类:
B类:
注意力机制,双模态,交互融合,低光照,运动模糊,快速移动,通道注意力,红外与可见光,融合跟踪,红外图像,可见光图像,backbone,取分,多模态特征,过所,自注意力模块,跨模态交互,交互注意力,空间特征,高响应,模态信息,互补性,融合特征,送入,全连接,接完,RGBT234,有效提取,交互特征,目标跟踪精度,功率比,比基,线网,注意力融合
AB值:
0.377021
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。