典型文献
基于关键帧筛选网络的视听联合动作识别
文献摘要:
近年来,视听联合学习的动作识别获得了一定关注.无论在视频(视觉模态)还是音频(听觉模态)中,动作发生是瞬时的,往往在动作发生时间段内的信息才能够显著地表达动作类别.如何更好地利用视听模态的关键帧携带的显著表达动作信息,是视听动作识别待解决的问题之一.针对该问题,提出关键帧筛选网络KFIA-S,通过基于全连接层的线性时间注意力机制赋予每个时刻视听信息不同权重,从而筛选益于视频分类的视听特征,减少重复冗余信息,抑制背景干扰信息,提升动作识别精度.研究了不同强度的时间注意力对动作识别的影响.在ActivityNet数据集上的实验表明,KFIA-S网络达到了最先进的识别精度,证明了所提方法的有效性.
文献关键词:
视频动作识别;视听联合学习;时间注意力;深度学习;长短时记忆循环神经网络
中图分类号:
作者姓名:
陈亭秀;尹建芹
作者机构:
北京邮电大学人工智能学院,北京100876
文献出处:
引用格式:
[1]陈亭秀;尹建芹-.基于关键帧筛选网络的视听联合动作识别)[J].计算机应用,2022(03):731-735
A类:
视听联合学习,KFIA
B类:
关键帧,视觉模态,音频,听觉,发生时间,动作类,全连接层,线性时间,时间注意力机制,听信,不同权重,视频分类,冗余信息,背景干扰,识别精度,不同强度,ActivityNet,最先,视频动作识别,长短时记忆循环神经网络
AB值:
0.300343
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。