典型文献
基于多分支退出的自蒸馏方法研究
文献摘要：
随着卷积神经网络的快速发展,研究者不断加深或加宽网络的结构以追求更高精度,但这种方式会带来延迟和计算成本的增加.在带有多分支结构的自蒸馏方法中存在浅层网络不能充分学习深层网络性能的问题.因此,提出一种基于多分支的自蒸馏方法(SDA),将网络中所有分支的集成结果作为教师指导最后分支的输出,同时用最后分支输出指导其他分支,使得模型更好更早地退出网络.实验结果表明,该方法在ResNet一系列模型上取得了0.46％～1.51％的精度提升.
文献关键词：
卷积神经网络;多分支结构;自蒸馏方法;模型早退
中图分类号：
作者姓名：
邹美霞
作者机构：
北京交通大学计算机与信息技术学院,北京 100044
文献出处：
引用格式：
[1]邹美霞-.基于多分支退出的自蒸馏方法研究)[J].现代计算机,2022(12):1-8
A类：
自蒸馏方法,模型早退
B类：
加宽,宽网,计算成本,多分支结构,深层网络,网络性能,SDA,教师指导,更早,ResNet,精度提升
AB值：
0.194691
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
