典型文献
深度学习中的权重初始化方法研究
文献摘要：
深度神经网络训练的实质是初始化权重不断调整的过程,整个训练过程存在耗费时间长、需要数据量大等问题.大量预训练网络由经过训练的权重数据组成,若能发现预训练网络权重分布规律,利用这些规律来初始化未训练网络,势必会减少网络训练时间.通过对AlexNet、ResNet18网络在ImageNet数据集上的预训练模型权重进行概率分布分析,发现该权重分布具备单侧幂律分布的特征,进而使用双对数拟合的方式进一步验证权重的单侧分布服从截断幂律分布的性质.基于该分布规律,结合防止过拟合的正则化思想提出一种标准化对称幂律分布(NSPL)的初始化方法,并基于AlexNet和ResNet32网络,与He初始化的正态分布、均匀分布两种方法在CIFAR10数据集上进行实验对比,结果表明,NSPL方法收敛速度优于正态分布、均匀分布两种初始化方法,且在ResNet32上取得了更高的精确度.
文献关键词：
深度学习;卷积神经网络;预训练模型;权重初始化;对称幂律分布
中图分类号：
作者姓名：
邢彤彤;孙仁诚;邵峰晶;隋毅
作者机构：
青岛大学计算机科学技术学院,山东青岛266071
文献出处：
引用格式：
[1]邢彤彤;孙仁诚;邵峰晶;隋毅-.深度学习中的权重初始化方法研究)[J].计算机工程,2022(07):104-113
A类：
对称幂律分布,NSPL,ResNet32
B类：
权重初始化方法,深度神经网络,神经网络训练,训练过程,耗费,费时间,要数,数据量,经过训练,权重数,权重分布,势必会,训练时间,AlexNet,ResNet18,ImageNet,预训练模型,模型权重,概率分布,对数拟合,服从,过拟合,正则化,He,正态分布,均匀分布,CIFAR10,实验对比,收敛速度
AB值：
0.292334
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
