神经网络权重初始化

数据挖掘 机器学习 神经网络 卷积神经网络
2022-02-12 11:36:08

我正在重建卷积神经网络 Le-Net 5。我在训练集上获得了大约 96.5% 的准确率。这并不接近网络原本打算运行的 99.2%。经过一番挖掘,我意识到我已经均匀地分布了权重和偏差初始化,而不是使用正态分布。在使用正态分布重新测试网络后,它现在达到了 98.1% 的准确率。

我想知道为什么会发生这种情况以及是否有任何首选设置(即,当我初始化我的时,我的平均值为 0,标准差为 0.25)/权重初始化方法(我听说过 Xavier,但是关于据我所知,超出了正态分布初始化)?

0个回答
没有发现任何回复~