我正在重建卷积神经网络 Le-Net 5。我在训练集上获得了大约 96.5% 的准确率。这并不接近网络原本打算运行的 99.2%。经过一番挖掘,我意识到我已经均匀地分布了权重和偏差初始化,而不是使用正态分布。在使用正态分布重新测试网络后,它现在达到了 98.1% 的准确率。
我想知道为什么会发生这种情况以及是否有任何首选设置(即,当我初始化我的时,我的平均值为 0,标准差为 0.25)/权重初始化方法(我听说过 Xavier,但是关于据我所知,超出了正态分布初始化)?
我正在重建卷积神经网络 Le-Net 5。我在训练集上获得了大约 96.5% 的准确率。这并不接近网络原本打算运行的 99.2%。经过一番挖掘,我意识到我已经均匀地分布了权重和偏差初始化,而不是使用正态分布。在使用正态分布重新测试网络后,它现在达到了 98.1% 的准确率。
我想知道为什么会发生这种情况以及是否有任何首选设置(即,当我初始化我的时,我的平均值为 0,标准差为 0.25)/权重初始化方法(我听说过 Xavier,但是关于据我所知,超出了正态分布初始化)?