在将权重与偏差相加之前,如何在前馈神经网络中计算权重?

数据挖掘 机器学习 神经网络 加权数据 矩阵
2022-03-04 00:53:57

我已经阅读了很多论文并观看了不同的视频,似乎他们在进入激活函数之前解释了它们是如何用偏差总结的。

我想了解的是数据从矩阵一直到输出层的整个流程。我正在努力解决的是他们如何获得初始权重?

我画了一张图,希望能解释我目前所理解的。如果我在正确的轨道上,请告诉我,并帮助我了解如何计算权重。提前谢谢了。

提前谢谢了。

1个回答

初始权重由程序员简单地初始化,通常根据一些随机分布(例如高斯)。有几个众所周知的初始化器,例如xavier,已被证明可以改善训练过程。

如果您阅读 ML 论文,您会发现研究人员总是提到他们如何为他们的模型初始化权重,以便他们的结果是可重现的。