隐藏层权重计算

数据挖掘 机器学习 Python 神经网络 深度学习 麻木的
2022-03-03 00:55:51

我研究神经网络已经有一段时间了,我用 python 从头开始​​构建了一个简单的网络,但是在使用 TensorFlow 之前,我想对它有一个完整的了解。

这是我的问题:

假设您有 3 个图层,您有 3 个权重要更新:

1) --> outputlayer和hiddenLayer2之间的权重

2) --> hiddenLayer2和hiddenLayer1之间的权重

3) --> hiddenLayer1和inputLayer之间的权重

对于 1),我们得到的计算非常简单:

weight_3 += LEARNING_RATE * ((2*(target - output)) * sigmoid'(output) * layer2)

对于 2) 计算更复杂,我们得到:

weight_2 += LEARNING_RATE * ((2*(target - output)) * sigmoid'(output) * weight_3) * sigmoid'(hiddenLayer2)

我需要第三部分的帮助,我试图在互联网上计算和查找,但没有很多人在从头开始工作时使用 2 个隐藏层。

我也尝试解决链式规则,但它太长了,我无法解决。

有人知道获得hiddenLayer1inputLayer之间权重的公式吗?

非常感谢你提前

1个回答

是一个很好的例子,说明如何在 numpy 中实现前向和后向传播,但在 tf.