我研究神经网络已经有一段时间了,我用 python 从头开始构建了一个简单的网络,但是在使用 TensorFlow 之前,我想对它有一个完整的了解。
这是我的问题:
假设您有 3 个图层,您有 3 个权重要更新:
1) --> outputlayer和hiddenLayer2之间的权重
2) --> hiddenLayer2和hiddenLayer1之间的权重
3) --> hiddenLayer1和inputLayer之间的权重
对于 1),我们得到的计算非常简单:
weight_3 += LEARNING_RATE * ((2*(target - output)) * sigmoid'(output) * layer2)
对于 2) 计算更复杂,我们得到:
weight_2 += LEARNING_RATE * ((2*(target - output)) * sigmoid'(output) * weight_3) * sigmoid'(hiddenLayer2)
我需要第三部分的帮助,我试图在互联网上计算和查找,但没有很多人在从头开始工作时使用 2 个隐藏层。
我也尝试解决链式规则,但它太长了,我无法解决。
有人知道获得hiddenLayer1和inputLayer之间权重的公式吗?
非常感谢你提前