数据挖掘 - 我们为什么不转置δl + 1δl+1在反向传播？ - 吾爱随笔录

以这个神经网络为例：

神经网络示例

那么权重矩阵是

W_{0} = [2 \times 4], W_{1} = [4 \times 4], W_{2} = [4 \times 2]

$W_0=[2\times4], W_1=[4\times4], W_2=[4\times2]$

为了找到最后一层的错误，我们使用这是有道理的。这将产生一个向量。但是为了在下一层找到错误，我们使用

δ^{[2]} = \nabla C ⊙ σ^{'} (z^{[2]})

$\delta^{[2]} = \nabla C \odot \sigma'(z^{[2]})$

[1 \times 2]

$[1\times 2]$

δ^{[1]} = (W_{2}^{T} δ^{[2]}) ⊙ σ^{'} (z^{[1]})

$\delta^{[1]} = (W_2^T\delta^{[2]})\odot \sigma'(z^{[1]})$

这似乎试图将矩阵和矩阵相乘，这是非法的。我对图层的表示方式是错误的吗？真的应该是[向量吗？这对我来说真的没有意义，因为随着前馈的继续，它将乘以我们是否总是将表示为向量，并且公式没有提及这一点，因为它是常识？ $[4\times2]$ $[1\times 2]$ $z^{[n]}$ $[l\times 1]$ $[l\times m]$ $\delta^{[n]}$ $[l\times 1]$

我在这里想念什么？

（注：这些公式是基于本书的）