机器算法验证 - 在深度学习中的深度残差网络背景下，残差学习块到底是什么？ - 吾爱随笔录

我正在阅读论文Deep Residual Learning for Image Recognition，我很难 100% 确定地理解残差块在计算上的含义。阅读他们的论文，他们有图 2：

这说明了残差块应该是什么。残差块的计算是否与以下内容相同：

y = σ (W_{2} σ (W_{1} x + b_{1}) + b_{2} + x)

$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$

或者是别的什么？

换句话说，也许要尝试匹配论文的符号，是：

F (x) + x = [W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x

$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$

真的吗？

请注意，在圆圈求和之后，ReLU 这个词出现在纸上，所以一个 Residual Block 的输出（我表示为 $\mathbf{y}$ ）应该：

σ (F (x) + x) = σ ([W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x)

$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$

具有额外的 ReLU 非线性 $\sigma$ .