机器算法验证 - L2 正则化是否应该针对规模进行校正？ - 吾爱随笔录

我正在使用交叉熵损失和 L2 正则化训练一个深度神经网络，所以最终的成本函数看起来像这样：

E = - \frac{1}{N_{s a m p l e s}} \sum_{i = 1}^{N_{s a m p l e s}} cross_entropy (x_{i}, y_{i}) + λ \sum_{j = 1}^{N_{l a y e r s}} \sum_{k = 1}^{N_{u n i t s}^{j}} \sum_{l = 1}^{N_{u n i t s}^{j + 1}} {(w_{k, l}^{j})}^{2}

$E = - \frac{1}{N_{samples}} \sum_{i=1}^{N_{samples}} \text{cross_entropy}\left(x_i, y_i\right) + \lambda \sum_{j=1}^{N_{layers}}\sum_{k=1}^{N_{units}^j}\sum_{l=1}^{N_{units}^{j+1}} \left(w^j_{k,l}\right)^2$ 其中第一项是类的交叉熵（在训练集大小上取平均值），第二项是网络中涉及的权重平方和（

w_{k, l}^{j}

$w^j_{k,l}$ 是来自的重量

k

$k$ -第一个单元

j

$j$ -th 层

l

$l$ -第一个单元

(j + 1)

$(j+1)$ -th 层），和

λ

$\lambda$ 是正则化强度参数。

我的问题是：层数和单元数不会影响正则化项的规模吗？因此，通过权重的数量对第二项进行归一化不是更有意义吗（即，替换 $\frac{\lambda}{N_{layers}N^j_{units}N^{j+1}_{units}}$ 为了 $\lambda$ ）。

不幸的是，我没有找到任何关于此的参考。我刚刚在 Bengio 的论文 [1]（重量衰减小节）中发现，他们建议根据每个 epoch 中的 mini-batch 数量进行缩放（我真的不明白其中的原因）。

[1] 基于梯度的深度架构训练实用建议