假设一个具有规则损失函数的神经网络。

$$\sum_{i=1}^N L \left( y_i, \; \hat y_i \right)$$

这里，$y_i$是标签$i$-第一个例子，而$\hat y_i$是模型对相同的预测。损失函数$L$是一个比较实际输出和预测输出并输出一个值的函数，该值指示预测与实际输出的接近程度。

L2 正则化为这个损失函数添加了一个范数惩罚，结果是每次权重更新。

$$\sum_{i=1}^N L\left( y_i, \; \hat y_i \right) + λ \cdot \|W\|_2^2$$

这个惩罚抵消了实际的更新，这意味着它使权重更新更加困难。这实际上增加了损失函数的输出。

通过向模型添加正则化，您应该寻找的不是减少训练损失，而是减少验证损失。这表明正则化成功地减少了模型的过度拟合，这是它的目标。