它们之间有什么区别？

你有回归方程$y = Wx+b$， 在哪里$x$是输入，$W$权重矩阵和$b$偏见。

• 内核正则化器：尝试减少权重$W$（不包括偏见）。
• 偏差正则化器：尝试减少偏差$b$.
• Activity Regularizer：尝试减少层的输出$y$，因此将减少权重并调整偏差$Wx+b$是最小的。

什么时候用哪个？

通常，如果您对想要建模的分布没有先验，您只会使用内核正则化器，因为即使权重的正则化很大，足够大的网络仍然可以对您的函数进行建模。

如果您希望输出函数通过（或截距更接近）原点，您可以使用偏差正则化器。

如果希望输出更小（或更接近 0），可以使用活动正则化器。

$L_1$相对$L_2$正则化

现在，对于$L_1$相对$L_2$权重衰减损失（不要与输出损失函数混淆）。

• $L_2$损失定义为$w^2$
• $L_1$损失定义为$|w|$.

在哪里$w$是矩阵的一个组成部分$W$.

• 的梯度$L_2$将会：$2w$
• 的梯度$L_1$将会：$sign(w)$

因此，对于每个具有学习率的梯度更新$a$， 在$L_2$损失，权重将减去$aW$， 而在$L_1$损失他们将被减去$a \cdot sign(W)$.

的效果$L_2$权重损失是矩阵中大型组件的减少$W$， 尽管$L_1$loss 将使权重矩阵稀疏，具有许多零值。这同样适用于分别使用偏置和活动正则化器的偏置和输出。

kernel_regularizer作用于权重，同时bias_initializer作用于偏差并activity_regularizer作用于 y（层输出）。

我们应用kernel_regularizer惩罚非常大的权重导致网络过拟合，应用后kernel_regularizer权重会变小。

而我们bias_regularizer添加一个偏差，使我们的偏差接近于零。

activity_regularizer尝试使输出更小以消除过度拟合。

我将扩展 @Bloc97关于两者之间区别的回答$L1$和$L2$约束，以说明原因$L1$可能会使某些权重为零。

如果是$L2$正则化，单个权重的梯度由下式给出

不失概括性，假设$u>0$和$w>0$.

然后的标志$\delta w$是（谁）给的

另一方面，在$L1$正则化，单个权重的梯度由下式给出

有效地，$p$起一个阈值的作用，这样，无论何时$u$小于$p$,$L1$正则化将推动权重变小，并且无论何时$u$大于$p$,$L1$正则化将推动权重变大。

以上是非线性系统的局部线性逼近： $u$实际上是一个平均值，例如，一个批次中的所有样本，并且$u$也随着每次更新而变化。然而，它可以直观地理解如何$L1$正则化试图将一些权重驱动为零（假设足够大$p$）。