这是我的看法。

越大的$\lambda$，系数对应的正则化项越大，所以在最小化代价函数时，系数会减少一个更大的因子，你可以在梯度下降的更新规则推导中看到这种效果，例如：

$$\begin{align*} \theta_j := \theta_j - \alpha\ \left[ \left( \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \right) + \frac{\lambda}{m}\theta_j \right] &\ \ \ \ \ \ \ \ \ \ j \in \lbrace 1,2...n\rbrace\newline & \end{align*}$$

$$\begin{align*} \theta_j := \theta_j (1- \alpha \frac{\lambda}{m})\left( \frac{\alpha}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \right) &\ \ \ \ \ \ \ \ \ \ j \in \lbrace 1,2...n\rbrace\newline & \end{align*}$$

从这个推导可以清楚地看出，在每次更新时，系数都会减少一个因子，该因子通常略小于 1，并且与$\lambda$， 这样$\lambda$变大，权重越来越小；最终，对于非常大的值$\lambda$，我们冒着完全欠拟合数据的风险，因为只有正则化项将保留在成本函数中，并且所有权重都将归零。

这适用于线性回归，但逻辑回归的逻辑也基本相同。

这取自Andrew Ng 在 Coursera 上的课程。可以在Bloomberg 机器学习课程材料中找到更精确（和复杂）的问题牵引力。

PS：在推导梯度下降的更新规则时，$\lambda$应该除以训练示例的数量，这对于选择正确的$\lambda$因为我们希望这个关系成反比，否则系数不会减小。