当我们实现惩罚回归模型时，我们是说我们要在平方误差的总和上加上一个惩罚。

回想一下，误差平方和如下，我们正在尝试使用最小二乘回归来最小化这个值：

$$SSE = \sum_{i=1}^{n}(y_i-\hat{y_i})^2$$

当模型过拟合或存在共线性时，我们的最小二乘模型的系数估计值可能高于应有的值。

我们如何解决这个问题？我们使用正则化。这意味着我们在平方误差的总和上增加了一个惩罚，从而限制了参数估计可以得到的大小。

对于岭回归，这看起来像这样：

$$SSE_{L2 norm} = \sum_{i=1}^{n}(y_i-\hat{y_i})^2 + \lambda \sum_{j=1}^{P}\beta_j^2$$

注意这个模型有什么不同。在这里，我们在 SSE 的末尾添加了 L2 正则化惩罚。这样做是添加$\lambda$通过参数估计的平方作为对 SSE 的惩罚。这限制了参数估计的大小。当你增加“收缩参数”$\lambda$参数估计值更接近于零。岭回归需要注意的重要一点是，该模型将值缩小到零，而不是零。

您还可以使用 LASSO 回归技术，如下所示：

$$SSE_{L1 norm} = \sum_{i=1}^{n}(y_i-\hat{y_i})^2 + \lambda \sum_{j=1}^{P} \lvert{\beta_j^2}\rvert$$

请注意，添加 L1 惩罚的变化非常相似。但是，这里的区别在于我们现在正在惩罚系数的绝对值。这允许收缩为零并且可以被认为是特征选择的一种形式。

在任何一种情况下，这两种方法都会惩罚模型的复杂性并且是简约的！

有两点需要注意：

1. 回答你的问题，不，$\lambda$不能为负。为什么？这没有任何意义。$\lambda$乘以 L2 或 L1 范数以增加对 SSE 的惩罚。相反，如果你有一个否定的$\lambda$您实际上会奖励模型的复杂性而不是惩罚它。

2. 当你有一个价值$\lambda = 0$你没有惩罚，只是有常规的最小二乘回归！

@Ethan 关于套索惩罚的公式是正确的，我认为以这种形式理解它特别重要（一方面，因为相同的惩罚可以与其他模型一起使用，如神经网络、树模型、广义线性模型、. ..)。

但是，对于你的问题：

如果$\lambda=0.5$那么是不是意味着那些值小于或等于0.5的系数会变为零呢？所以换句话说，无论是什么价值$\lambda$, 其值落在$\lambda$将被关闭/变为零？OR 的值是否还有其他含义$\lambda$?

在某些假设下，答案大多是肯定的。对于普通 LASSO（OLS 加上 L1 惩罚），如果协变量是正交的，则 LASSO 系数可以写成 OLS 系数：

$$\beta_i^{\text{LASSO}} = \begin{cases} \beta_i^{\text{OLS}} - \lambda & \text{if $\beta_i^{\text{OLS}} \geq \lambda$} \\ \beta_i^{\text{OLS}} + \lambda & \text{if $\beta_i^{\text{OLS}} \leq -\lambda$} \\ 0 & \text{if $|\beta_i^{\text{OLS}}|\leq\lambda$.} \end{cases}$$ （你会看到写得更简洁 $\operatorname{sgn}(\beta_i^{\text{OLS}}) \left(|\beta_i^{\text{OLS}}|-\lambda\right)_+$.)

参见例如：
https ://stats.stackexchange.com/q/17781/232706
http://pages.cs.wisc.edu/~jerryzhu/cs731/regression.pdf（第 3 节）
https://stats.stackexchange。 com/q/342547/232706