机器算法验证 - 当变量多于观察值时，收缩方法（例如 Ridge 和 Lasso）是否总能找到解决方案？ - 吾爱随笔录 - 问答

当变量多于观察值时，收缩方法（例如 Ridge 和 Lasso）是否总能找到解决方案？

机器算法验证回归最小二乘套索岭回归

2022-04-07 18:13:50

假设我们有 $n$ 观察和 $p$ 我们要建模的解释变量。为了应用岭回归，我们选择一个约束参数 $\lambda \geq 0$ 并估计系数 $\beta_i$ 最小化：

\sum_{i = 1}^{n} (y_{i} - β_{o} - \sum_{j = 1}^{p} β_{j} x_{i j}) + λ \sum_{j = 1}^{p} β_{j}^{2}

$\begin{equation} \sum^{n}_{i=1} \left( y_i - \beta_o - \sum_{j=1}^p\beta_jx_{ij} \right) + \lambda \sum_{j=1}^p \beta_j^2 \end{equation}$

在哪里 $y_i$ 是观察结果和 $x_{ij}$ 是变量。

我正在阅读《统计学习导论》，其中说：

当 λ = 0 时，惩罚项没有影响，岭回归会产生最小二乘估计

和（岭回归）：

如果 p > n，那么最小二乘估计甚至没有唯一解，而岭回归仍然可以很好地执行

我的问题如下：

我是否正确地说岭回归（和套索）失败时 $p > n$ 和 $\lambda = 0$ ，由于等于最小二乘？
如果是这样，是否有适合所有人的解决方案 $\lambda > 0$ 什么时候 $p > n$ , 特别是当 $\lambda$ 非常接近于零？
如果有适合所有人的解决方案 $\lambda > 0$ 什么时候 $p>n$ ，由于优化问题与最小二乘法的接近性，是否有理由对应用这样的收缩方法持谨慎态度？

1个回答

是的， $p>n, \lambda=0$ case 是秩不足的。既然您已经知道 OLS 用于 $p>n$ 是秩亏的，那么我们可以看到代入 $\lambda = 0$ 在你的方程中给出了与 OLS 相同的目标，并且证明是完整的。
是的，岭回归适用于任何 $\lambda >0$ . 直接的证明是 $\lambda I$ 是正定的，所以 $\lambda I + X^T X$ 必须是正定的。您也可以通过应用 SVD 来证明这一点，并证明岭案例中的奇异值都是正数。通过“谱分解”使用岭回归证明缩小系数但是，作为在计算机（而不是数学）上进行计算的问题，选择 $\lambda$ 太小可能不起作用，因为浮点运算不精确。
这本质上是一个问题偏差-方差-权衡. 如果我们选择 $\lambda$ 太大，那么对系数的惩罚太高，我们的预测可能离现实太远而无用。如果我们选择 $\lambda$ 太小，那么模型的方差可能太高——估计会受到我们特定数据集的强烈影响。在极端情况下，排除或包括单个数据可能会从根本上改变系数估计。

其它你可能感兴趣的问题

上一篇因果关系的周期性下一篇为什么这不能用作后门？