机器算法验证 - 具有不良条件预测变量的 LASSO - 吾爱随笔录 - 问答

具有不良条件预测变量的 LASSO

机器算法验证最小二乘套索

2022-03-21 10:05:07

我需要求解形式的方程，其中是矩阵和。 $Ax=b$ $A$ $m\times n$ $m>n$

我正在查看通常的最小二乘解，其中是伪逆，而 LASSO 解。 $x_0=A^+b$ $A^+$ $x_L$

我观察到，当的最小奇异值变得非常小时，变得狂野，元素非常大。这当然一点也不意外。令人惊讶的是，仍然表现得非常好。 $A$ $x_0$ $x_L$

为什么 LASSO 解决方案对的病态条件几乎不敏感？ $A$

编辑：我已经按照建议查阅了“统计学习要素”一书，但我无法在其中找到对我的问题的解释。我理解为什么当病态时 ridge 算法表现良好：这是因为 ridge 的解决方案不涉及 A 的逆，A的逆，所以这使解决方案正规化。我想在 LASSO 的情况下得到类似的理解。 $A$ $A$ $A+\lambda$

1个回答

当您说您正在解决时，您会自动将自己置于正常的 OLS 回归问题中。Lasso根本不属于那种问题，这就是为什么“矩阵病态”没有什么意义。 $Ay = b$

通过求解正常的 OLS，您会发现最小化 $b$

$RSS(b)=\sum(y_i - b_0 - \sum_jx_{ij}b_j)^2.$

您将其重写为：

$RSS(b) = (y-Xb)^T(y-Xb)$

有解决方案

$b = (X^TX)^{-1}X^Ty = Ay$

这是您提到的线性规划问题，其中矩阵是病态的。当你切换到 lasso 时，问题就变成了： $A$

$RSS(b) = (y-Xb)^T(y-Xb) + \lambda b$

这最终会是：

$b = (X^TX)(2X^Ty + \lambda)$

这根本不能写成形式，所以不可能看到原始矩阵如何影响问题。 $Ay = b$ $A$

是病态的这一事实对 LASSO 问题没有影响，因为它只是解决了一个不同的二次问题！（并且矩阵病态仅针对线性系统定义） $(X^TX)^{-1}X^T$

其它你可能感兴趣的问题

上一篇ANOVA：拒绝原假设后的生活下一篇缺失数据的交叉验证和多重插补