机器算法验证 - 套索假设 - 吾爱随笔录

套索假设

机器算法验证回归套索假设残差

2022-02-05 17:37:22

在 LASSO 回归场景中

$y= X \beta + \epsilon$ ,

LASSO 估计由以下优化问题给出

$\min_\beta ||y - X \beta|| + \tau||\beta||_1$

关于是否有任何分布假设？ $\epsilon$

在 OLS 场景中，人们会期望是独立的并且是正态分布的。 $\epsilon$

分析 LASSO 回归中的残差是否有意义？

我知道 LASSO 估计可以作为的独立双指数先验下的后验模式获得。但我还没有找到任何标准的“假设检查阶段”。 $\beta_j$

提前致谢（：

1个回答

我不是 LASSO 方面的专家，但这是我的看法。

首先请注意，OLS 对于违反独立性和正常性的行为非常稳健。然后从定理 7 以及上面在鲁棒回归和套索文章中的讨论（由 X. Huan、C. Caramanis 和 S. Mannor 撰写）我猜想，在 LASSO 回归中，我们更关心的不是的分布，但在的联合分布中。该定理依赖于是样本的假设，因此这与通常的 OLS 假设相当。但 LASSO 限制较少，它不限制从线性模型生成。 $\varepsilon_i$ $(y_i,x_i)$ $(y_i,x_i)$ $y_i$

综上所述，您的第一个问题的答案是否定的。没有关于的分布假设，所有分布假设都在上。此外，它们更弱，因为在 LASSO 中，条件分布没有任何假设。 $\varepsilon$ $(y,X)$ $(y|X)$

话虽如此，那么第二个问题的答案也是否定的。由于不发挥任何作用，因此按照您在 OLS 中分析它们的方式（正态性检验、异方差性、Durbin-Watson 等）来分析它们是没有任何意义的。但是，您应该在上下文中分析它们模型拟合的好坏。 $\varepsilon$

其它你可能感兴趣的问题

上一篇结构计量经济学导论下一篇解释 R 中的 drop1 输出