LASSO/LARS 与通用到特定 (GETS) 方法

机器算法验证 特征选择 模型选择 套索 逐步回归 拉尔斯
2022-01-18 15:08:52

我一直在想,为什么 LASSO 和 LARS 模型选择方法如此受欢迎,尽管它们基本上只是逐步前向选择的变体(因此受到路径依赖性的影响)?

同样,为什么模型选择的通用到特定 (GETS) 方法大多被忽略,即使它们比 LARS/LASSO 做得更好,因为它们不受逐步回归问题的影响?(GETS 的基本参考:http ://www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf - 这里的新算法从避免路径依赖的广泛模型和树搜索开始,并已被证明通常比 LASSO/LARS 做得更好)。

看起来很奇怪,LARS/LASSO 似乎比一般到特定 (GETS) 获得了更多的曝光和引用,有人有什么想法吗?

不是试图引发一场激烈的辩论,而是寻找一个合理的解释来解释为什么文献似乎确实关注 LASSO/LARS 而不是 GETS,而且很少有人真正指出 LASSO/LARS 的缺点。

2个回答

免责声明:我只对 David F. Hendry 等人的模型选择工作略知一二。然而,我从受人尊敬的同事那里知道,亨德利在计量经济学中的模型选择问题上取得了非常有趣的进展。要判断统计文献是否对他在模型选择方面的工作给予足够的重视,我需要做更多的工作。

然而,尝试理解为什么一种方法或想法比其他方法或想法产生更多的活动是很有趣的。毫无疑问,科学中也有时尚的方面。正如我所看到的,套索(和朋友们)的一个主要优势是可以解决一个非常容易表达的优化问题。这是对解决方案的详细理论理解和开发的有效算法的关键。Bühlmann 和 Van De Geer最近出版的《高维数据统计》一书说明了人们对套索的了解程度。

您可以进行无休止的模拟研究,当然,您可以应用您认为最相关且最适合特定应用的方法,但对于部分统计文献,还必须获得大量的理论结果。套索产生了很多活动,这反映了实际上可以解决一些理论问题,并且它们有有趣的解决方案。

另一点是套索或变体在许多情况下确实表现良好。我根本不相信套索如此容易被OP所建议的其他方法超越是正确的。也许在(人工)模型选择方面,但不是在预测性能方面。提到的参考文献似乎都没有真正比较 Gets 和 lasso。

为什么 LASSO 和 LARS 模型选择方法如此受欢迎,尽管它们基本上只是逐步前向选择的变体

LASSO 和 (GETS) 子集选择之间存在区别:LASSO 以数据相关的方式将系数缩小到零,而 (GETS) 子集选择则没有。这似乎是 LASSO 优于 (GETS) 子集选择的一个优势,即使它偶尔可能会失败(它需要参数调整,这通常通过交叉验证来完成,有时我们可能碰巧调整得不好)。

(GETS) 方法 <...> 比 LARS/LASSO 做得更好

当由公正的(?)研究人员完成时,GETS 的性能似乎与 LASSO 具有可比性(尽管在提出新版本的 GETS 的论文中不一定如此 - 但这是您所期望的);请参阅此线程中的一些参考资料

也许 Hendry & Co 爵士由于其应用的特殊性(主要是宏观经济时间序列建模)而使用 GETS 获得了不错的结果?但为什么会这样呢?这是一个单独的问题