当统计学家说我们并不真正了解 LASSO（正则化）的工作原理时，他们是什么意思？

机器算法验证 机器学习 套索 正则化
2022-03-28 09:59:06

我最近参加了一些关于 Lasso（正则化）的统计讲座，并且不断出现的一点是，我们并不真正理解 Lasso 为何有效或为何如此有效。我想知道这个声明是指什么。显然，我理解为什么 Lasso 在技术上起作用，通过收缩参数来防止过度拟合，但我想知道这种说法背后是否有更深层次的含义。有没有人有任何想法？谢谢！

3个回答

有时，在职统计学家与研究套索等方法基础的学习理论社区之间缺乏沟通。套索的理论特性实际上很好理解。

本文档在第 4 节中对其拥有的许多属性进行了总结。结果是相当技术性的，但本质上是：

  • 它在一些温和的假设下，对于足够大的数据集，以高概率恢复稀疏权重向量的真实支持（一组非零条目）。
  • 随着样本量的增加，它以最佳速率收敛到正确的权重向量，只要X并不太相关。

如果通过理解 Lasso 工作的原因，您的意思是理解它执行特征选择的原因（即将某些特征的权重设置为 0），我们非常理解：

作为拉格朗日优化的 Lasso 正则化

存在模型选择一致性的符号恢复问题（已由统计学家回答），以及

存在推理问题（为估计构建良好的置信区间），这是一个研究课题。

其它你可能感兴趣的问题
上一篇为什么resnet比vgg快 下一篇如何规范在线学习中的数据？