套索的一致性

机器算法验证 自习 套索 渐近的 一致性
2022-03-21 15:27:27

我希望能帮助我理解Knight and Fu (2002)论文中的以下定理:

考虑形式的线性回归模型

Yi=β0+xiβ+εi,
在哪里εii.i.d.(0,σ2). 我们使用套索类型估计器估计模型β^
β^=arg minϕi=1n(Yixiϕ)2+λnj=1p|ϕj|.

进一步假设Cn=n1i=1nxixiC, 在哪里C是非奇异的。λn/nλ00. 然后β^parg min(Z)在哪里

Z(ϕ)=(ϕβ)C(ϕβ)+λ0j=1p|ϕj|.

因此,如果λn=o(n),argmin(Z)=β所以β^是一致的。

你能解释一下一致性是如何从以下事实得出的吗?β^parg min(Z). 我们是否还讨论参数估计的一致性或其他类型的一致性(例如预言机属性)?

1个回答

你会失望地发现lasso最重要的一致性是选择预测变量的一致性。如果你模拟两个中等大的数据集,独立执行lasso并比较结果,低重叠度将揭示任务选择特征的难度。当存在共线性时,情况更是如此。 套索将过多的精力花在特征选择而不是估计上,并且 L1 范数会导致真正重要的预测变量过度收缩(因此马蹄形先验在贝叶斯高维建模中很受欢迎)。在解决这些更基本的问题之前,我不会对您上面描述的一致性类型太感兴趣。我一般性地讨论了这些问题,并展示了引导程序如何帮助发现它们,这里是关于高维数据分析挑战的章节。