我希望能帮助我理解Knight and Fu (2002)论文中的以下定理:
考虑形式的线性回归模型
在哪里. 我们使用套索类型估计器估计模型
进一步假设, 在哪里是非奇异的。让. 然后在哪里
因此,如果,所以是一致的。
你能解释一下一致性是如何从以下事实得出的吗?. 我们是否还讨论参数估计的一致性或其他类型的一致性(例如预言机属性)?
我希望能帮助我理解Knight and Fu (2002)论文中的以下定理:
考虑形式的线性回归模型
进一步假设, 在哪里是非奇异的。让. 然后在哪里
因此,如果,所以是一致的。
你能解释一下一致性是如何从以下事实得出的吗?. 我们是否还讨论参数估计的一致性或其他类型的一致性(例如预言机属性)?
你会失望地发现lasso最重要的一致性是选择预测变量的一致性。如果你模拟两个中等大的数据集,独立执行lasso并比较结果,低重叠度将揭示任务选择特征的难度。当存在共线性时,情况更是如此。 套索将过多的精力花在特征选择而不是估计上,并且 L1 范数会导致真正重要的预测变量过度收缩(因此马蹄形先验在贝叶斯高维建模中很受欢迎)。在解决这些更基本的问题之前,我不会对您上面描述的一致性类型太感兴趣。我一般性地讨论了这些问题,并展示了引导程序如何帮助发现它们,这里是关于高维数据分析挑战的章节。