估计器的预言属性是什么?

机器算法验证 特征选择 模型选择 估计者 甲骨文
2022-02-04 04:15:40
  1. 估计器 预言属性是什么?
  2. oracle 属性与哪些建模目标相关(预测性、解释性......)?

理论上严谨和(特别是)直观的解释都是受欢迎的。

2个回答

预言机知道真相:它知道真正的子集并愿意对其采取行动。oracle 属性是估计量的渐近分布与 MLE 的渐近分布相同,仅在真实支持上。也就是说,估计器无需付出代价(根据渐近分布)即可适应知道真正的支持。

通过在定理 9.14 中讨论的 MLE 的渐近最优性,我们知道,在某些技术条件下,例如,当误差为高斯时,即

n(β^SβS)N(0,I1(βS)),
我们假设βS是真实支撑的真实系数S. 请注意,渐近分布的方差是 Fisher 信息的倒数,表明β^S是渐近有效的。由于知道真正支持的 MLE 实现了这一点,因此它也需要作为 oracle 属性的一部分。

然而,我们确实付出了陡峭的非渐近代价:例如,

Hannes Leeb,Benedikt M. Pötscher,稀疏估计和预言属性,或霍奇斯估计的回归,计量经济学杂志,第 142 卷,2008 年第 1 期,第 201-211 页,

这表明任何“预言机估计器”(在 Fan 和 Li,2001 年的意义上)的风险都有一个发散到无穷大的上确界。

Oracle 属性的定义与上下文高度相关。线性回归(精确地高维)中非常简短但精确的答案是:

预言机估计器必须在参数估计和变量选择方面保持一致。

请注意,在变量选择中一致的估计量在参数估计中不一定一致。有关数学定义,请参阅自适应套索论文或仅查看此幻灯片