我正在阅读Efron 和 Hastie 的Computer Age Statistical Inference,这两位我非常尊敬的统计学家。
第 12.3 节讨论 Mallows 的、Akaike 的信息标准 (AIC) 和 Stein 的无偏风险估计器 (SURE),作者统称为“协方差惩罚”,用于估计预测误差。他们以以下建议结束本节。
当有可信的参数模型可用时,协方差惩罚估计应该优先于交叉验证。
这种理解是传统的吗?我一直更喜欢交叉验证的预测误差作为主要衡量标准,如果我对我的建模假设有合理的信心,我会加入协方差惩罚措施以获得额外的洞察力。我想我在这里的主要抱怨是作者使用了可信这个词。在阅读这篇文章之前,我的理解是交叉验证的预测误差在可用时应该是首选,因为它不需要统计模型的额外假设。即使模型看起来可信,它也不太可能在每个细节上都成立,因此交叉验证的预测误差更可靠。
作者通过证明选择不当的测试集不能很好地衡量预测误差,为这种说法提供了一些理由。这不足为奇。我很想听听其他人对这个话题的看法和他们的理由。