机器算法验证 - BIC 是否试图找到一个真正的模型？ - 吾爱随笔录

BIC 是否试图找到一个真正的模型？

机器算法验证模型选择 aic 比克

2022-02-15 12:23:24

关于 AIC 和 BIC 之间的区别，这个问题是一个后续问题，或试图澄清关于我和许多其他人发现有点困难的主题的可能混淆。在@Dave Kellen 关于这个主题的一个非常好的回答中（https://stats.stackexchange.com/a/767/30589）我们读到：

您的问题意味着 AIC 和 BIC 试图回答同一个问题，这是不正确的。AIC 试图选择最充分地描述未知的高维现实的模型。这意味着现实永远不在正在考虑的候选模型集中。相反，BIC 试图在候选集合中找到 TRUE 模型。我发现假设现实是在研究人员在此过程中建立的模型之一中实例化的假设很奇怪。这对 BIC 来说是一个真正的问题。

在@gui11aume 下面的评论中，我们读到：

(-1) 很好的解释，但我想挑战一个断言。@Dave Kellen 您能否参考一下 TRUE 模型必须位于 BIC 集合中的想法？我想对此进行调查，因为在本书中作者提供了令人信服的证据，证明情况并非如此。– gui11aume 2012 年 5 月 27 日 21:47

似乎这个断言来自 Schwarz 本人（1978 年），尽管断言不是必需的：由同一作者（如 @gui11aume 链接到），我们从他们的文章“多模型推理：理解模型选择中的 AIC 和 BIC”中读到（伯纳姆和安德森，2004）：

BIC 的推导是否假设存在一个真实模型，或者更严格地说，是假设真实模型在使用 BIC 时的模型集中吗？（施瓦茨的推导指定了这些条件。）......答案......不。也就是说，BIC（作为对某个贝叶斯积分的近似的基础）可以在不假设推导所依据的模型为真的情况下推导出来（参见，例如，Cavanaugh 和 Neath 1999；Burnham 和 Anderson 2002：293-5）。当然，在应用 BIC 时，模型集不需要包含代表完整现实的（不存在的）真实模型。此外，BIC 选择模型到目标模型的概率收敛（在 iid 样本的理想化下）在逻辑上并不意味着目标模型必须是真实的数据生成分布）。

所以，我认为值得就这个主题进行讨论或澄清（如果需要更多）。现在，我们所拥有的只是来自@gui11aume 的评论（谢谢！），这是关于 AIC 和 BIC 之间差异的一个非常高票数的答案。

1个回答

Schwarz (1978) 设计的信息准则的特点是它渐近地选择具有较高后验概率的模型，即在给定相同先验数据的情况下具有较高可能性的模型。所以大致其中表示“渐近等价”，是模型给定数据的后验。我看不出这个结果如何取决于模型 1 的真实性（贝叶斯框架中甚至有真实的模型吗？）。

\frac{p (M_{1} | y)}{p (M_{2} | y)} > 1 \overset{A}{\sim} S I C (M_{1}) < S I C (M_{2})

$\frac{p(M_1|y)}{p(M_2|y)} > 1 \overset{A}{\sim} SIC(M_1) < SIC(M_2)$

\overset{A}{\sim}

$\overset{A}{\sim}$

p (M_{j} | y)

$p(M_j|y)$

j

$j$

y

$y$

我认为造成混淆的原因是 SIC 具有另一个不错的功能，即在某些条件下，如果后者在模型范围内，它将渐近地选择“真实”模型。AIC 和 SIC 都是标准的特例，其中是参数估计的对数似然，是参数的数量，是样本大小。当模型宇宙由线性高斯模型组成时，可以证明我们需要：

I C (k) = - \frac{2}{T} l (\hat{θ}; y) + k g (T)

$IC(k) = -\frac{2}{T} \mathcal{l}(\hat{\theta};y) + k g(T)$

l (\hat{θ}; y)

$\mathcal{l}(\hat{\theta};y)$

\hat{θ}

$\hat{\theta}$

k

$k$

T

$T$

g (T) \to 0 as \infty

$g(T) \to 0 \; \text{as} \;\infty$ 让 IC 不选择比真实模型更小的模型，概率为 1 且表示 IC 不会以 1 的概率选择大于真实模型的模型。我们有所以 SIC 满足两个条件，而 AIC 满足第一个条件，但不满足第二个条件。有关这些特性的易于理解的说明和实际影响的讨论，请参阅本书的第 6 章。

T g (T) \to \infty as \infty

$Tg(T) \to \infty \; \text{as} \;\infty$

g_{A I C} (T) = \frac{2}{T}, g_{S I C} (T) = \frac{\ln T}{T}

$g_{AIC}(T) = \frac{2}{T},\;\; g_{SIC}(T) = \frac{\ln{T}}{T}$

Elliott, G. 和 A. Timmermann（2016 年 4 月）。经济预测。普林斯顿大学出版社。

施瓦茨，吉迪恩。“估计模型的维度。” 统计年鉴 6.2（1978）：461-464。

其它你可能感兴趣的问题

上一篇随机变量及其分布的符号约定下一篇混合效应模型中的重尾误差