机器算法验证 - 不正确先验的贝叶斯因子 - 吾爱随笔录

机器算法验证贝叶斯模型选择事先的

2022-03-19 12:14:37

我有一个关于使用贝叶斯因子进行模型比较的问题。在许多情况下，统计学家对使用不正确先验的贝叶斯方法（例如一些 Jeffreys 先验和参考先验）感兴趣。

我的问题是，在模型参数的后验分布明确定义的情况下，在使用不当先验的情况下使用贝叶斯因子比较模型是否有效？

作为一个简单的例子，考虑比较一个 Normal 模型和一个带有 Jeffreys 先验的 Logistic 模型。

1个回答

不。虽然在某些情况下不正确的先验可以用于参数估计（由于Bernstein-von Mises 定理），但由于所谓的边缘化悖论，它们对于模型比较来说是一个很大的禁忌。

顾名思义，问题在于不正确分布的边际分布没有明确定义。给定一个可能性 $p_1(x \mid \theta)$ 和之前的 $p_1(\theta)$ ：贝叶斯因子需要计算边际似然：

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

如果您认为不适当的先验仅在比例性方面已知（例如 $p_1(\theta) \propto 1$ )，那么问题是 $p_1(x)$ 将乘以一个未知常数。在贝叶斯因子中，您将计算具有未知常数的事物的比率。

一些作者，尤其是 ET Jaynes，试图通过将不正确的先验定义为正确先验序列的限制来解决这个问题：那么问题是可能存在两个不同的限制序列，然后给出不同的答案。

其它你可能感兴趣的问题