当基于 Jeffreys 先验时,哪些分布是参数化不变的?

机器算法验证 贝叶斯 预测模型 事先的 后部 参数化
2022-03-29 11:26:42

我知道Jeffreys 先验提供了一种方法,用于在给定模型(似然函数)的参数上构建先验分布,以使先验分布“在重新参数化下保持不变”。我理解这种不变性意味着给定参数集的 Jeffreys 先验可以转换为第二组参数的先验分布(通过概率分布的标准变量更改方法),并且得到的先验将匹配 Jeffreys先于第二组参数。

是否存在类似的不变性:

  1. 基于 Jeffreys 先验的后验分布?(即从杰弗里斯先验派生的后验是否具有与杰弗里斯先验相同的不变性?)
  2. 基于 Jeffreys 先验先验预测分布?(即从一组参数和相应的杰弗里斯先验得出的先验预测分布是否与从第二组参数和相应的杰弗里斯先验得出的先验预测分布相匹配?)
  3. 基于 Jeffreys 先验后验预测分布?(类似于#2)
  4. 基于 Jeffreys 先验MAP(最大后验)参数估计?(即基于一组 MAP 参数的数据空间分布是否与基于不同参数化的 MAP 参数的分布相匹配,其中两个参数后验分布均基于相应的 Jeffreys 先验)
1个回答
  1. 是的。实际上,这是有趣的不变性属性:这意味着两个贝叶斯使用模型的不同参数化但都使用 Jeffreys 先验,获得相同的后验分布(直到变量变化)来进行推断。

  2. 从概念上讲,没有基于 Jeffreys 先验的先验预测分布。Jeffreys 先验的目标是提供一个后验分布,尽可能地反映数据带来的信息。没有关于参数的先验信念,因此没有数据的先验预测分布。

  3. 目前尚不清楚(先验或后验)预测分布的不变性是什么意思。但请注意,从 1) 开始,两个贝叶斯使用 Jeffreys 先验但不同的参数化,获得相同的后验预测分布。

  4. MAP是后验分布的模式。它不是一成不变的,如果一方面是一对一的,那么后验的模式的分布不是的后验分布众数下的图像。这意味着我们的两个贝叶斯,都使用 Jeffreys 先验但使用不同的参数化,如果他们将 MAP 视为参数估计,将得到不连贯的结果。θψ=f(θ)fψfθ