后验方差与后验均值的方差

机器算法验证 贝叶斯 常客 点估计 可信区间 覆盖概率
2022-03-03 23:08:17

这个问题是关于贝叶斯方法的频率特性。

假设我们有数据y从具有单个参数的分布生成θ, 配备了先验π(θ). 这导致后验分布π(θ|y). 贝叶斯可能会刻画周围的不确定性θ使用后验方差

V(θ|y)=Θ(θθ^)2π(θ|y) dθ(1)

在哪里θ^是后验均值。一个戴着贝叶斯帽子的常客(或者可能相反)可能会选择关注后验均值(即估计θ) 更直接。后验均值的方差由下式给出

V(θ^|θ)=Θ(θ^E(θ^))2f(θ^|θ) dθ^(2)

如果后验均值是无偏的θ, 和后验分布π(θ|y)“看起来像”采样分布f(θ^|θ),然后等式(1)和(2)开始看起来相似。

为什么我们会关心:考虑可信区间的频率论覆盖率(再次混合贝叶斯和频率论世界),这两个量的比率似乎应该提供有价值的信息。例如,如果后验方差远小于后验均值的方差,则可信区间的覆盖范围可能很差(小于名义值)。

  1. 比较这些数量是否有意义?通过比较它们可以获得什么样的信息?
  2. 任何人都可以指出一些处理这个特定问题的参考资料吗?(我试过搜索这个,但在这个网站上找不到任何东西或以其他方式处理这个特定问题)。
1个回答

没有特别的原因π(θ|y)应该看起来像f(θ^|θ)作为函数θ. 后者是参数估计器的抽样分布 θ^,它可能与数据的似然函数具有显着不同的形式y. 此外,贝叶斯分析中的参数估计器几乎从来没有无偏,因为它包含了先验分布。由于这些原因,我认为这些方差方程中的被积函数极不可能彼此“看起来像”,除非在不寻常的特殊情况下。

  1. 比较这些数量是否有意义?通过比较它们可以获得什么样的信息?

由于这些是完全不同数量的方差,以不同的事物为条件,任何有用的比较都可能通过一些相应的区间估计器来实现θ. 后验标准差S(θ|y)应该给你一个关于可信区间宽度的粗略概念θ,而标准误S(θ^|θ)应该让您大致了解置信区间的宽度θ.

因此,如果您愿意放弃分布的“形状信息”,那么您可以合理地说,两个方差的比较将使您了解可信区间与置信区间的相对准确性。在我看来,这有点试探性,但在一些简化的假设下可能是可能的。

2. 任何人都可以指出一些处理这个特定问题的参考资料吗?(我试过搜索这个,但在这个网站上找不到任何东西或以其他方式处理这个特定问题)。

我不熟悉有关此主题的任何文献,但也许您可以搜索可信区间和置信区间的准确性/宽度的比较。如果有关于该主题的任何文献,那么我想它将涉及这两个方差量。