贝叶斯参数估计中如何选择先验

机器算法验证 贝叶斯 估计 事先的
2022-02-12 20:14:57

我知道 3 种方法来进行参数估计,ML、MAP 和贝叶斯方法。对于 MAP 和贝叶斯方法,我们需要为参数选择先验,对吗?

说我有这个模型p(X|α,β), 其中α,β是参数,为了使用 MAP 或贝叶斯进行估计,我在书中读到我们最好先选择一个共轭先验p(α,β),这是一个联合概率α,β, 对?

我有两个问题:

  1. 除了这个共轭选项,我们还有其他选择吗?

  2. 我们可以选择先验吗αβ分别喜欢p(α)p(β),除了把它们放在一起吗?

3个回答

如评论中所述,先验分布表示对参数分布的先验信念。

当先前的信念实际可用时,您可以:

  • 将它们转换为矩(例如均值和方差)以适应这些矩的公共分布(例如,如果您的参数位于实线,则为高斯,如果位于实线上,则为伽玛R+)。
  • 使用您对这些信念的直观理解来提出给定的先验分布,并检查它是否真的符合您的目的,并且它对任意选择不敏感(执行稳健性或敏感性分析)

当没有明确的先验信念可用时,您可以:

  • 派生(或简单地使用,如果已经可用,一个很好的资源是http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf)杰弗里斯(例如位置参数的统一)或参考先验(尤其是在多变量参数的情况)。
  • 有时这样的选择是不可能或很难得出的,在这种情况下,您可以尝试在众多“通用”弱信息先验中进行选择(例如,分层模型的尺度参数的均匀收缩分布或G-高斯回归的先验)。

话虽如此,使用联合或独立先验没有限制(p(一种,b)VSp(一种)p(b))。作为补充,我想说的是,在我的拙见中,选择先验时需要注意三件事:

  • 注意你的后验几乎在任何地方(或适当的)都是可积的,如果你使用可积的先验,这总是正确的(有关更多详细信息,请参阅贝叶斯后验是否需要正确分布?),
  • 仅当您对支持范围非常有信心时才限制您的先验支持(因此避免这样做)。
  • 最后但并非最不重要的一点是,确保(大部分时间通过实验)您选择的先验意味着您想要表达的内容。在我看来,这项任务有时更为关键。永远不要忘记,在进行先验推断本身并没有任何意义时,您必须考虑后验(这是先验和可能性的组合)。

还有经验贝叶斯。这个想法是调整数据的先验:

最大限度p(z)p(D|z)p(z)dz

虽然一开始这可能看起来很尴尬,但实际上与最小描述长度有关。这也是估计高斯过程核参数的典型方法。

直接回答上面的两个问题:

  1. 除了共轭先验之外,您还有其他选择来选择非共轭先验。问题是,如果你选择非共轭先验,你就不能做出精确的贝叶斯推断(简单地说,你不能推导出一个近似形式的后验)。相反,您需要进行近似推断或使用 Gibbs 采样、拒绝采样、MCMC 等采样方法来推导您的后验。抽样方法的问题在于,直观上,它就像在黑暗中反复触摸大象的图画——你可能有偏见和不完整。人们选择非共轭先验的原因是,对于某些可能性,共轭先验选项非常有限,或者说,大多数都是非共轭的。

  2. 是的,你绝对可以。如果 α 和 β 是独立的,这是理想条件,您可以通过 p(α)p(β) 推导出它们的联合分布。如果它们不是独立的,您可能需要找出条件概率并进行积分以得出联合分布。