导致后验分布难以处理的因素是什么?

机器算法验证 贝叶斯 近似 推理
2022-02-03 13:10:02

在贝叶斯统计中,经常提到后验分布是难以处理的,因此必须应用近似推断。造成这种棘手的因素是什么?

4个回答

我有机会亲自问大卫·布莱这个问题,他告诉我,在这种情况下,棘手意味着两件事之一:

  1. 积分没有封闭形式的解。这可能是当我们对一些复杂的真实数据进行建模时,我们根本无法在纸上写下分布。

  2. 积分在计算上是难以处理的。他建议我坐下来用笔和纸实际计算出高斯混合贝叶斯的边际证据。你会看到它在计算上是难以处理的,即指数。他在最近的一篇论文中给出了一个很好的例子(参见2.1 近似推理的问题)。

FWIW,我发现这个词的选择令人困惑,因为(1)它的含义很重,(2)它已经在 CS 中广泛使用,仅指计算难处理性。

问题主要是贝叶斯分析涉及积分,在现实问题中通常是多维积分,而正是这些积分在分析上通常是棘手的(除了在少数特殊情况下需要使用共轭先验)。

相比之下,许多非贝叶斯统计基于最大似然——找到一个(通常是多维的)函数的最大值,这涉及到它的导数的知识,即微分。即使如此,数值方法也被用于许多更复杂的问题,但没有它们可能会更频繁,并且数值方法可以更简单(即使不太简单的方法在实践中可能表现更好)。

所以我想说这归结为差异化比整合更容易处理的事实。

实际上,有多种可能性:

  1. 封闭式表达式可用于后验(例如: ,先验用于和后验是一个分布),YBin(n,π)πBeta(a,b)p(π|Y=y)Beta(a+y,b+ny)
  2. 后验可处理到归一化常数(例如:的先验 )YBin(n,π)logπN(μ,σ2)p(π|Y=y)p(y|π)p(π)
  3. 数据生成过程是一些复杂的机制,我们无法写下可能性(或者如果我们可以的话,它需要永远评估),但我们可以从数据生成过程中进行模拟(例如,某些属性如何产生的某种过程)在一个种群中发展了许多代)。继续上面的例子,在这种情况下,我们将没有的封闭形式表达式,但可以在的特定值的的实现(我们甚至不讨论我们有不知道数据是如何产生的......)。p(y|π)Yπ

人们通常在谈论(分析上)不可处理的后验时表示类似(2)的意思,而当他们谈论不可处理的可能性时,通常会表示类似(3)的意思。这是第三种情况,近似贝叶斯计算是其中一种选择,而在第二种情况下,MCMC 方法通常是可行的(您可能会认为这在某种意义上是近似的)。我不完全确定,您提供的报价指的是这两个中的哪一个。

易处理性与表达式的封闭形式有关

如果问题可以用封闭形式的表达式来解决,则称这些问题是易处理的。

在数学中,封闭式表达式是可以在有限数量的操作中计算的数学表达式。它可能包含常数、变量、某些“众所周知的”运算(例如,+ − × ÷)和函数(例如,n 次方根、指数、对数、三角函数和反双曲函数),但通常没有限制。封闭式表达式中允许的操作和函数集可能会因作者和上下文而异。

因此,难处理性意味着涉及某种极限/无穷大(如积分中的无限求和),无法在有限数量的操作中进行评估,因此必须使用逼近技术(如 MCMC)。

Wikipedia 文章指向Cobham 的论文,该论文试图将这种“操作量”形式化,从而使其易于处理。