在贝叶斯统计中,经常提到后验分布是难以处理的,因此必须应用近似推断。造成这种棘手的因素是什么?
导致后验分布难以处理的因素是什么?
机器算法验证
贝叶斯
近似
推理
2022-02-03 13:10:02
4个回答
我有机会亲自问大卫·布莱这个问题,他告诉我,在这种情况下,棘手意味着两件事之一:
积分没有封闭形式的解。这可能是当我们对一些复杂的真实数据进行建模时,我们根本无法在纸上写下分布。
积分在计算上是难以处理的。他建议我坐下来用笔和纸实际计算出高斯混合贝叶斯的边际证据。你会看到它在计算上是难以处理的,即指数。他在最近的一篇论文中给出了一个很好的例子(参见2.1 近似推理的问题)。
FWIW,我发现这个词的选择令人困惑,因为(1)它的含义很重,(2)它已经在 CS 中广泛使用,仅指计算难处理性。
实际上,有多种可能性:
- 封闭式表达式可用于后验(例如: ,先验用于:和后验是一个分布),
- 后验可处理到归一化常数(例如:的先验是和 )
- 数据生成过程是一些复杂的机制,我们无法写下可能性(或者如果我们可以的话,它需要永远评估),但我们可以从数据生成过程中进行模拟(例如,某些属性如何产生的某种过程)在一个种群中发展了许多代)。继续上面的例子,在这种情况下,我们将没有的封闭形式表达式,但可以在的特定值的的实现(我们甚至不讨论我们有不知道数据是如何产生的......)。
人们通常在谈论(分析上)不可处理的后验时表示类似(2)的意思,而当他们谈论不可处理的可能性时,通常会表示类似(3)的意思。这是第三种情况,近似贝叶斯计算是其中一种选择,而在第二种情况下,MCMC 方法通常是可行的(您可能会认为这在某种意义上是近似的)。我不完全确定,您提供的报价指的是这两个中的哪一个。
易处理性与表达式的封闭形式有关。
如果问题可以用封闭形式的表达式来解决,则称这些问题是易处理的。
在数学中,封闭式表达式是可以在有限数量的操作中计算的数学表达式。它可能包含常数、变量、某些“众所周知的”运算(例如,+ − × ÷)和函数(例如,n 次方根、指数、对数、三角函数和反双曲函数),但通常没有限制。封闭式表达式中允许的操作和函数集可能会因作者和上下文而异。
因此,难处理性意味着涉及某种极限/无穷大(如积分中的无限求和),无法在有限数量的操作中进行评估,因此必须使用逼近技术(如 MCMC)。
Wikipedia 文章指向Cobham 的论文,该论文试图将这种“操作量”形式化,从而使其易于处理。
其它你可能感兴趣的问题