为什么计算贝叶斯证据很困难?
机器算法验证
贝叶斯
事先的
边际分布
2022-03-31 12:52:09
2个回答
我喜欢@ShijiaBian 的回答。我会添加以下内容。
归一化常数很重要,因为没有它,(1)您将没有有效的概率分布,并且(2)您无法评估参数值的相对概率。例如,如果您将数据为条件的高斯条件,则您将无法对参数值的似然度进行平均,因为两个 PDF 内核乘积的无限总和不提供封闭形式。数学上:
展开分子,你会发现:
要规范化此函数,您必须对的所有可能(离散)值求和:。这在分析上是不可能的,因为对于上述形式的无限和,没有封闭形式的表达式。但是,如果您不这样做,您的函数将不会积分为,并且您将没有有效的概率密度。此外,规范化确保对于的每个值,您可以准确地确定的其他值的相对概率。
的值进行标准化,例如从到,那么您无法比较该范围外的值与该范围内的值的可能性有多大。然而,这确实表明,如果您对可能受到限制的值范围有一些信念,您可以将您的分布截断到该范围并在该范围内以数字方式执行求和,例如到。到的值范围内获得有效的概率分布(截断的泊松)。然而,这要困难得多,当是连续的(例如,Beta 或 Gamma 分布),尽管您可以执行数值积分。然而,数值积分在高维中是困难的,因此您必须将的维数限制在计算上可行的范围内。
后验分布与总概率定律无关,尽管它们看起来相似。
给定的是归一化常数。这很难计算的原因是因为1)。共轭性质只能应用于某些特定的分布;2)。先验和似然函数可以是高维的,很难整合;3)。积分可能不是封闭形式。
这就是为什么重采样方法必须在贝叶斯逼近中发挥作用的原因。
其它你可能感兴趣的问题