贝叶斯方法是关于对不确定性进行平均而不是优化。解释?

机器算法验证 贝叶斯 模型选择 模型比较
2022-04-03 00:47:43

我遇到了这样的说法“贝叶斯方法的关键因素是对不确定的变量和参数进行平均,而不是优化”。有人可以解释这是为什么吗?

我的困惑是,在贝叶斯模型选择中,如果你计算模型证据,肯定会涉及一些优化元素……然后你计算后验概率以获得贝叶斯因子,但似乎有一些优化元素仍然。这是不正确的吗?

2个回答

在进行模型选择时,给每个模型MM一个证据e(M)e(M)写成对应的综合似然 e(M)=fM(x|θM)dθM

然后给每个模型一个后验概率π(M|x)如果需要,选择模型的决定是基于效用函数的最大化 argmaxME[U(M,θM)|x]
因此,在决策中进行优化是正确的。

我粗略地搜索了您给出的报价的上下文。我发现它在 Gharamani 的幻灯片中出现了很多。

在这些幻灯片中,他使用该声明来暗示 MAP 不是贝叶斯方法。我对贝叶斯方法的经验是,某些推理的结果通常是参数的分布,然后您以某种方式对其进行平均以获得估计/预测。

我认为西安证明了获取证据本身并不需要优化。优化发挥作用的唯一一点是当您必须根据某些效用函数做出选择模型的决定时。