贝叶斯更新的意义

机器算法验证 贝叶斯 马尔可夫链蒙特卡罗 共轭先验
2022-04-11 01:13:18

我是贝叶斯推理的新手,我找不到答案:

在现实生活场景中,人们使用 MCMC 来计算给定可能性和先验的后验分布。分析解决方案是不可能的。贝叶斯人经常说“我们更新我们先前的信念给定一些数据以获得后验”。但这里有些事情对我来说不太好:后面的形式永远不会与前面的形式相同,对吧?除非你有一个共轭先验,这真的很罕见。

那么这是什么意思呢?你的先验是一个伽马分布,你最终得到一个形状完全不同的后验。你真的更新了之前的发行版吗?当然没有。我们不能比较苹果和橘子。

这是否意味着我们有一个具有某种形状(伽马分布)的先验信念,然后我们更新这个信念,所以我们有一个新的形状(甚至没有分析描述)作为 MCMC 的输出。

我对“贝叶斯更新”这个想法很困惑,因为在实践中,如果你最终得到一种全新的后验分布,你不能将它作为下一批数据的新先验重用, 正确的 ?所以这意味着这只是先前信念的“一次更新”。

在我看来,贝叶斯更新意味着您更新了您的信念,因为您将先验分布更改为其他内容。这就像说“我改变了主意,它不再是伽马分布”。

另一方面,当我听一些讲座时,他们从不这么说。他们谈论与使用共轭先验相关的贝叶斯更新。在这种情况下,数学很好,因此后验可以用作先验。但这在现实生活中永远不会发生,对吧?我的意思是,如果您知道后验将与先验属于同一家族,您就不使用 MCMC 吗?

2个回答

Pierrot 的回答是正确的,但由于这似乎是一个关于直觉的问题,我想给出一种可能更直观的方法来思考这个问题。

我(+1)提出了这个问题,因为它在某种程度上很有见地;您正在认真对待您需要了解一种方法的真正含义。但是,当您从更高层次的角度看待 MCMC 方法背后的含义时,您还需要从更高层次的角度看待更新先验的含义。如果您的先前信念可以描述为伽马分布而您的后验信念不能,那么您肯定已经更新了先前的信念,而这并没有带来“比较苹果和橘子”的任何问题(关于说你是否更新过你的先前)。如果你为你的后验信念中的各种事件分配不同的概率,而不是你在你之前的信念中分配的概率,那么你已经更新了你的信念,这与你的先验和后验是否是相同类型的概率分布无关,只是不同的参数,或者完全由不同类型的分布表示。

换句话说,贝叶斯更新不需要后验分布与先验分布形式相同。这一事实也不意味着只有“一次性”更新是可能的。

让我举一个简单的例子。假设您先前的信念是,在任何特定的日子里都可能会下雨(称此事件为B) 比它不会。那么你的先验是一个离散的均匀分布分配概率0.5B0.5¬B. 但是,假设您还观察到现在是四月(将此事件称为A) 并且你都知道一天是在四月的概率是112并且某一天会下雨和这一天是四月的一天的联合概率是348. 然后

Pr(B|A)=Pr(AB)Pr(A)=3/481/12=0.75

现在你的后验信念分配了概率0.75B0.25¬B,这不是均匀分布,但我们仍然可以有效地将其称为贝叶斯更新。此外,这不一定是一次性更新,因为您可以轻松地进一步更新您对B例如,如果您观察到天空中的乌云等。

该答案并未解决您提出的问题中可能潜伏的另一个问题——您如何在另一个更新中使用 MCMC 的后验近似作为先验。也许Pierrot 的回答可以让您对此有所了解。

后验和先验都是参数空间上的分布,因此即使它们的形状不同,也可以这样进行比较。如果您有兴趣执行多次更新,即从后验 p(theta|Y1) 到第二个后验 p(theta|Y1,Y2) 等,那么您绝对可以使用 p(theta|Y1) 作为先验, 和 p(Y2|Y1,theta) 作为可能性。事实上,一些称为顺序蒙特卡罗的方法可用于递归地逼近此类后验的序列,例如,参见 Chopin 2002,静态模型的顺序粒子过滤方法,https://academic.oup.com/biomet/article-abstract /89/3/539/251804?redirectedFrom=PDF