贝叶斯更新中的事件顺序重要吗?

机器算法验证 贝叶斯 推理 β-二项分布
2022-04-01 10:16:46

我想知道事件的顺序是否会导致不同的贝叶斯更新。

例如,考虑一个未知的抛硬币问题p,正面的概率。最初,p已知遵循一些 beta 分布:

pBeta(a0,b0).
假设我们有一系列观察结果,不一定是抛硬币的结果。例如,第一个观察结果是“E[p]>12” 而第二个观察是“头”。

如果我想更新p使用贝叶规则,如果我可以先处理第二个事件,然后再处理第一个事件,这将容易得多,因为 Beta 是二项式实验的共轭先验。

但是,如果我必须更新p按照事件的顺序(首先是第一次观察,然后是第二次观察),该过程需要更多的计算。

所以,我的问题是,事件的顺序在贝叶斯更新中重要吗?如果不是,那么有什么理论背景可以证明这一点?

3个回答

AFAIK,你不能这么说p>12甚至E[p]>12是“观察”或“事件”,而是对模型参数的约束。术语“观察”通常保留用于随机变量的特定实现(即从分布中提取)。在您的模型中,可以合理地观察到p(0到1之间的数字)或结果Bernoulli(p)(0 或 1)。没有办法观察E[p]>12,此信息位于您的概率模型之外。

作为粗略的规则(适用一些警告),您应该能够在给定模型参数的情况下从概率模型中模拟观察结果。你将如何模拟一个模型E[p]>12是一个可能的观察?

如果你从pBeta(a0,b0);a0,b0R+模型然后学习E[p]>12,这意味着您的初始模型不正确,您应该更改模型以反映约束(E[p]>12暗示a0a0+b0>12, 所以一些组合a0b0被排除)。AFAIK 不能直接用贝叶斯更新语言处理添加约束。

希望有帮助。

在贝叶斯推理中,“观察”和“事件”之类的术语只是为了方便。它们没有根本重要性,所以不要挂断它们。

特别是,没有物理因果关系或时间之箭——没有“事件”。是否可以以多个顺序执行某些计算完全取决于模型的形式。如果在代数上,假设某些变量的赋值顺序不同(即“观察”),结果是相同的,那么,太棒了,你可以做任何方便的事情。如果不是,那么,那又如何?

关于 p > 1/2 的表示,您可以将其表示为一个似然函数,它只是 1/2 的一步。也就是说,它在 1/2 的左边是零,右边是任何正常数。请注意,普通的“观察”会产生平滑变化的似然函数,但平滑不是必需的。

为了做到这一点,随机变量必须是可交换的。

你的例子有点不同,因为p>1/2不是一个事件。一个事件应该在可能性的支持下。在这种情况下,事件仅由二项式随机变量或其总和构成。