依次应用贝叶斯规则

机器算法验证 可能性 贝叶斯
2022-03-04 19:15:55

我有

π(a)=P(a|b)=P(b|a)P(a)P(b)

我现在想更新一些新信息,C=c

是否可以写:

P(a|b,c)=P(b,c|a)P(a)P(b,c)=?P(c|a)π(a)P(c)

2个回答

你可以写:

P(a,b,c)=P(a|b,c)P(b,c)=P(a|b,c)P(c|b)P(b)

或者,也有效:

P(a,b,c)=P(c|a,b)P(a,b)=P(c|a,b)P(b|a)P(a)

将两个表达式放在一起:

P(a|b,c)=P(c|a,b)P(b|a)P(a)P(c|b)P(b)=P(c|a,b)π(a)P(c|b)

如果这个新的观察不依赖于先前的观察(即),你可以写:cbP(b,c)=P(b)P(c)

P(a|b,c)=P(c|a)π(a)P(c)

使用一些更具体的符号可能会有所帮助,因为贝叶斯更新将取决于您使用的模型。

例如,假设您有一个线性回归模型,您在其中进行了回归yixi变量。该模型的系数/参数可以称为θ. 如果你有一批n数据点,您可以将您的可能性写为

p(y1:nX1:n,θ)=i=1np(yixi,θ).
只要您选择了一些先前的分布,您的模型就会完成π(θ).

贝叶斯规则状态

π(θy1:n,x1:n,θ)p(y1:nX1:n,θ)π(θ).
如果你有另一行数据(yn+1,xn+1),然后你可以使用更新你的后验
π(θy1:n+1,x1:n+1,θ)=p(yn+1xn+1,θ)π(θy1:n,x1:n,θ).
因此,当您按顺序更新时,旧的后验分布取代了先验分布。

正如我之前所说,贝叶斯更新将取决于您使用的模型。不同的模型将具有不同的条件独立结构。然而,许多其他模型将类似于最后一个表达式,因为旧的后验被用作先验,并且乘以一些边际“可能性”。