二项式均匀先验贝叶斯统计

机器算法验证 贝叶斯 后部
2022-02-28 06:55:15

假设有一个二项分布,其中参数的先验是均匀的。如何获得参数的后验分布?

1个回答

如果您使用与二项式似然函数共轭的先验分布,这很容易做到。当得到的后验分布与先验分布类型相同时,则称先验分布和似然性是共轭的。这意味着,如果您有二项式数据,则可以在获得 beta 后验之前使用 beta。进行贝叶斯更新不需要共轭先验,但它们使计算更容易,因此如果可以的话,它们很好用。

Beta 先验有两个形状参数来确定它的外观,并表示为 Beta(α, β)。将 p(成功概率)的先验值设为统一等效于使用两个参数都设置为 1 的 Beta 分布。

为了获得后验,只需使用贝叶斯规则:

后验先验 x 似然

后验与似然乘以先验成正比。使用共轭分布的好处是贝叶斯更新真的和基本代数一样简单。我们采用二项式似然函数的公式,

BinomialLikelihoodpx(1p)nx

其中 x 是 n 次试验中的成功次数。然后将其乘以带有α和β形状参数的β先验公式,

BetaPriorpα1(1p)β1

得到以下后验公式,

BetaPosteriorpx(1p)nxpα1(1p)β1

您会看到我们将具有相同基数的项相乘,这意味着可以将指数相加。所以后验公式可以改写为,

BetaPosteriorpxpα1(1p)nx(1p)β1

这简化为,

BetaPosteriorpx+α1(1p)nx+β1

这相当于:取先验,将成功和失败添加到不同的指数中,瞧。换句话说,你取先验,Beta(α, β),然后将数据中的成功 x 添加到并将失败的 n – x 添加到,然后你的后验 Beta( +x, +nx)。αβαβ

当您以 Beta(1,1) 作为先验开始时,后验将具有二项式似然的确切形状,并且后验写为 Beta(1+x,1+nx)。

图表

如果您从制服之前的 Beta(1,1) 开始,它看起来像这样:

统一先验,Beta(1,1)

如果您在 25 次试验中有 13 次成功,则新的后验为 Beta(1+13,1+12) 或 Beta(14,13),如下所示:

后部,Beta (14,13)

在我的博客上,有代码可以制作这样的图表和其他图表,这里