在拉普拉斯平滑(或加法平滑)的维基百科文章中,据说从贝叶斯的角度来看,
这对应于后验分布的期望值,使用带有参数的对称 Dirichlet 分布作为先决条件。
我很困惑这到底是怎么回事。有人可以帮我理解这两件事是如何等价的吗?
谢谢!
在拉普拉斯平滑(或加法平滑)的维基百科文章中,据说从贝叶斯的角度来看,
这对应于后验分布的期望值,使用带有参数的对称 Dirichlet 分布作为先决条件。
我很困惑这到底是怎么回事。有人可以帮我理解这两件事是如何等价的吗?
谢谢!
当然。这本质上是 Dirichlet 分布是多项分布的共轭先验的观察结果。这意味着它们具有相同的功能形式。文章中提到了它,但我只想强调这是从多项抽样模型中得出的。所以,开始吧……
观察是关于后验的,所以我们介绍一些数据,,这是计数不同的项目。我们观察样本总数。我们假设来自未知分布(我们将在其上放置一个之前在-单纯形)。
的后验概率给定和数据是
可能性,, 是多项分布。现在让我们写出pdf:
和
在哪里. 相乘,我们发现,
换句话说,后验也是狄利克雷。问题是关于后验平均值。由于后验是狄利克雷,我们可以应用狄利克雷均值的公式来找到,
希望这可以帮助!
作为旁注,我还想在上述推导中添加另一点,这与主要问题无关。然而,谈到多项分布的狄利克雷先验,我认为值得一提的是,如果我们将概率作为讨厌的变量,似然函数的形式是什么。
正如 sydeulissie 正确指出的那样,正比于. 现在在这里我想计算.
使用伽马函数的积分恒等式,我们有:
上述对分类数据的可能性推导提出了一种更稳健的方法来处理样本大小的情况下的这些数据还不够大。