MAP 是后验的最大值还是其众数?

机器算法验证 贝叶斯 模式
2022-03-21 16:06:17

根据 MA​​P 的 WP定义

在贝叶斯统计中,最大后验概率 (MAP) 估计是对未知量的估计,它等于后验分布的模式

(强调),给定后验,可以定义为:f(θx)

θ^MAP(x)=argmaxθ f(θx)

据我了解,分布的模式取决于我如何构建其直方图(或 KDE)。在我看来,这与上面的定义相矛盾,其中 MAP 是的最大值找到值,并且不依赖于其他任何东西θf(θx)

我错过了什么?

2个回答

在贝叶斯统计中,最大后验概率 (MAP) 估计是对未知量的估计,它等于后验分布的模式

这是对的。

据我了解,分布的模式取决于我如何构建其直方图(或 KDE)。在我看来,这与上述定义相矛盾,其中 MAP 是为采样 f(θ∣x) 找到的最大 θ 值,并且不依赖于其他任何东西。

您将理论数量与基于随机/采样的数量混淆了。后验由似然和先验定义。其中 ,分别是似然性和先验性。这是中的一个独特功能。f(θx)=L(θ)π(θ)ΘL(θ)π(θ)dθL(θ)π(θ)θ

在实践中,从这个分布中取样是很常见的,如果是这种情况,那么你就会引入随机误差。通常,完成此操作后,它是唯一的选择,因为归一化常数将不可用。获取样本,并且只要求用户能够评估未归一化的后验尽管这只是一个近似值,因为它确实基于随机抽取,但有一些结果可以保证您的估计器的收敛性,因此只要您运行模拟足够长的时间,该错误是可以容忍的。f(θ|x)L(θ)π(θ)

分布模式要么是概率更大的值(对于离散随机变量),要么是概率密度值最高的点(对于连续随机变量)。所以是的,后验分布的模式是 MAP 估计。

请注意,在构建直方图时,您不知道真实分布,这意味着您找到的“模式”只是对哪个区间具有最大相关概率的估计。