为什么在使用 MAP 估计参数时需要 MCMC

机器算法验证 贝叶斯 估计 马尔可夫链蒙特卡罗
2022-03-26 19:25:36

给定参数的 MAP 估计公式 MAP参数估计 为什么需要 MCMC(或类似)方法,我不能只取导数,将其设置为零,然后求解参数吗?

3个回答

大多数后验证明难以解析优化(即通过采用梯度并将其设置为零),您需要借助一些数值优化算法来进行 MAP。

顺便说一句:MCMC 与 MAP 无关。

MAP - 对于后验最大值- 是指找到与后验密度成比例的事物的局部最大值,并使用相应的参数值作为估计值。它被定义为

θ^MAP=argmaxθp(θ|D)

MCMC 通常用于近似与概率密度成比例的期望值。在后验的情况下,那是

θ^MCMC=n1i=1nθi0Θθp(θ|D)dθ

其中是合适的马尔可夫链访问的参数空间位置的集合。一般来说,在任何有意义的意义上。{θi0}i=1nθ^MAPθ^MCMC

关键在于 MAP 涉及优化,而 MCMC 则基于采样

如果您知道您的后验来自哪个家庭,并且如果找到该分布的导数在分析上是可行的,那是正确的。

但是,当您使用 MCMC 时,您可能不会遇到这种情况。MCMC适用于您对后部的外观没有清晰分析概念的情况。

不需要(或建议)使用 MCMC 来计算 MAP 估计值。通常,您将无法求解 MAP 目标导数的根。但是,您可以使用数值优化来近似最大化目标。如前所述,MCMC 是一种抽样方法,而 MAP 估计是一个优化问题。MAP 估计只要求我们能够在给定的处评估(未归一化的)后验分布,并且只给我们关于该后验的一条信息。通过对难以处理的后验进行近似采样,MCMC 方法使我们能够了解有关后验分布的所有信息。θ