这个问题是关于贝叶斯和计算统计的。我现在正在学习它们,我的软件有两个非常常见的输出,一个是拉普拉斯近似,另一个是修正调和平均。它们都用于近似对数边际似然,通常它们具有非常接近的值。他们有什么区别?没有这些方法,谁能给我一些背景知识?
“拉普拉斯近似”和“修正调和平均”有什么区别?
机器算法验证
贝叶斯
可能性
计算统计
后部
调和平均
2022-03-15 21:51:42
1个回答
我假设,您指的是边际可能性的估计。拉普拉斯近似用于基于正态分布来近似边缘似然。结果估计如下:
在哪里是后验模式(可以从 MCMC 输出估计)和是基于对数似然的 Hessian 矩阵的逆矩阵,并在后验模式下进行评估(这也可以从 MCMC 输出进行评估),你的可能性和是先验分布。如果您的后验分布与正态分布相似,则此近似值效果很好。第二个估计量,修改(广义)调和平均估计量由以下恒等式推导出:
这里是任何“重要”密度,并且必须接近后部。所以这两个,拉普拉斯和广义调和平均,估计量用于边际似然值估计。
但是,它们具有不同的起源并且表现不同:拉普拉斯估计器是基于近似的估计器,如果您的后验不是钟形分布(多峰或高度偏斜),则该估计器将不起作用。否则它工作得很好。广义调和平均估计器基于精确恒等式,理论上它应该提供准确的估计,但是,作为其密切相关的调和平均估计器,它非常敏感。不知道更多关于它的性能,但它的相对调和平均估计器通常是非常糟糕的估计器。我不会在我的工作中使用它。
希望我回答了你的问题。
其它你可能感兴趣的问题