这种 Metropolis-Hastings 的替代方法是否可以挽救?这叫什么?

机器算法验证 贝叶斯 采样 推理 蒙特卡洛
2022-04-14 10:52:44

对于我的应用程序,我需要计算特定分布的积分。该分布是通过贝叶斯推断获得的 - \Theta 处的密度成正比,对于高斯先验和已知函数给出给定参数的数据概率 .ΘP(Θ)f(Θ)P(Θ)fΘ

我的理解是 Metropolis-Hastings 是这种情况下的首选方法,但我一直在尝试实现一种对我来说更直观的替代方法,并且可能会更快地收敛。但是我一直遇到一些问题,我想知道它们是否可以解决,以及如何寻求更多信息。

最初的想法是简单地从先前的中采样粒子,给每个粒子一个与成比例的权重,然后计算我想要的特征的加权平均值。Pf

但是,如果数据表明根据先验不太可能的参数,这种方法将需要大量的粒子,因为我们很少会生成有意义权重的粒子。

所以修改是对后验分布有一个估计(假设多元高斯对我的应用来说足够了),从中采样,并给每个粒子赋予如果我没记错的话,这应该平均给出正确的结果;并且这种修改在我对玩具数据集的测试中表现良好,这些玩具数据集表现出与先前显着不同的后验分布现象。QΘf(Θ)P(Θ)Q(Θ)

我的问题是这种方法在普通数据集上表现不佳。我相当肯定这是因为一些生成的粒子将是异常值(根据)。除以的密度的校正给这些粒子一个巨大的权重,所以在任何时候,加权平均值都可以向生成的异常值的任何值猛拉。QQ

所以,这让我回到了名义上的问题。这可以修复吗?这个方法有名字吗?

我正在考虑使用统一的代替高斯,但是如果我选择它的支持太窄,我会错过概率空间的有意义的区域,如果它太宽,大多数粒子将被浪费在有意义的区域之外的区域(而且我怀疑任何宽度都会太窄或太宽,尤其是在高尺寸时)。我也考虑过简单地忽略异常值,或者可能限制它们的权重,但这似乎是错误的。Q

1个回答

您建议的方法称为“重要性抽样”,它的成功取决于找到一个好的重要性分布,它应该尽可能类似于请注意,它不会取代 Metropolis-Hastings (MH),因为您仍然可以使用 MH 从中采样。QfPQ