机器算法验证 - Sampler、MonteCarlo、Metropolis-Hasting 方法、MCMC 方法和 Fisher 形式的区别 - 吾爱随笔录

Sampler、MonteCarlo、Metropolis-Hasting 方法、MCMC 方法和 Fisher 形式的区别

机器算法验证最大似然马尔可夫链蒙特卡罗蒙特卡洛马尔科夫过程费希尔信息

2022-03-01 08:59:54

1）我对我们所说的“采样器”感到困惑。据我了解，采样器允许生成遵循已知 PDF（概率分布函数）的点分布，不是吗？

2)另一方面，它退出蒙特卡洛方法，该方法允许例如通过生成随机值 (x_i,y_i) 来计算数字 Pi，并查看 x_i^2+y_i^2 < R^2。接受点与生成的总点之间的比率将估计 Pi。

3)此外，我以前曾以这种简单的形式使用过 Metropolis-Hasting，即生成具有已知 PDF 的点分布。但我也看到我们可以用它来估计模型的参数：在哪个级别我们可以将“采样器”Metroplis-Hasting 与“参数估计”方法区分开来。

4）例如，还有一种在核物理学中非常常用的验收方法（也称为冯诺依曼方法），它还从已知的 PDF 生成分布：它也可以被称为“采样器”吗？

5）最后，马尔可夫链与蒙特卡洛耦合（MCMC）是一种在给定数据的情况下估计模型参数的纯方法：蒙特卡洛和马尔可夫链在该方法中各自的作用是什么。

总而言之，我向您展示了我所面临的问题：它是关于天体物理学中的预测。在这篇文章中，我谈论的是物理学中的“逆问题”，即我们不会从非常准确的理论模型中预测数据，但我想根据我从实验或从实验中获得的数据来估计我的理论模型的参数模拟数据（我们称之为假数据）。贝叶斯定理的使用在这种方法中非常实用，因为我们在后验（给定数据的参数概率）和似然性（给定参数模型的数据值处取得的 PDF 乘积）之间存在比例关系。

6） Fisher 形式主义对于估计与基准值相比的标准偏差非常有用，但我们需要知道这些基准值之前和第二点，我们必须假设后验分布始终是高斯分布，不是吗？（或者那个可能性是高斯的，我不记得了......如果有人能指出这个假设）。

正如你所看到的，我需要整合很多概念，我想将这些混乱转化为有序的东西。

最重要的是：我想区分“采样器”和估计器方法。之后，欢迎任何评论来澄清我的困惑。

欢迎任何帮助，对于那些觉得所有这些问题很无聊的人感到抱歉。我想我要开始赏金来澄清所有这些观点。

2个回答

1.

采样器（或采样算法）是旨在从目标分布生成绘图的任何程序。 $\pi(\cdot)$

2.

你的理解对我来说似乎是正确的。蒙特卡洛基本上利用了大数定律。假设是根据分布分布的，而是您想要估计的标量 $X$ $\pi(x)$ $\theta$ $\theta = E(g(X))$

\begin{aligned} θ & = E (g (X)) \\ = \int g (x) π (x) d x \\ \approx \frac{1}{M} \sum_{i = 1}^{M} g (x_{i}) & (the MC estimator) \end{aligned}

$\begin{align*} \theta &= E(g(X)) \\[1.2ex] &= \int g(x)\pi(x) dx \\[1.2ex] &\approx \frac{1}{M}\sum_{i=1}^Mg(x_i) && \text{(the MC estimator)} \end{align*}$ 其中是从目标分布。请注意，Monte Carlo 是一种估计过程，始终要求目标分布的采样器已经存在。

x_{1}, x_{2}, \dots x_{M}

$x_1, x_2, \cdots x_M$

π (x)

$\pi(x)$

3.

这似乎是您的困惑的根源。Metropolis-Hastings 算法（这是一种 MCMC 方法）是“只是一个采样器”，通常用于贝叶斯统计中的参数推断。常见的用例可能会让您感到困惑，因此请关注事实

MH 算法用于从目标分布，中采样。 $\pi(x)$ $x \in \mathbb R^d$
与您提到的大多数其他“采样器”不同，MH 算法不会从目标分布中生成独立的绘图。无论如何，随着样本数量的增加，每次抽取（理论上）根据分布。这使我们能够以与上述相同的方式 $\pi(x)$ $\theta$

由于它的诸多优点（目标密度不需要“归一化”，容易选择快速的“提议分布”，在高维上效果很好），MH算法常用于从后验分布。然后，这些来自后验的样本可用于推理，例如参数估计。然而，MH 算法本身是指采样器。 $\pi(\theta|x)$

4.

是的，接受拒绝算法是一个采样器。

5.

希望这在对问题 3 的回答中得到了大部分回答。当使用 MCMC 算法从分布（通常是后验）中采样时，每个“样本”都取决于它之前的样本。即生成的样本不是独立的，而是可以看作一个马尔可夫链。尽管如此，假设 MCMC 采样器已经“收敛”，这些绘图可以以通常的蒙特卡洛方式使用。

采样器是用于从概率密度（或分布）函数生成观测值的算法。两个示例是依赖于逆变换方法和接受拒绝方法的算法。

另一方面，估计量是通常未知量的近似值。蒙特卡洛方法是指用于获得这些估计的一系列算法。蒙特卡洛方法的特点是它们依赖于概率分布中的样本来获得这些近似值。这就是两个概念连接的地方。

马尔可夫链蒙特卡罗(MCMC)方法结合了这两种思想来生成样本并使用这些样本估计感兴趣的数量。Metropolis-Hastings是众多 MCMC 算法之一。

例如，如果您感兴趣的数量是后验分布的均值，这通常意味着您必须求解积分。在更高的维度上，求解积分通常非常困难，甚至不可能解析求解。MCMC 方法的思想是从后验分布中模拟一个样本，然后使用样本的平均值估计计算平均值所需的积分。

为了友好地介绍这些概念，我认为Robert & Casella 的 Introducing Monte Carlo Methods with R是一个很好的参考。

其它你可能感兴趣的问题

上一篇为指数数据 (COVID19) 预测包 R 选择正确的预测模型下一篇我应该使用机器学习模型来计算倾向得分吗？