在标准蒙特卡洛积分中，正如您正确指出的那样，您从分布中抽取样本并使用样本平均值逼近一些期望，而不是计算困难或难以处理的积分。所以你正在利用大数的强定律来做到这一点：

$$\begin{equation} \mathbb{E}_{\pi} [t(\boldsymbol{\theta})] = \int t(\boldsymbol{\theta}) \pi(\boldsymbol{\theta})d\boldsymbol{\theta} \approx \sum_{i=1}^n t(\boldsymbol{\theta}_i) \end{equation}$$ 其中每个$\boldsymbol{\theta}_i \sim \pi$，前提是$n$适当大。

问题是，在某些情况下，您实际上不能直接从$\pi$中抽取样本——例如，如果您只知道$c\pi$，其中$c$是某个未知常数。这经常发生在贝叶斯推理问题中，我们有$posterior \propto likelihood \times prior$。这里的一种方法是使用某种重新采样方法，即我们从某个分布$q$中抽取样本，然后以某种方式调整它们以对$\pi$进行推断。例如，在拒绝抽样中，来自$q$的一些样本被拒绝，因此剩下的那些类似于可能在$\pi$下的数据集。在重要性抽样中，样本来自$q$根据它们在推断有关\pi的信息中的重要性进行加权。$\pi$

Markov Chain Monte Carlo (MCMC) 是另一种重采样技术，但这次的样本在某种程度上是相互依赖的。这可以帮助或阻碍推理，但在高维问题中至关重要的是，MCMC 方法通常比拒绝采样或重要性采样更有效，因此在这里变得很流行。

本网站可能感兴趣：

http://www.lancs.ac.uk/~jamest/Group/stats3.html （由兰开斯特大学的一些博士生编写的蒙特卡罗方法的非正式指南）

几本不错的教科书是：

马尔可夫链蒙特卡洛：贝叶斯推理的随机模拟- Gamerman & Lopes (2006)

Markov Chain Monte Carlo in Practice - Gilks​​, Richardson & Spiegelhalter (1995)。

首先，蒙特卡洛方法不仅仅用于估计积分。它旨在从分布中抽取随机变量，“副产品”是积分的近似值。马尔可夫链背后的原因是 MCMC 方法/算法，例如 Metropolis-Hastings 产生的马尔可夫链具有与您希望从中获得随机抽取完全相同的平稳分布。MCMC 的美妙之处在于你可以让你的分布刚好达到一个归一化常数。从您的分布中获取随机样本的愿望不仅限于获得期望或方差的估计。