机器算法验证 - 具有比率估计器的最优重要性抽样 - 吾爱随笔录

我们想要近似以下期望：

E [h (x)] = \int h (x) π (x) d x

$\mathbb{E}[h(x)] = \int h(x)\pi(x) dx$ 在哪里

h (x)

$h(x)$ 是一个任意函数并且

π (x)

$\pi(x)$ 是一个分布，同样为简单起见，让我们假设我们实际上知道归一化常数

π (x)

$\pi(x)$ . 当然，我们希望从最优提案分布中进行抽样：

g (x) = \frac{| h (x) | π (x)}{Z}

$g(x) = \frac{|h(x)|\pi(x)}{Z}$ 但当然，这不是我们可以从中采样的形式，我们甚至无法计算重要性权重，因为我们需要知道

Z

$Z$ ：

w (x) = \frac{Z π (x)}{| h (x) | π (x)}

$w(x) = \frac{Z \ \pi(x)}{|h(x)|\pi(x)}$ 但是，如果我们假设

g (x)

$g(x)$ 可以从中采样，我们可以使用比率重要性采样估计器吗？：

\frac{\int w (x) h (x) g (x) d x}{\int w (x) g (x) d x}

$\frac{\int w(x)h(x)g(x) dx}{\int w(x)g(x)dx}$ 为了清楚起见，估计量也可以写成

{x^{(i)}}_{i = 1}^{N}

$\{x^{(i)}\}_{i=1}^N$ 是一组来自密度分布的样本

g (x)

$g(x)$ （神奇地）。我们让

w (x^{(i)}) = \frac{1}{| h (x^{(i)}) |}

$w(x^{(i)}) = \frac{1}{|h(x^{(i)})|}$ 进行最终估计：

E [h (x)] \approx \frac{\sum_{i = 1}^{N} w (x^{(i)}) h (x^{(i)})}{\sum_{i = 1}^{N} w (x^{(i)})}

$\mathbb{E}[h(x)] \approx \frac{\sum_{i=1}^N w(x^{(i)})h(x^{(i)})}{\sum_{i=1}^N w(x^{(i)})}$

那么，上述估计量是否是渐近无偏（一致）的？还是我错过了什么？如果它确实是无偏的，那么这是否可以与蒙特卡洛方法结合使用以从 $g(x)$ ，因为它们可以（理论上）用于从任何已知到归一化常数的分布中进行采样。

编辑：修正了一个错字，而且，我能够证明这是一致的，所以我的新问题是：这是个好主意吗？有没有论文分析这个？它有标准名称吗？