重要性抽样产生的蒙特卡罗估计结果

机器算法验证 蒙特卡洛 信息论 重要性抽样
2022-03-28 06:09:44

在过去的一年里,我一直在密切关注重要性抽样,并有一些开放式的问题希望能得到一些帮助。

我对重要性抽样方案的实践经验是,它们偶尔会产生极好的低方差和低偏差估计。然而,更常见的是,它们往往会产生高误差估计,这些估计具有低样本方差但非常高的偏差。

我想知道是否有人可以准确解释哪些因素会影响重要性抽样估计的有效性?特别是,我想知道:

1)当偏置分布与原始分布具有相同的支持时,重要性抽样估计是否保证收敛到正确的结果?如果是这样,为什么这在实践中似乎需要这么长时间?

2)通过重要性抽样产生的估计误差与偏差分布的“质量”(即它与零方差分布的匹配程度)之间是否存在可量化的关系

3) 部分基于 1) 和 2) - 有没有办法量化在使用重要性抽样设计而不是简单的蒙特卡洛方法之前你必须了解分布的“多少”。

2个回答

重要性抽样与基本的蒙特卡罗方法具有完全相同的验证。它的核心是基本的蒙特卡罗事实上,这只是参考测量的变化,从

h(x)f(x)dx
h(x)f(x)g(x)g(x)dx
因此,在这两种情况下,收敛都是由大数定律保证的,即您是否从f或从g. 此外,如果术语
h2(x)f2(x)g(x)dx
是有限的,中心极限定理也适用,收敛速度为O(1/n). 如果说它“在实践中需要这么长时间”,那是因为 CLT 中的上述方差因子可能相当大。但是,我坚持,速度和普通的蒙特卡洛一样,O(1/n).

因此,重要性抽样分布的质量与上述方差因子直接相关,对于与|h(x)|f(x).

西安覆盖了标准重要性抽样结果。如果您询问自标准化重要性抽样,您只知道fg直到一些未知的归一化常数,一些技术在 Xi'an 和 Casella 书籍Monte Carlo Statistical MethodsIntroducing Monte Carlo Methods with R的第 4 章中进行了讨论。我相信西安可以比我更详细地详细说明这一点,所以从某种意义上说,这个答案是诱饵。

使用自归一化重要性采样,您试图近似

δ=h(x)f(x)dx
通过选择x1,,xn来自密度函数与g(x)和计算
δ^=i=1nh(x)f(x)/g(x)i=1nf(x)/g(x).
使用 delta 方法(基本上取泰勒级数的线性项X/Y) 并让ω(X)=f(x)/g(X)我们得到
Eg(δ^)δ+δVarg(ω(X))Covg(ω(X),h(X)ω(X))n
Varg(δ^)Varg(h(X)ω(X))2δCovg(ω(X),h(X)ω(X))+δ2Varg(ω(X))n.

所以,直观地说,要获得小的偏差和小的方差,你想要Varg(ω(X))小而Covg(ω(X),h(X)ω(X))要积极。不幸的是,这些近似值并不完美(准确地确定方差和协方差可能与解决初始问题一样困难)。