自归一化重要性抽样的最优方案

机器算法验证 重要性抽样
2022-04-09 01:22:35

考虑一个函数上支持的概率分布,我们可以评估到一个归一化常数,即我们只能评估其中给定一个我们想要估计的积分 ,我们可以从中采样并且可以评估其密度 的建议分布的自归一化重要性采样估计量 其中f:XRpXp~(x)=Zp(x)Z=Xp~(x)dx

I=Xp(x)f(x)dx
q(x)I
I^=n=1NWnf(Xn)n=1NWn,
XnqWn=p~(Xn)/q(Xn)

最优建议(最小化的方差)的形式为根据Art Owen 的 Monte Carlo 书第 9 章第 9 页,该书又指Tim Hesterberg 论文的第 2 章。但是,我无法在论文中找到任何证据。I^qopt(x)|f(x)I|p(x)

一个人将如何展示这一点?

1个回答

需要注意的是,实际上最小化了 Delta 方法给出的近似方差。你可以通过解决得到这个qopt

qopt=argminqEq[w2(X)(f(X)I)2], s.t.q(x)dx=1

现在,因为:

Eq[w2(X)(f(X)I)2]=p2(x)q(x)(f(x)I)2dx=L(x,q(x))dx

对于,使用拉格朗日乘数进行变分运算得到 L(x,q(x))=p2(x)q(x)(f(x)I)2

0=Lq+λ=p2(x)q2(x)(f(x)I)2+λ

因此

q2(x)=p2(x)λ(f(x)I)2qopt(x)p(x)|f(x)I|