机器算法验证 - 蒙特卡洛期望对数的期望 - 吾爱随笔录

蒙特卡洛期望对数的期望

机器算法验证模拟期望值蒙特卡洛无偏估计器条件期望

2022-03-27 16:03:51

当考虑蒙特卡罗对形式使用（当是从上的正确边缘生成并且是从适当的条件给定的 ) 产生一个收敛但有偏差的估计量。我想知道在这种情况下是否有一种真正的方法可以产生无偏估计，而不是使用McLeish的技巧（参见第 2 页上的等式（1））。

I = E^{X} [\log {E^{Y | X} [h (X, Y) | X]}]

$\mathfrak{I}=\mathbb{E}^X[\log\{\mathbb{E}^{Y|X}[h(X,Y)|X]\}]$

\hat{I} = \frac{1}{N} \sum_{n = 1}^{N} \log {\frac{1}{M} \sum_{m = 1}^{M} h (x_{n}, y_{n m})}

$\hat{\mathfrak{I}}=\frac{1}{N}\sum_{n=1}^N\log\left\{\frac{1}{M}\sum_ {m=1}^M h(x_n,y_{nm})\right\}$

x_{n}

$x_n$

X

$X$

y_{n m}

$y_{nm}$

Y

$Y$

X = x_{n}

$X=x_n$

1个回答

这项工作中提出的方法 ( https://people.maths.ox.ac.uk/gilesm/files/SLOAN80-056.pdf ) 涉及多级蒙特卡罗 (MLMC) 方法，用于对这种形式的期望。MLMC 通常并非旨在提供无偏估计器本身，但通常可以使用 McLeish 的技巧对其进行修改。

概括地说，如果您对

I = E^{X} [g {E^{Y | X} [h (X, Y) | X]}]

$\mathfrak{I}=\mathbb{E}^X \left[ g \left\{\mathbb{E}^{Y|X}[h(X,Y)|X] \right\} \right]$

那么标准的技巧是写

{\hat{I}}_{ℓ_{1}, ℓ_{2}} = \frac{1}{N_{ℓ_{1}}} \sum_{i = 1}^{N_{ℓ_{1}}} g (\frac{1}{N_{ℓ_{2}}} \sum_{j = 1}^{N_{ℓ_{2}}} h (X^{i}, Y^{i, j}))

$\hat{\mathfrak{I}}_{\ell_1, \ell_2} = \frac{1}{N_{\ell_1}} \sum_{i = 1}^{N_{\ell_1}} g \left( \frac{1}{N_{\ell_2}} \sum_{j = 1}^{N_{\ell_2}} h \left(X^i, Y^{i, j} \right) \right)$

其中是两个递增到无穷大的正整数序列。然后可以形成一种双伸缩和表示 $N_{\ell_1}, N_{\ell_2}$

lim_{min (N_{ℓ_{1}}, N_{ℓ_{2}}) \to \infty} {\hat{I}}_{ℓ_{1}, ℓ_{2}} = I

$\lim_{\min \left(N_{\ell_1}, N_{\ell_2} \right) \to \infty} \hat{\mathfrak{I}}_{\ell_1, \ell_2} = \mathfrak{I}$

并且麦克利什的去偏见技巧适用。Crisan 等人的工作。（https://arxiv.org/abs/1702.03057）在这里也很重要。

其它你可能感兴趣的问题

上一篇在交叉验证中，我真正想要估计的 AUC 总体参数是什么？下一篇特征工程在统计推断中的作用是什么？