机器算法验证 - 关于加权和的方差 - 吾爱随笔录

关于加权和的方差

机器算法验证机器学习方差点估计重要性抽样

2022-03-28 10:46:17

关于以下数量的方差可以说什么

\frac{1}{n} \sum_{i = 1}^{n} (\frac{f (x_{i})}{\sum_{j = 1}^{n} f (x_{j})} - b) g (x_{i}) ?

$\frac{1}{n}\sum_{i=1}^n \left(\frac{f(x_i)}{\sum_{j=1}^nf(x_j)}-b\right)g(x_i) ?$

这里，，并且是 iid 和。 $b \in [0, 1]$ $x_i$ $f(x) \in [0, +\infty]\; \forall x$

特别是，对于什么方差最小化？ $b$

1个回答

事实证明，对于较大，上述估计量可以写成其中，并且通过直接计算，具有方差这当然是通过采取最小化 $n$ $\mathbb E_X [(h(X) - b) g(X)]$ $h(x) := f(x) / \int f(y) d\mu_X(y)$ $\mathbb E_X [h(X)g(X)] - b\mathbb E_X[g(X)^2]$

b = b^{*} := \frac{cov [h (X), g (X)]}{var [g (X)]} .

$b = b^* := \frac{\operatorname{cov}[h(X),g(X)]}{\operatorname{var}[g(X)]}.$

这是一种称为“控制变量”的方差减少技术。

仍然需要从有限样本中估计和，我们就完成了。 $\operatorname{cov}[h(X),g(X)]$ $\operatorname{var} [g(X)]$ $x_1,\ldots,x_n$

其它你可能感兴趣的问题

上一篇神经网络 - 高贝叶斯错误率问题的策略下一篇GRU和GRUCell之间的Keras区别