机器算法验证 - 自然对数的期望值 - 吾爱随笔录

自然对数的期望值

机器算法验证数理统计

2022-02-06 06:50:18

我知道和常数，所以给定，很容易解决。我也知道当它是非线性函数时你不能应用它，比如在这种情况下，为了解决这个问题，我必须做一个近似与泰勒的。所以我的问题是如何解决？我是否也与泰勒近似？ $E(aX+b) = aE(X)+b$ $a,b$ $E(X)$ $E(1/X) \neq 1/E(X)$ $E(\ln(1+X))$

4个回答

在论文中

YW Teh、D. Newman 和 M. Welling (2006)，用于潜在狄利克雷分配的折叠变分贝叶斯推理算法， NIPS 2006，1353–1360。

的二阶泰勒展开用于近似： $x_0=\mathbb{E}[x]$ $\mathbb{E}[\log(x)]$

E [\log (x)] \approx \log (E [x]) - \frac{V [x]}{2 E [x]^{2}} .

$\mathbb{E}[\log(x)]\approx\log(\mathbb{E}[x])-\frac{\mathbb{V}[x]}{2\mathbb{E}[x]^2} \>.$

这种近似似乎对他们的应用非常有效。

稍微修改一下以适应手头的问题，通过期望的线性，

E [\log (1 + x)] \approx \log (1 + E [x]) - \frac{V [x]}{2 (1 + E [x])^{2}} .

$\mathbb{E}[\log(1+x)]\approx\log(1+\mathbb{E}[x])-\frac{\mathbb{V}[x]}{2(1+\mathbb{E}[x])^2} \>.$

但是，可能会发生左侧或右侧不存在而另一侧存在的情况，因此在使用此近似值时应注意。

此外，如果您不需要的精确表达式，通常 Jensen 不等式给出的界限就足够了： $\text{E}[\log(X + 1)]$

\log [E (X) + 1] \geq E [\log (X + 1)]

$\log [\text{E}(X) + 1] \geq\text{E}[\log(X + 1)]$

假设具有概率密度。在开始逼近之前，请记住，对于任何可测函数，您可以证明如果第一个积分存在，那么第二个积分也存在，并且它们具有相同的值。 $X$ $f_X$ $g$

E [g (X)] = \int g (X) d P = \int_{- \infty}^{\infty} g (x) f_{X} (x) d x,

$E[g(X)]=\int g(X)\,dP = \int_{-\infty}^\infty g(x)\,f_X(x)\,dx \, ,$

有两种常用的方法：

如果您知道的分布，您也许能够找到的分布并从中找到它的期望；或者，您可以直接使用无意识统计学家的定律（即，在 x 的域上。 $X$ $\ln(1+X)$ $\ln(1+x) f_{X}(x)$ $x$
正如您所建议的，如果您知道前几个时刻，则可以计算泰勒近似值。

其它你可能感兴趣的问题

上一篇贝叶斯方法不会过拟合是真的吗？下一篇负二项分布的连续推广