在期望运算符中使用泰勒近似的理由是什么?

机器算法验证 期望值 近似
2022-03-13 21:56:11

我有时会看到人们使用泰勒近似值如下:

E(ex)E(1+x)

我知道泰勒近似适用于

ex1+x

但我不清楚我们是否可以在期望算子内部进行近似。远大于 0的概率很小”,我猜它会起作用,但我不确定这有多严格。x

编辑:当我们期望一个函数时,我更加困惑:

E(f(ex))?E(f(1+x))

2个回答

的一阶泰勒近似,所以x0=0,ex=e0+e0x+R1=1+x+R1

E(ex)=E(1+x)+E(R1)

所以问题是“我们能对说些什么? 嗯,关于泰勒近似的意义,关于余数的行为 ,我们并没有我们想知道的那么多。E(R1)

看看这个为什么余数是一件危险的事情的例子,而且,我建议通读非常刺激的线程,以泰勒级数(尤其是余数)对此事的期望。

线性回归中一个有趣的结果如下:假设我们有真正的非线性模型

yi=m(xi)+ei

其中是条件期望函数,,因此通过构造m(xi)E(yixi)=m(xi)E(eixi)=0

的一阶泰勒近似E(xi)

yi=β0+xiβ+ui,ui=R1i+ei

其中是近似值的泰勒余数,β 是非线性函数关于处评估的偏导数,而常数项收集所有其他固定的近似值(顺便说一句,这就是为什么a)我们被告知“总是在规范中包含一个常数”但是b)在大多数情况下,常数超出了有意义的解释)。R1ixiE(xi)

然后,如果我们应用普通最小二乘估计,我们得到泰勒余数与回归量不相关,,并且也第一个结果意味着,β 的 OLS 估计器的属性不受我们通过其一阶泰勒逼近来逼近非线性函数这一事实的影响。第二个结果意味着在条件期望是最佳预测变量(均方误差,此处为均方余数)的相同标准下,近似值是最优的。 E(R1ixi)=E(R1i)E(xi)E(R1i2)=min

这些结果需要两个前提,即我们围绕回归变量的期望值进行泰勒展开,并且我们使用 OLS。

使用它的一种情况是渐近线。

例如,假设并且是一个平滑函数。然后 其中表示分布收敛(也称为定律收敛)。实际上,我们删除了展开式 并将其视为 一个写 Xnμσ/nN(0,1)g

g(Xn)g(μ)|g(μ)|σ/nLN(0,1) as n,
L''
g(x)=g(μ)+g(μ)(xμ)+g(μ)2(xμ)2+g(μ)6(xμ)3+
g(x)g(μ)+g(μ)(xμ).
g(Xn)AN(g(μ),g(μ)2σ2n)
AN''表示“渐近正态”。