如果XX和是Y是不相关的随机变量,那么在什么条件下是乙[ X∣ Y] ≈ E[ X] ?E[X∣Y]≈E[X]?

机器算法验证 条件概率 独立 条件期望 近似 条件独立
2022-03-26 05:51:15

认为XY是不相关的真实随机变量。现在,不相关并不意味着独立,所以E[XY]E[X].

但是,可以说它们大致相等吗?如果是这样,该近似值在什么条件下成立?(我意识到当X,Y是一个多元高斯,但我想更一般地知道什么时候可以近似等式。)

作为奖励,是否可以扩展E[XY]看起来像“E[X]+高阶项”,所以我们可以清楚地看到这些高阶项何时可以说可以忽略不计?让我们假设p(XY)是连续且无限可微的。

3个回答

不,除非它们完全相等,否则一般不能说它们大致相等。要看到这一点,请考虑:

E[X|Y]E[X]=δ

对于任何δ这接近您认为“大约相等”的边界。现在,乘X经过109

E[109X|Y]E[109X]=109E[X|Y]109E[X]=109δ

现在δ不再在“近似相等”值的范围内。

您应该能够看到这也可以防止扩展E[X|Y]不向您提供这方面的任何有用信息;基本上,以一种或另一种方式,您可能需要实际计算有条件和无条件的期望并比较它们以确定差异在您的应用程序中是否可以忽略,或者可能计算差异的界限并将其用作决策工具。

有趣的是,这几乎是正确的一种情况是XY都是来自相同高维分布的投影,即X=aTZ,Y=bTZ对于高维Z. Hall & Li(以及不同人的早期工作)表明,对于“大多数”分布Z在一个高维球体上和大多数a,b,E[X|Y]在 Y 中近似线性,因此如果它们不相关,则它们接近于独立。

结果是有道理的,因为XY将近似于 CLT 的二元高斯分布,但实际上确定误差范围需要工作。

这个问题的动机是 Duan 和 Li 的切片逆回归方法,你在哪里回归XY学习关于Y|X

现在,不相关并不意味着独立,所以E[XY]E[X].

我发现结论'所以E[XY]E[X]' 这句话有点混乱。

  1. 如果变量不相关,则不遵循E[XY]E[X].
  2. 此外,独立并不意味着E[XY]E[X]. 你可以独立,同时E[XY]=E[X]

如果你的相关性为零,那么你仍然可以有依赖,而且同时E[X|Y]=E[X]

示例:让XN(0,1)Y=N(0,σ2=X2)

例子


如果您的相关性为零,那么

  • 那么这意味着对于适合的线,您的斜率为零E[Y|X]作为函数X或者E[X|Y]作为函数Y.

  • E[Y|X]可以有各种各样的偏离直线。

例子:让XN(0,1)Z=N(X2,1)

例子


但是,可以说它们大致相等吗?

在许多情况下,您的相关性为零,但由于第一个示例中的异质性,您仍然存在依赖性。可以有依赖,但仍然E[Y|X]=E[Y].

但这很难给出一般条件。条件为E[Y|X]=E[Y]就是它E[Y|X]=E[Y].