对于哪些分布,不相关性意味着独立性?

机器算法验证 可能性 分布 相关性 数理统计 独立
2022-02-07 07:50:55

统计学中一个由来已久的提醒是“不相关并不意味着独立”。通常,这个提醒会辅以心理安慰(并且科学上正确)的陈述“当两个变量共同正态分布时,那么不相关确实意味着独立”。

我可以将快乐异常的数量从 1 增加到 2:当两个变量是Bernoulli-distributed时,再一次,不相关意味着独立。如果是两个 Bermoulli rv,,我们有,类似地对于,它们的协方差是XYXB(qx),YB(qy)P(X=1)=E(X)=qxY

Cov(X,Y)=E(XY)E(X)E(Y)=SXYp(x,y)xyqxqy

=P(X=1,Y=1)qxqy=P(X=1Y=1)P(Y=1)qxqy

=(P(X=1Y=1)qx)qy

对于不相关性,我们要求协方差为零,因此

Cov(X,Y)=0P(X=1Y=1)=P(X=1)

P(X=1,Y=1)=P(X=1)P(Y=1)

这也是变量独立所需要的条件。

所以我的问题是:你知道不相关意味着独立的任何其他分布(连续或离散)吗?

含义:假设两个随机变量具有属于同一分布的边际分布(可能涉及的分布参数具有不同的值),但假设具有相同的支持,例如。两个指数,两个三角形等。方程的所有解是否都使得它们也暗示独立,由于所涉及的分布函数的形式/性质?正态边际(也考虑到它们具有二元正态分布)以及伯努利边际就是这种情况——还有其他情况吗?X,YCov(X,Y)=0

这里的动机是,与检查独立性是否成立相比,检查协方差是否为零通常更容易。因此,如果在给定理论分布的情况下,通过检查协方差您也在检查独立性(如伯努利或正常情况的情况),那么这将是一件有用的事情。
如果我们从两个具有正常边际的 rv 中获得两个样本,我们知道如果我们可以从样本中统计得出它们的协方差为零,我们也可以说它们是独立的(但仅仅是因为它们具有正常的边际)。如果两个 rv 具有属于其他分布的边缘,那么了解我们是否可以同样得出结论将很有用。

1个回答

“尽管如此,如果两个变量是正态分布的,那么不相关确实意味着独立”是一个非常普遍的谬论

这仅适用于它们是联合正态分布的情况。

我最常看到的反例是正常的和独立的 Rademacher(所以它是 1 或 -1,每个概率为 0.5);那么也是正常的(考虑到它的分布函数很清楚), (这里的问题是通过迭代期望来显示,并注意到,每个概率为 0.5)并且很明显变量是依赖的(例如,如果我知道,所以关于XN(0,1)YZ=XYCov(X,Z)=0E(XZ)=0YXZX2X2X>2Z>2Z<2X给我有关的信息)。 Z

还值得记住的是,边际分布并不能唯一地确定联合分布。取任意两个带有边际 CDF真实 RV然后对于任何函数:XYFX(x)GY(y)α<1

HX,Y(x,y)=FX(x)GY(y)(1+α(1FX(x))(1FY(y)))

将是一个双变量 CDF。(要从 H_{X,Y}(x,y) 获得边际F_X趋于无穷大时取极限。反之亦然。)显然通过选择不同的值的你可以获得不同的联合分布!FX(x)HX,Y(x,y)yFY(y)=1Yα