独立的属性是什么

机器算法验证 自习 相关性 协方差 独立 互信息
2022-03-12 19:25:08

对于两个相互独立的变量,相关性 = 0 或互信息 = 0 或协方差 = 0。我见过不同的条件,所有这些都非常令人困惑。

2个回答

1) covariance=0 意味着相关性=0(只要方差不为 0)。

2) 相关性(或协方差 0)是独立性的必要条件,但不充分。独立性意味着相关性和协方差均为 0,但对于完全相关的数据,两者都可以为 0。

这里

如果变量是独立的,则 Pearson 的相关系数为 0,但反之则不成立,因为相关系数仅检测两个变量之间的线性相关性。例如,假设随机变量 X 关于零对称分布,并且那么 Y 完全由 X 决定,所以 X 和 Y 完全依赖,但是它们的相关性为零Y=X2

正如 Dilip 所说,对于这里的具体示例,我们需要是有限的;在其他情况下也会有类似的标准。例如,如果对于一些偶数,我们需要是有限的,对称性才能使协方差为 0。E[|X3|]Y=f(X)fE[|X.f(X)|]

3)正如这里所说

I(X; Y) = 0 当且仅当 X 和 Y 是独立随机变量。

也就是说,互信息 0 意味着独立(反之亦然)。

如果两个变量相互正交,则它们被认为是独立的。这意味着它们的点积等于 0。

ab=i=1naibi=a1b1+a2b2++anbn=0

换句话说,一个变量不包含有关第二个变量的任何信息。

不同的独立条件来自不同的科学领域,如线性代数或概率论,但基本概念始终相同。