什么时候协方差“在某个方向退化”?

机器算法验证 协方差 条件期望
2022-04-08 23:37:22

我遇到了以下声明

cov(E(z|y))正交的所有方向上退化Span(x1,...,xK)

向量是大小为的居中随机向量,是标量随机变量,个向量zpyxkKp

这是否意味着任何与的协方差矩阵的内核中Span(x1,...,xK)E(z|y)

你会如何解释它?

2个回答

是的。

阴谋

该图显示了的情况,其中的跨度是一维的,显示为通过原点的红线,正交空间——协方差矩阵的核——也是一维的,显示为穿过原点的灰色虚线。数据显示为红线上的点。p=2{x1,,xK}

显然,数据在平行于正交空间的方向上没有变化。

是一个随机变量时,相似的图片和相同的解释成立。现在,任何的实现都必须在红线上。 没有两个实现可以通过正交空间的任何非零元素而有所不同。z|yz|y

在这种情况下,协方差矩阵是奇异的,即它不是满秩的。与零特征值相关的方向是退化的。