从概率的角度来看,回归量(有时称为“独立”变量)实际上是否独立于响应?

机器算法验证 可能性 独立 监督学习
2022-03-23 14:24:15

在监督学习中,我们将回归变量称为变量,将响应变量称为变量,但从概率的角度来看,我很难理解这一点。

为了打破我的困惑,我认为考虑两种不同的情况是有意义的(1)回归量是固定的/恒定的/确定性的(2)回归量是随机变量


(1)

常数也可以看作是随机变量。我们从概率论中知道一个常数随机变量独立于任何其他随机变量,我们也知道独立性是对称的。因此,如果X独立于Y, 然后Y独立于X. 您可以从条件概率中轻松看到这一点P(X,Y)=P(X|Y)P(Y)=P(Y|X)P(Y). 因此,如果X独立于Y,那么我们有P(X|Y)=P(X). 所以P(Y|X)一定是P(Y).

但在监督学习的背景下,这有什么意义呢?我们假设Y取决于X,但反之亦然?


(2)

与上述相同的想法,除了X这里不再固定。

1个回答

变量的“依赖”和“独立”术语是不幸的术语,最好避免使用。统计依赖总是双向的——即,如果一个变量在统计上依赖于另一个变量,那么第二个变量在统计上也依赖于第一个变量。在回归模型中,假设这两个变量具有统计关系。我们处理解释(回归)变量x固定不变,我们对回归函数进行建模u(x)=E(Y|x),这是响应(回归)变量的条件期望值Y. 有关不幸术语的更多讨论,请参阅此相关问题