直观地说,如果 X 可以在多元线性回归模型中预测 Y,
= + + +
X 和 Y 相关联。既然它们之间存在关联,为什么不能保证我可以通过 Y 预测 X?为什么关系不对称?还是我的概念不正确?
直观地说,如果 X 可以在多元线性回归模型中预测 Y,
= + + +
X 和 Y 相关联。既然它们之间存在关联,为什么不能保证我可以通过 Y 预测 X?为什么关系不对称?还是我的概念不正确?
答案取决于您所说的“预测”是什么意思。如果您暗示任何一种因果关系,那么显然这是一条路。假设日出让你醒来。如果我在半夜叫醒你,太阳不会突然升起。
另一方面,如果您的意思是在多元回归 Y~1+X+Z 中预测 X 的解释力或在回归 X~1+Y+Z 中预测 Y 的解释力,那么情况就不同了。只要关系强,您当然可以通过代数方式反转关系。如果我知道你什么时候起床,我可以预测太阳何时升起。
我的条件是关系是“强”的,因为当你反转方程时,你的优化问题就会改变。我们不是最小化正方形而是最小化正方形。这是一个不同的等式,如果关系一开始就很弱,则可能不会产生显着的关系。例如,您可以发现是显着的,即 X 在这个狭义定义中预测 Y。然而,当您反转等式时,您最终可能会得到一个模型,其中 Y 的系数不显着,因此从这个意义上说,Y 不能预测 X。
当您使用回归方程通过插入的值进行预测时,您并没有的值预测的值。您正在预测值的平均值。详细地:
回归方程 表示等于的线性函数加上一些随机散点。如果你设置,比如说,你有 并且那里仍然有一些随机分散。换句话说,您是在说“我的预测是呈正态分布,均值等于 ”。要获得的实际值,您需要接受期望值。所以你说“值的平均值是\ beta_0 ”。
如果您通过反转回归方程进行预测,例如插入,那么您是在说“所有相应值的平均值等于值是 ",这通常不是您想要的那种预测。
谈论“最佳拟合线”时,统计课程通常无济于事,这听起来像是和的情况是对称的,但事实并非如此。最近在 ANZSTAT 邮件列表上发生了一场辩论,有人发布了一个很好的入门课程的链接,该课程很好地解释了这一点:
https://www.stat.berkeley.edu/~stark/SticiGui/Text/regression.htm
这是个有趣的问题。在单变量线性回归的情况下,存在(假设)对称关系,但对于多元线性回归则不然。
一些问题可能存在对称关系,一个人为的例子是训练一个线性回归模型,使其表现得像一个与门。
如果您问为什么这不是“保证”,那么有一个明确的反例(通过构造证明),它正在使用线性回归训练 OR 门。你可以学习一个可以预测门输出的模型给定 2 个输入准确,但反过来是不可能的。
另一种思考方式是多变量线性回归模型学习多对一维度映射。而且由于输入上的许多不同点可以映射到输出上的同一点,因此反向映射是不明确的。
更新:其他答案似乎解释了为什么线性回归目标(或损失函数)不是对称的。但我认为你在问一个不同的问题,即(释义),一旦我了解了两者之间的线性关系和,为什么我不能反向使用它?