数据居中如何消除回归和 PCA 中的截距?

机器算法验证 回归 主成分分析 定心
2022-01-19 08:50:01

我一直在阅读有关我们将数据居中的实例(例如,使用正则化或 PCA)以消除截距(如本问题中所述)。我知道这很简单,但我很难直观地理解这一点。有人可以提供我可以阅读的直觉或参考吗?

1个回答

这些图片能帮上忙吗?

前两张图片是关于回归的。使数据居中不会改变回归线的斜率,但会使截距等于 0。

在此处输入图像描述

下面的图片是关于 PCA 的。PCA 是一个没有截距的回归模型1. 因此,主成分不可避免地来自原点。如果您忘记将数据居中,第一个主成分可能不会沿着云的主要方向刺穿云,并且会(出于统计目的)误导。

在此处输入图像描述


1当然, PCA 不是回归分析然而,它与线性回归在形式上共享相同的线性方程(线性组合)。PCA 方程就像没有截距的线性回归方程 - 因为 PCA 是一种旋转运算。