为什么线性回归只能生成类似于“线或平面”的线性函数(*统计学习简介*问题)?

机器算法验证 回归
2022-03-27 20:11:15

统计学习简介第 24 页指出:

...线性回归是一种相对不灵活的方法,因为它只能生成线性函数,例如图 2.1 所示的线或图 2.3 所示的平面。

稍后,线性回归被更正式地定义为假设f呈现形式

f(X)=β0+β1X1+β2X2++βpXp

和“解决”βi使用“普通最小二乘法”等技术(这里我使用的是书中的符号)。

问题:如果这真的是线性回归的定义方式,为什么我们说“线性回归[可以]......只能生成[直线和平面]之类的线性函数”?

例如,如果我们的模型Y^如下:

Y^=β0+β1X1+β2X2++βpXp

然后任何(或全部)Xj本身可能是高度非线性或其他病理功能,呈现出许多看起来不像线或平面的奇怪形状。在这种情况下,这些病态随机变量的线性组合最终可能看起来不像一条线或平面。这不是表明上面的引用是错误的吗?

1个回答

不幸的是,我的评分太低,无法添加评论,这就是我必须回答的原因。

想象一下,有一些功能Z.X1=sinZ, X2=cosZ, and f(X)=β0+β1X1+β2X2=β0+β1sinZ+β2cosZ.

Will f(X) be linear if the coordinate system is (Y,Z)? And what about (Y,X1,X2)?