当您拟合回归模型时，例如$\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$，模型和 OLS 估计器并不“知道”$x^2_i$只是平方$x_i$，它只是“认为”它是另一个变量。当然存在一些共线性，并且会被纳入拟合（例如，标准误差比它们可能的更大），但是许多变量对可能有些共线，而其中一个变量不是另一个变量的函数。

我们不承认模型中确实有两个独立的变量，因为我们知道$x^2_i$最终是相同的变量$x_i$为了捕捉两者之间的曲线关系，我们对其进行了转换和包含$x_i$和$y_i$. 那种对真实本性的认识$x^2_i$，再加上我们相信两者之间存在曲线关系$x_i$和$y_i$是什么让我们难以从模型的角度理解它仍然是线性的方式。此外，我们可视化$x_i$和$x^2_i$通过查看 3D 函数在 2D 上的边缘投影$x, y$飞机。

如果你只有$x_i$和$x^2_i$，您可以尝试在完整的 3D 空间中可视化它们（尽管仍然很难真正看到发生了什么）。如果您确实在完整的 3D 空间中查看了拟合函数，您会看到拟合函数是一个 2D 平面，而且它是一个平面。正如我所说，很难看清楚，因为$x_i, x^2_i$数据只存在于穿过该 3D 空间的曲线上（这一事实是它们共线性的视觉表现）。我们可以在这里尝试这样做。想象一下这是拟合模型：

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

在这些图像中可能更容易看到，这些图像是使用该rgl软件包使用相同数据制作的旋转 3D 图形的屏幕截图。

当我们说“参数线性”的模型确实是线性的时，这不仅仅是一些数学诡辩。和$p$变量，你正在拟合$p$a中的一维超平面$p\!+\!1$维超空间（在我们的示例中是 3D 空间中的 2D 平面）。那个超平面真的是“平面”/“线性”；这不仅仅是一个比喻。

因此，一般线性模型是在未知参数中线性的函数。多项式回归，例如$y = a + bx + cx^2$是二次函数$x$但在系数中是线性的$a$,$b$和$c$. 更一般地，一般线性模型可以表示为$y = \sum_{i=0}^N a_i h_i(x)$, 其中$h_i$是向量输入的任意函数$x$ - 看到$h_i$可以包括任何交互项（组件之间的$x$) 之类的。

考虑一个模型

$$y_i = b_0+b_1 x^{n_1}_i + \cdots+ b_px^{n_p}_i + \epsilon_i.$$

这可以重写

$$y = X b + \epsilon;\\ X= \begin{pmatrix} 1 & x_{1}^{n_1} & \cdots & x_{1}^{n_p} \\ 1 & x_{2}^{n_1} & \cdots & x_{2}^{n_p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n}^{n_1} & \cdots & x_{n}^{n_p} \\ \end{pmatrix}.$$