考虑以下形式的方程

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

在哪里$x$是变量和$\beta$是参数。这里，y 是一个线性函数$\beta$的（参数线性），也是一个线性函数$x$'s（变量线性）。如果将等式更改为

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

然后，它不再是变量的线性（因为平方项），但它仍然是参数的线性。而对于（多重）线性回归，这才是最重要的，因为最后，你试图找到一组$\beta$，最小化损失函数。为此，您需要求解线性方程组。鉴于其良好的特性，它具有封闭形式的解决方案，使我们的生活更轻松。当您处理非线性方程时，事情会变得更加困难。

假设您不是在处理回归模型，而是遇到一个数学规划问题：您正在尝试最小化形式的目标函数 $c^Tx$ 受到一组约束： $Ax \geq b$ 和 $x\geq0$. 这是一个线性规划问题，因为它在变量中是线性的。与回归模型不同，您试图找到一组$x$的（变量）满足约束并最小化目标函数。这也将要求您求解线性方程组，但在这里它将是变量的线性。您的参数不会对该线性方程组产生任何影响。

它只是意味着 $Y = A X$ 在哪里 $A$是参数。变量$X$可能包含非线性关系；例如，$X = [\alpha\; \alpha \beta\; \beta^2]^T$， 然而 $Y$是一个线性函数$X$.

当每个项是常数或参数和预测变量的乘积时，模型是线性的。通过将每个项的结果相加来构造线性方程。这将方程限制为只有一种基本形式：

$Response = constant + parameter * predictor + ... + parameter * predictor$

线性回归中的“参数线性”是指没有参数显示为指数，也没有乘以或除以另一个参数。

添加到此。函数 f 的线性的正式定义是： $f(a*z1+b*z2)=a*f(z1)+b*f(z2)$