解释取决于您的背景。

假设你有一些所谓的自变量$x_1,x_2,\ldots, x_k$（它们不必相互独立）其中每个$x_i$取值$x_{i,1}, x_{i,2}\ldots, x_{i,n}$你想要一个因变量的回归$y$取值$y_{1}, y_{2}\ldots, y_{n}$. 然后你试图找到一个功能$f(x_{1,j}, x_{2,j},\ldots, x_{k,j})$的自变量在某种意义上最小化了使用该函数作为比较所有观察结果的某种度量的损失$y_j$以及它们对应的$f(x_{1,j}, x_{2,j},\ldots, x_{k,j})$

• 线性回归限制了可能$f$对于那些形式$f(x_{1,j}, x_{2,j},\ldots, x_{k,j})=\beta_0+\beta_1x_{1,j}+\beta_2x_{2,j}+\ldots+\beta_kx_{k,j}$对于真实值$\beta_0,\beta_1,\beta_2, \ldots ,\beta_k$.

• 最小二乘回归使用如下形式的损失函数$\sum\limits_{j=1}^n (y_j - f(x_{1,j}, x_{2,j},\ldots, x_{k,j}))^2$您想通过选择合适的$f$.

普通最小二乘线性回归结合了估计量的线性形式和最小化差的平方和，所以两者都有要求。但其他形式的回归可能只使用其中一种，甚至都不使用。例如，逻辑回归可以被视为不是线性的（它也不是最小二乘，而是使用最大似然技术），而稳健回归通常不是简单的最小二乘计算，尽管可能是线性的

最小二乘是使某些模型的误差平方和最小化的过程。给定一个函数$f$这取决于参数$\theta$, 的最小二乘估计$\theta$是

$$\hat{\theta} = \underset{\theta \in \mathbb{R}^p}{\mbox{argmin}} \left\{ \sum_i (y_i - f(x_i ; \theta))^2 \right\}$$

如果你看一下线性回归的优化，它看起来很像这样。

$$\hat{\beta} = \underset{\beta \in \mathbb{R}^p}{\mbox{argmin}} \left\{ \sum_i (y_i - x_i^T \beta)^2 \right\}$$

一个重要的区别是线性回归中的函数的参数是线性的，而$f$不一定如此。可以说线性回归是通过最小二乘拟合的。

但是，有些事情可能适用于线性回归，这可能不适用于通过最小二乘拟合的所有函数。线性回归的假设（残差的正态性、独立性、方差的同质性和正确的函数形式）允许通过置信区间和假设检验进行推断。如果用于通过最小二乘拟合模型的数据不满足这些假设，则推论可能不具有我们希望它们具有的属性。

如果有时间说出来，那就是现在；线性回归和最小二乘相同但不同。

“线性回归”和“普通最小二乘”（OLS）回归通常用于指代同一种统计模型，但原因不同。我们称模型为“线性”，因为它假设自变量和因变量之间的关系可以用一条直线来描述。我们称其为“最小二乘”，因为我们通过找到最小化平方误差项（“最小二乘”）的参数来估计模型的参数。从技术上讲，我们可以使用其他更复杂的方法（如最大似然估计）来估计线性模型，有时我们需要这样做（比如当你有一个多级线性模型时），因为模型中还有其他复杂性可以进行 OLS 估计不可能。在这些情况下，我们有一个不是通过最小二乘估计的线性回归模型。另一方面，最小二乘法实际上只适用于线性模型。所以在实践中，我们经常将“OLS”和“线性模型”视为同一个意思，即使一个是指模型的假设，另一个是指估计的方式。