我将给出可能是最常见的理解，然后是一些额外的细节。

法线是几何学中的一个术语（维基百科）：

在几何学中，法线是一个对象，例如垂直于给定对象的线或向量。

这又似乎来自木匠或泥瓦匠的广场 [1]

正常和正常。根据牛津英语词典，在拉丁语中，norma 可能意味着木匠、泥瓦匠等用来获得直角、直角或实践或行为标准或模式的正方形。这些含义反映在基于规范和正常的数学术语中。

并且从几何学中，该术语移动到向量空间中。

这里给出了“正规方程”的直接答案：http: //mathworld.wolfram.com/NormalEquation.html

之所以称为正规方程，是因为$b-Ax$是正常的范围$A$.

（在通常的回归符号中，即 '$y-Xb$是正常的范围$X$')

从字面上看，最小二乘残差垂直于（成直角）跨越的空间$X$.

这$y$-向量位于$n$方面。X 矩阵跨度$p$那些（或$p+1$取决于您的符号是如何设置的；如果$X$是满秩的，它是 X 的列数）。最小二乘解$X\hat{\beta}$是该空间中最近的点$X$到那个$y$-vector（实际上，字面上的投影$y$到跨越的空间$X$）。必然的情况是，通过最小化平方和，差$y-X\hat{\beta}$与跨越的空间正交$X$. （如果不是，将会有一个更小的解决方案。）

然而，正如 whuber 在评论中所暗示的那样，它并不是那么明确。

再看[1]：

1822 年 Gauss [James A. Landau] 引入了最小二乘法中的 NORMAL EQUATION 一词。Kruskal & Stigler 的“规范术语”（在 Stigler (1999) 中）考虑了关于术语来自何处的各种假设，但没有发现任何非常令人满意的假设。

然而，正规方程的方法通常归功于 Legendre，1805。

[1] Miller, J. (ed) "Earliest known uses of some of maths, N" in Earliest known uses of some of the words of math