最小二乘$y$通常被称为普通最小二乘法 (OLS)，因为它是大约 1800 年开发的第一个统计程序，参见历史。相当于最小化$L_2$规范，$||Y-f(X)||_2$. 随后，加权最小二乘法，最小化其他规范（例如，$L_1$)、广义最小二乘法、M 估计、双变量最小化（例如，戴明回归）、非参数回归、最大似然回归、正则化（例如，Tikhonov、岭）和其他逆问题技术和多种其他工具被开发出来。关于谁首先应用它仍然存在争议，高斯还是勒让德（见链接）。术语“普通”（暗示$y$) 显然只是在出现了如此多的替代方法之后才被添加到“最小二乘”中，以至于（仍然是最流行的）OLS 需要与其他可用的大量最小化方法区分开来。当精确添加普通$+$发生的最小二乘将很难追踪，因为它发生在自然或显而易见的时候。