当人们想要最小化一个可以是正数或负数的量时，通常使用术语“均方”。考虑一系列值$x_i$为了$i = 1, \ldots, N$. 如果$x_i$都是大的正数或大的负数，则取平均值$\left< x \right>$的$x_i$可能仍然接近于零，即使没有一个单独的值是。但是，如果要考虑$x_i$，那么你知道$\left< x^2 \right>$只有当个体很小$x_i$很小。

术语“最小二乘”只是指回归的形式，您尝试控制（最小化）预测值和观察值之间偏差的平方，而“最小均方”结合了这些想法。