这与偏差-方差权衡有关。预期误差可以分解为

$$\mathrm{E}[(y - f(x))^2] = \mathrm{Bias}(f(x))^2 + \mathrm{Var}(f(x)) + \sigma^2,$$ 其中偏差是我们估计量的系统偏差，$f$，从真值，即$E[f^* - f]$， 在哪里$f^*$是真正的估计量，方差本质上是我们的估计量对训练集中偏差的敏感程度。这$\sigma^2$term 是残余噪声项；这个术语是不可约的，并且不能减少对数学的影响（如果您的样本是噪音，那么您可能可以在收集数据方面做一些事情）。

当您的模型过于复杂而无法泛化新数据时，就会发生过度拟合。当您的模型完美拟合您的数据时，它不太可能很好地拟合新数据。

当您的模型不够复杂时，就会发生欠拟合。这会在模型中引入偏差，从而与真正的基础估计量存在系统偏差。

正则化试图通过简化估计量来减少估计量的方差，这会增加偏差，从而降低预期误差。这通常是在问题不适定的情况下完成的，例如，当参数的数量大于样本的数量时。

您是否成功减少预期方差取决于您的估计器和使用的正则化。例如，对于多元线性回归和$\ell_2$正则化，可以证明存在通过正确选择正则化参数来减少预期误差的解决方案。