无偏估计在介绍性统计课程中很典型，因为它们是：1）经典，2）易于数学分析。Cramer-Rao 下限是 2) 的主要工具之一。远离无偏估计，可能会有所改善。偏差-方差权衡是统计学中的一个重要概念，用于理解有偏估计如何比无偏估计更好。

不幸的是，有偏见的估计器通常更难分析。在回归方面，过去 40 年的大部分研究都是关于有偏估计的。这始于岭回归（Hoerl 和 Kennard，1970）。请参阅Frank 和 Friedman (1996)以及Burr 和 Fry (2005)以获得一些评论和见解。

在变量数量很大的高维中，偏差-方差权衡变得更加重要。时样本均值不再可接受（参见 Stein，1956），每个人都感到惊讶。James-Stein 估计器（James 和 Stein 1961）是支配样本均值的估计器的第一个例子。但是，这也是不可接受的。$p \geq 3$

偏差-方差问题的一个重要部分是确定应该如何权衡偏差。 没有单一的“最佳”估算器。在过去十年中，稀疏性一直是研究的重要组成部分。参见Hesterberg 等人。（2008 年）进行部分审查。

中都是非线性的。一旦数据用于确定岭参数，即使岭回归也是非线性的。$Y$

我不知道你对贝叶斯估计是否满意？如果是，那么根据损失函数，您可以获得不同的贝叶斯估计。Blackwell 的一个定理指出，贝叶斯估计永远不会是无偏的。决策理论论证指出，每条可接受的规则（（或与之比较的每条其他规则，都有一个参数值，当前规则的风险（严格）小于它所针对的规则的风险）被比较））是一个（广义的）贝叶斯规则。

James-Stein 估计器是另一类估计器（可以通过贝叶斯方法渐近推导），在许多情况下比 OLS 更好。

在许多情况下 OLS 可能是不可接受的，James-Stein Estimator 就是一个例子。（也称为斯坦因悖论）。

Kay 和 Eldar有一篇关于有偏估计的很好的评论论文，目的是找到具有最小均方误差的估计器。