如果错误是 iid 正态的，则最小二乘确实是最大似然，但如果它们不是 iid 正态，则最小二乘不是最大似然。例如，如果我的错误是逻辑错误，那么最小二乘法不会是一个糟糕的主意，但它不会是最大可能性。

许多估计器不是最大似然估计器；虽然最大似然估计器通常具有许多有用且有吸引力的属性，但它们并不是镇上唯一的游戏（实际上甚至并不总是一个好主意）。

其他估计方法的一些例子包括

• 矩量法（这涉及使足够的样本和总体矩相等来求解参数估计；有时这会证明是最大似然，但通常不是）

  例如，将一阶矩和二阶矩相等来估计伽马分布或均匀分布的参数；在任何一种情况下都不是最大可能性。

• 分位数方法（等于足够的样本和总体分位数来求解参数估计；有时这是最大似然，但通常不是），

• 最小化其他一些不适合的度量，而不是$-\log\mathcal{L}$（例如最小卡方，最小KS距离）。

通过拟合线性回归类型模型，您可以例如查看稳健回归（其中一些确实对应于某些特定误差分布的 ML 方法，但其中许多不对应）。

在简单线性回归的情况下，我展示了两种拟合线的示例，这些方法不是最大似然- 通过将残差和预测变量之间的一些其他相关性度量（即除了通常的 Pearson 之外）设置为 0 来估计斜率.

另一个例子是 Tukey 的抗性线/Tukey 的三组线（例如见?lineR）。还有许多其他可能性，尽管其中许多不能轻易推广到多元回归情况。

所有 MLE 都是极小极大，但并非所有极小极大都是 MLE。不最大化似然性的极小极大估计量的一些示例是 ROC 回归、条件逻辑回归、Cox 比例风险模型、最近邻、拟似然，不胜枚举。Hodge 的“超高效”估计器 作为正常样本中均值的更有效的 UMVUE（无偏最小方差）估计器优于最大似然，但它不是极小值

贝叶斯方法不涉及最大化似然函数，而是在后验分布上进行积分。请注意，基础模型可能完全相同（即线性回归、广义线性回归），但我们还需要提供先验分布，该分布在查看数据之前捕获参数的不确定性。后验分布只是先验概率的归一化分布。

我相信现在大多数统计学家普遍同意贝叶斯方法通常优于 MLE 方法进行参数估计。然而，当一个人拥有大量数据时，额外的计算成本（集成比优化更难！）和提出先验分布的额外努力可能并没有那么好。事实上，可以渐近地证明，MLE + 正态近似在某些条件下接近后验分布。

• $\alpha,\beta$是非随机且不可观察的。
• $\varepsilon_i$是随机的，不可观察的。
• $x_i$是非随机的并且是可观察的。
• $Y_i$因此是随机的，并且是可观察的。

假设你有高斯-马尔可夫假设：

• 错误$\varepsilon_i$期望值为零。
• 误差都具有相同的（有限）方差，但不一定具有相同的分布（特别是，它们不被假定为正态）。
• 这些错误是不相关的，但不一定是独立的。

一个人不能做 MLE，因为没有参数化的分布族。但是仍然可以做普通的最小二乘法。

在所有线性组合中$y$-具有非随机可观察系数的值，它们是$\alpha$和$\beta,$最小二乘估计量的方差最小。