在最大似然估计中，我们计算

$$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$$

最后一个关系考虑到回归方程的线性结构。

相比之下，OLS 估计量满足

$$\sum \epsilon_i\mathbf x_i = \mathbf 0$$

为了获得斜率系数的相同代数表达式，我们需要有一个误差项的密度，使得

$$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$$

这些是形式的微分方程$y' = \pm\; xy$有解决方案的

$$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$$

$$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$$

任何具有此内核并在适当域上积分为单位的函数都将使斜率系数的 MLE 和 OLS 相同。即我们正在寻找

$$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$$

是否有这样的不是正态密度（或半正态或误差函数的导数）？ $g$

当然。但是还有一件需要考虑的事情是：如果在指数中使用加号，并且例如在零附近使用对称支持，则将获得一个在中间具有唯一最小值的密度，并且在支持的边界。

如果我们将 OLS 定义为

$$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ 任意密度使得 是可以接受的。这意味着例如 形式的密度 是可以接受的因为因子不依赖于参数。因此，这样的分布是无限的。$f(y|x,\beta_0,\beta_1)$ $$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ $$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$$ $f_0(y|x)$$(\beta_0,\beta_1)$

两个估计量一致的另一个设置是当数据来自球对称分布时，即当（向量）数据具有条件密度其中是一个递减函数。（在这种情况下，OLS 仍然可用，尽管的独立性假设仅在 Normal 情况下成立。）$\mathbf{y}$

$$h(||\mathbf{y}-\mathbf{X}\beta||)$$ $h(\cdot)$$\epsilon_i$

直到@Xi'an 刚刚更新了答案，我才知道这个问题。有一个更通用的解决方案。具有某些参数的指数族分布对 Bregman 散度的影响是固定的。对于这样的分布，均值是最小值。OLS 最小化器也是均值。因此，对于所有此类分布，当线性泛函与平均参数相关时，它们应该一致。

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf