谁首先进行了最大似然估计?

机器算法验证 估计 最大似然 参考 可能性 历史
2022-03-16 14:18:01

我对统计理论的历史发展非常感兴趣。这是我所做的研究:我试图阅读费舍尔的两篇旧论文。我认为第一篇关于 MLE 的理论论文应该是 Fisher 1912。

此外,瑟斯通有一些模型来构建一个概率质量函数,它与似然函数“等价”,但从他的两篇旧论文中,我无法证实他提到了最大似然估计。他实现了他的想法,但我不知道他是否做过类似于参数化函数的 MLE 估计的事情。

所以我的问题是,关于在实践中实现 MLE 的论文是什么,尤其是离散数据集?谁发明了概率质量函数/似然函数?因为Fisher发明了MLE,人们通常把似然函数的发明归功于他吗?

1个回答

最相关的参考恕我直言是史蒂夫斯蒂格勒的“最大可能性的史诗历史”(2007)

“早在 1750 年代,Thomases Simpson 和 Bayes 以及 Johann Heinrich Lambert 在 1760 年就已经有与这个问题(寻求观测的最可能分布)相关的早期智能评论,但与我们的主题相关的第一次严重攻击是 Joseph 1769 年的路易斯·拉格朗日。” S.斯蒂格勒 (2007)

“通过仅在得出概率估计后才以曲线的形式引入限制,拉格朗日的分析产生了一个奇怪的结果,即总是得出矩估计方法,即使从最大可能性开始!” S.斯蒂格勒 (2007)

他还指出 Daniel Bernoulli (1769) 和 Carl Friedrich Gauß (1809),尽管后者开始使用贝叶斯论证将 MLE 视为后验模式。

“……卡尔·皮尔逊和路易斯·拿破仑·乔治·菲隆的长篇回忆录于 1898 年在伦敦皇家学会会刊上发表,在历史上占有一席之地,更多的是因为它最终似乎暗示了什么,而不是它的什么完成了。” S.斯蒂格勒 (2007)

“......最大似然法是由 Lambert 和 Daniel Bernoulli 独立提出的,但没有实际效果,因为所考虑的误差分布的最大似然方程难以处理。” A. 哈尔德 (1999)

“令人震惊的事实是,当御剑在 1912 年撰写关于最大似然估计的论文时,他并不知道他的论文。” A. 哈尔德 (1999)

A. Hald (1999)还提到 Encke (1832) 和 Hagen (1837) 最大化p(x|θ)θ找到“最可能的”样本。他在御剑 (1908) 之前进一步引用了肖韦内 (1863) 和梅里曼 (1884)。

“御剑 (1908) 预料到了 (Fisher) 1922 版本的大部分内容,但直到费舍尔重做十年左右后才注意到。” J·奥尔德里奇 (1997)

“...... [最大似然] 标准出现在 Chauvenet (1891, p.481)、Bennett (1908, p.15) 和 Brunt (1917, p.77) 中最小二乘推导的首位” J.奥尔德里奇 (1997)

” Pearson (1896, p.265) 指出,通过选择“观察到的结果最可能”的值来找到 r 的“最佳”值。J. Aldrich (1997)

查看瑟斯通的参考书目,它似乎没有早于 1912 年的相关论文。