我仍然记得 Friedman-Hastie-Tibshirani 撰写的关于 Boosting 的统计年鉴论文，以及其他作者（包括 Freund 和 Schapire）对相同问题的评论。当时，很明显 Boosting 在很多方面都被视为一个突破：计算上可行，集成方法，具有出色而神秘的性能。大约在同一时间，SVM 成熟了，它提供了一个以坚实理论为基础的框架，并具有大量的变体和应用。
那是在了不起的 90 年代。在过去的 15 年里，在我看来，很多统计数据都是一种清理和细化的操作，但很少有真正的新观点。
所以我要问两个问题：
规则：
PS：我有几个候选人有望取得突破。我稍后会发布它们。
答案是如此简单，以至于我必须写下所有这些乱七八糟的东西才能让简历让我发布：R
我不确定你是否会称其为“突破”，但 Edwin Jaynes 和 Larry Bretthorst 出版的概率论：科学的逻辑可能值得注意。他们在这里做的一些事情是：
1）显示一些迭代“季节性调整”方案和贝叶斯“讨厌参数”集成之间的等价性。
2) 解决了所谓的“边缘化悖论”——一些人认为是“贝叶斯主义之死”，而另一些人则认为是“不正当先验之死”。
3）概率描述关于一个命题是真还是假的知识状态，而不是描述世界的物理属性。
本书的前三章可在此处免费获得。
作为一名应用统计学家和偶尔的小软件作者，我会说：
WinBUGS（1997 年发布）
它基于 15 多年前（1989 年）发布的 BUGS，但 WinBUGS 使对实际复杂模型的贝叶斯分析可供更广泛的用户群使用。参见例如Lunn、Spiegelhalter、Thomas & Best (2009) （以及医学统计第 28 卷第 25 期中对此的讨论）。
LARS得到我的投票。它结合了线性回归和变量选择。计算它的算法通常会给你一个集合线性模型其中一个只有非零系数回归器，因此您可以轻松查看不同复杂度的模型。