詹姆斯-斯坦在“野外”收缩?

机器算法验证 估计 错误 正则化 应用 斯坦斯现象
2022-01-27 06:38:20

我被 James-Stein 收缩的想法所吸引(即,对可能独立的法线向量的单个观察的非线性函数可以更好地估计随机变量的均值,其中“更好”是通过平方误差来衡量的)。但是,我从未在应用工作中看到过它。很明显,我的阅读还不够好。James-Stein 在应用环境中改进了估计是否有任何经典示例?如果不是,这种缩水只是一种求知欲吗?

4个回答

James-Stein 估计器没有被广泛使用,但它启发了软阈值,硬阈值确实被广泛使用。

小波收缩估计(参见R包wavethresh)在信号处理中使用很多,用于分类的收缩质心(R下的pamr包)用于DNA微阵列,有很多收缩的实际效率的例子......

出于理论目的,请参阅 candes 的关于收缩估计的评论部分(p20-> James stein 和之后的部分处理软阈值和硬阈值):

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.161.8881&rep=rep1&type=pdf

从评论中编辑:为什么 JS 收缩比 Soft/hard Thresh 使用得少?

詹姆斯斯坦比硬阈值更难操作(实际上和理论上)和直观理解,但为什么问题是一个好问题!

岭回归是一种收缩形式。参见Draper & Van Nostrand (1979)

收缩也被证明在估计时间序列的季节性因素方面很有用。参见米勒和威廉姆斯 (IJF, 2003)

正如其他人所提到的,James-Stein 并不经常直接使用,但它确实是第一篇关于收缩的论文,而后者又在单回归和多元回归中几乎无处不在。E.Candes在这篇论文中详细解释了 James-Stein 与现代估计之间的联系。回到你的问题,我认为 James-Stein 是一种智力上的非好奇心,从某种意义上说,它肯定是智力上的,但对统计产生了令人难以置信的破坏性影响,之后没有人可以将其视为好奇心。每个人都认为经验手段是可以接受的估计量,斯坦因用一个反例证明了他们是错误的。剩下的就是历史了。