不当使用统计工具造成代价高昂的例子

机器算法验证 数据集 方法 教学
2022-03-24 03:07:31

我怀疑大多数统计工具的用户都是辅助用户(几乎没有接受过正规统计培训的人)。研究人员和其他专业人士很想将统计方法应用到他们的数据中,仅仅是因为他们已经在同行评审的论文、灰色文献、网络或会议上看到过这种方法“以前做过”。然而,如果没有清楚地了解所需的假设和统计工具的局限性,这样做可能会导致错误的结果——这些错误通常未被承认!

我发现本科生(尤其是社会科学和自然科学专业的学生)要么不知道统计陷阱,要么发现这些陷阱无关紧要(后者最常见)。尽管在许多入门级教科书、网络或 StackExchange 中都可以找到不正确使用统计工具的示例,但我很难找到产生有害结果的真实示例(例如,以美元计的成本、影响的生活和失去的职业) . 为此,我正在寻找现实世界中突出统计方法滥用的例子:

  1. 所使用的统计方法通常包含在介绍性统计课程中(即推理统计、回归等……)
  2. 最终结果带来了代价高昂的后果(损失了美元、影响了生活、职业生涯破灭等……)
  3. 这些数据很容易用作课程中的工作示例(目的是让学生通过对现实世界产生影响的现实世界示例进行工作。)

在讨论在研究项目中正确定义单位的重要性时,我想给学生举一个非统计性的例子,那就是导致损失 1.25 亿美元卫星的“公制失误” !这通常会引起学生的 :-o 因素,并且似乎有一个持久的印象(至少在他们短暂的学术生涯中)。

4个回答

我不确定数据的可用性,但一个很好的(如果这是正确的话)统计数据的例子是哈佛护士关于更年期妇女激素替代疗法 (HRT) 有效性的研究。

总体思路是什么?护士研究表明,HRT 对绝经后妇女有益。事实证明,这个结果的出现是因为对照组与治疗组有很大不同,而这些差异在分析中没有考虑到。在随后的随机试验中,HRT 与癌症、心脏病发作、中风和血栓有关。通过适当的修正,护士的研究也揭示了这些模式。

我找不到与 HRT 相关的美国死亡人数的估计值,但数量级是数万。一篇文章将英国的 1000 例死亡与 HRT 联系起来。

这篇《纽约时报》杂志文章为研究中存在的混淆问题提供了良好的统计背景。

本期美国流行病学杂志有学术讨论。这些文章根据随机试验比较了观察护士研究的结果与妇女健康倡议的结果。

在Biometrics的一期中也有讨论(许多相同的人)请参阅 Freedman 和 Petitti 的评论,特别是 [ prepub version ]。

1933 年 Horace Secrist 出版的《商业中平庸的胜利》提供了一个绝妙的历史例子当时,Secrist 是一位知名的统计学家,是一本教科书的作者(我记得是 1919 年左右),在美国统计协会中人脉广泛,并且是西北大学统计研究小组的负责人。在过去的十年里,他和他的员工一直在编制商业数据的时间序列,这些数据在书中被复制和精心分析。这是一位雄心勃勃的统计学家的主厨。

Harold Hotelling对该书的评论,该书于当年晚些时候出现在 JASA,指出 Secrist 仅记录了数百个回归均值的示例(今天任何介绍性统计课程的基本主题,问题的第 1 点)。Secrist 在发表的回复中表示反对。霍特林对此的回应堪称经典:

通过昂贵且长期的数值研究来“证明”这样一个数学结果……类似于通过将大象排列成行和列来证明乘法表,然后对许多其他种类的动物做同样的事情。表演虽然可能很有趣,并具有一定的教学价值,但对动物学或数学都不是重要的贡献。

[JASA v. 29 #186,1934 年 6 月,p。199.]

在那之后不久,Secrist 似乎很快就从统计数据中消失了(“职业生涯毁了”,问题中的第 2 点)。他的书还在。(几年前,我通过馆际互借获得了一份漂亮的干净副本,显然很少阅读。)从中您可以提取任意数量的示例数据集(问题的第 3 点)。

史蒂文·斯蒂格勒在一本书和一篇论文《1933 年的统计史》中讲述了这个故事

在我看来,Wired对 2008 年股市崩盘的看法可能是一个信息丰富的例子。无法评论其结论是否正确,但对非代表性样本的数据使用相关性的想法似乎适合您建议的情况。它也是最新的,因此可能会让他们感兴趣。

我想你可能会觉得这个 Ted Talk 有趣且相关: