$p$-价值黑客

我了解到，头条新闻中的不当行为和欺诈案件只是分散注意力。我们的科学状况很好，但它受到一个普遍问题的困扰：科学很难——真的很难。如果我们要依靠科学作为了解真相的手段——它仍然是我们拥有的最好的工具——重要的是我们要理解并尊重获得严格结果的难度。我可以对科学如此艰巨的所有原因进行自夸，但我会让你自己体验其中的一个。欢迎来到狂野的世界$p$-黑客。

摘自 Fivethirtyeight.com 上的“科学没有被破坏”的介绍性段落（Christie Aschwanden，2015 年 8 月 19 日）。

本文描述了如何实现可发布的结果（并拒绝零假设），即使结果不可重现。

这$p$-value 是您正在寻找的“由于随机机会”脚注。通过破解它，您可以发布您的结果。

樱桃采摘，压制证据，或不完全证据的谬误......你可以查看维基百科：

樱桃采摘、压制证据或不完整证据的谬误是指指向似乎证实特定立场的个别案例或数据而忽略可能与该立场相矛盾的相关和类似案例或数据的重要部分的行为。

尽管技术细节可能会阻止人们回答，但它们是您关于英语术语的主要问题的次要问题。

尽管如此，让我们把它们排除在外。您对结果有 95% 的信心；我认为这意味着你知道百分之五的失败。从 100 个批次中随机选择 1 个成功的机会是 95/100，剩下 99 个可供选择。99 中的第二次成功 1 的机会为 94/99，依此类推。结果表明，从 100 次中随机选择 5 次成功的几率约为 77%。

但是您已经向世界展示了 5 次成功作为证据，证明该药物具有 100% 的置信度，而不是您应该推断的 77% 的置信度。这至少是统计上的虚假陈述。

即使你随机选择了五个例子，你也选择了呈现在这样的试验中只有 77% 的时间发生的情况，因为这种情况总是发生。这是毫无根据的推论。

或者你可能选择了你的五个例子，知道它们是成功的。这是选择性偏差，是统计造假。

如果试验是用多种统计方法进行测试，并且只公布“成功”的，那么主要的术语就是数据挖掘。来自维基百科：

数据挖掘（也称为数据钓鱼、数据窥探、数据屠杀和p-hacking）是滥用数据分析来发现数据中可以呈现为具有统计意义的模式，从而显着增加和低估误报的风险。这是通过对数据执行许多统计测试并仅报告那些返回显着结果的数据来完成的。

另一方面，如果只应用一个统计测试，并且失败的试验从字面上丢弃，那么“樱桃采摘”（来自另一个答案）将是更好的术语。