以下是一些想法：

1. 正如@whuber 所说，我怀疑 Gelman 是否说过（尽管他可能说过类似的话）。使用 0.05 的 alpha 时，5%的 null 为真的情况会产生显着的结果（I 类错误）。如果我们假设 null 为假的所有研究的真正功效是$80\%$, 只有当空值为真的研究与空值为假的研究的比率为$100/118.75 \approx 84\%$.
2. 模型选择标准，例如 AIC，可以看作是选择合适的模型的一种方式$p$-价值。为了更全面地理解这一点，在这里阅读@Glen_b 的答案可能会有所帮助：R 中的逐步回归 – 临界 p 值。此外，如果 AIC 成为发布的要求，没有什么能阻止人们“攻击 AIC”。
3. 以不使您的模型无效的方式拟合模型的良好指南$p$-values 将是 Frank Harrell 的书《回归建模策略》。
4. 我并不教条地反对使用贝叶斯方法，但我不相信他们会解决这个问题。例如，您可以继续收集数据，直到可信区间不再包含您想要拒绝的任何值。因此，您有“可信的间隔黑客”。在我看来，问题在于许多从业者本质上对他们使用的统计分析并不感兴趣，所以他们会以一种不假思索和机械的方式使用他们需要的任何方法。有关我在这里的更多观点，阅读我对以下内容的回答可能会有所帮助：效应大小作为显着性检验的假设。

对我来说，关于 p-hacking 争议的最有趣的事情之一是 p<=0.05 的整个历史作为统计意义的“千载难逢”标准，正如 Joseph Kaldane 在 JASA 关于法医统计的文章中指出的那样回到 90 年代，完全不依赖于任何统计理论。这是一种惯例，简单的启发式和经验法则，始于 RA Fisher，此后被具体化或奉献为目前的“毫无疑问”的状态。不管贝叶斯是否是贝叶斯，早就该挑战这个度量标准或至少给予它应得的怀疑的时候了。

也就是说，我对 Gelman 观点的解释是，众所周知，同行评审过程奖励积极的统计意义，并通过不发表这些论文来惩罚不显着的结果。这与发布无关紧要的发现是否会对给定领域的思考和理论产生潜在的巨大影响无关。Gelman、Simonshohn 和其他人一再指出，在同行评议和发表的研究中滥用 0.05 显着性水平，举了一些荒谬的例子，但在超自然现象、社会和心理研究中具有统计学意义。最令人震惊的一项是具有统计学意义的发现，即孕妇更有可能穿红色连衣裙。格尔曼坚持认为，在没有对统计结果提出逻辑挑战的情况下，可能毫无意义的解释。在这里，他指的是行业的职业危害，其中包含过度技术性和深奥的论点，这些论点对推动非专业观众的辩论几乎没有作用。

这是加里·金（Gary King）在实际上恳求量化政治科学家（以及所有的量化专家）停止机械的、技术性的报道（例如“这个结果在 p <= 0.05 水平上具有显着意义”）并转向更实质性的解释时强烈提出的观点. 这是他的一篇论文的引述，

(1) 传达对最有意义的数量的数字精确估计，(2) 包括对这些估计的不确定性的合理测量，以及 (3) 几乎不需要专业知识即可理解。以下简单的陈述符合我们的标准：“在其他条件相同的情况下，额外一年的教育将使您的年收入平均增加 1,500 美元，上下浮动约 500 美元。” 任何聪明的高中生都会理解这句话，无论用于生成它的统计模型和强大的计算机多么复杂。

金的观点得到了很好的理解，并指出了辩论需要采取的方向。

充分利用统计分析：改进解释和演示，King、Tomz 和 Wittenberg，2002 年，Am Jour of Poli Sci。

在阅读了所有有见地的评论和答案后，这是我对问题 3 的一些想法。

也许在统计分析中避免 p 值黑客攻击的一种实用指南是查看科学（或生物学、临床等）显着/有意义的效应大小。

具体来说，研究应该在数据分析之前甚至在数据收集之前预先定义可以被宣布为有用或有意义的效应量。例如，如果让$\theta$表示药物作用，而不是检验以下假设，

$$H_0: \theta = 0 \quad \quad vs. \quad \quad H_a: \theta \neq 0,$$ 应该总是测试 $$H_0: \theta < \delta \quad \quad vs. \quad \quad H_a: \theta \ge \delta,$$ 和$\delta$是预定义的效应大小以声称有意义的意义。

此外，为避免使用太大的样本量来检测效果，还应考虑所需的样本量。也就是说，我们应该限制用于实验的最大样本量。

总结一下，

1. 我们需要为有意义的效应大小预先定义一个阈值来声明重要性；
2. 我们需要为实验中使用的样本量预先定义一个阈值，以量化有意义的效应量的可检测性；

有了以上内容，也许我们可以因此避免巨大样本量所声称的次要“显着”影响。

---

[2015 年 6 月 9 日更新]

关于问题 3，以下是基于Nature 最近的论文的一些建议：“变化无常的 P 值会产生不可重现的结果”，正如我在问题部分中提到的那样。

1. 报告效应量估计值及其精确度，即 95% 置信区间，因为那些信息量更大的信息准确地回答了诸如差异有多大，或者关系或关联有多强等问题；
2. 将效应量估计值和 95% 置信区间置于特定科学研究/问题的背景下，并关注它们与回答这些问题的相关性，并忽略变化无常的 P 值；
3. 将功效分析替换为“精确度规划”，以确定估计效应量以达到定义的精确度所需的样本量。

[结束更新 2015 年 6 月 9 日]

在当代用法中，p 值是指给定零假设处于或大于某个阈值的数据的累积概率。IE$P(D|H_0)\le\alpha$. 我觉得$H_0$往往是“没有影响”的假设，通常通过与一些试验中不太可能出现的随机结果的概率进行比较来代表。取决于领域，它从 5% 下降到 0.1% 或更少。然而，$H_0$不必与随机比较。

1. 这意味着 1/20 的结果可能会在不应该有的时候拒绝 null。如果科学将其结论建立在单个实验上，那么该声明将是站得住脚的。否则，如果实验是可重复的，则意味着 19/20 不会被拒绝。这个故事的寓意是实验应该是可重复的。

2. 科学是基于“客观性”的传统，因此“客观概率”自然具有吸引力。回想一下，假设实验证明了高度控制，通常采用块设计和随机化来控制研究之外的因素。因此，与随机比较确实有意义，因为除了正在研究的因素之外，所有其他因素都应该受到控制。在被移植到科学领域之前，这些技术在农业和工业中非常成功。

3. 我不确定缺乏信息是否真的是问题所在。值得注意的是，对于非数学科学领域的许多人来说，统计学只是一个可以打勾的框。

4. 我建议对结合这两个框架的决策理论进行一般性阅读。它只是归结为使用尽可能多的信息。频率统计假设模型中的参数具有来自固定分布的未知值。贝叶斯假设模型中的参数来自我们所知道的分布。如果有足够的信息来形成先验，并且有足够的信息将其更新为准确的后验，那就太好了。如果没有，那么您最终可能会得到更糟糕的结果。