您正在询问数据疏浚，这是在针对数据集测试大量假设或针对由相同数据建议的数据集测试假设时发生的情况。

特别是，请查看多假设风险和数据建议的检验假设。

解决方案是对False discovery rate或Familywise error rate使用某种校正，例如Scheffé方法或（非常老派的）Bonferroni 校正。

以一种不太严格的方式，它可能有助于通过每个统计结果的优势比 (OR) 的置信区间过滤您的发现。如果优势比的 99% 置信区间为 10-12，则 OR <= 1 的概率极小，尤其是在样本量也很大的情况下。如果你发现这样的东西，即使它来自数百万个假设的检验，它也可能是一个强大的效果。

您不应该断章取义地考虑 p 值。

一个相当基本的观点（如xkcd所示）是您需要考虑实际执行了多少测试。显然，即使原假设每次都为真，对于 20 次检验中有一次的 p < 0.05，您也不应该感到震惊。

一个更微妙的例子发生在高能物理学中，被称为“别处效应” 。您搜索可能代表新粒子的信号的参数空间越大，您就越有可能看到实际上只是由于随机波动而产生的明显信号。

您应该注意的一件事是您使用的样本量。非常大的样本，例如使用人口普查数据的经济学家，将导致 p 值缩小。这篇论文“Too Big to Fail: Large Samples and the p-Value Problem”涵盖了一些问题。