我正在学习多重测试，我很好奇它为什么重要？

我了解多个测试问题背后的数学，例如，我了解诸如类的东西，其中指的是家庭错误率，指的是假设数，而是指显着性水平。但是，我不了解多个测试问题背后的统计思想，也不知道它为什么重要。$\text{FWER} \le m \alpha$$\text{FWER}$$m$$\alpha$

让我详细说明一下。关于多重检验结果的一个常见示例是考虑一项研究，其中我们有显着性水平上分别测试每个假设，并拒绝我们在其自己的测试中拒绝的所有零假设。即使所有零假设都是正确的，我们也会拒绝假设并在预期中Type）。文献（例如第 13 章，R 统计学习简介，Tibshirani 等人）使用这个例子来论证多重测试问题。我认为文献隐含地假设制造型-$10,000$$0.05$$10,000$$500$$500$$1$$0.05 \times 10,000$$500$$1$错误对于使这个论点有效是不好的。

让我们考虑另一个例子。考虑独立研究人员测试他们自己的假设并发表积极的结果。形式上，每个研究人员都是完全独立于其他人的，即他们从事不同的项目，有不同的假设，做不同的实验。假设所有研究人员都是诚实的，他们在实验前提出他们的原假设，以显着性水平检验他们的假设，当且仅当测试拒绝原假设时才公布他们的结果。如果所有零假设都是正确的，那么将有错误拒绝（），即类型错误，在预期中。然后我们会看到$10,000$$0.05$$500$$0.05 \times 10,000$$500$$1$$500$篇假阳性论文。

似乎第一个示例和第二个示例之间没有区别。它们具有相同的假设（所有零假设都是正确的）并且它们具有相同的结果（将有类型错误）。然而，我认为第二个例子正是科学界的运作方式：独立研究人员进行自己的研究并发表积极的结果。在第二个示例中似乎没有任何问题。那么为什么第一个例子不好，而第二个例子还不错呢？这两个例子有什么区别？$10,000$$500$$1$