如果我试图产生假设，在查看我为我的一组结果获得的各种 p 值之后设置我的 p 值截止值有什么缺点？
例如，如果我最初进行了大量实验，分别查看了数千种化学物质对细胞生长的影响，并且我发现它们的影响都与对照显着不同，那么设置我的 p- 是否有意义？值截止值低于 0.05？（实际上，我有几个使用不同化学物质的对照，已知它们几乎没有影响，而且这些对照也显示出彼此之间的显着差异。我想要做的是将截止值设置为小于这些的最低 p 值控制，但我不知道这是否是使用 p 值的可接受方式。）
此外，是否有可能有一个太大的样本量。如果我在数千个细胞上重复每个实验，这就是为什么我的结果可能会得到非常低的 p 值吗？
如果您打算使用 Neyman-Pearson 方法，那么您绝对不能在分析数据后设置显着性的截止值。然而，这并不是统计推断的唯一方法，在许多情况下也不是最好的方法。NP 肯定与您指定为假设生成的任务不匹配。
NP 允许您指定最大可接受的假阳性结果率，通常不假思索地设置为 0.05 的 alpha 水平。NP 方法主要处理关于下一步做什么的决策（显着，丢弃空值；不显着，接受空值），而不是直接处理结果的证据意义。
Fisher 的方法与 NP 不兼容，并将数据视为证据：它产生的 ap 值是针对零假设的证据指数。在我看来，它通常比 NP 方法更符合科学实验的需要，因为它允许在决定做什么之前根据任何其他信息考虑来自实验的证据下一个。与 NP 分析的全有或全无结果相比，它鼓励重复或改进实验。
指定您从实验中获得的确切 p 值并仔细解释结果。如果有趣的发现来自数据而不是实验前的假设，那么结果应该被视为初步结果，如果足够有趣，可能值得重复实验。
（您应该注意，看到 NP 和 Fisher 混合的统计分析和解释是相当普遍的：混合总是不合适的。）
为了回答你的具体问题，我会（间接地）作为一名药理学家这样做：在低浓度下，所有数千种化学物质都不太可能影响细胞生长，但可以肯定的是，所有化学物质都会在高浓度下影响细胞生长。帕拉塞尔苏斯有句名言（我猜是希腊语）“所有药物都是毒药，剂量决定效果。” 如果您的剂量很大，那么发现它们有毒就没有科学意义。也许您应该在广泛的浓度范围内测试它们（浓度的几何间距是有效的）。一种化学物质具有生物效应的浓度至少与效应的大小一样有趣，而且比实验中获得的显着性水平更有趣。确保你不'
我建议您尝试一种不同的方法——错误发现率 (FDR)。
任何给定 P 值截止的 FDR 是那些比较的预期分数（P 小于您的截止），其中原假设实际上是错误的（而 1.0 - FDR 是您期望原假设为真的比较的分数）。您将所有 P 值小于截止值的比较称为“发现”，而 FDR 是那些预期为错误的发现（假阳性发现）的一部分。
您可以选择 FDR 并找出要使用的 P 值截止值。或者您可以为您选择的任何 P 值计算 FDR。
我想你真的很想知道-值校正。Bonferroni是最简单的。如果您有多个事后测试，您应该使用一个。这就是你所讨论的，除了人们通常认为这是对-价值而不是调整.
另外，由于您的样本量很大，因此您的样本量变低是很合理的-价值观。但是，如果您仍然认为您的样本量“太大”，我猜您违反了观察独立性的假设。例如，如果您多次观察单元格但不考虑同一单元格内的观察结果如何相关，您将违反此假设。