假设p是在H_0$p$为真时观察到这个极端或更极端的数据的概率，那么对p的解释是什么那个p ? 答案是不可知的（或至少非常接近不可知）。通过基于其他一些概率过程来决定是否运行测试，您对结果的解释变得更加复杂。 p$H_0$$p$$p$$p$$p$当预先完全选择了样本量和分析计划时，值是最大的可解释性。在其他情况下，解释变得困难，这就是为什么它“不是一个好主意”。话虽如此，这是一种被广泛接受的做法......毕竟，如果您发现您计划运行的测试无效，为什么还要费心运行测试呢？这个问题的答案远没有那么确定。这一切都归结为一个简单的事实，即零假设显着性检验（$p$的主要用例）存在一些难以克服的问题。

例如，当其他一些测试表明残差不是正态分布时，人们通常会选择使用非参数测试。这种方法似乎被广泛接受，但似乎与本段的第一句话不一致。我只是希望能澄清这个问题。

是的，很多人都在做这种事情，并且在他们拒绝方差相等时将他们的第二个测试更改为可以处理异方差的测试，依此类推。

仅仅因为某事很常见，并不意味着它一定是明智的。

确实，在某些地方（我不会说出最严重的违规学科），实际上教授了很多依赖于其他正式假设检验的正式假设检验。

这样做的问题是您的程序没有它们的名义属性，有时甚至没有关闭。（另一方面，假设这样的事情根本不考虑潜在的极端违规行为可能会更糟。）

几篇论文表明，对于异方差的情况，您最好简单地表现得好像方差不相等，而不是对其进行测试并且仅在拒绝时对其进行处理。

在正常情况下，它不太清楚。至少在大样本中，在许多情况下，正态性并不是那么重要（但具有讽刺意味的是，对于大样本，你的正态性检验更有可能被拒绝），只要非正态性不是太疯狂。一个例外是预测区间，您确实需要您的分布假设接近正确。

在某种程度上，一个问题是假设检验回答的问题与需要回答的问题不同。您真的不需要知道“数据是否真的正常”（几乎总是，它不会是完全正常的先验）。问题是“非正态性的程度会对我的推断产生多大的影响”。

第二个问题通常与样本量无关，或者实际上随着样本量的增加而变得更好——但假设检验几乎总是会拒绝大样本量。

在许多情况下，即使在正常情况下也非常接近完全有效（并且在一些相当适度的偏离情况下可能更有效） - 在许多情况下，不采取同样谨慎的做法。

其他人已经很好地解释了主要问题，但与潜在的或相关的

1. 对P值的过分崇敬，至多是统计学中的一种证据。

2. 不愿看到统计报告不可避免地基于多种选择，一些以证据为基础，另一些则基于先前的分析、直觉、猜测、判断、理论等。

假设我和我谨慎的朋友 Test Everything 都选择了对数转换作为响应，但我基于物理推理和以前​​的数据经验得出了这个结论，而 Test Everything 选择基于 Box-Cox 测试和估计的对数尺度的一个参数。

现在我们都使用相同的多元回归。我们的 P 值有不同的解释吗？在一种解释中，Test Everything 的 P 值取决于她之前的推论。我也使用了推论，但它们大多是非正式的，基于以前项目中的一长串以前的图表、计算等。这要怎么报？

自然，Test Everything 和我自己的回归结果是完全一样的。

明智的建议和可疑的哲学同样适用于预测变量和函数形式的选择。例如，经济学家被广泛教导要尊重先前的理论讨论并警惕数据窥探，这在每种情况下都有充分的理由。但在最薄弱的情况下，有关理论只是先前在文献中提出的试探性建议，很可能是在一些经验分析之后。但是对于许多作者来说，参考文献是神圣的，而从手头的数据中学习是可疑的。