我认为您几乎是在问题中构建 p 值。

设置一个阈值，但正如你所指出的，你想计算与该 t 值相关的错误率。为此，您需要知道测试统计量的零分布，即。因此，为了找到在 null 下具有 5% 误报的 t 值，您需要找到使得，即$t=T(X)$$F$$t$$F(t)=0.05$$t=F^{-1}(0.05)$

在许多（大多数？）情况下，反转 cdf 比评估它更难，因此计算然后检查比检查$p=F(T)$$p<0.05$$t<F^{-1}(0.05)$

$p$ -value 是一个随机变量，就像测试统计量是一个随机变量一样，所以我不清楚它与你的问题的其余部分有什么关系。两者都是随机变量的函数，因此是随机变量本身。

是的，您可以将阈值用于检验统计量，但您会如何选择呢？你如何说阈值应该是 1.96、5 或 100？使用值，您有一个熟悉且易于解释的概率尺度，而测试统计不一定是这种情况。$p$

我不确定为什么我们首先需要计算 p 值来决定是否拒绝零假设。

我们不需要为假设检验计算 p 值。我们确实可以按照您的建议进行操作并计算阈值。一个例子是 Neyman 和 Pearson 描述的似然比检验。以下来自维基百科的示例使用阈值作为似然比$\eta$

将 Neyman–Pearson (NP) 检验的原假设的拒绝域定义为其中被选择为使得。

$$R_{NP} = \left\{ x: \frac{\mathcal{L}(\theta_0|x)}{\mathcal{L}(\theta_1|x)} \leq \eta \right\}$$ $\eta$$P( R_{NP} | \theta_0 ) = \alpha$

为什么还要计算 p 值？

因为这不仅仅是关于假设检验。

例如，您通常希望提供比“通过”或“未通过”更详细的值。

你是绝对正确的。要执行固定大小的测试，我们根本不需要 p 值。我们可以只根据检验统计量定义一个该大小的拒绝区域。

然而，报告 p 的可能优势包括：

• 读者可以（如果他们愿意）将 p 解释为费舍尔的证据量度
• 读者可能会带上自己的错误率来与您的 p 进行比较$\alpha$
• 计算 p 并将其与所需的错误率进行比较可能在计算上更容易，而不是反转所需的错误率以找到测试统计量的临界区域的边界
• 读者可以使用 p 执行进一步的计算，例如调整 p 以进行多重比较或将其转换为贝叶斯因子的界限等