如果测试的水平降低,测试的力量会增加吗?

机器算法验证 假设检验 数理统计
2022-04-20 01:51:17

如果我们进行一些测试,并且我们降低它的水平,那么预计功率会增加吗?我之前曾考虑过这个问题,但无法说服自己相信正确的答案,因为功率的计算似乎是多步骤的,所以如果我们有类似的东西,我无法做出直接的判断一个反函数。任何帮助将不胜感激!

3个回答

测试的水平是它的显着性水平,α. 降低水平意味着使α更小。

如果你做α更小,你做β更大* ...功率是1β.

当你降低时你在做什么α将临界值进一步移到尾部,因此您更难拒绝是否H0是真还是假,因为通过将临界值进一步移动到尾部,您减少了拒绝区域中的潜在样本集。

很容易看出拒绝概率的这种“同步”降低H0H1(α1β分别)在功率曲线的上下文中,例如,使用单样本 t 检验。如果您根据真实总体均值和假设总体均值之间的差异得出幂,δ=μμ0, 你得到一条曲线α什么时候δ=0并增加为δ离0越来越远。如果你减少α通过将临界值进一步推到尾部,您“将曲线拉低”,因为您已经消除了一些可能的**样本安排,这些安排以前会导致拒绝:

在此处输入图像描述

随着我们从蓝色(10% 显着性水平)到深红色(5%)再到绿色(1%),在其他条件不变的情况下,整个功率曲线向下移动。


* 几乎总是使用典型类型的测试,但可以构建不一定发生这种情况的案例

** 无论|δ|曾是0,或小,或大,旧临界值和新临界值之间的那些可能的统计值不再算作拒绝,因此每个可能的值δ有较低的拒绝率。

犯第 1 类错误与第 2 类错误的可能性成反比。因此,如果您对 null 的拒绝不那么严格,在所有其他条件相同的情况下,您的测试能力应该会增加。

来自Wikipedia on Statistical Power:“增加检验功效的一种简单方法是使用更大的显着性标准(例如 0.10 而不是 0.05)进行不太保守的检验。当原假设为假时,这增加了拒绝原假设(即获得统计学上显着的结果)的机会,也就是说,降低了 II 类错误的风险(关于是否存在效应的假阴性)。”

Ceteris paribus , 当你降低显着性水平时α在经典假设检验中,您正在增加拒绝零假设所需的证据数量。这意味着您不太可能拒绝零假设,这会降低 I 类错误的概率,但也会降低检验的功效。