为什么要使用 F 统计量?

机器算法验证 f-统计量
2022-03-24 19:47:30

我们可以使用 F 统计量来确定至少一个预测变量是否对响应有影响。但是为什么不在所有预测变量中取最小 p 值呢?它不需要引入新概念。

1个回答

在这里,我假设您打算将基于最小 p 值的一些检验与整体 F 检验进行比较。

  1. 通过选择最小的 p 值并与某个特定的显着性水平进行比较α,您的 p 值不再具有与单个测试相同的含义。实际上,您正在测试所有单个变量(如果有任何变量导致拒绝,则您得出结论,至少有一个预测变量对响应有影响)。总体 I 类错误率远高于单个测试。多重测试问题。)

  2. 如果您降低单个测试的显着性水平,那么您会减少 I 类错误(使其与显着性水平的整体测试更具可比性α),您不太可能找到显着的效果(您通过降低 I 类错误率来放弃权力)。

  3. 即使您不通过改变显着性水平来考虑多重检验,当单变量统计量有明确的联合关系涉及它们两者时,它们也很容易变得不显着。

这是一个例子。首先,一些数据:

y:
 4.941, 4.459, 4.116, 3.759, 5.171, 5.101, 5.454, 5.277, 5.402, 
 4.68, 3.433, 5.508, 4.122, 3.355, 3.622, 4.45, 4.872, 4.202, 
 5.276, 4.415, 5.311, 4.105, 3.282, 4.152, 5.416, 4.615, 3.804, 
 5.299, 4.603, 4.868

x1:
 42.305, 16.828, 46.515, 32.567, 40.827, 45.755, 34.227, 43.799, 
 54.659, 34.991, 15.134, 29.115, 20.617, 1.252, 25.844, 19.563, 
 21.53, 22.989, 38.993, 44.955, 30.799, 32.639, 8.707, 46.945, 
 38.992, 25.717, 40.875, 26.049, 36.121, 39.868

x2:
 24.279, 8.844, 27.888, 19.099, 23.732, 28.648, 19.26, 26.578, 
 32.764, 21.302, 8.583, 17.026, 12.047, 0.085, 16.636, 10.021, 
 12.487, 13.745, 23.557, 26.67, 19.881, 20.23, 4.377, 27.865, 
 23.359, 15.006, 25.909, 14.772, 21.5, 23.002

回归输出(来自 R:)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  3.47760    0.32703  10.634 3.74e-11 
x1           0.14999    0.09194   1.631    0.114    
x2          -0.19524    0.14741  -1.324    0.196    
---    
Residual standard error: 0.5884 on 27 degrees of freedom
Multiple R-squared:  0.3167,    Adjusted R-squared:  0.2661 
F-statistic: 6.257 on 2 and 27 DF,  p-value: 0.005851

最小的 p 值为 0.114——即使在 10% 的显着性水平下,您也不会拒绝无关联的原假设,但即使您的显着性水平为 1%,整体回归也会导致拒绝。这甚至没有处理多重测试问题。

在那里运行单独的回归并检查 p 值也无济于事,因为(在与上述示例不同的示例中)单变量回归中很可能没有关系,而双变量回归中有很强的关系.