由于样本量非常大,如何纠正小 p 值

机器算法验证 样本量 p 值
2022-03-18 16:19:38

我遇到了一个问题,即一个自变量,它应该对基于领域知识的因变量没有预测能力,因为样本量非常大(~100,000)而得出的 p 值非常小。如果我只使用 < 5000 个数据点,那么 p 值会变得足够大以支持变量不显着的先验。但是,我不认为调整样本量以获得期望的结论是一个好习惯。由于样本量大,是否有任何程序可以调整小 p 值?

4个回答

你对 p 值的评价太高了。报告统计显着效应的大小。它应该是一个如此小的值,以至于在统计上显着无关紧要。就科恩的d之类的东西而言,需要大约 0.006 的效应大小才能找到这么大的 N。合理谈论效果大小。这就是你应该为所有影响做的事情,无论是否显着,无论是否预期。

几年后... Naaman (2016) 的论文几乎可以肯定假设检验和 Jeffreys-Lindley 悖论的解决似乎是相关的。从摘要:

提出了一种新的假设检验方法,通过允许显着性水平随着研究中观察次数的增加而降低,确保随着样本量的增加,I 类错误的概率将变得任意小。

另请参阅几乎肯定假设检验的 Wikipedia 条目。

请记住“相关性不是因果关系”的事实。也就是说,虽然您可能看不到为什么应该存在预测关系,但仍然存在足够强的相关性,您会收到一个小的 p 值。

例如:我可以对体重在 75 - 100 磅之间的孩子进行健康和健身研究。如果我还写下他们的年龄和身高,我会发现年龄和身高与健康以及体重与健康之间的相关性。为什么?好吧,如果我抓住一个体重 75 磅的 4 岁孩子,他/她可能不健康。同样,如果我抓住一个 6 英尺 2 英寸、体重 100 磅的男孩。这对您来说很有意义,因为它很直观。您正在研究的案例中的效果可能不太直观。
为什么会这样?因为我对一个相关变量施加了约束,该变量固有地与其他变量建立了关系。(如果我拿了所有的重量,那么 6'2" 100 磅的男孩会被其他体重更重的 6'2" 孩子淹没。)

最后,请记住,您计算的 p 值是针对空值的假设(或者我认为)。原假设只是测试绝对没有效果因此,如果您有一个微不足道的轻微影响,您认为它无趣,那么它的 p 值仍然很低。因此,正如其他人所说,仅 p 值并不是万能的。这只是一个很好的过滤器和起点。

如果 p 值表示关系,则很可能关系确实存在。但是,我完全同意之前的回答,即您应该专注于衡量关系的影响。