为什么这个评论者的评论很有趣:“除非我的统计数据让我失望,否则小于 1.0 SD 并不重要”?

机器算法验证 统计学意义
2022-04-19 10:43:31

我在一个发布评论者引文的网站上发现了这句话(他们认为这很有趣)。一位审稿人告诉论文作者:

首先,除非我的统计数据让我失望,否则小于 1.0 的 SD 并不重要。

我不知道这篇论文,但我知道这条评论下的标签:

#you were right about one thing #yes your statistics is failing you #submission

这是什么意思?至于我,审稿人告诉我结果与平均值的距离小于 1 SD,这意味着 p 值很大且不显着,所以审稿人是对的,但哈希标签却相反。

有人可以澄清一下这里发生了什么,为什么审稿人的评论这么短(对我来说,没有足够的信息),这是什么意思?

UPD:谁认为不清楚我在问什么。我在问“信息中是否有我遗漏的东西?” 它发生在我身上一次,当我听到“0.05 的 p 值意味着你在大约 30% 的情况下是错误的”。乍一看,这对我来说毫无意义,但在社区的帮助下,我理解了一个重要的概念。不幸的是,这种情况并没有发生。

3个回答

审稿人显然试图将标准偏差用作某种临时统计测试,但这不起作用。审稿人尖刻的“除非我的统计数据让我失望”的评论因此很有趣(或者很疯狂,如果这会让你的论文被拒绝)。

具体来说,标准偏差告诉我们这些值在平均值周围的分布程度。然而,在大多数假设检验情况下,我们感兴趣的是确定每个组的均值以及这些均值是否不同。为此,我们需要确定我们知道每个组的平均值的准确程度,而这里的相关统计量是平均值的标准误差,而不是标准差。(这些是相关的,因为,其中是样本标准差,是样本数)。检验中,分母通常是均值的标准误差(或类似的东西用于两样本 t 检验)。semean=snsnt

很容易模拟数据,表明可以在标准差至少为 1 的组之间找到显着差异。例如,

a = rnorm(100, 0, 1)  # Draws 100 random points from N(0,1)
b = rnorm(100, 1, 1)  # Draws 100 random points from N(1,1)
t.test(a, b)
#   Welch Two Sample t-test
#
#   data:  a and b
#   t = -8.0116, df = 190.746, p-value = 1.097e-13
#   alternative hypothesis: true difference in means is not equal to 0
#   95 percent confidence interval:
#     -1.4188010 -0.8581969
#   sample estimates:
#     mean of x  mean of y 
#     -0.1154137  1.0230852 

类似地,您可以想象这样一种情况,其中平均值的每个标准误差都远大于 1,但检验发现显着差异。例如,假设均值是 -100 和 100:如果有足够的数据,即使标准差很大,我们也能够区分它们(例如,对于tσ=30n=100

总而言之,审稿人在统计方面完全失败,这使得他/她的尖刻评论很有趣。

没有更多信息就不清楚了。这是一个标准差小于 1.0,但测试很重要的示例:

# draw 100 samples from two random Normal distributions with small standard deviations,
#  with different means:
x  <- rnorm(100, 1, .5)
x2 <- rnorm(100, 3, .5)

# note the standard deviation of the difference in means that will be tested:
sd(x-x2)

# here's the significant result:
t.test(x, x2)

这有帮助吗?

审阅者很可能意味着您的参数与零假设值的距离接近一个标准差。例如,您的回归斜率系数为 0.5,而标准差为 1。我强调假设审阅者使用的是正确的标准差,即调整为样本大小等等。在这种情况下,如果您要测试回归中是否存在斜率,请将 0.5 与 0 进行比较,并观察它比标准差更接近。

例如,考虑带参数的伽马分布α=0.1β=10000, 它的平均值是 1000 并且σ=3162. 如果您测试平均值和 1e-10 之间的距离,那么单尾测试会给您 5% 的显着性。这是非常倾斜的分布。

你能构造一个 p 值显着而距离小于标准差的例子吗?是的当然。然而,在大多数回归中,这种基于标准差的简单启发式方法可以正常工作。此外,要确定显着性,您通常必须假设概率分布。虽然与标准偏差的简单比较不需要对分布进行任何假设。因此,在这种情况下,我会支持你的审稿人。除非你有理由相信她不能计算出合适的参数标准差,这是不太可能的(为什么审稿人会不称职?)。

此外,在应用工作中,人们(比如我自己)一直都在谈论标准偏差。例如,在谈论工具的准确性或系数的经济意义时。这是分散度的一个很好的衡量标准。