为什么当我进行更多测量时标准偏差没有减小?

机器算法验证 标准差 实验设计
2022-02-16 15:55:51

我对某个数量进行了 100 次测量,计算了平均值和标准差(使用 MySQL),得到平均值 = 0.58,SD = 0.34。

相对于平均值而言,std 似乎太高了,所以我进行了 1000 次测量。这次我的平均值=0.572,SD=0.33。

我对高标准偏差感到沮丧,所以我进行了 10,000 次测量。我得到平均值=0.5711,SD=0.34。

我想这可能是 MySQL 中的一个错误,所以我尝试使用 Excel 函数,但得到了相同的结果。

为什么即使我做了这么多测量,标准偏差仍然很高?

3个回答

标准偏差是数据“传播”的度量。我喜欢用的比喻是打靶。如果你是一个准确的射手,你的射门会非常紧密地聚集在靶心周围(小标准偏差)。如果您不准确,它们会更加分散(大标准偏差)。

有些数据基本上是“到处都是”,有些数据基本上是围绕平均值紧密聚集的。

如果您进行更多测量,您将获得更准确的传播图你不应该期望得到更少的传播——只是在你对数据基本特征的测量中误差更少。

如果你有一个不准确的射手进行五次射击,而一名准确的射手进行了五次射击,那么你会对他们的准确性有一个不太可靠的想法。也许不准确的射手有几次幸运,所以从长远来看,这种模式比你对他的期望要严格。同样,也许你在一个糟糕的时间抓住了准确的射手,只是碰巧在五次射门中得到了两次糟糕的射门,从而扭曲了结果。

相反,如果您让他们每人拍摄一千张照片,那么您将更加自信地了解他们的实际准确性。当您获得更多数据时,并不是射击者的准确性发生变化,而是您对照片准确性的信心

这个问题对统计学家来说似乎微不足道,但我成功地犯了两次这个错误,在我的一个同事也犯了同样的错误之后,我决定写下答案,以帮助自己和其他人犯同样的错误。

当测量次数增加时,标准偏差不会低。. 标准偏差只是测量值与平均值的平方距离的平均值的平方根。

因此,例如,如果测量的“真实”值是 1,一半的测量值是 1.05,一半的测量值是 0.95,那么平均值将为 1,这正是正确的值,而标准值将为 0.05,与实验次数无关

当测量次数增加时确实会变低的是置信区间,它与测量次数的平方根成反比。例如,95% 置信区间的半径约为:

1.96SD(Measurements)Count(Measurements)

因此,问题来自混淆标准差和置信区间。

均值和标准差是总体属性。随着您增加观察次数,平均而言,您将从样本中获得更精确的总体均值和标准差估计值。

听起来您将平均值的标准误差与标准偏差混淆了。平均值的标准误差是您对平均值的估计的标准差。随着样本量的增加,均值的标准误差(即您对均值估计的精度)确实会变小。

http://en.wikipedia.org/wiki/Standard_error#Standard_error_of_the_mean