置信区间宽度作为变异性的度量

机器算法验证 置信区间 标准差 变化性
2022-04-10 11:33:09

我想知道置信区间的宽度在多大程度上可以用来衡量统计数据的可变性。

例如,均值的置信区间由下式给出[x¯tsn,x¯+tsn]并且可以相应地计算置信区间的宽度:

x¯+tsn(x¯tsn)=2tsn

对于 95% 的置信区间,大约四分之一(实际上13.91993) 的宽度对应于由于 68-95-99.7 规则而导致的样本均值的标准偏差。我的实验表明,与样本均值的标准差的点估计相比sn,置信区间的宽度往往会高估变异性,这对于我的应用程序来说是一个理想的属性。

在下面的对数图中,您可以看到随着正态分布样本数量的增加,不同统计数据的表现如何。蓝线代表总体标准差σn,橙色线代表点估计sn, 绿线代表缩放置信区间宽度23.91993tsn.

总体标准差、标准差的点估计值和缩放置信区间宽度的对数图。

我主要对估计样本方差的可变性感兴趣,特别是对于任意(非正态)分布。有几篇论文处理了为这种分布创建置信区间的具体问题(例如,这里)。

在我的实验中,方差的置信区间和平均值的置信区间的行为是可比较的:两者都倾向于高估变异性(与各自的点估计相比)。因此,我决定使用均值的置信区间作为示例,因为它更具说明性。

我不是统计学家,我不知道使用置信区间宽度而不是标准差的点估计是否是“合法”的事情。我的直观解释是,当使用置信区间宽度时,会考虑到有关较小样本量的不确定性信息。对于均值的置信区间,它是通过t 价值。

如果有人能详细说明这一点并提供不仅仅是直观的解释,我将不胜感激。特别是对于具有非正态分布(例如方差)的统计数据,置信区间宽度和标准差之间的对应关系不像正态分布那样简单。

我在这个问题上使用的数学符号是按照惯例的。这是一个概述

1个回答

简而言之,这不是一个坏措施,但有一些事情需要注意。

对于(几乎)任何给定的数据生成过程,增加数据数量将减小置信区间的宽度。在一些额外的假设下(中心极限定理所必需的那些),宽度将渐近地遵循平方根反定律。即使基础数据是正常的,方差的最大似然估计量和无偏估计量也不相同(这是您在图中显示的系统偏差的来源)。这是由于分母是nn1分别,所以如果你使用 MLE,你会出局n/n1.

即使方差估计量的分布不是正态分布,只要您的数据满足,它确实渐近正态性并且仍然满足中心极限定理E(x2)<(即数据实际上有一个方差,因此估计器有一些要估计的东西)。