中心极限定理和大数定律

机器算法验证 可能性 正态分布 收敛 中心极限定理 大数定律
2022-01-21 17:11:26

关于中心极限定理(CLT),我有一个非常初学者的问题:

我知道 CLT 声明 iid 随机变量的平均值近似正态分布(对于n, 在哪里n是和的索引)或标准化随机变量将具有标准正态分布。

现在大数定律粗略地说,独立同分布随机变量的平均值(概率或几乎肯定)收敛到它们的期望值。

我不明白的是:如果如 CLT 所述,平均值近似正态分布,那么它如何同时收敛到预期值?

收敛对我来说意味着随着时间的推移,平均值取一个不是预期值的值的概率几乎为零,因此分布实际上并不是正态分布,而是在除预期值之外的所有地方几乎为零。

欢迎任何解释。

1个回答

该图显示了均值的分布n=1(蓝色的),10(红色),和100(gold) 独立同分布 ( iid ) 正态分布(单位方差和均值)μ):

三个重叠的 PDF

作为n增加,均值的分布变得更加“集中”μ. (“聚焦”的感觉很容易量化:给定任何固定的开区间(a,b)周围μ, 内的分布量[a,b]随着增加n并且有一个极限值1.)

然而,当我们对这些分布进行标准化时,我们会重新调整每个分布的平均值0和一个单位方差:那么它们都是一样的。这就是我们看到的方式,尽管手段本身的 PDF 正在飙升并集中在μ,然而这些分布中的每一个仍然具有正态形状,即使它们各自不同。

中心极限定理说,当您从具有有限方差的任何分布(不仅仅是正态分布)开始,并以niid 值作为n增加,你会看到同样的事情:均值分布集中在原始均值周围(大数弱定律),但标准化均值分布收敛到标准正态分布(中心极限定理)。