了解渐近均分性质

信息处理 数字通信 信道编码 信息论 随机的 可能性
2022-02-11 13:49:41

我在理解渐近均分属性的确切含义时遇到了一些问题,这与大量 n 个独立且同分布的随机变量(X1,X2,...,Xn)有关。这里显示了一个示例(在这里您可以找到完整的材料):

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

我不明白句子之间的确切区别:

  • “显然,所有 2n 个长度为 n 的序列具有相同的概率是不正确的。”

  • “然而,人们可能能够预测实际观察到的序列的概率。问题是:结果 X1,X2,...的概率 p(X1,X2,...,Xn) 是多少? , Xn, 其中 X1,X2,..., Xn 根据 p(x) 是独立同分布的"

  • “典型集合的概率接近1,典型集合的所有元素具有相同的概率”

然后我读到了这句话,这增加了我的脑海中的混乱。 在此处输入图像描述

1个回答

您在问题中提到的句子都有完全不同的含义。让我尝试一一解释:

显然,并非所有2n长度序列n有相同的概率。

这指的是二进制 iid 随机变量序列的示例。如果p(1)p(0)那么很明显,具有不同数量的 1 和 0 的序列必须具有不同的概率,即并非所有序列都具有相同的概率。

然而,人们可能能够预测实际观察到的序列的概率。问题是:概率是多少p(X1,X2,...,Xn)结果的X1,X2,,Xn, 在哪里X1,X2,,Xn根据 iidp(x)?

渐近均分属性 (AEP) 回答了这个问题。事实证明,典型序列的概率确实与n变大,即2nH.

典型集合的概率接近 1,典型集合的所有元素具有相同的概率。

AEP 也是这么说的。如前所述,典型序列具有大致相同的概率,并且典型集合的聚合概率接近1作为n变大。

最后,声明

典型集合的概念通常不同于高概率集合的概念。

确实令人困惑。这意味着可以存在不属于典型集合但具有比典型序列更高概率的单个序列的事实。尽管如此,典型集合方法的总概率1为增加n,并且具有高概率的非典型序列太少而没有任何意义。