可交换性和 IID 随机变量

机器算法验证 随机变量 独立同居 可交换性
2022-03-12 06:22:29

每个 IID 随机变量序列都被认为是可交换的,我理解为什么随机变量必须同分布以假设可交换性,但为什么需要独立性(或是否需要)?

在定义松散地说明随机变量的任何排列具有相同的联合分布的定义的上下文中,对于随机变量的相同分布是否足以能够重新排序它们,或者必须满足两个条件?

3个回答

我认为,“同分布”这个词在不用于讨论独立随机变量时大多是误导性的。考虑以下示例:

(X1X2X3)N((000),(100010.100.11))

向量的组成部分(X1,X2,X3)T既不独立也不可交换,但它们是同分布的:边际分布都是标准正态分布:XiN(0,1),i=1,2,3.

下一个例子:

(Y1Y2Y3)N((000),(10.10.10.110.10.10.11))

这些组件现在不是独立的,而是可交换的。边际分布又是相同的标准正态分布:YiN(0,1),i=1,2,3.

我们最终有以下含义:

i.i.d.  exchangeability marginals identical.

上面的反例表明,相反的含义都是错误的。

要回答这个问题,您需要了解可交换随机变量序列的“表示定理”(首先由 de Finetti 提出,由 Hewitt 和 Savage 扩展)。这个(绝妙的)定理说,每个可交换随机变量序列都可以被认为是条件独立同分布随机变量序列,其分布等于该序列的有限经验分布。这意味着每个条件 IID 随机变量序列都是可交换的,每个可交换随机变量序列都是条件 IID。条件独立并不意味着边际独立,随机变量的可交换序列通常呈正相关(但它们不能呈负相关)。

关于您的问题,这意味着独立性不是可交换性的要求,但有条件的独立性是。大多数可交换随机变量序列是正相关的,因为条件独立通常会在随机变量之间产生信息联系。

可交换的随机变量不需要是独立的。例如,如果向量X遵循多元 t 分布,均值为零,单位矩阵为尺度矩阵,自由度为 q,那么它的分量是可交换的、不相关的和同分布的,但不是独立的。当然,根据可交换性定理,它的组件是有条件的 iid(实际上是有条件的 Gamma(q/2,q/2)),但它们不是独立的。