机器算法验证 - 可交换性和联合分布 - 吾爱随笔录

可交换性和联合分布

机器算法验证自习贝叶斯数理统计联合分配可交换性

2022-03-23 18:39:44

有限序列的可交换性的定义是，如果我们有随机变量，那么对于每个排列，联合分布不变。这可以用分布函数表示为： $X_1,\ldots,X_n$ $\pi: \{1,\ldots,n\}\rightarrow\{1,\ldots,n\}$

F_{X_{1}, \dots, X_{n}} (x_{1}, \dots, x_{n}) = F_{X_{π (1)}, \dots, X_{π (n)}} (x_{π (1)}, \dots, x_{π (n)})

$F_{X_1,\ldots,X_n}(x_1,\ldots,x_n)=F_{X_{\pi(1)},\ldots,X_{\pi(n)}}(x_{\pi(1)},\ldots,x_{\pi(n)})$ 我理解这个概念的一种方式是，一组中的随机变量是“相似的”，并且它们中的每一个都可以“充当”另一个，而不会对整个向量的值的不确定性产生影响。换句话说，索引集没有提供任何附加值。但是，我经常遇到如下可交换性的例子：假设我们有一组 5 个二进制随机变量，它描述了一个从一个包含 2 个蓝色和 3 个红色球的瓮中随机抽取 5 个球的实验：然后可交换性用每个 5 位序列的概率相等来表示，对我来说这是一个关于联合分布的自主陈述随机向量

X_{i} (ω) = 1_{{r e d}} (ω)

$X_i(\omega)=\mathbb{1_{\{\mathbf{red}\}}}(\omega)$

(X_{1}, \dots, X_{5})

$(X_1,\ldots,X_5)$ . 有人可以向我强调这两种表现形式之间的联系并展示它们是如何相互产生的吗？

2个回答

Hewitt-Savage(-de Finetti) 表示定理可能有助于统一这两种观点。

定理说 $X_1,\dots,X_n$ 当它们在某些附加信息的条件下独立且同分布时，它们正是可交换的。这在贝叶斯统计中很重要，因为这意味着可交换序列（这似乎是一个合理的假设）可以建模为 iid 序列加上先验（这在数学上很方便）。

对于二元变量，额外信息只是概率。如果 $P$ 是介于 0 和 1 之间的随机变量，并且 $X_i|P\sim \mathrm{Bern}(P)$ ，然后 $X_i$ 是可交换的，并且它们是有条件的 iid 给定的 $P$ . 这就是德菲内蒂的结果。

Hewitt 和 Savage 表明这通常是正确的，不仅适用于二进制序列：一个序列是可交换的当且仅当它是 iid 有条件的一些额外信息，在这种情况下是“尾巴” $\sigma$ -场地'

与其只关注分配函数，不如关注分配的平等。

如果对于每个排列我们有则随机变量的有限序列是可交换的其中表示分布均等。 $X_1, \ldots, X_n$ $\pi$

X_{1}, \dots, X_{N} =_{d} X_{π (1)}, \dots, X_{π (n)}

$X_1, \ldots, X_N =_d X_{\pi(1)}, \ldots, X_{\pi(n)}$

=_{d}

$=_d$

分布的相等性等价于分布函数的相等性，如果随机变量是连续的，则概率分布函数相等，如果随机变量是离散的，则概率质量函数的相等。

现在让我们回到您的示例，假设我们有一个实现。我们可以手动计算的联合定律，特别是我们有查看上面的表达式，很明显，索引的排列将使分母保持不变并且只有分子会置换，而整体联合概率不变，这就是可交换性的定义 $X_1, \ldots, X_5 = 1, 1, 1, 0, 0$ $X_1, \ldots, X_n$

P (X_{1}, \dots, X_{5} = 1, 1, 1, 0, 0) = \frac{3}{5} \frac{2}{4} \frac{1}{3} \frac{1}{2} \frac{1}{1}

$P(X_1, \ldots, X_5 = 1, 1, 1, 0, 0) = \frac{3}{5} \frac{2}{4} \frac{1}{3} \frac{1}{2} \frac{1}{1}$

其它你可能感兴趣的问题