有人可以解释“可交换性”的概念吗?

机器算法验证 贝叶斯 直觉 可交换性
2022-01-22 04:35:40

我看到“可交换性”的概念在不同的环境中使用(例如,贝叶斯模型),但我从来没有很好地理解这个术语。

  1. 这个概念是什么意思?

  2. 在什么情况下会调用这个概念,为什么?

1个回答

可交换性旨在捕捉问题中的对称性,即某种意义上的对称性,不需要独立性。形式上,如果序列的联合概率分布是其参数的对称函数,则该序列是可交换的。直观地说,这意味着我们可以在序列中交换或重新排序变量,而不会改变它们的联合分布。例如,每个 IID(独立的、同分布的)序列都是可交换的——但反之则不行。但是,每个可交换序列都是相同分布的。n

想象一张桌子,上面放着一堆骨灰盒,每个骨灰盒都包含不同比例的红色和绿色球。我们随机选择一个骨灰盒(根据一些先验分布),然后从所选骨灰盒中抽取一个样本(无需放回)。

请注意,我们观察到的红色和绿色不是独立的。得知我们观察到的红色和绿色序列是可交换的序列,这也许并不奇怪。可能令人惊讶的,每个可交换的序列都可以这样想象,以选择合适的骨灰盒和先验分布。(参见 Diaconis/Freedman (1980) “Finite Exchangeable Sequences”,Ann. Prob.)。

这个概念在各种地方都会被调用,它在贝叶斯环境中特别有用,因为在那些环境中我们有一个先验分布(我们对桌子上骨灰盒分布的知识)并且我们有可能到处乱跑(一个模型松散地表示从给定的固定瓮中的采样过程)。我们观察红色和绿色的顺序(数据),并使用该信息来更新我们对手中特定骨灰盒(即我们的后部)或更一般地说是桌子上的骨灰盒的信念。

可交换的随机变量特别棒,因为如果我们有无限多的随机变量,那么我们就可以轻松获得大量数学机器,其中最重要的是德菲内蒂定理;有关介绍,请参见 Wikipedia。