可交换性背后的直觉及其在统计推断中的应用

机器算法验证 贝叶斯 随机变量 直觉 可交换性
2022-04-07 08:00:18

我正在阅读 Gelman 等人的“贝叶斯数据分析”,我遇到了这个可交换性属性: is exchangeable if在其参数中是对称的。我了解定义,但不了解其背后的直觉。到目前为止,我一直只遇到随机变量的 iid 序列。我理解 iid 属性背后的直觉(例如,它是抛硬币、掷骰子等的合理模型)及其在形成各种置信区间(均值、比例、分位数、回归系数等)方面的有用性。{Xn}nNFX1,,Xn(x1,,xn)nN

我对可交换性更加茫然。显然 iid 序列是可交换的。但是还有哪些其他的现象是可以直观地交换的,这个属性是如何用来进行推理的呢?我读到一个可交换的序列是一个特定事件的概率(例如,对于 ,其中是伯努利)不依赖于顺序的结果。但是然后从一个有黑色弹珠和p(X1=1,X2=0,,Xn=1)Xinm白色大理石(我读到可以通过可交换的伯努利 RV 序列建模)对我来说似乎不能直观地交换,因为我认为概率将取决于提取的结果。可能是取决于提取历史的条件概率,而不是联合密度,但我仍然感到困惑......我需要对可交换性进行一些直观的解释,以及我们使用可交换的一两个简单示例,但不是iid,用于执行统计推断的随机变量序列。

2个回答

中随机变量的索引,而不会改变概率计算的结果。这意味着,基本上,您可以将观察到的值,例如,其中在值列表中,反之亦然(或更复杂的排列),而不会改变计算的概率。F(x1,,xn)x1x3

考虑一个骨灰盒的例子;3个黑球和2个白球,取样无需更换。现在让我们画两个球;我们得到一个白色和一个黑色。的概率是否等于序列的概率?如果是这样,并且如果这适用于所有序列和所有样本,那么序列是可交换的,尽管抽签本身显然不是独立的。(w,b)(b,w)

P(b,w)=3/51/2=3/10

P(w,b)=2/53/4=3/10

如果我们看到,并将概率计算中的索引置换为 (2,1) 而不是 (1,2),这意味着我们计算的是而不是,我们将得到相同的数值结果。在这种瓮模型中普遍存在这一事实意味着抽奖顺序(来自这种瓮模型)是可交换的。x1=wx2=bP(b,w)P(w,b)

至于我们为什么关心,我几乎没有比向您指出 Bernardo 的这篇论文更好的了(从贝叶斯的角度来看)。tl;dr 是可交换性是证明概率分布和先验分布存在所必需的一切关于概率分布的参数。所以它是非常基本的东西,而不是你(直接)用来帮助构建特定统计测试的东西。

引用:“如果判断一个观察序列是可交换的,那么它们的任何有限子集都是某个模型的随机样本,并且存在一个先验分布 )描述有关标记模型 ]的初始可用信息。”p(xi|θ)p(θ)θ

等相关随机变量是可交换性但非独立同分布的另一个例子。举一个最简单有用的例子,考虑那么相关矩阵是 每个rv任何其他房车,无论哪个房车在第一、第二或第三位。n=3

(1ρρρ1ρρρ1)
ρ