独立是主观的吗?

机器算法验证 可交换性
2022-04-03 18:24:39

我试图更好地理解可交换性。假设我想进行一个实验。我会挑选两个人,给每个人一个公平的硬币,然后让他们连续掷 N 次。不同之处在于,AI 会告诉人,硬币是公平的,而告诉人 B 我不知道硬币是否公平。但我向他们俩保证,没有胡说八道。

对于 A 人来说,抛硬币是独立同分布的,因此它们是可交换的。

对于 B 人来说,抛硬币既不是独立的也不是同分布的,但它们是可交换的。

在这一点上对我来说奇怪的是,对于连续抛硬币的相同物理过程,一个人认为抛掷是独立的,而另一个人则不是,而我知道它们都是 IID。

这会使独立性变得主观吗?还是我的理解不正确?

基本上 B 有一些关于这个过程的知识,而 A 无法学习任何新东西。因此,他们的主观信念会影响他们对独立性的评估。

我们应该根据理想化的真实数据生成过程还是根据我们目前对该过程的了解来评估独立性?

这是一个类似的修辞:“共振:从概率到认识论和回归

似乎这取决于您是贝叶斯主义者还是频率主义者。然而,相当令人困惑的是,如果问题被提出为从一个装有一个有偏见的和一个公平的硬币的瓮中随机挑选一枚硬币(不知道你选择了哪一枚),然后将同一个硬币扔 N 次,常客和贝叶斯都可能会同意抛掷不是无条件独立的,这意味着他们现在都根据他们对情况的了解来评估独立性,而不是抛掷实际上不会相互影响的基本事实。

4个回答

我有点晚了,好东西已经写了,但是我没有看到以下提到的内容:

对于 A 人来说,抛硬币是独立同分布的,因此它们是可交换的。

对于 B 人来说,抛硬币既不是独立的也不是同分布的,但它们是可以交换的。”

这不取决于 A 或 B 拥有的信息,而是取决于他们是否将概率视为认知的(即,像大多数贝叶斯学派一样,指代代理人的知识/不确定性)或偶然性(指那里的数据生成过程在世界上,像大多数常客一样)。一个人甚至可以是多元化的,并接受这两种观点在不同情况下都是有利的。

在任何情况下,即使有给定的信息,人 B 也可以谈论随机概率,然后通常将抛硬币建模为具有未知概率的独立同分布。说“对于 B 人来说,抛硬币既不是独立的也不是同分布的”是不恰当的因为它们是可交换的但不是 iid 的认知模型不是指物理过程,而是指知识状态。

在这一点上对我来说奇怪的是,对于连续抛硬币的相同物理过程,一个人认为抛掷是独立的,而另一个人则不是,而我知道它们都是 IID。

但这种情况并非如此。A 显然模拟了物理过程什么,但是 B 正在继续模拟他们自己的知识状态,并且没有潜在的物理过程做出陈述。

我们应该根据理想化的真实数据生成过程还是根据我们目前对该过程的了解来评估独立性?

从多元化的角度来看,这是您的选择,两者各有利弊。但是,一旦您做出了选择,请保持一致!

这会使独立性变得主观吗?还是我的理解不正确?

概率建模中总有一些你无法摆脱的主观因素。这在主观贝叶斯中很明显,但是常客也需要做出主观的模型决策。概率模型总是被数据低估。常客可以尝试测试独立性(这并不经常发生),但这会带来其自身的问题,并且肯定无法检测到所有可以想象的替代可能性。

然而,相当令人困惑的是,如果问题被提出为从一个装有一个有偏见的和一个公平的硬币的瓮中随机挑选一枚硬币(不知道你选择了哪一枚),然后将同一个硬币扔 N 次,常客和贝叶斯都可能会同意抛掷不是无条件独立的,这意味着他们现在都根据他们对情况的了解来评估独立性,而不是抛掷实际上不会相互影响的基本事实。

如果你用他们如何模拟这种情况以及出于什么原因来表达这一点,这似乎远没有写下人们认为抛硬币的真实情况那么令人困惑在我看来,概率是对世界建模的工具,而不是对世界真实情况的描述。

在概率论中,两个事件的独立性定义为

P(AB)=P(A)P(B)

定义没有任何主观性,它是随机变量的可能属性。对于现实生活中的数据,由于采样偏差、测量误差、样本量不足、数值精度等原因,我们将谈论违反独立性假设的程度。这也是我们查看模型残差图的原因之一。

在一个极端,你可以考虑“巴西的蝴蝶翅膀在德克萨斯掀起了龙卷风”,即说独立不存在。即使是像扔硬币这样简单的“物理”问题也可能会受到一些外部因素的影响(除非它是由真空中的机器人扔的),但大多数人会同意这是“随机”和“独立”的,足以不考虑这种情况细微差别。

在另一个极端,您可以大胆地假设独立性,例如,在构建垃圾邮件分类器时,您使用假设所有变量都是独立的朴素贝叶斯分类器。这显然是错误的,因为人们不会通过随机配对来组合句子中的单词。然而,朴素贝叶斯分类器可以为许多类似的问题提供相当不错的结果,并且被普遍使用。

的,无论人们做出什么样的评估,他们都可能受到外部因素的影响,对此有大量的心理学研究。独立性就是其中之一,一种方便的方法,它简化了许多用于解决统计问题的数学。通常问题不在于假设是正确的还是错误的,而是做出错误的假设会在多大程度上影响结果。此外,在许多情况下,出于计算原因,您只需要做出这样的假设,因为您无法模拟任何事物与世界上任何事物的所有可能交互。

在我看来,您问题的最终答案归结为您接受的概率概念。让我恢复蒂姆的答案

在概率论中,两个事件的独立性定义为 P(AB)=P(A)P(B) 定义没有任何主观性,它是随机变量的可能属性。

最后几句话在布鲁诺·德·菲内蒂关于概率的观点中受到强烈质疑。在他提出的激进解释中,概率本身是完全主观的,即使在几乎总是应用经典定义的情况下(如抛硬币)。所以独立性也是主观判断。请注意,对于可交换性也是如此。

你想到的实验是一个程式化的案例,用于解决更一般的问题,例如:两个人面临相同的概率问题,但一个人比另一个人有更多的信息。

因此,他们记住的概率模型几乎肯定是不同的,然后是他们得出的结论。

假设结论本身就是概率;哪个是正确的?

在德菲内蒂看来,最后一个问题是无稽之谈。没有概率是正确的,因为最终概率是不存在的(在绝对客观的意义上)。概率(结论)可以(必须)是连贯的,仅此而已。

在德菲内蒂的解释中,无论个人知识如何,示例中的结论都可以是对的,也可以是错的,或者是对的和错的。这仅取决于双方推理中可能出现的逻辑错误(不一致)。

然而,在我们的示例中,信息较少的家伙 B 确实可以从数据中学到一些东西,并且如果硬币“真正”可以解释为 iid 随机变量,在之前或之后,应该收敛到家伙 A 的结论。在现实/数据和概率之间进行无休止的辩论。

回到你的句子

在这一点上对我来说奇怪的是,对于连续抛硬币的相同物理过程,一个人认为抛掷是独立的,而另一个人则不是,而我知道它们都是 IID。

这会使独立性变得主观吗?

在德菲内蒂看来,答案是肯定的,没有什么奇怪的。

注意:在术语意义上,如果您“知道”“他们都是 IID”,那么其他意见是不可接受的,那么家伙 B 几乎肯定会得出错误的结论。但是,如果您的“知道”是一个理论假设,那么您问题的答案……就在问题中(事件是独立的)……没有主观意见的余地。但是请注意,要求解决任何数学问题,给某些人正确的术语,而给其他人不正确或不完整的术语是完全相同的。另一方面,如果你的“知识”是关于现实的……它可能是一种错觉……主观解释又回来了。

要全面了解 de Finetti 的观点,您可以阅读https://www.amazon.com/Theory-Probability-introductory-treatment-Statistics/dp/1119286379

直到最后一段,设置似乎完全是贝叶斯。我将首先从贝叶斯的角度回答最后一段(但不包括)提出的问题。

...对于连续投掷公平硬币的相同物理过程,一个人认为投掷是独立的,而另一个人则不是,而我知道它们都是 IID。这会使独立性变得主观吗?

在您的示例中,人与人之间的差异不是因为他们对相同信息的处理方式不同,而是因为他们拥有的信息(数量)不同。第一个是调节p=0.5(使用p表示正面的概率),而第二个不是。另一个可能更相关的问题是:如果两个人获得相同的信息,他们是否必然会得出关于独立性的相同结论?如果拥有相同的信息意味着拥有相同的先验和可能性(是吗?我现在没有答案),那么答案是肯定的。

我们应该根据理想化的真实数据生成过程还是根据我们目前对该过程的了解来评估独立性?

作为贝叶斯主义者,我们应该根据我们目前对该过程的了解来评估独立性。根据 Lindley 的“理解不确定性”(2006 年)第 3 页。37-38,概率描述了你与世界之间的关系,或与事件有关的世界的一部分。<...> 它不仅是你头脑的一个特征,它不是一个事件所具有的价值,而是表达了你与事件之间的关系,是你理解世界的基本工具(重点是我的)。由于独立性是由概率定义的,我认为同样的逻辑和解释延伸到独立性。

(我也不完全清楚如何用统计术语严格地表达基于理想化的真实数据生成过程评估独立性的陈述。)


关于最后一段以及从频率论者的角度对独立性的处理,该过程有两个步骤:

  1. 如何对现实世界的事件/现象进行概率建模
  2. 如何在模型中定义和理解独立性(无论它们与现实世界的联系如何)。

在步骤 1 中,可以就从现实世界转移到模型时所采取的一些简化假设提出问题。与我们相关的一个问题是关于第一次投掷的结果不会影响第二次投掷的物理特性的假设的合理性;这可以形成在模型级别定义的正式独立性假设的基础(步骤 2)。在第 2 步中,可以使用概率定律正式评估独立性,我相信这相对容易(在第 1 步中给出完整的工作)。

关于

...令人困惑的是,如果提出的问题是从一个装有一枚偏斜硬币和一枚公平硬币的瓮中随机挑选一枚硬币(不知道您选择了哪一枚),然后将同一枚硬币扔 N 次,<...>常客<...>可能会同意投掷不是无条件独立的,这意味着<...>独立性[评估]基于他们对情况的了解,而不是投掷实际上不影响的基本事实彼此,

问题在于步骤(1)。现实世界的现象比仅仅投掷同一枚硬币要复杂得多;也有在开始时选择两个硬币中的一个的动作。适当考虑后者会产生(在步骤 2 中形式化之后)无条件依赖。经过一番思考,人们可能不会发现它违反直觉。现在,如果我们只看一枚硬币的投掷,那么我们有独立性,无论是在您描述的实验中选择具体硬币时有条件地定义它,还是在只有一枚硬币存在的实验中无条件地定义它(所以不是你的实验)。因此,在我的理解中,实际上与基本事实没有冲突——只要我们正确识别我们正在建模/考虑的现象。