为什么杰弗里斯先验有用?

机器算法验证 贝叶斯 事先的
2022-01-19 01:54:57

我知道 Jeffreys 先验在重新参数化下是不变的。但是,我不明白为什么需要这个属性。

为什么你不希望在变量变化的情况下改变先验?

4个回答

假设您和朋友正在使用普通模型分析同一组数据。您采用使用均值和方差作为参数的正态模型的通常参数化,但您的朋友更喜欢使用变异系数和精度作为参数对正态模型进行参数化(这是完全“合法的”)。如果你们俩都使用 Jeffreys 的先验,您的后验分布将是您朋友的后验分布,从他的参数化正确转换(不要忘记雅可比行列式)到您的参数化。正是在这个意义上,杰弗里斯的先验是“不变的”

(顺便说一句,“不变”是一个可怕的词;我们真正的意思是它在与张量微积分/微分几何相同的意义上是“协变的”,但是,当然,这个术语已经具有公认的概率含义,所以我们不能使用它。)

为什么需要这种一致性属性?因为,如果 Jeffreys 的先验有任何机会表示对绝对意义上的参数值的无知(实际上,它没有,但出于与“不变性”无关的其他原因),而不是相对于特定参数化的无知对于模型,必须是这样的,无论我们任意选择从哪个参数化开始,我们的后验都应该在转换后“匹配”。

杰弗里斯本人在构建他的先验时经常违反这种“不变性”属性。

让我完成禅的回答。我不太喜欢“代表无知”的概念。重要的不是 Jeffreys 的先验,而是 Jeffreys 的后验该后验旨在尽可能地反映有关数据带来的参数的信息。以下两点自然需要不变性。例如,考虑具有未知比例参数和赔率参数的二项式模型。θψ=θ1θ

  1. 上的 Jeffreys 后验尽可能地反映了数据带来的之间存在一一对应关系上的 Jeffreys 后验上的后验(通过通常的变量变化公式)应该会产生一个分布,该分布尽可能地反映有关的信息。因此这个分布应该是关于的 Jeffreys 后验。这就是不变性。θθθψθψψψ

  2. 得出统计分析结论的一个重点是科学交流上的 Jeffreys 后验提供给一位科学同事。但他/她对而不是感兴趣。那么这不是不变性属性的问题:他/她只需要应用变量变化公式。θψθ

引用 Zen 的精彩回答:根据 Jaynes 的说法,Jeffreys 先验是变换群原理的一个例子,它源于无差异原理:

该原理的本质只是:(1)我们认识到概率分配是描述某个状态的一种手段。(2) 如果现有的证据使我们没有理由考虑命题A1或多或少A2,那么我们可以描述知识状态的唯一诚实方式就是给它们分配相等的概率:p1=p2. 任何其他程序在某种意义上都是不一致的,仅仅通过交换标签(1,2)然后我们可以产生一个新问题,其中我们的知识状态是相同的,但我们分配了不同的概率……

现在,回答你的问题:“为什么你不希望在变量变化的情况下改变先验?”

根据 Jaynes 的说法,参数化是另一种任意标签,我们不应该能够“仅仅通过交换标签来产生一个新问题,其中我们的知识状态是相同的,但我们分配了不同的概率。 ”

虽然通常很有趣,但如果只是为了设置参考先验来衡量其他先验,Jeffreys 先验可能完全没用,例如当它们导致不正确的后验时:例如简单的两分量高斯混合就是这种情况

pN(μ0,σ02)+(1p)N(μ1,σ12)
所有参数未知。在这种情况下,无论有多少观测可用,Jeffreys 先验的后验都不存在。(证明可以在我最近与 Clara Grazian 合写的一篇论文中找到。)