非信息性和不当先验之间的区别

机器算法验证 贝叶斯 事先的 不恰当的先验
2022-03-15 06:23:03

我想知道这两种先验有什么区别:

  • 非信息性
  • 不当
2个回答

不正确的先验是σ- 有限的非消极措施dπ关于参数空间Θ这样

Θdπ(θ)=+
因此,他们概括了先验分布的概念,这是参数空间上的概率分布Θ这样
Θdπ(θ)=1
它们以多种方式用于表征

  1. 适当贝叶斯程序的一组极限,并非所有适当的贝叶斯程序;
  2. 常客最优程序,如(可接纳性)完备类定理,如 Wald 的;
  3. 常客最佳不变估计量(因为它们可以在相应的右 Haar 度量下表示为贝叶斯估计,通常不正确);
  4. 先验来自似然函数的形状,例如非信息先验(例如,Jeffreys')。

因为它们没有积分到有限数,所以它们不允许概率解释,但如果边际似然是有限的,它们仍然可以用于统计推断

Θ(θ|x)dπ(θ)<+
由于后验分布
(θ|x)dπ(θ)Θ(θ|x)dπ(θ)
然后是明确定义的。这意味着它可以以与使用从适当先验导出的后验分布完全相同的方式使用,以导出用于估计的后验量,例如后验均值或后验可信区间。

警告:贝叶斯推理的一个分支不能很好地处理不正确的先验,即在测试尖锐假设时。实际上,这些假设需要构建两个正交的先验分布,一个在零分布下,一个在替代分布下。如果这些先验之一不正确,则无法对其进行归一化,并且由此产生的贝叶斯因子是不确定的。

在贝叶斯决策理论中,当寻求最优决策过程时δ在损失函数下L(d,θ)不恰当的先验dπ在最小化问题的情况下很有用

argmindΘL(d,θ)(θ|x)dπ(θ)
允许一个非平凡的解决方案(即使没有定义后验分布)。这种区别的原因是决定只取决于产品L(d,θ)dπ(θ),这意味着它在乘法项的先验变化下是不变的ϖ(θ)假设损失函数除以相同的乘法项ϖ(θ),
L(d,θ)dπ(θ)=L(d,θ)ϖ(θ)×ϖ(θ)dπ(θ)

非信息先验是根据与似然函数相关的特定信息标准确定的(适当或不适当)先验分布类别,例如

  1. 拉普拉斯不充分理由先验;
  2. Jeffreys (1939) 不变先验;
  3. 最大熵(或 MaxEnt)先验(Jaynes,1957);
  4. 最小描述长度先验(Rissanen,1987;Grünwald,2005);
  5. 参考先验 (Bernardo, 1979, 1781; Berger & Bernardo, 1992; Bernardo & Sun, 2012)
  6. 概率匹配先验 (Welsh & Peers, 1963; Scricciolo, ‎1999; Datta, 2005)

以及更多的类,其中一些在 Kass & Wasserman (1995) 中有描述。非信息性的名称是用词不当,因为没有先验是完全非信息性的。请参阅我在此论坛上的讨论。或者拉里·沃瑟曼的谩骂(非信息性先验通常是不正确的。)

严格地说,非信息性先验不是先验分布。这是一个函数,如果我们将其视为一个分布并应用贝叶斯公式,我们会得到一定的后验分布,其目的是尽可能地反映数据中包含的信息,并且只反映在数据中,或获得良好的频率匹配属性(即95%- 后置信区间约为95%-置信区间)。

非信息性先验通常是“不适当的”。分布有一个众所周知的性质:它的积分等于一。当一个非信息先验的积分是无限的时,它被认为是不合适的(因此在这种情况下,很明显它不是一个分布)。