贝叶斯统计如何估计通过频率论方法难以估计的参数的示例

机器算法验证 贝叶斯 推理 sas 常客
2022-03-19 18:17:51

贝叶斯统计学家认为“贝叶斯统计学可以估计通过频率论方法难以估计的参数”。这个 SAS 文档中引用的以下引用是否说明了同样的事情?

它提供了以数据为条件且准确的推论,而不依赖于渐近近似。小样本推理的方式与大样本推理的方式相同。贝叶斯分析也可以直接估计参数的任何函数,而无需使用“插件”方法(一种通过将估计的参数插入泛函中来估计泛函的方法)。

我在一些教科书中看到了类似的说法,但不记得在哪里。谁能用一个例子向我解释一下?

1个回答

我对这句话有异议:

  1. “频率主义”是一种基于所选估计器的频率特性的推理方法。这是一个模糊的概念,因为它甚至没有说明估计器必须收敛,以及它们是否按照它们必须收敛的方式进行。例如,无偏性是一个常客的概念,但它不能适用于任何感兴趣的[参数 ] 函数,因为允许无偏估计量变换的集合非常有限。此外,频率估计器不是由范式产生的,而是必须在评估之前首先选择。从这个意义上说,如果贝叶斯估计量满足某些频率论属性,它就是频率论估计量。θθ
  2. 贝叶斯方法产生的推理基于后验分布,由其密度我不明白“精确”一词如何附加到与先验分布唯一相关,并且完全由贝叶斯定理得出。但它不会返回精确的推论,因为点估计不是真实值,并且它仅在先验 x 似然对提供的框架内产生精确的概率陈述π(θ|D)π(θ|D)π(θ)θ. 更改对中的一项确实会修改后验和推理,而没有通用论据来捍卫单个先验或可能性。
  3. 类似地,在该 SAS 文档的同一页面中找到的其他概率陈述,如“真实参数在 95% 的可信区间内下降的概率为 0.95”,具有相对于后验分布框架的含义,但不是绝对值。
  4. 从计算的角度来看,在标准经典方法失败的情况下,贝叶斯方法确实可能经常返回准确或近似的答案。例如,潜在 [或缺失] 变量模型其中是对的联合密度,并且在没有观察到及其后验的估计可能比推导容易得多最大似然 [frequentist?] 估计量。这种设置的一个实际例子是群体遗传学中的金曼联合模型
    f(x|θ)=g(x,z|θ)dz
    g(x,z|θ)(X,Z)Zθ(θ,Z),其中来自共同祖先的种群进化涉及二叉树上的潜在事件。该模型可以通过一种称为 ABC 的算法通过 [近似] 贝叶斯推理来处理,即使也存在非贝叶斯软件分辨率
  5. 然而,即使在这种情况下,我也不认为贝叶斯推理是唯一可能的解决方案。神经网络、随机森林、深度学习等机器学习技术可以归类为频率论方法,因为它们通过交叉验证对样本进行训练,最大限度地减少可被视为期望的误差或距离标准[在真实模型下]近似于样本平均值。例如,Kingman 的合并模型也可以通过非贝叶斯软件分辨率来处理。
  6. 最后一点是,对于点估计,贝叶斯方法很可能会产生插件估计。对于一些我称之为内在损失的损失函数,变换的贝叶斯估计量的变换h(θ)h(θ^)θ