贝叶斯方法更简单、更实用或更方便的情况列表

机器算法验证 贝叶斯 常客
2022-01-16 03:29:04

贝叶斯主义者和频率论者之间在统计数据中有很多争论。我通常觉得这些相当令人反感(尽管我认为它已经消失了)。另一方面,我遇到了几个对这个问题持完全务实观点的人,他们说有时进行频率分析更方便,有时进行贝叶斯分析更容易。我觉得这种观点既实用又令人耳目一新。

我突然想到,列出此类案例会很有帮助。因为有太多的统计分析,并且因为我假设进行频率分析通常更实用(在 WinBUGS 中编写 t 检验比在 R 中执行基于频率的版本所需的单个函数调用要复杂得多,例如),最好列出贝叶斯方法比常客方法更简单、更实用和/或更方便的情况。


(我不感兴趣的两个答案是:'总是'和'从不'。我理解人们有强烈的意见,但请不要在这里发表。如果这个帖子成为小争吵的场所,我可能会删除我的目标是开发一种对有工作的分析师有用的资源,而不是一把斧头。)

欢迎人们提出多个案例,但请使用单独的答案来这样做,以便可以单独评估(投票/讨论)每种情况。答案应列出:(1)情况的性质是什么,以及(2)为什么在这种情况下贝叶斯方法更简单。一些代码(例如,在 WinBUGS 中)展示了如何进行分析以及为什么贝叶斯版本更实用,这将是理想的,但我预计会太麻烦。如果可以轻松完成,我将不胜感激,但请说明原因

最后,我承认我没有定义一种方法比另一种方法“更简单”的含义。事实是,我不完全确定一种方法比另一种更实用意味着什么。我对不同的建议持开放态度,只需在您解释为什么贝叶斯分析在您讨论的情况下更方便时指定您的解释。

4个回答

(1)在似然函数难以处理的情况下(至少在数值上),贝叶斯方法的使用,通过近似贝叶斯计算(ABC),已经超越了一些常见的竞争对手,例如复合似然 ( 1 , 2 )或经验可能性,因为它往往更容易实现(不一定正确)。因此,ABC 的使用在生物学遗传学生态学等常见难以处理的可能性的领域变得流行在这里,我们可以举出一大堆例子。

一些棘手的可能性的例子是

  • 叠加过程。Cox 和 Smith (1954)在神经生理学的背景下提出了一个模型,该模型由个叠加的点过程组成。例如,考虑在特定时期内由几个神经元发出的在大脑某些部分观察到的电脉冲之间的时间。该样本包含非独立同分布的观察,这使得难以构建相应的似然性,使相应参数的估计复杂化。本文最近提出了一种(部分)频率论的解决方案最近还研究了 ABC 方法的实施,可以在此处找到。N

  • 种群遗传学是导致难以处理的可能性的模型的另一个例子。在这种情况下,难处理性具有不同的性质:可能性以多维积分(有时维度为)的形式表示,仅在一个点上评估它就需要几十年的时间。这个区域可能是ABC的总部。1000+

随着贝叶斯软件的改进,“更容易应用”的问题变得没有意义。贝叶斯软件正以越来越容易的形式打包。最近的一个例子来自一篇题为“贝叶斯估计取代 t 检验”的文章。以下网站提供了文章和软件的链接:http: //www.indiana.edu/~kruschke/BEST/

摘自文章简介:

...有些人的印象是 NHST 和贝叶斯方法的结论往往在简单情况下达成一致,例如两组比较:“因此,如果您感兴趣的主要问题可以简单地以适合测试的形式表达,比如说,真的没有必要尝试将完整的贝叶斯机制应用于如此简单的问题”(布鲁克斯,2003 年,第 2694 页)。相反,本文表明贝叶斯参数估计提供的信息比 NHST t 检验要丰富得多,并且其结论可能与 NHST t 检验的结论不同。基于贝叶斯参数估计的决策比基于 NHST 的决策更好,无论两种方法得出的决策是否一致。

(2)应力强度模型。应力强度模型的使用在可靠性方面很受欢迎。基本思想包括估计参数θ=P(X<Y)在哪里XY是随机变量。有趣的是,这个参数的轮廓似然度的计算通常非常困难(甚至在数值上),除了一些玩具例子,例如指数或正常情况。出于这个原因,需要考虑特设的常客解决方案,例如经验可能性()或置信区间,其在一般框架中的构建也很困难。另一方面,贝叶斯方法的使用非常简单,因为如果你有一个样本分布的参数的后验分布XY,那么您可以轻松地将它们转换为θ.

X是一个随机变量,其密度和分布分别为f(x;ξ1)F(x;ξ1). 同样,让Y是一个随机变量,其密度和分布分别为g(y;ξ2)G(y;ξ2). 然后

()θ=F(y;ξ1)g(y;ξ2)dy.

注意这个参数是参数的函数(ξ1,ξ2). 在指数和正常情况下,这可以用封闭形式表示(参见),但一般情况并非如此(参见本文的示例)。这使轮廓似然度的计算复杂化θ因此,对这个参数的经典区间推断。主要问题可以总结如下“感兴趣的参数是模型参数的未知/复杂函数,因此我们找不到涉及感兴趣参数的重新参数化”。

从贝叶斯的角度来看,这不是问题,因为如果我们有一个来自后验分布的样本(ξ1,ξ2),那么我们可以简单地将这些样本输入到()为了获得后验的样本θ并为此参数提供区间推断。

我接受过频率统计(实际上是计量经济学)的训练,但我从未对贝叶斯方法持对抗立场,因为我的观点是,这场“史诗”战斗的哲学渊源从一开始就被误导了(我已经播出我的观点在这里)。事实上,我还计划在不久的将来用贝叶斯方法训练自己。

为什么?因为频率统计的一个方面最让我着迷,因为它是数学和概念上的努力,同时它也让我最困扰:样本量渐近。至少在计量经济学中,几乎没有今天的严肃论文声称,通常在频率计量经济学中应用的各种估计量中的任何一种都具有我们希望从估计量中获得的任何理想的“小样本”属性。它们都依赖于渐近特性来证明它们的使用是合理的。所使用的大多数测试仅渐进地具有理想的属性……但我们不再处于“z-land / t-land”中:现代频率论估计和推理的所有复杂(和强大)设备也是高度特殊的——这意味着有时,确实需要一个 laaaaaaaaa...aaaarge 样本,以使这些宝贵的渐近特性出现并有利地影响从估计器得出的估计,正如各种模拟所证明的那样。意味着数以万计的观察——尽管它们开始可用于某些经济活动领域(如劳动力或金融市场),但在其他一些领域(如宏观经济学)它们永远不会这样做(至少在我的一生中)。我对此很困扰,因为它真实地呈现了派生结果不确定的(不仅仅是随机的)。

小样本的贝叶斯计量经济学不依赖于渐近结果。“可是他们靠的是主观先验!” 是通常的反应......对此,我的简单实用的回答如下:“如果现象是旧的并且以前研究过,则可以从过去的数据中估计先验。如果现象是的,如果不是,还有什么可以通过主观论证开始讨论吗?