贝叶斯框架比频率论者有很大的优势,因为它在知道要做出的正确分布假设方面不依赖于“水晶球”。贝叶斯方法取决于使用您拥有的信息,以及知道如何将这些信息编码为概率分布。
使用贝叶斯方法基本上是在充分利用概率论。贝叶斯定理只不过是对概率论经典乘积规则的重述:
p(θx|I)=p(θ|I)p(x|θI)=p(x|I)p(θ|xI)
只要p(x|I)≠0(即先前的信息没有说观察到的东西是不可能的)我们可以除以它,并得出贝叶斯定理。我用过I表示始终存在的先验信息 - 您不能在没有信息的情况下分配概率分布。
现在,如果您认为贝叶斯定理是可疑的,那么从逻辑上讲,您也必须认为乘积规则也是可疑的。你可以在这里找到一个演绎论证,它推导出乘积和求和规则,类似于 Cox 定理。可以在此处找到所需假设的更明确的列表。
据我所知,频率论推理不是基于逻辑框架内的一组基础。因为它使用 Kolmogorov 概率公理,所以概率论和统计推断之间似乎没有任何联系。频率论推理没有任何公理导致要遵循的程序。有一些原则和方法(最大似然、置信区间、p 值等),它们工作得很好,但它们往往是孤立的,专门针对特定问题。我认为频率论方法最好在其基础上保持模糊,至少在严格的逻辑框架方面。
为点1,从解释的角度来看,得到相同的结果有些无关紧要。两个过程可能导致相同的结果,但这并不意味着它们是等价的。如果我只是猜测θ,并且碰巧猜到了最大似然估计(MLE),这并不意味着我的猜测和 MLE 一样好。
为点2,为什么要担心不同信息的人会得出不同的结论呢?拥有数学博士学位的人会并且应该得出与高中数学水平不同的结论。他们拥有不同数量的信息——我们为什么希望他们同意?当您收到已知信息时,您往往会改变主意。多少取决于它是什么类型的信息。贝叶斯定理应该包含这个特性。
与先验相比,似然性明显时,使用统一先验通常是一种方便的近似。有时不值得付出努力,通过并正确设置先验。同样,不要将贝叶斯统计与 MCMC 混淆。MCMC 只是一种积分算法,与高斯求积相同,与拉普拉斯近似类似。它比 quadratre 更有用,因为您可以重新使用算法的输出来进行所有积分(后验均值和方差是积分),并且比 Laplace 更通用,因为您不需要大样本或后部圆润的峰(虽然拉普拉斯更快)。