贝叶斯会承认有一个固定的参数值吗?

机器算法验证 可能性 贝叶斯 参数化
2022-01-24 10:15:44

在贝叶斯数据分析中,参数被视为随机变量。这源于概率的贝叶斯主观概念化。但是,贝叶斯主义者在理论上承认“现实世界”中存在一个真正的固定参数值吗?

似乎显而易见的答案是“是”,因为尝试估计参数几乎是荒谬的。对此答案的学术引用将不胜感激。

4个回答

恕我直言“是的”!这是我最喜欢的格陵兰语​​录之一(2006:767):

人们常说(错误地)“参数被常客认为是固定的,但被贝叶斯认为是随机的”。对于常客和贝叶斯主义者来说,参数的值可能从一开始就已经固定,或者可能是从物理随机机制生成的。无论哪种情况,都假设它具有我们想知道的某个固定值。贝叶斯使用正式的概率模型来表达关于该值的个人不确定性。这些模型中的“随机性”代表个人对参数值的不确定性;它不是参数的属性(尽管我们希望它准确地反映产生参数的机制的属性)。

格陵兰,S. (2006)。流行病学研究的贝叶斯观点:I. 基础和基本方法。国际流行病学杂志,35(3),765–774。

概率的贝叶斯概念不一定是主观的(cf Jaynes)。这里的重要区别是贝叶斯试图通过将其合理值的先验分布与总结某些观察中包含的信息的可能性相结合来确定他/她关于参数值的知识状态。因此,作为贝叶斯主义者,我对参数具有真实值的想法感到满意,但该值尚不完全清楚,而后验分布的目的是总结我所知道的关于其合理值的信息,基于我之前的假设和观察。

现在,当我制作模型时,模型不是现实。因此,在某些情况下,所讨论的参数确实存在(例如袋熊的平均体重),而在某些问题中则不存在(例如回归参数的真实值 - 回归模型只是结果的模型控制系统的物理定律,回归模型实际上可能无法完全捕捉到这些定律)。所以说现实世界中存在一个真正的固定参数值并不一定是真的。

另一方面,我建议大多数常客会说统计数据有一个真实值,但他们也不知道它是什么,但他们有估计量和估计的置信区间(在某种意义上) 量化了他们关于不同值的合理性的不确定性(但概率的常客概念阻止他们直接表达这一点)。

对于您的主要观点,在贝叶斯数据分析(第 3 版,第 93 页)中,Gelman 还写道

从贝叶斯数据分析的角度来看,我们通常可以将经典点估计解释为基于一些隐式全概率模型的精确或近似的后验总结。实际上,在大样本量的限制下,我们可以使用渐近理论来构建经典最大似然推理的理论贝叶斯证明。

因此,也许不是贝叶斯主义者应该“承认”事实上存在单个真实参数值,而是应该诉诸贝叶斯统计来证明他们的估计程序合理的常客!(我说这话时舌头紧紧地贴在脸颊上。)

顺便说一句,我反对贝叶斯统计以主观概率为前提的笼统说法,以及暗示贝叶斯是主观的而其他推理范式不是。这当然是一个可以提出的论点,也许还包括“赌注连贯性”论点的观点,但请参阅 Gelman,他在这里将“贝叶斯”定义为使用后验分布的统计学家,在这里他反对过度限制性的定义。Pr(θ|y)

但是,自然界或社会系统中存在单一参数的想法只是一个简化的假设。可能有一些华丽的过程会产生可观察到的结果,但发现这个系统是非常复杂的;假设有一个固定的参数值可以极大地简化问题。我认为这切入了您问题的核心:贝叶斯主义者不应该像频率主义者那样“承认”进行这种简化。

你认为喝牛奶对孩子成长的贡献有一个单一的“真正的固定参数”吗?还是根据您注射到患者体内的化学物质 X 的量来减小肿瘤的大小?选择任何你熟悉的模型,问问自己,你是否真的相信每个参数都有一个真实的、通用的、精确的和固定的值,即使在理论上也是如此。

忽略测量误差,只要看看你的模型,就好像所有的测量都是完全准确和无限精确的。给定你的模型,你认为每个参数实际上都有一个特定的点值吗?

您拥有模型这一事实表明您遗漏了一些细节。您的模型将具有一定程度的不精确性,因为您正在对您遗漏的参数/变量进行平均以制作模型 - 现实的简化表示。(就像您不制作包含所有细节的 1:1 地球地图一样,而是制作 1:10000000 地图,或某种类似的简化。地图是一个模型。)

鉴于您正在对遗漏变量进行平均,您在模型中包含的变量的参数将是分布,而不是点值。

这只是贝叶斯哲学的一部分——我忽略了理论不确定性、测量不确定性、先验等——但在我看来,你的参数具有分布的想法具有直观意义,就像描述性统计具有分配。