贝叶斯模型的识别

机器算法验证 贝叶斯 结构方程建模 确认因素 可识别性
2022-04-14 00:42:57

在频率估计中,SEM/CFA建模中很大程度的强调模型是否被识别,即每个参数是否可以从数据中唯一地估计出来。典型的想法是,对于p个参数,那么您至少需要p位信息来识别模型。

现在对于贝叶斯主义者来说,识别的概念并不是那么非黑即白。根据我对文献的阅读(Palomo et al., 2011),贝叶斯估计总是会为每个参数产生一个后验分布,无论它们的数量是多少相反,识别被定义为好像发生了贝叶斯学习:如果后验与先验不同(由于数据的影响)。未识别的贝叶斯模型是先验和后验完全相同,并且从数据中没有学到任何东西的模型。添加更多参数似乎会降低估计每个参数的能力,并且在某个点之后模型变得无法识别。

模型识别在频率论框架中很简单,但在贝叶斯范式中则更加模糊,并引发了很多问题。

添加更多参数如何减少可用于估计其他参数的整体信息?在先验中添加信息是否会增加估计其他自由参数的能力(即,使它们更易于识别/增加贝叶斯学习)?

1个回答

“未识别的贝叶斯模型是先验和后验完全相同,并且从数据中没有学到任何东西的模型”。虽然这不是主要问题,但上述观点在贝叶斯环境中仍然有效,如果来自某些Θ1Θ2,p(x|Θ1)=p(x|Θ2)那么后验分布将不会收敛到“先验独立”解决方案,并且先验将导致部分推理(即使在观察数的渐近极限中),这可能是一个不受欢迎的属性。

对于您的最后一个问题,此站点上有一个与答案密切相关的问题:是否有任何理由更喜欢变量很少的贝叶斯模型?.

此外考虑添加一个额外的参数θ2通过p(θ1|θ2)和超优先于θ2,p(θ1)写道:

p(θ1)=Rp(θ1|θ2)p(θ2)dθ2
我不知道是否有一些相关的一般结果 var(θ1)var(θ2)但例如var(θ1)var(θ1|θ2=α)一般来说。因此,向模型添加超参数并不会系统地导致更高方差的先前模型。