在学习频率主义线性回归时，教授们经常谈论的一件事是关于自由度的数量，不过我从未在贝叶斯书中看到过这种表达方式。也许是因为贝叶斯方法不需要这个数字来推断方差之类的东西？
我的问题是：自由度的数量是否等于分层贝叶斯模型中的参数数量，如果不是，是否有等效的计算方法？特别是，我对模型何时在分层框架中被过度识别感兴趣。
例如，如果我有 1000 个观察值和大约 10 个可能的竞争模型，每个模型大约有 100 个参数，如果使用例如跨维 MCMC/Bayes 因子将它们全部混合在一个层次模型中，我会有一个过度识别的模型吗？
我的直觉说它可能不会，尽管参数的总数大于观察到的参数的数量。
至少从理论的角度来看，从贝叶斯的角度来看，可识别的并不重要。如果数据不能提供模型下某些参数的信息，那么这些参数的后验将受到先验的高度影响。
从实际的角度来看，如果后验是广泛的，那么像 MCMC 这样的近似方法将需要更长的时间来运行。
另一个实际问题是，如果你有一个很大的参数空间和很少的数据，就像你所做的那样，那么如果你能够设法计算它们，那么结果可能对先前的规范非常敏感。
有关于过度识别模型的贝叶斯推理的文献（例如 Gelfand 和 Sahu，1999. J. Amer. Statist. Assoc. 94:247-253），即当模型中的估计数超过（独立的) 观察。如果先验是正确的，则后验也是正确的，但是对未识别参数的贝叶斯学习取决于对已识别项目的了解程度。因此，先验是有影响的，这可能是一个严重的问题，因为贝叶斯模型适用于 DNA 数据，其中未知数为数千万。应该谨慎行事，例如，在医学遗传学中。
有一个概念称为“有效参数数量”或 neff（参见，例如，在偏差信息标准中，或在具有收缩的回归模型中）。在所有情况下，neff 最多为 n。
一如既往的好：一个人可以从数据集中提出的独立问题的数量最多为 n。因此，如果您提出 n+k 个问题，则 k 个答案相对于前 n 个答案将是多余的。
简而言之，无论您在“规范化”模型方面多么花哨，或者您当地的贝叶斯常驻专家多么雄辩，统计学习在过度识别的模型中都必须是不完美的。
丹尼尔·贾诺拉