从理论上讲，为什么我们不需要计算边际分布常数来寻找贝叶斯后验？

一般来说，你确实需要 - 只是有时它很容易以至于你可能没有注意到你做了。

对于“教科书”问题，您通常可以使用，然后处理结果并识别密度函数，此时您已经计算归一化常数必须是什么 - 缩放使其积分为 1 所需的东西。因为它是一个 pdf，你知道它积分为 1，并且因为它与，你知道你已经除以它的积分。$\pi(x|\theta) \propto L_x(\theta)\pi(\theta)$$L_x(\theta)\pi(\theta)$$L_x(\theta)\pi(\theta)$

对于不起作用的情况，通常有几种选择。

一种是数值积分——您可以积分来计算归一化常数。然后你可以计算期望值，等等。$L_x(\theta)\pi(\theta)$

另一个是抽样；也许您找不到积分，但您可以绑定它并使用拒绝采样，或对其进行近似并使用 Metropolis-Hastings 等。使用后验样本，您可以再次根据需要找到均值或其他数量，或者得到一个好的密度或 cdf 的近似值。

还有其他方法。

您的问题等同于以下问题：假设您有一个函数使得，并且您正在寻找一个常数使得。显然，并不容易。在您寻找具有相同“形式”的概率密度函数（积分为 ） 。对于某个常数 ，即。那么因此$f(x)$$\int f(x) dx < \infty$$c$$\int cf(x) dx = 1$$c = 1/ \int f(x) dx$$\int f(x) dx$$c$$g(x)$$1$$f(x)$$g(x) = d f(x)$$d$$1 = \int g(x) dx = \int d f(x) dx$$c = d$。换句话说，将乘以可以得到密度函数。这与允许我们通过识别密度的函数形式来找到后验分布的逻辑相同。$f(x)$$c$$g(x)$

您正在寻找的“正式证明”称为贝叶斯定理（另请参见后验概率），它指出：

$$\pi(\theta\vert{\bf x}) = \dfrac{f({\bf x}\vert\theta)\pi(\theta)}{\pi({\bf x})}.$$

左侧代表后验分布，只要先验正确，它就是一个分布。从这个表达式你可以将识别为似然函数并且你还可以看到不取决于。所以$f({\bf x}\vert\theta)$$L(\theta;{\bf x})$$\pi({\bf x})$$\theta$

$$\pi(\theta\vert{\bf x}) \propto L(\theta;{\bf x})\pi(\theta).$$

另外，请注意它应该是而不是相反。 是似然函数，通常不是作为函数的分布。$\theta\vert{\bf x}$$f({\bf x}\vert \theta)$$\theta$

讨论：在贝叶斯统计中，对于非平凡的例子来说，确定这是哪种分布是不可能的（例如，正态分布、student-t ...）。然后，通常需要使用 MCMC 方法从后验采样并进行贝叶斯数据分析。MCMC 方法需要对后验的评估达到一个比例常数。因此，没有必要计算。但是，对于贝叶斯模型比较，您需要获得该量的数值近似值，因为贝叶斯因子是根据归一化常数定义的。$\pi({\bf x})$

$$π(θ|x)=[f(x|θ)π(θ)]/π(x)$$

简单来说，贝叶斯定理的 RHS 的分母或边际分布只是一个常数，用于使 RHS 分子成为 pdf。如果你知道你的RHS分子是怎样的分布，即似然函数*先验分布，那么你可以很容易地找出分母（边际）。例如，如果您的先验是一致的并且您的似然函数是二项式，那么您的后验将与 Beta 分布成比例。您现在可以轻松找出 Beta Distribution 的常数。