优化呢？

让我们看看我是否理解正确。你有一个模型以一些观察和一组参数和先验为条件，导致。参数根据已知的多元正态分布，即。你想找到这个问题的 MAP 解决方案，即 这个问题的一个特例在神经网络社区中得到了很好的研究，称为权重衰减。在这种情况下，和。$p(y|x, \theta)$$x$$\theta$$p(\theta)$$\mathcal{L} = p(y|x, \theta)p(\theta)$$\theta \sim \mathcal{N}(\mu, \Sigma)$

$$\text{argmax}_{\theta} \mathcal{L}.$$ $\mu=\mathbf{0}$$\Sigma = \mathbf{I}\sigma^2$

正如您已经指出的那样，诀窍是。当你取高斯密度的对数时，许多丑陋的项（指数）消失了，你最终会得到像。如果你把它区分开来，Sam Roweis 的矩阵恒等式就会派上用场，让你得出$\text{argmax}_{\theta} \mathcal{L} = \text{argmax}_{\theta} \log \mathcal{L}$$\log p(\theta) = -{1 \over 2}(\theta - \mu)^T\Sigma^{-1}(\theta - \mu) + \text{const}$

$$-{1 \over 2}{\partial (\theta - \mu)^T\Sigma^{-1}(\theta - \mu) \over \partial \theta} = -\Sigma^{-1}(\theta - \mu).$$

（请验证，这是在我的脑海中快速完成的。）连同您的模型的衍生物，您可以使用现成的优化器来获得 MAP 解决方案。

更新：合并了 David J. Harris 的评论。公式现在应该是正确的。

如果可能性不是高斯的，则不可能说是否有分析结果。此外，第二个项目符号通常是不正确的。由于高斯先验和一般似然不会导致向量分量上的条件高斯分布。

获得 MAP 的一种方法是进行完整的贝叶斯分析，例如使用 MCMC 并使用来自后验的样本来估计它。[在这种情况下，您将获得比仅使用 MAP 更好的信息。] 出于兴趣 - 为什么不沿着这条路线走下去呢？

另一种方法可能是这样做（我通常没有看到这样做，所以如果它很疯狂，请有人纠正我）：

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

$l(\theta|x) = l(x|\theta) + l(\theta) - l(x)$

$\frac{dl(\theta|x)}{d\theta} = \frac{dl(x|\theta)}{d\theta} + \frac{dl(\theta)}{d\theta} = 0$

然后求解（可能是数字）。$\theta$