机器算法验证 - MAP 估计作为 MLE 的正则化 - 吾爱随笔录

MAP 估计作为 MLE 的正则化

机器算法验证最大似然正则化事先的后部极值

2022-04-10 15:49:05

浏览有关最大后验估计的维基百科文章，阅读此内容后感到困惑：

它与最大似然 (ML) 估计方法密切相关，但采用了一种增强的优化目标，该目标在想要估计的数量上结合了先验分布（通过相关事件的先验知识量化可用的附加信息）。因此，MAP 估计可以看作是 ML 估计的正则化。

MAP 估计如何被视为 ML 估计的正则化？

编辑：

我对正则化的理解是在机器学习的背景下惩罚高权重。这是通过在包含要学习的权重的损失函数中添加一个术语来修改优化问题来完成的。并且目标是最小化损失，具有较高值的参数受到更多惩罚。

一个直观的解释是非常受欢迎的。

1个回答

最大似然法旨在寻找与某些数据最匹配的模型参数：

θ_{M L} = {a r g m a x}_{θ} p (x | y, θ)

$\theta_{ML}=\mathrm{argmax}_\theta \,p(x|y,\theta)$

最大似然不使用任何关于参数预期分布的先验知识 $\theta$ 因此可能会过度拟合特定数据 $x$ , $y$ .

最大后验 (MAP) 方法添加了参数的先验分布 $\theta$ ：

θ_{M A P} = {a r g m a x}_{θ} p (x | y, θ) p (θ)

$\theta_{MAP}=\mathrm{argmax}_\theta \, p(x|y,\theta)p(\theta)$ 最佳解决方案仍必须与数据匹配，但还必须符合您对参数分布的先验知识。

这与在损失函数中添加正则项有什么关系？

不是直接优化后验，而是经常优化对数的负数：

\begin{aligned} θ_{M A P} & = {a r g m i n}_{θ} - \log p (x | y, θ) p (θ) \\ = {a r g m i n}_{θ} - (\log p (x | y, θ) + \log p (θ)) \end{aligned}

$\begin{align} \theta_{MAP}&=\mathrm{argmin}_\theta \, -\log p(x|y,\theta)p(\theta) \\ &=\mathrm{argmin}_\theta \, -(\log p(x|y,\theta) + \log p(\theta)) \end{align}$

假设你想要参数 $\theta$ 正态分布在零附近，你得到 $\log p(\theta) \propto ||\theta||_2^2$ .

其它你可能感兴趣的问题

上一篇伽马分布的重新参数化技巧下一篇方差分析与具有多重检验校正的成对 t 检验