通常说贝叶斯统计的先验可以被视为正则化因子，因为它们会惩罚先验概率密度较低的解决方案。
然后，给定这个简单模型，其 MLE 参数为：
我添加了一个先验：
这些参数不是 MLE 参数，而是 MAP 参数。
问题：这是否意味着如果我在我的模型中引入一些正则化，我正在做贝叶斯分析（即使只使用点估计）？
或者在这一点上进行这种“本体论”区分是没有意义的，因为找到 MLE 或 MAP 的方法是相同的（不是吗？）？
带有正则化的 MLE 是贝叶斯方法吗？
机器算法验证
贝叶斯
正则化
常客
哲学的
2022-04-01 15:24:04
2个回答
这意味着该分析具有贝叶斯解释，但这并不意味着它也可能没有常客解释。MAP 估计可能被视为一种部分贝叶斯方法，更完整的贝叶斯方法是考虑参数的后验分布。尽管如此，它仍然是一种贝叶斯方法，因为概率的定义是“合理程度”，而不是长期频率。
如果您使用 L2 范数，即对数似然函数的二次惩罚，则惩罚非常类似于贝叶斯过程，其具有非截距回归系数的均值为零的高斯先验。但与将惩罚量的不确定性考虑在内的完整贝叶斯程序不同（类似于将随机效应的方差视为已知常数），惩罚最大似然程序假设最优惩罚是预先指定的，并且不是未知参数。因此，它会导致置信限太窄。
其它你可能感兴趣的问题