众所周知，线性回归惩罚等效于在给定系数的高斯先验的情况下找到 MAP 估计。同样，使用惩罚等效于使用拉普拉斯分布作为先验。
使用一些加权组合并不少见和正则化。我们可以说这相当于系数上的一些先验分布吗（直觉上，它似乎必须如此）？我们可以给这个分布一个很好的分析形式（可能是高斯和拉普拉斯的混合）？如果不是，为什么不呢？
是否存在同时进行 L1 和 L2 正则化（又名弹性网）的线性回归的贝叶斯解释？
机器算法验证
回归
贝叶斯
正则化
事先的
弹性网
2022-01-30 08:05:14
1个回答
Ben 的评论可能就足够了，但我提供了更多参考资料，其中一份来自 Ben 引用的论文之前。
Kyung 等人提出了贝叶斯弹性网络表示。人。在他们的第 3.1 节中。虽然回归系数的先验是正确的，作者错误地写下了混合表示。
Roy 和 Chakraborty最近提出了弹性网的修正贝叶斯模型（他们的方程 6）。作者还继续提出了一个合适的 Gibbs 采样器来从后验分布中采样，并表明 Gibbs 采样器以几何速率收敛到平稳分布。出于这个原因，除了汉斯的论文之外，这些参考资料可能会很有用。
其它你可能感兴趣的问题