浏览了互联网和论文后，我发现 Backprop 的 Bayes 非常难以理解，因为我对变分推理的中级理解。
大多数在线指南也缺乏这样的解释：Weight Uncertainty in Neural Networks解释了整个 ELBO 的想法，但没有详细说明为什么它不仅仅是一个变分自动编码器。
变分自编码器和 Bayes By Backprop 类型的神经网络有什么区别？它只是有效地“编码”了 VAE 但对 y 回归了吗？如果是这样，那与混合密度类型的神经网络有什么不同？
我可以查看代码，但我的方法是分别理解它们，以便我可以对实现保持批判性 - 每个人都可以发布任何代码，因此有理由批评。
VAE 是一种潜变量模型。编码器为每个输入估计潜在空间上的相应后验分布。目标通常是获得数据的密度模型。
在 Backprop 的 Bayes 中，设置是您要估计权重上的后验分布。这与 VAE 不同，因为
每个单个数据点对应于 VAE 中的不同后验 ——并且编码器用于估计该后验。另一方面，在 BBB 中，网络权重只有一个后验分布，这不是任何特定数据点的直接函数（当然它隐含地取决于整个训练数据）。
最流行形式的 VAE 选择高斯先验和后验，从而可以轻松计算 KL 项或“复杂性成本”。BBB 选择通过抽样来估计这个成本项，其优点是允许更复杂的先验分布（例如尖峰和平板）。
以我所知道的任何方式，混合密度网络本质上都不是贝叶斯。