贝叶斯神经网络的缺点是什么?

机器算法验证 机器学习 深度学习 贝叶斯网络 变分贝叶斯
2022-03-26 08:22:41

贝叶斯神经网络(BNN)是非常受欢迎的话题。随着变分近似的发展,可以比使用蒙特卡罗采样更快地训练此类模型。BNN 允许诸如自然正则化甚至不确定性估计之类的有趣特征。所以,问题是:为什么我们还没有完全迁移到 BNN 上?

我可以假设变分推理不能提供足够的准确性。这是唯一的原因吗?

1个回答

BNN 与 NN 相比仍有许多缺点,如下所列:

  1. 计算成本更重。在这里,我不仅仅是指训练成本,即获得所有参数的后验分布。如果您对 BNN 参数使用具有简单分布族的变分推理,这部分实际上是可以的。在部署模型并且想要进行推理之后,您需要从其后验分布中采样 N 个参数以获得输出分布,这比仅使用 NN 的计算成本高出 N 倍。
  2. BNN 的工具还没有普及,也没有 NN 的工具那么自动化。
  3. 您需要对您的先验做出一些假设,这对大多数用户来说相对困难。
  4. 这是我认为为什么没有普遍采用 BNN 而不是 NN 的最重要的原因:我们得到的不确定性并不像我们乍一看那样有用。让我们举一个简单的例子:假设您有两种类型的客户。A 型给你40 美元或60 美元概率相等,B 型给你30 美元或70 美元概率相等。他们有相同的期望,但对 A 型客户有更大的不确定性。假设你的 BNN 可以很好地区分一个分布和另一个分布。但是,这里的不确定性,如果你每个人都有 100 万客户,这并不重要,因为那时重要的不是单个客户的不确定性,而是平均客户的不确定性。,当您的客户数量根据大数定律变大时,它会趋于零。因此,大多数时候你真的不需要模型中的不确定性。