使用贝叶斯神经网络有什么好处

机器算法验证 贝叶斯 神经网络 贝叶斯网络
2022-03-11 06:01:14

最近我读了一些关于贝叶斯神经网络 (BNN) [Neal, 1992] , [Neal, 2012]的论文,它给出了神经网络中输入和输出之间的概率关系。训练这样的神经网络是通过 MCMC 来训练的,这与传统的反向传播算法不同。

我的问题是:使用这样的神经网络有什么好处?更具体地说,您能否提供一些更适合 BNN 而不是 NN 的示例?

2个回答

贝叶斯神经网络可用于解决数据稀缺领域中的问题,以防止过度拟合。在这种情况下,他们经常击败所有其他方法。示例应用是分子生物学(例如本文)和医学诊断(数据通常来自昂贵且困难的过期工作的领域)。实际上,贝叶斯网络普遍有用,可以在大量任务中获得更好的结果,但它们很难扩展到大型问题。

BNN 优于 NN 的一个优点是,在处理未知目标的数据时,您可以自动计算与预测相关的误差。使用 BNN,我们现在进行贝叶斯推理。让我们将 BNN 预测定义为,其中是 NN 函数,是您的输入,是 NN 参数,x,t 是训练输入和目标。这应该与 Neal 在@forecaster 提供的链接中使用的语法兼容。然后我们可以计算后验预测分布的标准差,我会天真地将其用作预测的准确度:f¯(x|x,t)=f(x,ω)p(ω|x,t)dωfxωσ(x)=[f(x,ω)f¯(x|x,t)]2p(ω|x,t)dω