玻尔兹曼机能比 Hopfield 网络存储更多的模式吗?

人工智能 神经网络 比较 循环神经网络
2021-11-04 20:20:55

这是来自 AI 的封闭测试版,此问题由 47 号用户发布。所有功劳归于他们。


根据维基百科

玻尔兹曼机可以看作是 Hopfield 网络的随机生成对应物。

两者都是可以训练学习位模式的循环神经网络。然后,当呈现部分模式时,网络将检索完整的完整模式。

Hopfield 网络已被证明具有 0.138 的容量(例如,对于每 1000 个节点,可以从存储中调用大约 138 个位向量,Hertz 1991)。

由于玻尔兹曼机是随机的,我的理解是,当一个存储模式与另一个存储模式之间的能量差异相似时,它不一定总是显示相同的模式。但由于这种随机性,也许它允许更密集的模式存储,但不能保证你总是会得到能量差异方面的“最接近”的模式。这是真的吗?还是 Hopfield 网络能够存储更多模式?

1个回答

确实,您的直觉是正确的,由于本文探讨的随机性,玻尔兹曼机能够在其内存中保存的不仅仅是 Hopfield 网络。他们在论文中指出,容量约为 0.6。在这个比率之后,它开始分解并为召回的模式添加更多的噪音。