我很困惑。深度信念网络和深度玻尔兹曼机之间有区别吗?如果是这样,有什么区别?
深度信念网络还是深度玻尔兹曼机?
机器算法验证
机器学习
深度学习
受限玻尔兹曼机
深度信念网络
2022-02-12 05:52:58
2个回答
尽管深度信念网络 (DBN) 和深度玻尔兹曼机 (DBM) 在图表上看起来非常相似,但它们实际上在性质上非常不同。这是因为 DBN 是有向的,而 DBM 是无向的。如果我们想将它们放入更广泛的 ML 图片中,我们可以说 DBN 是具有许多密集连接的潜在变量层的 sigmoid 信念网络,而 DBM 是具有许多密集连接的潜在变量层的马尔可夫随机场。
因此,它们继承了这些模型的所有属性。例如,在 DBN 计算中,其中是可见层,是隐藏变量是很容易的。另一方面通常在计算上是不可行的。
话虽如此,有相似之处。例如:
- DBN 和原始 DBM 都使用基于受限玻尔兹曼机 (RBM) 的贪婪分层训练的初始化方案,
- 他们都是“深”的。
- 它们都具有隐变量层,这些层与上层和下层紧密连接,但没有层内连接等。
参考
- 孙世良、毛良、董子良、吴立丹的“多视图机器学习”
两者都是由堆叠的 RBM 层组成的概率图形模型。不同之处在于这些层的连接方式。
这个链接很清楚:http: //jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf。图 2 和第 3.1 节特别相关。
总结一下:
在 DBN 中,层之间的连接是定向的。因此,前两层形成 RBM(无向图模型),随后的层形成有向生成模型。
在 DBM 中,所有层之间的连接是无向的,因此每一对层形成一个 RBM。