我正在努力在神经网络和图形模型之间建立数学联系。
在图形模型中，这个想法很简单：概率分布根据图中的团进行分解，势能通常是指数族。
神经网络有等效的推理吗？可以将受限玻尔兹曼机或 CNN 中的单元（变量）的概率分布表示为它们的能量或单元之间能量的乘积的函数吗？
此外，概率分布是否由指数族的 RBM 或深度信念网络（例如，使用 CNN）建模？
我希望找到一个文本，将这些现代类型的神经网络和统计数据之间的联系形式化，就像 Jordan & Wainwright 用他们的图形模型、指数族和变分推理为图形模型所做的那样。任何指针都会很棒。
关于该主题的另一个很好的介绍是多伦多大学的CSC321课程和 Coursera 上的神经网络 2012-001课程，均由 Geoffrey Hinton 教授。
来自信仰网的视频：
早期的图形模型使用专家来定义图形结构和条件概率。这些图是稀疏连接的，重点是执行正确的推理，而不是学习（知识来自专家）。
对于神经网络，学习是核心。硬连线知识并不酷（好吧，也许有点）。学习来自学习训练数据，而不是来自专家。神经网络的目标不是稀疏连接的可解释性以使推理变得容易。然而，存在信念网络的神经网络版本。
我的理解是，信念网络通常连接得太密集，而且它们的派系太大，无法解释。信念网络使用 sigmoid 函数来整合输入，而连续图形模型通常使用高斯函数。sigmoid 使网络更容易训练，但在概率方面更难以解释。我相信两者都在指数家族中。
我远不是这方面的专家，但讲义和视频是一个很好的资源。
Radford Neal 在这个领域做了很多你可能感兴趣的工作，包括一些将贝叶斯图形模型等同于神经网络的直接工作。（他的论文显然是关于这个特定主题的。）
我对这项工作不够熟悉，无法提供明智的总结，但我想给你指点，以防你觉得它有帮助。