找到 Hopfield 最小值是否有严格的证据?

人工智能 参考请求 循环神经网络 证明 收敛 hopfield网络
2021-11-09 07:48:14

我正在寻找一个严格的数学证明来找到 Hopfield 网络的几个局部最小值。我正在寻找一些严谨的东西,一个演示,而不仅仅是让网络不断更新其神经元并等待注意到网络的稳定状态。

我几乎到处寻找,但我什么也没找到。

Hopfield 最小值有严格的证明吗?你能给我一些想法或参考吗?

1个回答

请参阅 Jehoshua Bruck 的论文On the Convergence Properties of the Hopfield Model (1990)。

在论文的第一部分,J. Bruck 描述了 Hopfield 网络(由 JJ Hopfield 于 1982 年在他的论文Neural networks and Physical Systems with Emergent Collective Computingabilities 中普及,因此得名网络),然后他描述了以下符号:在整篇论文中使用,他给出了一些例子,其中一个简单的 Hopfield 网络(有两个节点)收敛到稳定状态(网络的)和循环(作者也给出了定义)。

Hopfield 网络的收敛特性的通常证明涉及能量函数的概念,但是,在本文中,J. Bruck 使用了一种方法(基于 Hopfield 网络作为无向图的等效公式),它不涉及能量函数,他统一了与 Hopfield 网络相关的三个明显不同的收敛特性(部分描述C部分介绍)。更具体地说,找到与以串行模式运行的 Hopfield 网络相关的能量函数的全局最大值(部分定义为A论文的引言部分)等价于在与此 Hopfield 网络相关的无向图中找到最小割。

此外,请注意,Hopfield 网络的收敛证明实际上取决于网络的结构(更具体地说,它的权重矩阵)。例如,如果权重矩阵WRn×n(在哪里n是网络中节点的数量)与 Hopfield 网络相关联的是一个对称矩阵,其中对角线的元素是非负的,那么网络将始终收敛到一个稳定状态。

另请参见Raul Rojas 所著的Neural Networks - A Systematic Introduction (1996)一书的第13 章 Hopfield 模型。