如果我们将由 Hebb 规则确定的权重矩阵的对角元素归零,我们如何证明自动关联网络将继续执行?换句话说,假设权重矩阵由确定,其中是原型向量的数量。
我得到了一个提示:表明原型向量仍然是新权重矩阵的特征向量。
这是来自 Martin T. Hagan、Howard B. Demuth、Mark H. Beale、Orlando De Jesus 的《神经网络设计》(第 2 版)书中的一个问题。
如果我们将由 Hebb 规则确定的权重矩阵的对角元素归零,我们如何证明自动关联网络将继续执行?换句话说,假设权重矩阵由确定,其中是原型向量的数量。
我得到了一个提示:表明原型向量仍然是新权重矩阵的特征向量。
这是来自 Martin T. Hagan、Howard B. Demuth、Mark H. Beale、Orlando De Jesus 的《神经网络设计》(第 2 版)书中的一个问题。
由于我们有一个自关联网络,原型向量既是输入向量又是输出向量。所以,我们有:
应用原型向量作为输入:
因为它们是正交的,所以我们有:
其中是向量的长度
所以自从 ,
原型向量继续是新权重矩阵的特征向量。
通常情况下,对于自动关联网络,对角线权重(将输入组件连接到相应输出组件的权重)设置为 0。有论文说这有助于学习。将这些权重设置为零可能会提高网络的泛化能力或可能增加网络的生物学合理性。此外,如果我们使用迭代(迭代网络)或使用 delta 规则,则有必要