如果我们将权重矩阵的对角元素归零,我们如何证明自动关联网络将继续执行?

人工智能 神经网络 机器学习 学习算法 赫比学习
2021-10-19 08:31:55

如果我们将由 Hebb 规则确定的权重矩阵的对角元素归零,我们如何证明自动关联网络将继续执行?换句话说,假设权重矩阵由W=PPTQI, 在哪里Q是原型向量的数量。

我得到了一个提示:表明原型向量仍然是新权重矩阵的特征向量。

这是来自 Martin T. Hagan、Howard B. Demuth、Mark H. Beale、Orlando De Jesus 的《神经网络设计》(第 2 版)书中的一个问题。

资源:E7.5 p 224-225

1个回答

由于我们有一个自关联网络,原型向量既是输入向量又是输出向量。所以,我们有:

T=P

W=PPTQI=TPTQI=q=1QpqpqTQI

应用原型向量作为输入:

α=Wpk=q=1QpkpqpqTQIpk

因为它们是正交的,所以我们有:

α=pk(pkTpk)QIpk=pk(pkTpkQI)=pk(R - Q  I)

在哪里RQI是向量的长度

所以自从 ,

Wpk=(RQI)pk
原型向量继续是新权重矩阵的特征向量。

通常情况下,对于自动关联网络,对角线权重(将输入组件连接到相应输出组件的权重)设置为 0。有论文说这有助于学习。将这些权重设置为零可能会提高网络的泛化能力或可能增加网络的生物学合理性。此外,如果我们使用迭代(迭代网络)或使用 delta 规则,则有必要