为什么 Oja 规则和 BCM 的体重变化如此不同?

计算科学 神经网络 神经科学
2021-12-13 01:30:21

我为具有两个突触前神经元的单个突触后神经元和 10000 个输入模拟了 Oja 规则和 BCM,其中我随机选择一个(0,1)要么(1/2,3/2)作为输入。我的学习率是1/100我正在使用 BCM 的滑动阈值。(我正在关注本教程: http: //www.inf.ed.ac.uk/teaching/courses/nc/NClab8.pdf)但是,两种算法似乎收敛到非常不同的事物,如图所示: 奥哈的规则

BCM 规则

轴是每个突触前神经元的权重,红色星星是我输入网络的两个输入。蓝色表示模拟的第一步,黄色表示模拟的最后一步。

我知道 Oja 的规则应该提取输入数据的第一个主成分(我认为这看起来更像 BCM,所以这让我感到困惑)。但真正让我感到困惑的是,权重收敛到非常不同的东西!这应该发生吗?为什么?我如何解释每种情况下的“最终”权重?

1个回答

不,两者看起来完全一样。

BCM 是为了在输入信号之间进行竞争,因此发现垂直轴比水平轴更好地分隔两点。对期望形式的平衡条件的非常不精确的处理使我猜测第二个重量在4/3=2.31.

Oja 规则在平均意义上找到主导方向,被迫位于单位圆或球体上。对于两个半径相等的点,它是通过这些点的线之间较小角度的平分线。你在圆上得到一个线段是由于学习率,如果学习率不断降低,那么随机振荡也会覆盖更窄的线段。