我正在查看用于情绪分析的自定义神经网络的代码。它有 3 层(1 个隐藏层)。我更关心层的权重初始化
self.weights_0_1 = np.zeros((self.input_nodes,self.hidden_nodes))
self.weights_1_2 = np.random.normal(0.0, self.output_nodes**-0.5,(self.hidden_nodes,self.output_nodes))
初始化零的权重矩阵背后的想法是什么。我了解到将权重初始化为零可能会导致线性。
这可能是一个非常模糊的问题,我很乐意提供您想要的任何细节。 https://github.com/udacity/deep-learning/blob/master/sentiment-network/Sentiment_Classification_Solutions.ipynb