我正在学习反向传播，并且查看算法，没有给予任何单元特定的“偏颇性”。我所说的偏心是指你没有与任何单位相关的特定特征，这导致所有单位在机器眼中都是平等的。
那么，这不会导致同一层中所有单元的激活值相同吗？这种“偏袒性”的缺失不会导致神经网络过时吗？
我正在阅读一些关于反向传播的视频，并且在 Geoffrey Hinton 给出的解释中，他谈到了我们如何尝试使用我们隐藏活动的误差导数而不是使用期望的活动来训练隐藏单元。这进一步加强了我的观点，即如何通过不给单位添加任何差异，一层中的所有单位变得相等，因为最初由于所有单位造成的错误都是相同的，因此我们将它们训练为相等。
与您的询问方式相反：
一层中的所有单元变得相等，因为最初由于所有单元引起的错误都是相同的，因此我们训练它们相等
如果您平均初始化权重（例如全为零），这实际上会发生。在这种情况下，同一层中的每个神经元的梯度都是相同的，并且一切都在同步变化。没有随机权重初始化的神经网络根本无法工作。
那么这不会导致同一层中所有单元的激活值相同吗？这种“偏袒性”的缺失不会导致神经网络过时吗？
不，因为随机权重初始化导致梯度不同，并且神经元激活通常会发散以表示不同的“隐藏”特征，这些特征根据输入而不同地激活。
我所说的偏心是指，你没有与任何单位相关的特定特征，这导致所有单位在机器眼中都是平等的。
这种行为的一个有趣的副作用是“部分性”通常也会被有效地随机分配，因为神经网络会收敛到以某种方式起作用的特征。在要解决的问题的背景下，这些特征不能保证对人类有意义。它们可能是可以映射到问题的东西，它们可能是一些可以理解的东西的线性组合，但通常没有明显的解释。