寻找一个最简单的例子(可能只有 3 个隐藏单元?),以了解具有高度自适应权重的神经网络的权重会是什么样子,并展示它们为什么不好。此外,共适应如何成为过度拟合的标志?
什么是神经网络中神经元的共适应?
数据挖掘
神经网络
深度学习
辍学
2022-03-02 18:44:00
1个回答
简单的英语术语中的共同适应意味着合作。如果您将 NN 的节点视为工人,那将意味着即使缺少几个工人也会导致 NN 无法做一些实质性的事情。这主要是由于 NN 的少数节点输出值被其他节点取消(因此我们可以完全删除这些节点 - 本质上是冗余单元),从而导致 NN 的低效使用。因此,不是说 2 个节点,而是 8 个节点正在执行相同的作业,其中 6 个节点相互抵消。这是最好的说明。
在 XOR 近似的情况下,您需要最少(我不确定)2 个节点来正确近似函数,但您可以使用 100 个节点,其中大多数都是多余的。
此外,这显然会导致过度拟合,因为节点而不是对训练数据进行泛化正在对训练数据进行微观管理。
现在我们不希望我们的神经网络以这种方式运行,我们希望其他节点接管缺失节点的工作(如果有缺失),就像我们的大脑在一个中心接管功能时一样(比如说语音,听力受损)目前最先进的机制是分层辍学。
其它你可能感兴趣的问题