辍学的意义

数据挖掘 深度学习 喀拉斯 计算机视觉
2021-09-18 11:54:52

model.add(Dropout(0.4))在 Keras中是什么意思?

这是否意味着忽略神经网络中 40% 的神经元?或者这是否意味着忽略给出概率 = 0.4 的神经元?

2个回答

这意味着您随机选择 40% 的神经元并将它们的权重设置为零以进行前向和后向传递,即一次迭代。

看看这里的一些原因和好处

在这里查看标准 Dropout 的所有细节重要的是要注意剩余的权重通常由 value 缩放p,以保持权重的预期平均值在多次迭代中大致一致。不同的深度学习框架在不同的不同点缩放权重,但原因相同。


相关的 Keras 文档中:

Dropout 包括在训练期间的每次更新时将输入单元的分数率随机设置为 0,这有助于防止过度拟合。

Dropout顾名思义,随机选择和拒绝(drop off)一些层神经元,由此实现了一个集成效果(由于随机选择——每次不同的神经元被去激活,每次不同的网络预测)。

它有助于防止过度拟合(就像集成一样)。

具体概率为 0.4 表示每次忽略 40% 的层节点。