Dropout 和权重衰减都是正则化技术。根据我的经验，Dropout 在过去几年中得到了更广泛的应用。是否存在体重衰减比辍学更重要的场景？
辍学与体重衰减
数据挖掘
机器学习
深度学习
过拟合
正则化
辍学
2021-09-21 18:40:38
1个回答
这些技术并不相互排斥。将 dropout 与权重衰减相结合已成为深度学习的标准。
然而，在权重衰减应用线性惩罚的情况下，dropout 会导致惩罚呈指数增长。正如本文第 4.2 节提出和证明的那样，dropout 的这种特性可能导致假设的失败。
总的来说，研究一直表明 dropout（有和没有权重衰减）对于训练深度网络的好处。在实际情况中，权重衰减完全优于 dropout，这将是非常反常的。