是否有反对同时使用 L2 和 Dropout 正则化来训练深度神经网络的理论依据？它们都是相关的，但如果一起使用它们可以互补吗？
深度学习：同时使用 L2 和 Dropout 正则化？
机器算法验证
神经网络
正则化
岭回归
退出
2022-04-06 16:25:57
1个回答
介绍 dropout 的论文 {1} 将 dropout 与 L2 结合起来：
我们发现结合最大范数正则化的 dropout 给出了最低的泛化误差。
- {1} Srivastava、Nitish、Geoffrey E. Hinton、Alex Krizhevsky、Ilya Sutskever 和 Ruslan Salakhutdinov。“Dropout：一种防止神经网络过拟合的简单方法。” 机器学习研究杂志 15，没有。1 (2014): 1929-1958。http://jmlr.org/papers/volume15/srivastava14a.old/srivastava14a.pdf