我只是想知道首先尝试使 CNN 足够复杂以在训练数据集上实现接近 100% 的准确率，然后慢慢添加正则化、增强等以确保网络不会完全过拟合，这是否是一个不错的主意而是能够更好地概括。
确定最佳 CNN 复杂度：达到约 100% 的训练准确度，然后添加正则化？
数据挖掘
神经网络
美国有线电视新闻网
2022-02-17 01:28:07
1个回答
是的，在我看来，这是接近深度学习的最佳方法。这不仅得到了我的支持，而且得到了该领域的许多研究人员的支持。（我不能引用它，但我很确定即使 Andrew Ng在 coursera的深度学习专业化课程中也提到过它。）
第一步是确保您的模型具有足够的能力来学习训练集中的所有关系（有用的和无用的）。
然后你开始应用正则化技术（dropout、augmentation、early stopping等等）来防止过拟合。在此步骤中，您的训练准确度预计会下降（或至少需要更长的时间才能达到 100%），但验证集的准确度应该会提高。
然而，这种方法仅适用于深度学习领域，因为有强大的正则化技术可用。