对于我能够在合理时间内教授的 NN 的大小，我有一些过多的数据。
如果我将所有数据输入网络，它会在某个时候停止学习，并且生成的模型显示所有过度拟合的迹象。
直观地说，如果我增加 dropout 概率，模型应该从数据中学习的积极性降低，并从输入的更多数据中获益。
我的逻辑合理吗？
如果有大量数据，我应该设置更高的 dropout 概率吗？
数据挖掘
神经网络
深度学习
过拟合
正则化
辍学
2022-02-21 11:53:15
1个回答
你是对的，增加辍学比例会有所帮助。
然而，这看起来像是一个提前停止将是一个非常好的选择的环境。尽管 dropout、weight decay 和 batch-norm 可以正常工作，但您很容易过度拟合训练集这一事实将使其成为尝试提前停止的合适场景。
此外，由于神经网络的训练时间很短，您可以训练其中的许多（在训练集的某个子集上，使它们成为弱学习者）并创建一个集成来进行最终预测。
其它你可能感兴趣的问题