当增加 dropout 时,我们是否需要增加训练数据的大小?

数据挖掘 喀拉斯 超参数 辍学
2022-02-24 03:49:42

我正在使用使用 keras 构建的完全连接的前馈神经网络进行文本分类。它由3个隐藏层组成。我计划在每个隐藏层之后添加一个 dropout 层以防止过度拟合。在调整辍学率时,我将值从 0.2 -> 0.3 -> 0.4 -> 0.5 增加。

我想知道是否应该增加训练数据的大小以进行更准确的比较。我的意思是假设我有 100 万大小的训练数据,辍学率为 0.2。我是否应该将训练数据量增加到 150 万以实现 0.3 的辍学率?

计算:

1000000 * 0.8 * 0.8 * 0.8 = 512000(辍学率0.2)

1500000 * 0.7 * 0.7 * 0.7 = 514500(辍学率0.3)

1个回答

不,您一次只能调整一个超参数。如果你改变了两个超参数并且性能提高了,你怎么知道这两个参数中的哪个是负责的?

如果您有时间,请对丢失率和训练数据大小进行完整的网格搜索。