根据我的教授的说法，对 NN 建模的第一步是使用足够强大的模型。
第一步是创建一个足够强大的模型，以在训练数据上实现非常高的准确度（非常低的损失），至少在不使用正则化的情况下是这样。
我可以做些什么来使我的模型“足够强大”，换句话说，让它在训练数据上过拟合？
我在以下事情上寻找正确的方向吗？
- 添加额外的图层
- 使层更厚（更多的神经元）
如何制作过拟合（强大的）模型？
数据挖掘
神经网络
深度学习
2021-10-13 11:37:10
1个回答
以下是一些用于增加模型容量的常规超参数调整：
架构相关：
- 添加额外的图层
- 增加每层隐藏单元的数量
- 消除辍学或降低辍学率
优化器相关：
- 找到最佳学习率
- 训练更多的时代
Deep Learning Book 中的第 11.4.1 节提供了一个很好的概述。论文“基于梯度的深度架构训练的实用建议”是了解不同超参数效果的另一个很好的来源（虽然它有点旧）。
此外，还有特定的超参数可以增加不同网络类型的模型容量，例如
- CNN 的内核大小，
- LSTM 的序列长度和
- 嵌入层的嵌入维度。
其它你可能感兴趣的问题