我是一个初学者，试图把我的第一个项目放在一起。我有一个歌曲分类项目，但由于我将手动标记，我只能合理地组合大约 1000 首歌曲，或 60 小时的音乐。
我会用几个类进行分类，所以一个类的训练集中可能只有 50-100 首歌曲——这似乎太少了！是否有一个通用的经验法则来训练一个神经网络来让它工作起来需要多少数据？
编辑：我正在考虑使用香草 LSTM。输入特征的维度为 39，输出维度为 6，我对隐藏层维度的第一次尝试将是 100。
训练神经网络时，多少训练样例太少？
机器算法验证
神经网络
2022-02-16 11:22:10
1个回答
这实际上取决于您的数据集和网络架构。我读过的一条经验法则 (2) 是每个类有几千个样本，这样神经网络才能开始表现得非常好。
在实践中，人们尝试和观察。使用少于 1000 个样本的训练集显示出不错结果的研究并不罕见。
粗略评估拥有更多训练样本的好处的一个好方法是根据训练集的大小绘制神经网络的性能，例如从（1）：
- (1) Dernoncourt、Franck、Ji Young Lee、Ozlem Uzuner 和 Peter Szolovits。“使用循环神经网络对患者笔记进行去识别” arXiv 预印本 arXiv:1606.03475 (2016)。
(2) Cireşan、Dan C.、Ueli Meier 和 Jürgen Schmidhuber。“使用深度神经网络对拉丁文和中文字符进行迁移学习。” 在 2012 年神经网络国际联合会议 (IJCNN)，第 1-6 页。IEEE，2012。https://scholar.google.com/scholar?cluster=7452424507909578812&hl=en&as_sdt =0,22；http://people.idsia.ch/~ciresan/data/ijcnn2012_v9.pdf：
对于每类有几千个样本的分类任务，（无监督或有监督）预训练的好处并不容易证明。