数据挖掘 - 无法使用 MLP 过拟合 - 吾爱随笔录

我正在构建一个带有私有数据集的 5 类分类器。每个数据样本有 67 个特征，大约有 40000 个样本。复制特定类别的样本以克服类别不平衡问题（因此有 40000 个样本）。

使用一对一的多类 SVM，我在验证集上的准确率约为 79%。这些特征被标准化以获得 79% 的准确率。如果没有标准化，我得到的准确度约为 72%。当我尝试 50 倍交叉验证时，结果类似。

现在转到 MLP 结果，

经验 1：

网络架构： [67 40 5]
优化器：亚当
学习率：基础学习率的指数衰减
验证准确度： ~45%
观察：训练准确度和验证准确度都停止提高。

Exp 2：带有 batchnorm 层的重复Exp 1

验证准确度： ~50%
观察：准确率提高了 5%。

经验 3：

为了过拟合，增加了 MLP 的深度。Exp 1网络的更深版本

网络架构： [67 40 40 40 40 40 40 5]
优化器：亚当
学习率：基础学习率的指数衰减
验证准确度： ~55%

对可能发生的事情的想法？

Nh=Ns/(α∗(Ni+No)) Nh = number of hidden neurons. Ni = number of input neurons. No = number of output neurons. Ns = number of samples in training data set. α = an arbitrary scaling factor usually 2-10.