1. 您很可能没有足够的神经网络训练数据。
2. 您的班级不平衡问题可能是一个问题。而不是使用精度作为测量尝试某种类型的 F 分数。
3. 批量归一化应该应用在卷积层和激活函数之间。
4. 如果你认为你有一个消失或消亡的激活问题，请绘制梯度或梯度之和。如果你是对的，它会给你一个想法。

这是我对你的每一个观点的看法。

1. 您的数据非常稀疏。您是否将这些数据最佳地存储在稀疏对象中，例如，如果您使用 Keras，则存储在 csr 稀疏矩阵中？这比准确性更可能影响训练时间，但需要考虑。
2. 5000 个训练样例和 500 个测试样例对我来说听起来不错，只是你的数据可能太少而无法适应你拥有的模型类型（你可能严重欠拟合）。尝试一个更简单的模型，看看你是否可以用它来改进结果（尝试一些愚蠢的简单的东西，比如一层 MLP，看看会发生什么）。
3. 这似乎是最有可能的问题。我的第一个猜测是这与不平衡的类有关。如果您使用准确度之类的指标来评估每个时期的训练，我建议您改用average_precisionor roc_auc_scoreor之类的东西f1，所有这些都可以通过 scikit-learn 获得。如果您使用的是 Keras，也请尝试使用class_weights，这将使损失函数中代表性不足的类的权重更高，本质上使算法偏向于在平等的竞争环境中考虑代表性不足的类。如果您不使用 Keras，请尝试实施一些类似的类加权方案。
4. 批量标准化现在不像以前那么流行了。值得尝试使用和不使用批处理规范化的架构，看看它是否提供了明显的好处。
5. 是的，如果您的数据纯粹是随机的，那么您根本不会检测到信号。这又回到了第 2 点（尝试一个更简单的模型，看看您是否可以检测到一种模式）。您还可以尝试可视化您的一些示例，看看您是否可以直观地看到类之间的差异。

关于 Xavier 初始化，我认为这不是您所看到的效果的可能原因。当然，初始化的类型会影响结果，但根据您的描述，我强烈怀疑这是由于来自数据的信号太少或不平衡类问题。

希望有帮助！