这是因为您的数据量很少。如果没有为 CNN 提供足够的数据，它们很可能会过拟合。您可以执行以下操作来克服此问题：

数据增强：这是一种通过对训练示例进行一些预处理（例如旋转、缩放等）从训练示例中创建新示例的技术。

Rigorous Dropout：Dropout 是一种非常强大的控制过拟合的技术。您可以尝试在您的架构中使用更严格的 dropout

你试过提前停止吗？当保留集上的错误开始增加时，保留 20% 的数据并停止训练。如果您无法获得足够高的准确度，请增加模型的大小，直到达到为止。

当您没有足够的数据时，一种可能的解决方案是使用迁移学习。

这有助于您提高模型在测试数据集上的性能。因此，您可以轻松使用技术文献中可用的预训练模型之一，并根据您的数据更新其权重。看看这个视频。这是非常有帮助的，你会得到很多关于如何处理你的问题的想法。