用于分类的卷积网络,对光照极其敏感

数据挖掘 机器学习 分类 深度学习 图像分类
2021-09-23 12:48:23

我训练了一个卷积网络来将机械部件的图像分类为好或有缺陷。尽管测试精度很高,但我意识到该模型在光照略有不同的图像上表现不佳。

我试图检测的特征是微妙的,照明似乎使模型误判了很多假阴性。大多数(如果不是全部)训练和测试数据来自在漫射光下拍摄的图像。我尝试使用该模型的新图像是用聚焦光拍摄的。

希望直方图均衡(CLAHE)会有所帮助,我在将图像输入模型之前对图像进行了均衡,这样做是为了训练和测试数据。当时的问题是准确性很高,但模型似乎已经了解了图像和标签之间的其他相关性。均衡后,图像中的一切都突出,缺陷变得更加微妙,即使是人眼也难以检测到。

即使使用相同的光照但光照方向不同的情况下拍摄相同的组件,模型预测也会发生变化。所以我的问题是,无论是在数据端还是在模型中,我能做些什么,以便它对光照变化(或相同类型的光照但光照方向的变化)变得鲁棒?

1个回答

这称为过度拟合,您的模型学会了根据实际上不负责特定预测的特征来预测标签,因此当它们没有被呈现时,它无法正确预测。尽管有多种方法可以处理过度拟合(例如 Dropout),但您似乎需要的是图像增强。这是一种训练健壮神经网络的简单但非常强大的方法。对于您的情况 - 只需通过例如随机增加/减少相同标签的输入的像素值来模拟不同的照明条件。添加随机噪声、随机旋转、翻转等也是常见的做法。

有关更多信息,请查看stackoverflow 答案。

此外,我最近发布了一个项目,其中我使用了您可能会发现有用的各种增强功能。参见:https ://github.com/Naurislv/P12.1-Semantic-Segmentation/blob/master/augmentation.py