我有某些视频的帧被标记为脏（意味着相机镜头被土壤或雨水遮挡）或干净。目标是在这些数据上测试卷积神经网络，以评估它对帧是脏还是干净的分类能力。
一个想法是使用现有网络的第一层，并使用可用数据训练最后（全连接）层。
但一个问题可能是，基本上所有可用的网络都经过了对象分类训练，可能不太适合土壤和雨水检测等任务。
您对可能适合此任务的网络或模型有什么建议吗？
如何使用卷积神经网络对相机镜头上是否有雨滴或土壤进行分类？
数据挖掘
深度学习
计算机视觉
2022-02-17 06:33:50
3个回答
因此，神经网络对于端到端训练非常强大。因此，如果您有一个包含干净图像和脏图像的数据集，以及您首先尝试检测的类，那么尝试训练您的网络应该相当简单。
我会按照以下方式进行。
- 调整网络以生成一个 logits 向量，该向量不仅输出对象分类，还输出一个二进制分类器，用于判断图像是干净还是脏。
- 然后调整每个图像的标签以指示分类标签和图像的清洁度。
- 然后我会在数据集上进行训练和测试，看看是否出现了模型。
网络的卷积部分应该收敛到擅长
A. 分类图像主题和 B. 检测相机是否脏的特征。
这是个好主意，我可能会自己使用它！
这是一个很大的问题。雨通过局部透镜效应影响图像，因此我将图像划分为足够大的块以捕获雨滴，然后在每个块上运行分类器。训练数据不是问题，因为你说你有视频。我不确定如何捕捉这种透镜效应，但我的直觉是使用 2D FFT 或小波分解来提取 CNN 将运行的原始特征。如果这还不够好，我建议询问使用什么样的功能来检测physics.SE 上的镜头。
人们普遍认为卷积神经网络是解决所有图像识别问题的灵丹妙药，这可以理解来自计算机视觉文献中的许多成功案例。但是，请记住 ConvNet 为您做了什么。它找到平移不变的特征，如边缘。
根据您在此处的描述，ConvNet 不太可能为您做很多事情。雨滴或污垢点同样可能落在视频帧的任何位置。您遇到的问题是纹理分类/辨别之一，并且有大量关于该主题的文献。谷歌学者搜索发现了这个[1]。
[1] Smith, JR 和 Chang, SF（1994 年 11 月）。在大型图像数据库中为纹理分类和判别转换特征。在图像处理中，1994 年。论文集。ICIP-94.，IEEE 国际会议（第 3 卷，第 407-411 页）。IEEE。