将深度学习从一个航空影像数据集转移到许多其他数据集

数据挖掘 机器学习 图像分类 图像分割
2022-02-21 12:50:48

我是深度学习的新手,但已经能够成功地使用RasterVision来预测一组航空影像中的建筑物足迹

此航空影像数据集适用于新西兰的一个省。现在我有一个模型可以在这个省成功预测,我对如何使用它来预测新西兰的许多其他地区很感兴趣。问题是这些区域是使用不同的传感器、分辨率和不同的色彩平衡来捕获的(我尝试在另一个区域使用我的模型,结果很差,70% 的召回率,而在训练的区域中只有 92%)。

我猜我可以以我的模型为基础在另一个地区开始训练......

我的问题是,是否可以想象我可以训练一个模型,该模型可以在具有不同分辨率(0.1m --> 0.7m)和不同色彩平衡的许多区域中以可接受的准确度进行预测,或者是采用基本模型并重新训练的方法对于每个不同的图像数据集(显然不太理想)?

在如此不同的航空/卫星图像中是否有这种方法的例子?

我注意到这个问题确实在分辨率方面回答了其中一些问题。我同样感兴趣的是跨数据集不同颜色平衡的影响和管理

我想开始预测的其他图像数据集包括这些

1个回答

我问了这个问题,因为我不确定深度学习模型是否有可能在如此多样化的航拍图像中泛化并获得良好的结果。

从那以后,我对 20 多个国家航空图像数据集进行了实验,训练模型从图像中提取建筑物的足迹。使用 resnet101 对具有不同分辨率(测试了 5-30 厘米)、颜色属性和地理位置的图像数据集进行训练和预测没有问题。

使用更高分辨率的图像数据集可以获得更好的预测结果。这归因于高分辨率数据集中提供的有关建筑物的额外细节。

最大的困难是构成背景类(即不是建筑)的独特景观中的误报。这是因为最初更独特的景观不在训练数据中,并且对这些图像的预测与这些景观导致(建筑物)误报。这很容易通过将这些背景类的示例图像添加到训练数据中来管理。一台机器在训练中看到了这种情况,误报被删除了。