是否可以以自我监督的方式对 CNN 进行预训练,以便以后可以用于解决实例分割任务?

人工智能 迁移学习 r-cnn 自监督学习 实例分割 借口任务
2021-11-01 06:30:42

我想使用自监督学习 (SSL) 从图像中学习特征(数据集由相似的图像组成,但差异很小),然后使用生成的训练模型来引导实例分割任务。

我正在考虑将 Faster R-CNN、Mask R-CNN 或 ResNet 用于实例分割任务,这些任务是通过解决 pretext 任务以 SSL 方式进行预训练的,目的是提高准确性,并且在下游任务中用更少的例子教 CNN。

是否可以使用 SSL 对借口任务(例如旋转)进行预训练,例如更快的 R-CNN,然后使用这个预训练模型进行实例分割,以获得更好的准确性?

1个回答

是否可以使用 SSL 对借口任务(例如旋转)进行预训练,例如更快的 R-CNN,然后使用这个预训练模型进行实例分割,以获得更好的准确性?

是的,这是可能的,而且这已经完成了。我不知道细节(因为我还没有阅读那些论文),但我会为您提供一些指向一些可能有用的论文的链接(基于它们的标题和摘要)和相关代码。

您可能可以在这里找到更多相关论文,我还在这里找到了一些刚刚引用的论文。

这些论文中设计的前置任务可能对您的情况有用,但您也可能需要开发其他前置任务或将多个前置任务组合起来。

也许你可以从一些预训练的更快的 R-CNN 或一些合适的模型进行实例分割(你可以在网上找到,例如,这里),它已经在一些与你相似的图像数据上进行了预训练(或者使用 SSL 或其他方式),然后尝试使用您的标记数据集微调此模型以进行实例分割,看看您是否获得了比从头开始训练更快的 R-CNN 更好的结果。最终,如果这个预训练模型不能带来更高的性能,您可以使用一些您可以提出的 SSL 技术或文献中描述的技术自行对其进行预训练。当然,您可能应该使用已使用与您的下游任务相关的数据进行预训练的预训练模型(即实例分割任务)。您没有描述未标记和标记数据的详细信息,因此我无法更具体(无论如何,我目前无法描述,因为我没有完全阅读这些论文,以及我在 SSL 方面的经验技术大多是理论上的)。

有关 SSL 的更多信息,请查看这个这个答案。