神经网络:如何利用弱/无监督数据来改进监督网络?

数据挖掘 深度学习 神经网络 卷积神经网络 无监督学习 监督学习
2022-02-28 06:50:17

让我们考虑一个为某些任务构建了一个完全监督的神经网络,例如在各种场景中定位一个对象。正如您可以想象的那样,标记数据非常耗时:必须手动定位图像中的对象并在其周围绘制一个边界框 - 一次一个。

假设我们有一个用于完全监督定位的普通卷积神经网络 (CNN),因此如下所示:

          2D input image
                |
       convolutional-layer 1
                |
               ...
                |
       convolutional-layer N
                |
      ---flattened output---
                |                    
    fully-connected classifier
                |
           output layer

我们如何调整这种架构来利用弱标记的数据呢?

无论我们是否有滑动窗口方法,例如 OverFeat 或用于实际定位对象的概率分布:我们总是需要完全标记的训练数据。这是一个问题,因为在完全监督的情况下标记数据确实非常耗时。因此,完全标记的数据集非常罕见。

与此相反,通常存在大量弱标记或未标记的数据。在我看来,由于其广泛的可用性,弱标记/未标记数据具有很大的潜力。问题在于利用这种潜力而无需手动标记每个样本。

也就是说,我的问题是:如何利用弱标记的数据集(即“对象”与“无对象”)或完全未标记的数据集来提高全监督架构的鲁棒性,比如提到的 CNN?

通常可以将监督方法与一些无监督方法混合吗?就像启用完全监督的架构以某种方式利用弱标记数据进行训练一样?

1个回答

您正在寻找有关半监督对象检测算法和弱监督对象检测的信息。半监督对象检测使用监督学习术语(您的手工标记数据)和半监督学习术语(未标记数据)。弱监督目标检测使用不完善、不准确或不完整的粗粒度数据。

对于调查弱监督对象检测,我推荐这 2 个调查。 https://arxiv.org/abs/2104.07918

对于半监督对象检测,我不知道直接对其进行调查。所以我推荐两篇论文。

他们中的大多数人在“半监督学习”中的“伪标签”中使用“自我训练”方案。所以我推荐一个关于半监督学习的调查。 https://link.springer.com/article/10.1007/s10994-019-05855-6

  • 半监督学习调查(“机器学习”,2019)