使用 GAN 生成用于 CNN 训练的数据集

人工智能 卷积神经网络 数据集 生成对抗网络
2021-11-12 11:20:14

我正在使用称为 YOLO 的单次检测器进行交通标志检测的学士论文。这些单次检测器可以对图像中的物体进行检测,因此它们具有特定的训练方式,即。对完整图像进行训练。这对我来说是个很大的问题,因为具有完整交通标志图像的最大真实数据集是比利时的一个,它有 210 个类别的 9000 张图像,不幸的是,这不足以训练好的检测器。

为了克服这个问题,我创建了DatasetGenerator,它在生成合成数据集方面做得很好,你可以在results directory中看到。

最近我遇到了可以(除其他外)生成或扩展现有数据集的 GAN,我想使用这些网络与我的数据集生成器进行比较。我已经成功地尝试了对 GAN 的介绍

问题是它是无监督学习,所以没有注释。这意味着它能够扩展我的交通标志数据集,但生成的数据集根本不会被注释,这是个问题。

所以我的问题是:有什么方法可以使用 GAN 来扩展我的完整交通标志图像数据集,并带有交通标志类别和位置的注释?其实班级并不重要,因为我可以为每个班级单独做,但重要的是交通标志在生成图像中的位置。

2个回答

我想你会喜欢 Apple的这项改进合成图像真实感的工作。本质上,您需要做的是生成合成图像,然后让您的 GAN修改合成图像,以便 1)鉴别器认为它是真实的,同时 2)不会改变图像的总体结构(所以交通标志不会'不动) - 是的,这个损失函数需要一些工作!

使合成数据足够逼真以允许模型在现实世界中成功推广是一个非常活跃和令人兴奋的研究领域,尤其是在机器人技术方面,因此你现在所做的工作应该会让你对合适的雇主非常有吸引力.

您可以将所需的交通标志位置添加到潜在向量中,然后如果交通标志不在生成的图像中的正确位置,则安排生成器产生损失。