CapsNet 生成对抗网络

数据挖掘
2021-09-29 17:19:26

我有一个非常有趣的问题。一个月前,Geoffrey Hinton 发表了他的 CapsNet 论文。这是神经网络堆栈中视觉计算的全新方式。但我的问题是。是否可以将 CapsNet 用作 GAN。我只了解 CapsNet 的概念,但不了解技术限制。那么这可能吗?

这听起来对我来说是一个很好的研究领域:)

2个回答

绝对可以在GAN的编码器(判别器)部分使用它们,因为根据 Hinton 的原始论文,它用于分类,这意味着它也适合判别器,即使适当的损失函数是研究的主题。

我为我的硕士论文选择了 GAN 鉴别器中的胶囊网络主题,我现在正在研究这个模型但是,我通过不对DigitCaps值进行矢量化来简化路由算法(否则 Keras 代码会变得复杂,尽管我不确定我所做的是否 100% 正确)。

是的。您可以使用 CapsuleNet 作为 GAN 中的鉴别器。请参阅以下最近的论文,该论文声称这比使用 CNN 作为鉴别器有所改进:

CapsuleGAN:生成对抗胶囊网络Ayush Jaiswal、Wael AbdAlmageed、Yue Wu、Premkumar Natarajan。arXiv:1802.06167

在他们测试的任务上,改进似乎不大。不清楚如何使用 CapsuleNet 作为生成器,因此论文使用了基于 CNN 的生成器网络。