全卷积变分自编码器

数据挖掘 机器学习 深度学习 自动编码器 生成模型
2022-03-16 18:47:49

我想制作一个使用黑白图像作为输入并输出彩色版本的神经网络。在这个过程中重要的是图像的大小必须保持不变。

通常这是通过使用带有GAN或的全卷积网络来完成的AE architecture现在我决定实现一个VAE版本,但是当我在互联网上查找它时,我发现潜在空间是线性/密集的版本,这意味着它破坏了全卷积。

这种类型的神经网络不是VAE一种有效的方法吗?或者有没有人可以提供的解决方案/一些代码在这种情况下会有所帮助?Pytorch首选)

1个回答

以我的经验,当人们说“完全”卷积时,即使是在做像 ImageNet 分类这样的典型事情时,他们仍然通常指的是具有至少一个最终密集层的网络。

如果我正确理解您的问题,您正在寻找具有一些卷积层的 VAE,其输出与输入大小相同,但是您对如何在解码器中进行上采样以使您从较少的潜在维度变为输出感到困惑与您的输入大小相同。人们通常有几种处理方法,其中两种是反卷积和亚像素(差异描述良好的反卷积教程)。两者都允许您使用卷积之类的东西来获取输出d<<n潜在维度并将其上采样为n维度输出。

这是一个用 Keras 编写的示例,它使用反卷积层来执行此操作。