自编码器如何重建图像/颜色?

数据挖掘 机器学习 神经网络 深度学习
2022-02-14 16:27:36

我对自动编码器如何能够重建图像中的颜色感到有点困惑。据我介绍,CNN 有特征检测器,可以将图像转换为一系列特征或激活图。这些激活图对应于结构特征的存在程度。那么如果颜色信息不是结构特征,它是如何保存在自动编码器中的呢?对我来说,颜色信息会很快丢失,但大多数自动编码器的视觉效果都表明它们很好地保留了颜色。

2个回答

自动编码器 (AE) 显然是无监督学习算法,因为它们试图重建输入或与其输入类似的东西。为了更好地理解,我们可以使用自动编码器对灰度图像进行着色。给定输入灰度图像,AE 将预测彩色图像。

我在这里尝试过一种这样的AE 。

自编码器学习将给定的灰度图像表示为潜在(压缩)形式。编码器完成这项工作。现在,当图像被降低到其潜在形式时,解码器使用该潜在表示重建彩色图像。

由于自动编码器的这种能力,它们被用于图像着色、神经植入甚至生成图像 (VAE)。看这个视频

图像着色不是像素级操作。我们需要一个更智能的系统,它可以从字面上观察周围环境并为像素分配颜色。如果我们在各种景观(例如天空和绿色农田)的图像上训练一个这样的模型,最可能的绿色(草)颜色将是蓝色(天空)。

意思是,图像着色 AE 提取可能导致目标图像颜色变化的空间特征。在人脸图像上训练的模型知道眼睛上方有一个深色区域(头发)。许多这样的特征是由更复杂的模型学习的,这些模型给出了很好的结果。

自动编码器通过从灰度图像中学习特征来存储为图像着色所需的知识。之后,他们往往会知道哪个区域必须用哪种颜色着色

自动编码器是一种压缩信息/知识的无监督学习方法。你的知识已经完成了一半。一半 - 它找到隐藏的属性并准备压缩知识(编码器)。下半部分它重建知识(解码器)。这样,它将学会重构知识。希望它有助于澄清。