自编码器可以用于监督学习吗?

人工智能 神经网络 自动编码器 监督学习
2021-10-21 22:57:35

自动编码器可以在不添加输出层的情况下用于监督学习吗?我们可以简单地用一个连接的输入-输出向量对其进行训练,并在进行推理时从输入部分重建输出部分吗?在推理过程中,输出部分将被视为缺失值,并将应用一些插补。

2个回答

我知道并实施的一篇这样的论文是Semi-Supervised Learning using Ladder Networks我在这里引用他们对模型的描述:

我们的方法遵循 Valpola (2015),他提出了一个梯形网络,其中辅助任务是在模​​型的每个级别对表示进行去噪。模型结构是一个自编码器,从编码器到解码器具有跳跃连接,学习任务类似于去噪自编码器,但适用于每一层,而不仅仅是输入。跳过连接减轻了在模型的较高层中表示细节的压力,因为通过跳过连接,解码器可以恢复编码器丢弃的任何细节。

有关架构的进一步解释,请查看Yoshua Bengio的 Deconstructing the Ladder Network Architecture

如果我理解正确的话,我记得阅读过有关此类系统的论文,但目前不记得标题。

这个想法是使用基于字符的生成 RNN,在编码为“datadatadatadata|answer”的序列上训练它们,然后在输入“otherdatadata|”时对其进行训练 那么它将继续产生某种预期的答案。

但是,据我记得,这只是一个很好的例子,因为如果你有数据来做一些有监督的事情,那么通过传统方法你会得到更好的结果。