自编码神经网络的起源是什么？

机器算法验证 神经网络 自动编码器 历史
2022-01-18 17:53:23

我搜索了谷歌、维基百科、谷歌学者等，但我找不到自动编码器的起源。也许这是那些非常缓慢演变的概念之一，不可能追溯到一个明确的起点，但我仍然想找到一些关于他们发展的主要步骤的总结。

Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 的深度学习书中关于自动编码器的章节说：

几十年来，自动编码器的想法一直是神经网络历史景观的一部分（LeCun，1987；Bourlard 和 Kamp，1988；Hinton 和 Zemel，1994）。传统上，自动编码器用于降维或特征学习。

帕斯卡尔文森特的这个演讲说：

使用经典自动编码器去噪实际上是在更早时候引入的 (LeCun, 1987; Gallinari et al., 1987)，作为 Hopfield 网络的替代方案 (Hopfield, 1982)。

这似乎暗示在此之前存在“经典自动编码器”：LeCun 和 Gallinari 使用它们但没有发明它们。我没有看到早于 1987 年的“经典自动编码器”的踪迹。

有任何想法吗？

2个回答

根据 Schmidhuber 提供的历史，“神经网络中的深度学习：概述”，“神经网络” （2015 年），自动编码器被提议作为巴拉德中无监督预训练的一种方法，“神经网络中的模块化学习”，Proceedings美国人工智能学会(1987)。然而，尚不清楚这是否是第一次使用自动编码器。这只是第一次将它们用于预训练 ANN。

正如 Schmidhuber 文章的介绍所表明的那样，很难将 ANN 中使用的所有想法归为一类，因为文献多种多样​​，而且术语随着时间的推移而演变。

下面的论文间接讨论了自动编码器，可以追溯到 1986 年。（比巴拉德 1987 年的论文早一年）

DE Rumelhart、GE Hinton 和 RJ Williams，“通过错误传播学习内部表示”。，并行分布式处理。第 1 卷：基础。麻省理工学院出版社，马萨诸塞州剑桥市，1986 年。

这篇论文基本上描述了当时一种新颖的前馈网络，以及它的数学形式。

其它你可能感兴趣的问题
上一篇威尔金森式表示法的起源，例如 R 中混合模型公式中随机效应的 (1|id) 下一篇机器学习模型（GBM、NN 等）如何用于生存分析？