据我所知，在深度学习开始真正发挥作用的时候，无监督预训练只是在很短的时间内完成。它提取了数据中的某些规律，以后的监督学习可以抓住这些规律，因此它可能起作用也就不足为奇了。另一方面，无监督学习在非常深的网络中并没有给出特别令人印象深刻的结果，因此对于当前非常深的网络，它不再使用也就不足为奇了。

我想知道无监督预训练的最初成功是否与神经网络的理想初始化是后来才制定的这一事实有关。在这种情况下，无监督的预训练只是将权重设置为正确大小的一种非常复杂的方法。

无监督深度学习就像现在人工智能的圣杯一样，还没有被发现。无监督深度学习将允许您使用大量未标记的数据，并让网络形成自己的类别。稍后您可以只使用一点标记数据来为这些类别提供适当的标签。或者只是立即训练它完成某项任务，确信它已经对这个世界拥有大量的知识。这也是常识问题归结为：一个庞大而详细的世界模型，只有通过无监督学习才能获得。

我认为训练深度学习神经网络可能很困难，因为目标函数存在局部最优，而且复杂的模型容易过度拟合。无监督预训练从使用无监督标准（例如深度信念网络或深度自动编码器）训练的神经网络中初始化判别神经网络。这种方法有时可以帮助解决优化和过拟合问题，并且关于深度学习的实际工作因为在无监督学习中没有外部教师，所以通过数据中的冗余来增加熵是非常重要的。

来源：https ://metacademy.org/graphs/concepts/unsupervised_pre_training