我在几个 地方读到和听说过,深度学习网络的训练时间比支持向量/内核机器、随机森林或增强方法要长得多,但它们可以提供更好的性能。
我的问题是,与解释这种差异的其他学习方法相比,深度学习网络有什么根本不同?对他们的训练复杂性了解多少?
例如,DNN 是否具有区分性(与其他方法相比)?看起来它们可以被认为是生成的,因为 Wikipedia 提到:
一旦学习了足够多的层,深度架构就可以用作生成模型,方法是在从顶层特征激活对模型进行采样(“祖先通道”)时复制数据。
我还在 Wikipedia 上读到 DNN 可以以无监督的方式进行预训练。这是相对于其他方法的显着差异。这个预训练步骤很常见吗?但最重要的是,与其他方法相比,为什么 DNN 需要这么长时间来训练?