深度学习与决策树和提升方法

机器算法验证 机器学习 深度学习 大车 受限玻尔兹曼机 adaboost
2022-01-28 18:40:44

我正在寻找比较和讨论(经验上或理论上)的论文或文本:

更具体地说,是否有人知道在速度、准确性或收敛性方面讨论或比较这两个 ML 方法块的文本?另外,我正在寻找解释或总结第二块中模型或方法之间差异(例如优缺点)的文本。

任何直接解决此类比较的指针或答案将不胜感激。

2个回答

您能否更具体地了解您正在查看的数据类型?这将部分决定哪种类型的算法将收敛最快。

我也不确定如何比较 boosting 和 DL 等方法,因为 boosting 实际上只是方法的集合。您在提升中使用了哪些其他算法?

通常,DL 技术可以描述为编码器/解码器层。无监督预训练的工作原理是首先通过编码信号、解码信号、然后测量重构误差来预训练每一层。然后可以使用调整来获得更好的性能(例如,如果您使用去噪堆叠自动编码器,您可以使用反向传播)。

DL 理论的一个很好的起点是:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

以及这些:

http://portal.acm.org/citation.cfm?id=1756025

(对不起,由于垃圾邮件过滤系统,不得不删除最后一个链接)

我没有包含任何关于 RBM 的信息,但它们是密切相关的(虽然起初个人有点难以理解)。

好问题!自适应增强和深度学习都可以归类为概率学习网络。不同之处在于“深度学习”具体涉及一个或多个“神经网络”,而“提升”是一种“元学习算法”,需要一个或多个学习网络,称为弱学习器,可以是“任何东西”(即神经网络、决策树等)。提升算法将其一个或多个弱学习器网络形成所谓的“强学习器”,这可以显着“提升”整个学习网络的结果(即微软的 Viola and Jones Face Detector,OpenCV)。