哪种核方法给出最好的概率输出?

机器算法验证 物流 支持向量机 内核技巧
2022-03-29 00:04:03

最近我使用 Platt 的 SVM 输出缩放来估计默认事件的概率。更直接的替代方案似乎是“核逻辑回归”(KLR)和相关的“导入向量机”。

谁能说出当前最先进的提供概率输出的内核方法?是否存在 KLR 的 R 实现?

非常感谢您的帮助!

2个回答

高斯过程分类(使用期望传播)可能是机器学习中的最新技术。Rasmussen 和 Williams有一本很棒的(可免费下载),该网站有一个非常好的 MATLAB 实现。更多软件、书籍、论文等在这里然而,在实践中,KLR 可能对大多数问题同样有效,主要困难在于选择内核和正则化参数,这可能最好通过交叉验证来完成,尽管留一法交叉验证可以近似非常有效,参见Cawley 和 Talbot (2008)。

我猜你知道逻辑回归的内核是非参数的,所以首先你有这个限制。

关于 R 包,我知道并且运行良好的是np:Nonparametric kernel smoothing methods for mixed data types

该包提供了多种非参数(和半参数)内核方法,可以无缝处理连续、无序和有序因子数据类型的混合。

关于最先进的内核,我建议您从 2009 年开始尝试使用本文中描述的内核。仔细阅读以选择最适合您且更实际的内核。