何时使用什么 - 机器学习

数据挖掘 机器学习 算法
2021-09-18 21:02:21

最近在 UPC/Barcelona 的 Oriol Pujol 教授的机器学习课程中,他描述了用于广泛的机器学习相关任务的最常见算法、原理和概念。在这里分享给大家,问大家:

  • 是否有任何综合框架将任务与与不同类型的机器学习相关问题相关的方法或方法相匹配?

如何学习简单的高斯? 概率、随机变量、分布;估计,收敛和渐近,置信区间。

如何学习混合高斯 (MoG)?可能性,期望最大化(EM);泛化、模型选择、交叉验证;k-means,隐马尔可夫模型(HMM)

我如何学习任何密度?参数与非参数估计、Sobolev 和其他功能空间;l ́ 2 误差;核密度估计 (KDE)、最优核、KDE ​​理论

如何预测连续变量(回归)?线性回归、正则化、岭回归和 LASSO;局部线性回归;条件密度估计。

如何预测离散变量(分类)?贝叶斯分类器,朴素贝叶斯,生成与判别;感知器、权重衰减、线性支持向量机;最近邻分类器和理论

我应该使用哪个损失函数?最大似然估计理论;l -2 估计;贝叶斯估计;极小极大和决策理论,贝叶斯主义与频率主义

我应该使用哪种型号?AIC和BIC;Vapnik-Chervonenskis 理论;交叉验证理论;引导;可能近似正确(PAC)理论;霍夫丁导出的界限

如何学习更高级的(组合)模型?集成学习理论;提升;装袋;堆叠

如何学习更高级的(非线性)模型?广义线性模型,逻辑回归;Kolmogorov定理,广义加法模型;核化,再现核希尔伯特空间,非线性支持向量机,高斯过程回归

如何学习更高级的(组合)模型?递归模型、决策树、层次聚类;神经网络、反向传播、深度信念网络;图形模型、HMM 的混合、条件随机场、最大边距马尔可夫网络;对数线性模型;语法

如何减少或关联特征?特征选择与降维,特征选择的包装方法;因果关系与相关性、偏相关性、贝叶斯网络结构学习

如何创建新功能?主成分分析 (PCA)、独立成分分析 (ICA)、多维缩放、流形学习、监督降维、度量学习

如何减少或关联数据?聚类、双聚类、约束聚类;关联规则和市场篮子分析;排名/序数回归;链接分析;关系数据

如何处理时间序列?武装部队;卡尔曼滤波器和统计空间模型,粒子滤波器;功能数据分析;变化点检测;时间序列的交叉验证

如何处理非理想数据?协变量移位;阶级不平衡;缺失数据、不规则采样数据、测量误差;异常检测,鲁棒性

如何优化参数?无约束与约束/凸优化、无导数方法、一阶和二阶方法、回拟合;自然梯度;界优化和EM

如何优化线性函数?计算线性代数、回归矩阵求逆、降维奇异值分解 (SVD)

如何使用约束进行优化?凸性、拉格朗日乘数、Karush-Kuhn-Tucker 条件、内点法、SVM 的 SMO 算法

如何评估深度嵌套的总和?精确图模型推断、总和的变分界、近似图模型推断、期望传播

如何评估大额金额和搜索?广义 N 体问题 (GNP)、分层数据结构、最近邻搜索、快速多重方法;蒙特卡洛积分、马尔可夫链蒙特卡洛、蒙特卡洛 SVD

如何处理更大的问题?并行/分布式EM,并行/分布式GNP;随机次梯度方法,在线学习

我如何在现实世界中应用所有这些?ML 各部分的概述,在用于每个任务的方法、先验知识和假设之间进行选择;探索性数据分析和信息可视化;评估和解释,使用置信区间和假设检验,ROC 曲线;ML 中的研究问题在哪里

3个回答

我同意@geogaffer。确实,这是一个非常好的清单。但是,我发现这个列表存在一些问题,因为它目前是制定的。例如,一个问题是建议的解决方案具有不同的粒度级别——其中一些代表方法、一些方法、一些算法,而另一些代表只是概念(换句话说,是主题领域术语中的术语)此外, - 我认为这比上述重要得多 - 我认为如果列表中的所有这些解决方案都安排在一个统一的主题统计框架内,那将是非常有价值的. 这个想法的灵感来自于阅读 Lisa Harlow 的优秀著作《多元思维的本质》。因此,最近我在 StackExchange 的Cross Validated站点上发起了一个相应的讨论,尽管目前有些有限。不要让标题迷惑你——我的隐含意图和希望是建立一个统一的框架,如上所述。

这是一个涵盖很多内容的好清单。自从任何东西被称为机器学习之前,我就已经使用了其中的一些方法,我想你会看到你列出的一些方法随着时间的推移而进出。如果一种方法已经失宠太久,可能是时候重新审视了。有些方法可能会混淆不同研究领域产生的不同名称。

我使用这些方法的主要领域之一是矿产潜力建模,它是地理空间的,为了支持您可以添加一些与空间和定向数据方法相关的额外类别。

将您的广泛问题带到特定领域可能会发现更多不在综合列表中的方法示例。例如,我在矿产潜力中看到的两种方法是向后逐步回归和证据权重建模。我不是统计学家;也许这些会被认为包含在线性回归和贝叶斯方法的列表中。

我认为你的方法有点倒退。

“适合该数据的高斯分布的平均值是多少?” 从来都不是问题陈述,所以“我如何拟合高斯?” 从来都不是你真正想要解决的问题。

区别不仅仅是语义上的。考虑“我如何构建新功能?”的问题。如果您的目标是开发索引,您可能会使用某种类型的因子分析。如果您的目标是在拟合线性模型之前简单地减少特征空间,则可以完全跳过该步骤并改用弹性网络回归。

更好的方法是编制一份您希望能够处理的实际数据分析任务的列表。像这样的问题:

如何预测客户是否会返回我的购物网站?

我如何了解有多少“主要”消费者购物模式,它们是什么?

如何为我的在线商店中的不同商品构建“波动率”指数?

此外,您现在的清单包括大量材料;太多了,无法“审查”并获得比表面理解更多的东西。牢记实际目的可以帮助您理清优先事项。