最近在 UPC/Barcelona 的 Oriol Pujol 教授的机器学习课程中,他描述了用于广泛的机器学习相关任务的最常见算法、原理和概念。在这里分享给大家,问大家:
- 是否有任何综合框架将任务与与不同类型的机器学习相关问题相关的方法或方法相匹配?
如何学习简单的高斯? 概率、随机变量、分布;估计,收敛和渐近,置信区间。
如何学习混合高斯 (MoG)?可能性,期望最大化(EM);泛化、模型选择、交叉验证;k-means,隐马尔可夫模型(HMM)
我如何学习任何密度?参数与非参数估计、Sobolev 和其他功能空间;l ́ 2 误差;核密度估计 (KDE)、最优核、KDE 理论
如何预测连续变量(回归)?线性回归、正则化、岭回归和 LASSO;局部线性回归;条件密度估计。
如何预测离散变量(分类)?贝叶斯分类器,朴素贝叶斯,生成与判别;感知器、权重衰减、线性支持向量机;最近邻分类器和理论
我应该使用哪个损失函数?最大似然估计理论;l -2 估计;贝叶斯估计;极小极大和决策理论,贝叶斯主义与频率主义
我应该使用哪种型号?AIC和BIC;Vapnik-Chervonenskis 理论;交叉验证理论;引导;可能近似正确(PAC)理论;霍夫丁导出的界限
如何学习更高级的(组合)模型?集成学习理论;提升;装袋;堆叠
如何学习更高级的(非线性)模型?广义线性模型,逻辑回归;Kolmogorov定理,广义加法模型;核化,再现核希尔伯特空间,非线性支持向量机,高斯过程回归
如何学习更高级的(组合)模型?递归模型、决策树、层次聚类;神经网络、反向传播、深度信念网络;图形模型、HMM 的混合、条件随机场、最大边距马尔可夫网络;对数线性模型;语法
如何减少或关联特征?特征选择与降维,特征选择的包装方法;因果关系与相关性、偏相关性、贝叶斯网络结构学习
如何创建新功能?主成分分析 (PCA)、独立成分分析 (ICA)、多维缩放、流形学习、监督降维、度量学习
如何减少或关联数据?聚类、双聚类、约束聚类;关联规则和市场篮子分析;排名/序数回归;链接分析;关系数据
如何处理时间序列?武装部队;卡尔曼滤波器和统计空间模型,粒子滤波器;功能数据分析;变化点检测;时间序列的交叉验证
如何处理非理想数据?协变量移位;阶级不平衡;缺失数据、不规则采样数据、测量误差;异常检测,鲁棒性
如何优化参数?无约束与约束/凸优化、无导数方法、一阶和二阶方法、回拟合;自然梯度;界优化和EM
如何优化线性函数?计算线性代数、回归矩阵求逆、降维奇异值分解 (SVD)
如何使用约束进行优化?凸性、拉格朗日乘数、Karush-Kuhn-Tucker 条件、内点法、SVM 的 SMO 算法
如何评估深度嵌套的总和?精确图模型推断、总和的变分界、近似图模型推断、期望传播
如何评估大额金额和搜索?广义 N 体问题 (GNP)、分层数据结构、最近邻搜索、快速多重方法;蒙特卡洛积分、马尔可夫链蒙特卡洛、蒙特卡洛 SVD
如何处理更大的问题?并行/分布式EM,并行/分布式GNP;随机次梯度方法,在线学习
我如何在现实世界中应用所有这些?ML 各部分的概述,在用于每个任务的方法、先验知识和假设之间进行选择;探索性数据分析和信息可视化;评估和解释,使用置信区间和假设检验,ROC 曲线;ML 中的研究问题在哪里