我正在我大学的 ECE 系学习机器学习研究生课程。在第一堂课上,我的教授似乎特意强调了这门课程将采用概率方法进行机器学习。当时我并没有想太多,但现在回想起来,这到底是什么意思?机器学习还有哪些其他方法可以与之对比?
概率与其他机器学习方法
机器算法验证
机器学习
可能性
哲学的
2022-03-29 07:42:05
2个回答
这个问题可能太宽泛而无法回答。很难猜测另一个人的观点。但我认为这个问题很有趣,我想尝试回答。
术语“机器学习”可以有很多定义。我相信流行的是
- 凸优化(有大量关于这个主题的 NIPS 论文)
- Brian D. Ripley 的“统计数据减去对模型和假设的任何检查”
从优化的角度来看,最终目标是最小化“经验损失”并尝试在测试数据集上赢得它。这里我们并没有过分强调数据的“统计模型”。一些大的黑盒判别模型就是完美的例子,比如梯度提升、随机森林和神经网络。这些类型的工作之所以流行,是因为我们收集数据和处理数据的方式发生了变化。我们可以认为我们拥有无限的数据并且永远不会过度拟合(例如互联网中的图像数量)。我们负担得起的所有计算模型都无法拟合超级复杂的数据。目标是有一种有效的方法来更快、更复杂地构建模型(例如使用 GPU 进行深度学习)
另一方面,从统计角度(概率方法)来看,我们可能会更加强调生成模型。例如,混合高斯模型、贝叶斯网络等。墨菲的《机器学习一个概率视角》一书可能会让你对这个分支有更好的了解。
“概率方法”一词意味着您课堂上教授的推理和推理将植根于概率论的成熟领域。该术语通常(但不总是)与“贝叶斯”方法同义,因此,如果您接触过贝叶斯推理,您应该毫无问题地学习概率方法。
我没有足够的经验来说明存在哪些其他机器学习方法,但我可以为您指出一些关于概率范式的优秀参考文献,我认为其中一个是经典的,另一个很快就会成为:
- Jaynes, ET (2003)概率论:科学的逻辑。剑桥大学出版社,纽约。
- Murphy, K. (2012)机器学习:概率视角。麻省理工学院出版社,剑桥。
其它你可能感兴趣的问题