偏差/方差权衡教程

机器算法验证 机器学习 方差 偏见 偏差-方差-权衡
2022-03-29 13:56:55

我正在寻找一个关于偏差/方差权衡的好教程。特别是,我想找人解释机器学习中的不同算法如何在这种权衡中发挥作用,以及其他事物(特征选择/提取、缩放等)可能如何影响这种权衡。

3个回答

这完全取决于您想了解的有关偏差/方差的信息,但是Andrew Ng 的 CS229 Lecture Notes对这个问题进行了很好的理论描述。[编辑:更新链接]

一般来说,这种权衡是关于模型复杂性的——你试图估计多少参数,以及它们有多“自由/独立”。这可以使用学习理论来形式化,就像 Andrew 的笔记中一样,但是对于实际应用来说,一般的直觉可能就足够了。

回答您的具体示例:特征选择应该减少方差(因为我们最终会拟合更少的参数),希望不会过多地增加偏差(如果做得好)。我不确定您所说的“缩放”是什么意思,但这可能是一个实现级别的细节,与更抽象的偏差/方差问题不太相关。

我认为 Tal Yarkoni 和 Jacob Westfall 的文章选择预测胜于解释:机器学习的教训 Tal Yarkoni 和 Jacob Westfall 将为您提供一些关于偏差-方差权衡的见解:http: //jakewestfall.org/publications/Yarkoni_Westfall_choosing_prediction.pdf

本书提供了一个很好且直观的解释它在 ISLR 书中附带了更多代码和模拟。

作者使用仿真来展示 MSE 的分解,并以图形方式展示模型复杂度增加时的权衡