样本中的低偏差是高方差的同义词吗?

机器算法验证 机器学习 神经网络 方差 采样 偏见
2022-03-21 02:31:57

以下是真的吗?

低偏差 = 高方差
高偏差 = 低方差

我了解高偏差和低偏差,但方差有何不同?还是上面的同义词?

2个回答

不,您可以同时拥有两个高点或两个低点。这是一个说明示例。图片和文章来源我也推荐你阅读这张图片出处的文章。

在此处输入图像描述


你有这种印象的原因是,在机器学习的“早期”,有一个叫做偏差方差权衡的概念(正如@Kodiologist 提到的,这个概念仍然是正确的,并且是今天调整模型的基本概念。)

  • 当增加模型复杂度时,方差增加,偏差减少
  • 正则化模型时,偏差增加,方差减少。

在 Andrew Ng 最近的深度学习 Coursera 讲座中,他提到在最近的深度学习框架(数据量巨大)中,人们很少谈论权衡。相反,有一些方法可以只减少方差而不增加偏差(例如,增加训练数据大小),反之亦然。

偏差和方差之间的区别与准确度和精度之间的区别相同:

在此处输入图像描述

  • 测量系统的准确性是它与数量的实际(真实)值的接近程度。(≈ 偏差)

  • 测量系统的精度是重复测量给出相同结果的程度。(≈方差)