统计和机器学习中的偏见是否意味着同一件事?

机器算法验证 机器学习 偏见 偏差-方差-权衡
2022-04-20 17:28:48

在统计学中,人们经常谈论无偏估计量。在机器学习中,总是提到偏差方差权衡。

两种情况下的偏见是否意味着同一件事?

无偏估计器对其尝试建模的数据是否存在偏差?

2个回答

是的,它们的意思是一样的。

这个免费章节涵盖了估计量的偏差和方差:http: //www.deeplearningbook.org/contents/ml.html

请参阅第 5.4 节,其中很好地解释了它们是什么。

不,他们没有。但它们很相似。

在 ML 中,学习偏差是模型为拟合数据集而做出的一组错误假设。这可以被认为是模型与训练数据集拟合程度的衡量标准。

另一方面,常规统计偏差在数学上定义为估计量的绝对误差的平均值。如果这个数字为零,则估计量(或模型)是无价的,如果它是正的,那么估计量是正偏的,这意味着平均而言,估计(或预测)将始终高于真实值。

它们是不同的,因为模型可能有学习偏差(它不能完美地拟合数据集)但它是无偏差的(平均绝对误差等于零,或非常接近于零)

有关更详细的解释,请阅读本文:http ://www.cems.uwe.ac.uk/~irjohnso/coursenotes/uqc832/tr-bias.pdf