偏差和方差之间的权衡

数据挖掘 机器学习 方差 偏见
2021-10-08 09:34:14

在机器学习模型中权衡偏差和方差的最佳想法或方法是什么?

2个回答

您想根据模型的执行和泛化程度来决定这一点。如果您的模型拟合不足,您希望增加模型的复杂性,增加方差并减少偏差。如果您的模型过度拟合,您希望对模型进行正则化和/或为其提供更多训练数据,从而减少方差并增加偏差。

在我看来,您应该执行以下操作:

1)尽量减少偏差这通常可以通过选择更复杂的模型来实现。完成此步骤是为了确保您的模型有足够的容量来解决问题。但是,这会导致您的模型过拟合。

2)对上述模型进行正则化以减少其方差这可以通过规范惩罚(L1、L2 等)、提前停止或其他特定于模型的技术(神经网络的 dropout、决策树的修剪等)来完成。