在机器学习模型中权衡偏差和方差的最佳想法或方法是什么?
偏差和方差之间的权衡
数据挖掘
机器学习
方差
偏见
2021-10-08 09:34:14
2个回答
您想根据模型的执行和泛化程度来决定这一点。如果您的模型拟合不足,您希望增加模型的复杂性,增加方差并减少偏差。如果您的模型过度拟合,您希望对模型进行正则化和/或为其提供更多训练数据,从而减少方差并增加偏差。
在我看来,您应该执行以下操作:
1)尽量减少偏差。这通常可以通过选择更复杂的模型来实现。完成此步骤是为了确保您的模型有足够的容量来解决问题。但是,这会导致您的模型过拟合。
2)对上述模型进行正则化以减少其方差。这可以通过规范惩罚(L1、L2 等)、提前停止或其他特定于模型的技术(神经网络的 dropout、决策树的修剪等)来完成。