建立机器学习模型,同时惩罚它们的复杂性

数据挖掘 机器学习 神经网络 决策树 过拟合
2022-02-15 11:27:19

我来自预测建模背景,通常使用微分方程来模拟物理或化学或生物过程。

通常为了避免过度拟合,人们使用AIC并根据模型的自由参数数量来惩罚模型。这很有用——因为它允许我们跨复杂程度比较模型——例如,具有两倍数量的自由参数的模型可能会减少 RSS,但不能证明其额外参数的合理性。

决策树是否有等效的方法?还是用于神经网络?无论哪种情况,当您增加复杂性时,两组模型总是可以变得更好,并且是否有一个 ML 包允许您构建复杂性增加的模型,同时惩罚它们增加的复杂性?

0个回答
没有发现任何回复~