非参数模型是否总是在没有正则化的情况下过拟合?

数据挖掘 机器学习 过拟合 正则化 偏见 非参数
2022-03-08 08:50:22

让我们将其范围仅限于分类。

很明显,如果您完全长出没有正则化(例如最大深度、修剪)的决策树,它将过度拟合训练数据并获得完全精确到贝叶斯错误*。

这对所有非参数方法都适用吗?

*假设模型可以访问“正确”的特征。

1个回答

否 - 非参数方法仅意味着该方法不采用数据的函数形式。有一些非参数方法,例如随机森林,并不总是过拟合。事实上,非参数方法可能欠拟合,它可能缺乏拟合训练数据的能力。这方面的一个例子是决策树桩。