让我们将其范围仅限于分类。
很明显,如果您完全长出没有正则化(例如最大深度、修剪)的决策树,它将过度拟合训练数据并获得完全精确到贝叶斯错误*。
这对所有非参数方法都适用吗?
*假设模型可以访问“正确”的特征。
让我们将其范围仅限于分类。
很明显,如果您完全长出没有正则化(例如最大深度、修剪)的决策树,它将过度拟合训练数据并获得完全精确到贝叶斯错误*。
这对所有非参数方法都适用吗?
*假设模型可以访问“正确”的特征。
否 - 非参数方法仅意味着该方法不采用数据的函数形式。有一些非参数方法,例如随机森林,并不总是过拟合。事实上,非参数方法可能欠拟合,它可能缺乏拟合训练数据的能力。这方面的一个例子是决策树桩。