模型选择:大均值和方差与小均值和方差

数据挖掘 机器学习 机器学习模型 模型选择
2021-09-22 05:56:37

这个问题一直在我的脑海里。假设您正在进行 5-10 倍交叉验证,一个模型的平均准确度为 0.8,但标准差为 0.2,而另一个模型的平均准确度为 0.7,标准差为 0.05。哪一个更好?

2个回答

这正是我问 Sebastian Raschka(伟大的 Python 机器学习书的作者)的一个问题,在这里你可以找到他的回答“我也推荐 1-standard error 方法,这基本上意味着你从 k- 中选择最好的模型根据纯性能折叠,然后选择最简单的模型,该模型在该模型的 1 个标准误差内”

他的答案更详细的解释可以在他的github 链接上找到。

首先要做的事情: 1. 我的意思是问题陈述是回归问题还是分类问题。2. 你是如何测量你的准确率的,我的意思是 MSE、MAPE、OOB、RMSE、SSE 是回归问题中的哪一个,或者是准确率、精度、召回率或 ROC,如果它是一个分类!请澄清。

如果是分类问题!显然,你怎么能测量 SD?假设它是一个回归问题,

你需要回答以上问题。此外,每个准确度度量都有自己最先进的用例,因此请了解您应该采用哪种准确度度量,否则使用误差较小的模型。

当谈到方差时,我假设模型的方差越高。