不这样做的一个很好的理由是交叉验证估计器具有有限的方差，因此，如果您根据输入变量的许多选择对其进行评估，您最终会得到一个可以很好地解释您拥有的数据的集合，但概括性很差它有效地学习了该数据集特有的噪声。你调查的选择越多，问题就越严重。通常，您最终会得到比正则化模型更差的预测器，它具有所有特征，例如岭回归。因此，如果您对预测性能感兴趣，则根本不要执行特征选择，而是使用正则化。这是 Millar 关于回归中的子集选择的专着中给出的建议，根据我的经验，他是对的。

我个人倾向于交叉验证分数评估，因为：

• 只要基础评分函数（准确度、f1-score、RMSE ...）也是可解释的，分析师很容易解释它，

• 它通过查看跨 CV 折叠的分值的标准差来给出不确定性的概念，

• 它提供了一种将误差分解为偏差（在训练折叠上测量的误差）和方差（在训练和测试折叠上测量的误差的差异）的方法。

模型大小不是计算能力的一个因素

这并不总是正确的：例如，深度学习机器学习模型的模型大小通常受到硬件的限制（通常是 GPU 卡上的 RAM 量）。

两种情况会浮现在脑海中，您不想只运行所有可能模型的迭代：

1. 您的模型处于临床环境中。例如，护士进行一些测量并用它来预测某些事情。如果您包含所有可能的协变量，那么您更有可能得到缺失值。特别是如果某些协变量需要敏感信息。

2. 但是，在您的模型中，您的协变量可以“分组”。例如，一组协变量可能是“生活方式”，另一组可能是社会经济阶层。尝试从每组中选择一些变量可能会更好。$p>> n$