你的直觉是完全正确的。在大多数情况下，特征选择代表了对简单解释的渴望，这源于三个误解：

1. 分析人员没有意识到“选择的”特征集是非常不稳定的，即非鲁棒性的，并且当在另一个数据集上完成选择过程将导致完全不同的特征集。数据通常不具备选择“正确”特征所需的信息内容。如果存在共线性，这个问题会变得更糟。
2. 在不受控制的实验中，途径、机制和过程很复杂；人类的行为和天性是复杂的，而不是吝啬的。
3. 要求数据告诉您哪些是重要特征以及它们之间的关系是什么，这会损害预测准确性$Y$对于“重要”的人。最好“使用每个变量的一点点”而不是使用所有一些变量而不使用其他变量（即，使用收缩/惩罚）。

研究这个的一些方法：

1. 对套索、弹性网络和标准二次惩罚（岭回归）之间的预测准确性进行更多比较
2. 从随机森林中引导变量重要性度量并检查它们的稳定性
3. 计算潜在特征等级的引导置信区间，例如，在部分的等级上$\chi^2$关联测试（或单变量 Spearman 之类的测试）$\rho$或萨默斯$D_{xy}$) 并看到这些置信区间非常宽，直接告知您任务的难度。我从http://biostat.mc.vanderbilt.edu/rms链接的课程笔记有一个使用 OLS 引导预测变量排序的示例。

所有这些都适用于分类和更一般和有用的预测概念。