除非识别最相关的变量是分析的关键目标，否则通常最好不要进行任何特征选择并使用正则化来防止过度拟合。特征选择是一个棘手的过程，由于存在许多自由度，因此很容易过度拟合特征选择标准。LASSO 和弹性网络是一个很好的折衷方案，通过正则化而不是通过直接特征选择来实现稀疏性，因此它们不太容易出现这种特定形式的过度拟合。

Lasso确实是个好东西。简单的事情，比如从无开始，然后按照“有用性”（通过交叉验证）逐一添加它们在实践中也很有效。这有时称为分阶段前馈选择。

请注意，子集选择问题完全独立于分类/回归的类型。只是非参数方法可能很慢，因此需要更智能的选择方法。

T. Hastie 的《统计学习的要素》一书给出了很好的概述。