就个人而言，我喜欢将特征选择分为两部分：

• 无监督特征选择
• 监督特征选择

无监督特征选择是诸如聚类或 PCA 之类的东西，您可以在其中选择最少冗余的特征范围（或创建具有很少冗余的特征）。有监督的特征选择是像 Lasso 这样的东西，您可以在其中选择具有最大预测能力的特征。

我个人通常更喜欢我所说的监督特征选择。所以，当使用线性回归时，我会选择基于 Lasso 的特征。存在类似的方法来诱导神经网络中的稀疏性。

但实际上，我不知道如何在使用内核的方法中做到这一点，所以使用我称之为无监督特征选择的方法可能会更好。

编辑：您还询问了正则化。我认为正则化很有帮助，主要是因为我们使用有限样本，因此训练和测试分布总是会有所不同，并且您希望您的模型不会过度拟合。我不确定它是否消除了避免选择功能的需要（如果您确实有太多功能）。我认为选择特征（或创建它们的较小子集）有助于使您拥有的特征更加健壮，并避免模型从虚假相关性中学习。因此，正则化确实有帮助，但不确定它是否是一个完整的替代方案。但是我对这件事还没有想得足够透彻。