在详细介绍该方法之前，首先我们需要了解两类特征选择： 1.单变量：我们将输入特征一一考虑。2.多变量：我们一起考虑一组变量。

在许多情况下，单变量特征选择可以产生足够好的结果，就像机器学习中的所有事情一样，“没有免费的午餐”开始了，你必须根据数据来决定一切。

例如，在特征选择中的棋盘问题（通常也称为 XOR 问题）如下图所示。X 和 Y 都无法区分红色和黑色这两个类别；而两者结合起来可以区分两者。

这段 10 多年前的视频解释了这应该是一个很好的介绍 http://www.quizover.com/oer/course/introduction-to-feature-select-by-isabelle-gu-videolectures-net 包括这篇文章 http ://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf由主持人本人撰写。