假设我正在做二进制分类，并且我想测试使用特征 X 是否重要。（例如，我可能正在构建一个决策树，我想看看是否应该修剪特征 X。）
我相信标准方法是在 2x2 表上使用卡方检验
X = 0 X = 1
Outcome = 0 A B
Outcome = 1 C D
但是，“更简单”（IMO）的测试是计算 X 给出正确结果的概率的统计数据：取 p = [（x = 0 和 Outcome = 0）+（x = 1 和 Outcome = 1） ] / [观察总数]，并计算 p 远离 0.5 的显着性（例如，通过使用正态近似或威尔逊分数）。
与卡方方法相比，这种方法的缺点/优点是什么？是不是完全被误导了？它们是等价的吗？
难道你不应该赞成Fisher在 2x2 列联表上的精确检验吗？卡方检验的优点将被保留，并具有精确检验的额外优点。根据一些手册阅读，我认为主要推荐用于低细胞计数的 Fisher 精确检验，但也经常推荐用于 2x2 表。
假设你有
情况1：
A=200, B=100
C=100, D=200
相对
案例二：
A=200, B=0
C=200, D=200
案例 2 中的 B=0 意味着案例 2 提供了比案例 1 更强有力的证据来证明 X 和 Outcome 之间的关系；但在你的测试中，这两种情况的得分都是一样的。
卡方检验，通俗地说，不仅考虑到“X XOR 结果”关系（这是你测试的），还考虑到“X 暗示结果”、“不是 X 暗示结果”等。
费舍尔精确法曾经只推荐用于低细胞计数，因为在“黑暗时代”，将其用于大量细胞计数在计算上是不可行的。事实上，在一些近似值中正确地进行小计数需要应用校正。
无论如何，所涉及的超几何测试是好的和强大的。通过将它们分解为 2x2 表，可以将它们推广到 NxM 表，其中行和列的显着性计数保存在第 1 行和第 1 列中，它们的补码相加分别形成第 2 行和第 2 列。
有关详细介绍，请参见http://www.stat.psu.edu/online/courses/stat504/03_2way/30_2way_exact.htm以及 Bishop 和 Fienberg 以及 Agresti 的文本。
实现与超几何的联系可以让您选择交叉点是否代表独立性的两个方面，让误报和效应大小都被指定。
我喜欢 Bishop 和 Fienberg 以及 Fienberg 的书：
http://www.amazon.com/Discrete-Multivariate-Analysis-Theory-Practice/dp/0387728058/
http://www.amazon.com/Analysis-Cross-Classified-Categorical-Data/dp/0387728244/
以及 Zelterman 的相关文章：
http://www.amazon.com/Models-Discrete-Data-Daniel-Zelterman/dp/0198567014/
KL 散度是另一个很好的检验统计量。对于较大的预期细胞计数，它与卡方具有非常相似的属性，但即使在预期细胞计数很小的情况下也能保留这些“良好”属性。
KL 散度由下式给出：
除非你的假设（通过指定与数据相矛盾什么时候. 为了独立，我们有等，如卡方检验。这在某些统计数据包中也称为“似然比卡方”。为了计算 p 值，它与 pearson 卡方没有什么不同（它们都需要大渐近卡方分布）。但是您不需要 p 值，因为这是对数似然比，因此您可以直接解释数值。