如果您只训练分类器一次，我可能会选择McNemar 的测试。David Barber 还提出了一个相当简洁的贝叶斯测试，这对我来说似乎相当优雅，但并未广泛使用（在他的书中也提到过）。

补充一下，正如 Peter Flom 所说，只要查看性能差异和样本大小，答案几乎肯定是“是”（我引用的数字是测试集性能而不是训练集性能）。

顺便说一句，Japkowicz 和 Shah 最近有一本关于“评估学习算法：分类视角”的书，我还没有读过，但它看起来像是解决这类问题的有用参考。

我可以告诉你，甚至不用运行任何东西，这种差异在统计上将是非常显着的。它通过了 IOTT（眼间创伤测试 - 它在您的眼睛之间撞击）。

但是，如果您确实想进行测试，则可以将其作为两个比例的测试来进行-这可以通过两个样本的 t 检验来完成。

但是，您可能希望将“准确性”分解为其组成部分；敏感性和特异性，或假阳性和假阴性。在许多应用中，不同错误的代价是完全不同的。

由于在这种情况下准确度是正确分类的样本的比例，我们可以应用关于两个比例系统的假设检验。

让$\hat p_1$和$\hat p_2$分别是从分类器 1 和 2 获得的准确度，以及$n$是样本数。在分类器 1 和 2 中正确分类的样本数为$x_1$和$x_2$分别。

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

检验统计量由下式给出

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$在哪里$\quad\hat p= (x_1+x_2)/2n$

我们的目的是证明分类器 2 的全局精度，即$p_2$, 优于分类器 1，即$p_1$. 这将我们的假设框架为

• $H_0: p_1 = p_2\quad$（零假设说明两者相等）
• $H_a: p_1 < p_2\quad$（声称新的比现有的更好的替代hypotyesis）

拒绝区域由下式给出

$Z < -z_\alpha \quad$（如果真的拒绝$H_0$并接受$H_a$)

在哪里$z_\alpha$从与显着性水平相关的标准正态分布中获得，$\alpha$. 例如$z_{0.5} = 1.645$为 5% 的显着性水平。这意味着如果关系$Z < -1.645$是真的，那么我们可以用 95% 的置信水平说 ($1-\alpha$) 分类器 2 比分类器 1 更准确。

参考：

1. R. Johnson 和 J. Freund，Miller 和 Freund 的工程师概率和统计，第 8 版。Prentice Hall International，2011 年。（主要来源）
2. 假设检验——简明公式总结。（取自[1]）