1. 假设您的数据是正态分布的，那么可以使用标准误差，因为它是具有相同期望（均值）的正态分布数据所期望的误差。

2. 我们感兴趣的是有多少样本落入分布的“尾部”——即有多少样本落在某个范围之外。是置信区间 - 即如果我们设置，那么这定义了在理想情况下 95% 的数据应该位于的边界。我们使用逆 CDF来计算这些边界是什么。这也称为“Q 函数”，可以用误差函数表示为：$\alpha$$\alpha = 0.95$$\phi^-1$

$Q(x) =\tfrac{1}{2} - \tfrac{1}{2} \operatorname{erf} \Bigl( \frac{x}{\sqrt{2}} \Bigr)=\tfrac{1}{2}\operatorname{erfc}(\frac{x}{\sqrt{2}}).$（希望数学很快就会呈现出来！）

这在matlab中可用。所需的计算是2*(1-erfcinv(0.975))或1-erfcinv(0.95)因为$Q(x) = 1-\phi(x)$

1. 这实际上与我问的另一个问题有关。如果您期望分类分数呈正态分布，答案将是肯定的。但是我不确定这是否属实——您可能期望分数偏向 1（如果您使用准确性）并且几乎可以肯定不是对称的（即倾斜）。正如我的问题的一个答案所给出的那样，也许像McNemar's test这样的东西可能有用，尽管这确实是为了比较分类器。我想你可以为单个分类器做的最好的事情是提供许多训练/测试拆分的平均值和标准差，这是研究论文中的常见做法。