所描述的差异是恕我直言假的。

只有当真正正面案例的分布（即参考方法说它是正面案例）在折叠（如示例中）和相关测试案例的数量（性能度量的分母）上非常不相等时，您才会观察到它我们正在谈论，这里真正的积极）在平均折叠平均值时没有考虑在内。

如果你加权前三倍的平均值$\frac{4}{12} = \frac{1}{3}$（因为总共 12 个用例中有 4 个测试用例与精度计算相关），最后 6 倍平均值为 1（所有与精度计算相关的测试用例），加权平均值与您的完全相同将 10 折的预测汇集起来，然后计算精度。

编辑：原始问题还询问了有关迭代/重复验证的问题：

是的，你应该运行整个迭代$k$-折叠交叉验证程序：
从中，您可以了解模型预测的稳定性

• 如果训练数据因交换几个训练样本而受到干扰，预测会有多大变化？
• 即，对于同一个测试样本，不同“代理”模型的预测有多大差异？

你要的是科学论文：

• 搜索词被迭代或重复交叉验证。
• 说“你应该这样做”的论文：
  
  • 多尔蒂，急诊室；司马，C。华，J。Hanczar, B. & Braga-Neto, UM：分类当前生物信息学的误差估计器的性能，2010, 5, 53-67。是一个很好的起点。
  • 对于光谱数据，我做了一些模拟Beleites, C.；鲍姆加特纳，R.；鲍曼，C。索莫尔杰，R.；施泰纳，G。Salzer, R. & Sowa, MG：使用稀疏数据集估计分类误差的方差减少。Chem.Intell.Lab.Syst., 2005, 79, 91 - 100.
    预印本
• 我经常使用它，例如Beleites, C.；盖革，K。基尔希，M。索博特卡，某人；Schackert, G. & Salzer, R.：星形细胞瘤组织的拉曼光谱分级：使用软参考信息。Anal Bioanal Chem, 2011, 400, 2801-2816

低估方差 最终，您的数据集的样本量是有限的（n = 120），无论您进行了多少次引导或交叉验证迭代。

• 在重采样（交叉验证和自举）验证结果中，您（至少）有 2 个方差来源：

  • 由于有限数量的（测试）样本引起的方差
  • 由于代理模型预测的不稳定性导致的方差

• 如果你的模型是稳定的，那么

  • 的迭代$k$不需要-fold 交叉验证（它们不会提高性能估计：每次运行交叉验证的平均值是相同的）。
  • 然而，由于测试样本的数量有限，性能估计仍然会受到方差的影响。
  • 如果您的数据结构是“简单的”（即每个统计独立案例的单个测量向量），您可以假设测试结果是伯努利过程（抛硬币）的结果并计算有限测试集方差。

• out-of-bootstrap 查看每个代理模型预测之间的差异。交叉验证结果也是可能的，但这种情况并不常见。如果这样做，除了不稳定性之外，您还会看到由于样本量有限而导致的方差。但是，请记住（通常）已经发生了一些池化：通常用于交叉验证$\frac{n}{k}$结果被合并，并且对于自举，不同数量的遗漏样本被合并。
  这让我个人更喜欢交叉验证（目前），因为它更容易将不稳定性与有限的测试样本大小区分开来。

你应该做得分（连接）。该领域普遍存在一种误解，即平均（分数）是最好的方法。它可能会在您的估计中引入更多偏差，尤其是在稀有类别上，就像您的情况一样。这是支持这一点的论文：

http://www.kdd.org/exploration_files/v12-1-p49-forman-sigkdd.pdf

在论文中，他们使用“Favg”代替您的“mean（scores）”和“Ftp，fp”代替您的“score（concatenation）”

玩具示例：

想象一下，你有 10 次交叉验证和一个出现 10 次的类，并且恰好被分配，因此它在每个折叠中出现一次。此外，该类总是被正确预测，但数据中有一个假阳性。包含假阳性的测试折叠将有 50% 的准确率，而所有其他折叠将有 100%。所以平均（分数）= 95％。另一方面，score(concatenation) 为 10/11，约为 91%。

如果我们假设数据很好地代表了真实的总体，并且 10 个交叉验证分类器很好地代表了最终的分类器，那么真实世界的准确率将是 91%，而 95% 的平均（分数）估计值是有偏差的.

在实践中，您不会想要做出这些假设。相反，您可以使用分布统计来估计置信度，方法是随机排列数据并多次重新计算分数（连接），以及引导。