如果存在极端的类别不平衡（例如 5 个正例对 1,000 个负例），Brier 分数如何确保我们选择的模型能够在 5 个正例的高概率预测方面为我们提供最佳性能？因为我们不关心负例的预测值是否接近 0 或 0.5，只要它们相对低于正例的预测值。

这关键取决于我们是否可以根据预测变量区分具有不同类别概率的亚群。作为一个极端的例子，如果没有（或没有有用的）预测变量，那么所有实例的预测概率将是相等的，并且要求对负类和正类进行较低的预测是没有意义的，无论我们是在查看 Brier 分数还是其他损失职能。

是的，这很明显。但我们需要牢记这一点。

所以让我们看第二个最简单的情况。假设我们有一个预测变量，可以将我们的人口干净地分成两个亚群。在亚群 1 中，有 4 例阳性病例和 200 例阴性病例。在亚群 2 中，有 1 例阳性病例和 800 例阴性病例。（数字与您的示例相符。）同样，进一步细分亚群的可能性为零。

然后我们将得到属于正类的恒定预测概率$p_1$对于亚群 1 和$p_2$对于亚群 2。那么Brier 得分为

$$\frac{1}{5+1000}\big(4(1-p_1)^2+200p_1^2+1(1-p_2)^2+800p_2^2\big).$$

使用一点微积分，我们发现这是优化的

$$p_1 = \frac{1}{51} \quad\text{and}\quad p_2=\frac{1}{801},$$

这正是两个亚群中正类的比例。这反过来也是应该的，因为这就是 Brier 分数正确的意思。

你有它。正确的 Brier 分数将通过真实的类成员概率进行优化。如果您的预测变量允许您识别具有更高真实概率的子群体或实例，那么 Brier 分数将激励您输出这些更高的概率。相反，如果您无法识别此类亚群，那么 Brier 评分对您无能为力——但其他任何事情也无济于事，因为信息不存在。

但是，Brier 分数不会帮助您高估子群体 1 中的概率以及低估子群体 2 中超出真实值的概率$p_1=\frac{1}{51}$和$p_2=\frac{1}{801}$，例如，因为“亚群 1 中的阳性病例多于 2 中的阳性病例”。是的，就是这样，但是高估/低估这个值有什么用呢？我们已经知道基于差异的差异$p_1$和$p_2$，而偏向这些对我们毫无帮助。

特别是，ROC 分析除了找到一个“最佳”阈值（我在这里断言）之外没有任何帮助。最后，在这个分析中没有任何东西以任何方式取决于类是否平衡，所以我认为不平衡的数据集不是问题。

最后，这就是为什么我认为您提出的两个答案没有用。Brier 分数帮助我们获得真正的班级成员概率。然后我们如何处理这些概率将取决于我们的成本结构，并且根据我关于上述阈值的帖子，这是一个单独的问题。是的，根据这种成本结构，我们最终可能会得到分层 Brier 分数的代数重新表述版本，但将统计和决策理论方面分开可以使过程更加清晰。

论文“Class Probability Estimates are Unreliable for Imbalanced Data (and How to Fix Them)”（Wallace & Dahabreh 2012）认为，Brier 分数无法解释少数群体中的不良校准。他们提出了一个分层的 Brier 分数：

$$BS^+ = \frac{\sum_{y_i=1}\left(y_i- \hat{P}\left\{y_i|x_i\right\}\right)^2}{N_{pos}}$$ $$BS^- = \frac{\sum_{y_i=0}\left(y_i- \hat{P}\left\{y_i|x_i\right\}\right)^2}{N_{neg}}$$

不幸的是，这并没有给你一个单一的指标来优化，但你可以为你的模型取最大的分层 Brier 分数，以根据所有类的最差性能做出决定。

顺便说一句，作者指出，使用 Platt Scaling 获得的概率估计对于少数类也非常不准确。为了解决这个问题，提出了一些欠采样和装袋的组合。

如果存在极端的类别不平衡（例如 5 个正例对 1,000 个负例），Brier 分数如何确保我们选择的模型能够在 5 个正例的高概率预测方面为我们提供最佳性能？因为我们不关心负例的预测值是否接近 0 或 0.5，只要它们相对低于正例的预测值

它不能确保，请参阅我的反例：

为什么准确性不是评估分类模型的最佳衡量标准？

这并不意味着 Brier 分数不是一个好主意，只是它不是灵丹妙药（因为它没有考虑分析的目的，只是根据数据密度衡量各地概率估计的质量）。