你是对的，如果你的“愚蠢”分类器知道测试集中成功的频率，它实际上就像一个预言机，而不是那么愚蠢。您正在泄漏测试集中的数据。很容易想象训练集和测试集之间存在巨大差异的极端情况，这种“愚蠢”分类器实际上会优于仅使用训练集训练的模型。

您应该做的是将您的“哑”分类器基于火车数据集的分布。事实上，对于二进制数据，预测均值或成功概率是假设平方误差或对数损失可以做出的最佳单值预测，因此它是最简单但并非完全无用的模型的一个很好的基准。

我喜欢我的解释$R^2$ 这里以及它如何与一个幼稚的模型相关联。你会寻找麦克法登的$R^2$我提到过，因为它将模型的对数损失与每次天真地预测先验概率的模型的对数损失进行比较，就像线性回归一样$R^2$天真地猜测汇集/边际均值$\bar y$每次都在“分母”中。

$$R^2_{McFadden}= 1- \dfrac{ \sum \big( y_i\log(\hat p_i)+ (1-y_i)\log(1-\hat p_i) \big) }{ \sum\big( y_i\log(p_{train})+ (1-y_i)\log(1-p_{train}) \big) }$$

分母是（与）您描述的有偏硬币的对数损失成正比。

这种质量的正值表示对“哑”分类器的改进。我们采取$p_{train}$在分母中使用我们对训练集的知识而不作弊并查看任何样本外数据。

编辑

如果你看到我写$R^2$在这里，你会看到我使用“naïve”这个词。我是这样看的：

你必须预测一张照片是狗还是猫的概率。显而易见的举动是查看照片并确定它是狗还是猫的可能性。然而，我不会给你看照片，但我会告诉你，狗的照片和猫的照片一样多（或者狗的数量是猫的十倍，或者任何比例）。

对照片一无所知，明智的，即使是幼稚的，猜测是类别比例（成为狗或成为猫的“先验”概率）。如果狗的照片和猫的照片一样多，猜猜有$50/50$两者的机会。如果每一张猫照片有九张狗照片，猜猜有$90\%$成为狗的机会$10\%$成为猫的机会。