置信区间是对某个参数的某个真实值的区间估计。让我们（作为示例）从正态分布均值的置信区间开始，然后继续讨论 ROC 和 AUC，以便看到类比。

假设您有一个随机正态变量$X \sim N(\mu;\sigma)$. 在哪里$\mu$是未知总体均值，为了简单起见，我们假设$\sigma$是已知的。

我们现在画一个大小的样本$n$从X的分布，即我们得到一个样本$x_1, x_2, \dots x_n$. 目标是对未知有一个想法$\mu$使用抽取的样本。众所周知，算术平均值$\bar{x}=\frac{1}{n}\sum_i x_i$是（未知数）的无偏（点）估计量$\mu$然后$[\bar{x}-1.96\frac{\sigma}{\sqrt{n}};\bar{x}+1.96\frac{\sigma}{\sqrt{n}}]$是一个$95\%$（未知数）的置信区间$\mu$.

如果我们再画一个样本$y_1, \dots , y_n$从分布$X$然后，以同样的方式，我们将找到（未知）的另一个置信区间$\mu$作为$[\bar{y}-1.96\frac{\sigma}{\sqrt{n}};\bar{y}+1.96\frac{\sigma}{\sqrt{n}}]$.

所以每次我们抽取一个大小的样本$n$从分布$X$，我们找到（未知）的置信区间$\mu$所有这些间隔都会有所不同。 事实上，它是一个$95\%$置信区间意味着，如果我们绘制“无限”个大小的样本$n$从分布$X$，并且对于这些样本中的每一个，我们计算$95\%$置信区间，则$95\%$所有这些间隔（每个样本一个间隔）将包含未知数$\mu$. （所以有时，即$5\%$的区间，这样的区间将不包含未知数$\mu$，所以有时你运气不好。）

AUC 也是如此，当您计算 AUC 时，您从样本中计算它，换句话说，您计算的是对真实未知AUC的估计。同样，对于您拥有的样本，您可以计算真实但未知的 AUC 的置信区间。如果您能够绘制无限数量的样本，并且为获得的每个样本计算真实 AUC 的置信区间，则$95\%$这些计算的间隔将包含真实但未知的 AUC。

请注意，间隔是随机的，因为它是从随机样本中计算出来的。真正的 AUC 不是随机的，它是您的人口的一些未知属性。

不幸的是你不能画出无限数量的样本，大多数时候你只有一个样本，所以你必须用一个间隔来做，但你很有信心（$95\%$如此计算的区间将包含真实的未知 AUC），该区间将包含真实的 AUC。是的，如果区间的下边界大于 0.5，那么您可以相当确信您的模型不是随机模型，但是，如上所述，您的样本也可能运气不好。

最好的解释可能是所谓的$c$统计量，结果等于 ROC 曲线下的面积。也就是说，如果你试图预测一些响应$Y$（通常是二进制的）使用分数$X$，那么$c$统计量定义为$P(X^\prime > X \mid Y^\prime > Y)$， 在哪里$X^\prime$和$Y^\prime$是独立的副本$X$和$Y$.

你会是$95\%$确信此条件概率的“真实”值位于指定区间内。如果下限高于，这将允许您更正式地拒绝您的模型不比随机更好的说法$1/2$.