假设我们有一个简单的二元分类模型(神经网络——NN),用于将输入图像分类为“狗”()或“非狗”()。让我们假设 NN 有一个“sigmoid 输出”。训练后,我们输入一张狗的图像,NN 的输出是例如。据我了解,根据模型,“0.8”这个值是特定图像是“狗”的概率(“置信度”),预测是“它是狗”(因为 0.8 > 0.5) .
但是真的是(真)概率吗?我的意思是:如果我们为 NN 提供许多不同的图像,并说其中 100 个,模型给出相同的。对于这个是一个真实的概率,我预计这些图像中有 80 个实际上是狗,而 20 个不是狗。为了检查这一点,我们将查看(假设它们存在)。在所有 100 张图像实际上都是狗的情况下,我们的模型做出了正确的预测(因为它正确地将所有这些都标记为狗,因为 0.8 > 0.5 对于所有 100 张图像),但不是真实的概率预测,因为它应该是1。这实际上是准确率,. 另一方面,如果 100 张图像中有 80 张实际上是狗,20 张不是狗,那么模型预测的准确度,因为它再次错误地将所有 100 张图像分类为狗,但实际上只有 80 张是狗. 然而,现在代表真实概率。在其他情况下,准确率可以是例如 0.9,这意味着预测的不是正确的概率,但比第一种情况更接近它。
所以,首先,我说的对吗?其次,“校准”是否解决了这个问题,即使 = accuracy 允许被解释为真实概率?