通过对我数据的子部分的目视检查，我估计大约 5-6% 的标签是不正确的。

我的分类器仍然表现良好，当我对给定类进行与实际标签相反的预测概率高于 0.95 时，我发现 92% 的分类器预测是正确的。因此，例如，带有标签肯定的评论文本具有 >= .95 的否定概率，实际上大部分时间都是否定的。

因此，我可以使用最自信的预测来纠正一些嘈杂的标签吗？并且不对校正后的数据进行重新训练，而是使用概率来校正验证集和测试集以获得更准确的最终性能并校准估计值（因为嘈杂的标签可能对校准特别有害）。

编辑：跟进下面的答案。

当我在未校正的标签上训练然后预测测试集时，我得到：

当我为正确的测试集训练正确的标签时，我得到：

同样，在未校正数据上训练的模型在原始未校正测试集上的性能优于使用校正数据训练的模型。不知何故，仅从训练集中删除具有高置信度的不正确标签似乎会降低未见数据的性能。我可能不得不删除所有不正确的标签，而不仅仅是那些通过高置信度确定的标签。

编辑编辑：经过一段时间的实验，我得出了以下结论：

似乎预测可以用于标签校正，但应该使用不同的估计器来尝试确定哪些标签不正确。当我使用相同的估计器时，尽管大多数标签校正是有效的（我根据对 500 个样本子集的目视检查确定了 92-93%），但它仍然导致新的预测估计存在偏差。新的估计过于自信（急剧趋向于零和一）。这要么是由于校正，要么可能是由于数据集中的噪声太少（我考虑了噪声实际上有助于估计器不过度拟合的可能性。神经网络被发现校准不佳，作者这篇文章表明，高估实际上可能是一种过度拟合）。