当我在这篇文章中写下“不确定性”时,我的意思是:
如果我有一个分类器进入类别,并且对于观察,我以概率分类到,那么这个决定的不确定性是。
我想询问一下这个概念与准确性和可解释性的联系。
例如,如果我有一个“非常确定”的分类器(在测试/训练集的平均值/中位数上),该属性与实现实时准确预测相关的频率如何?反之呢?
此外,如果我的分类器是“确定的”,这将如何影响我在任何意义上解释其决定的能力?
对于这种不确定性的概念和这些问题,我找不到好的资源,所以我也非常感谢一些参考资料!
当我在这篇文章中写下“不确定性”时,我的意思是:
如果我有一个分类器进入类别,并且对于观察,我以概率分类到,那么这个决定的不确定性是。
我想询问一下这个概念与准确性和可解释性的联系。
例如,如果我有一个“非常确定”的分类器(在测试/训练集的平均值/中位数上),该属性与实现实时准确预测相关的频率如何?反之呢?
此外,如果我的分类器是“确定的”,这将如何影响我在任何意义上解释其决定的能力?
对于这种不确定性的概念和这些问题,我找不到好的资源,所以我也非常感谢一些参考资料!
恐怕有点混乱:
现在的主要问题是:无论您如何根据分类器预测的概率调用置信度度量,它都是不可靠的。考虑到它在训练集中看到的数据和实例的特征,预测充其量是分类器的明智决定。但它可以是随机分类器,或多数分类器:在这些情况下,它“预测”的概率是任意的。假设你是一名老师,你的一个学生说“x=2+2 的答案是 x=5”,我 100% 确定。学生“100% 确定”这一事实并不能让他们对,分类器也是如此。换句话说,任何可靠的不确定性度量都涉及黄金标准答案,因此它通常是评估过程的一部分。那它与准确性没有直接联系,以这种方式解释它是错误的。
可解释性(或可解释性)是完全不同的事情:总的想法是知道分类器预测的答案是否可以被人类理解。通常,像朴素贝叶斯或决策树模型这样的传统模型比深度神经网络模型更直接可解释(至少没有太多特征)。