与可解释性有关的不确定性

数据挖掘 准确性 可解释的ai
2022-02-28 08:34:18

当我在这篇文章中写下“不确定性”时,我的意思是:

如果我有一个分类器进入类别,并且对于观察,我以概率分类到,那么这个决定的不确定性是a1,..,anxxaipi1pi

我想询问一下这个概念与准确性和可解释性的联系。

例如,如果我有一个“非常确定”的分类器(在测试/训练集的平均值/中位数上),该属性与实现实时准确预测相关的频率如何?反之呢?

此外,如果我的分类器是“确定的”,这将如何影响我在任何意义上解释其决定的能力?

对于这种不确定性的概念和这些问题,我找不到好的资源,所以我也非常感谢一些参考资料!

1个回答

恐怕有点混乱:

  • 您为不确定性提出的定义并不能真正代表不确定性的概念:如果属于类别的概率,那么只是不属于类别的概率。pixai1pix ai
  • 是的,如果分类器分配了一个非常高的,比如 0.99,这应该意味着分类器对其预测非常有信心。但它也是非常低概率的情况:如果,分类器非常确信不属于根据您的定义,即使分类器非常自信,这种情况下的不确定性也会非常高(0.99),因此您的定义是不一致的。pipi=0.01xai

现在的主要问题是:无论您如何根据分类器预测的概率调用置信度度量,它都是不可靠的考虑到它在训练集中看到的数据和实例的特征,预测充其量是分类器的明智决定。但它可以是随机分类器,或多数分类器:在这些情况下,它“预测”的概率是任意的。假设你是一名老师,你的一个学生说“x=2+2 的答案是 x=5”,我 100% 确定。学生“100% 确定”这一事实并不能让他们对,分类器也是如此。换句话说,任何可靠的不确定性度量都涉及黄金标准答案,因此它通常是评估过程的一部分。那它与准确性没有直接联系,以这种方式解释它是错误的。

可解释性(或可解释性)是完全不同的事情:总的想法是知道分类器预测的答案是否可以被人类理解。通常,像朴素贝叶斯或决策树模型这样的传统模型比深度神经网络模型更直接可解释(至少没有太多特征)。