可解释和可解释的机器学习有什么区别?

数据挖掘 机器学习 术语 可解释的ai 解释
2021-09-18 01:17:00

O'Rourke说可解释机器学习使用黑盒模型并在之后对其进行解释,而可解释机器学习使用非黑盒模型。

Christoph Molnar说,可解释的 ML 是指人类能够理解(模型)决策原因的程度。然后,他交替使用可解释的 ML 和可解释的 ML。

维基百科在“可解释的人工智能”这一主题上说,它指的是人工智能方法和技术,以便人类专家可以理解解决方案的结果。它与机器学习中的黑匣子概念形成鲜明对比,即使他们的设计者也无法解释为什么人工智能会做出特定的决定。解释 AI 决策的技术挑战有时被称为可解释性问题。

Doshi-Velez 和 Kim说,可解释的机器学习系统为他们的输出提供了解释。

显然,有很多定义,但它们并不完全一致。最终,应该解释什么:模型的结果,模型本身或模型如何做出决策?解释和解释有什么区别?

4个回答

我发现了 Cynthia Rudin 的这篇文章,它更深入地探讨了这两个术语之间的区别,这与您在 O'Rourke 的来源一致。

核心是关于解释的时间和机制:

先验(可解释)与后验(可解释)

我发现这句话很有帮助,并且符合我自己的想法(强调我的想法):

与其试图创建本质上可解释的模型,不如说最近出现了“可解释机器学习”的工作爆炸式增长,其中创建了第二个(事后)模型来解释第一个黑盒模型这是有问题的。正如我们在下面讨论的那样,解释通常不可靠,并且可能具有误导性。如果我们改为使用本质上可解释的模型,它们会提供自己的解释,这些解释忠实于模型实际计算的内容

简而言之,一个可解释的模型能够输出人类可以理解的计算总结,让我们了解它是如何得出具体结论的。因此,人类将能够通过选择特定的输入来实际创建特定的期望结果。

然而,一个“仅仅”可解释的模型并不能提供这种输入,我们需要第二个模型或检查模式来创建一个“关于其机制的假设”,这将有助于解释结果,但不允许确定性地手动重建结果。

至于解释,我们需要每个级别的可解释性/可解释性-

  • 数据解释 - tsne,简单绘图。
  • 模型可解释性——通过创建代理模型
  • 全局可解释性——所有训练数据的特征重要性
  • 局部可解释性——每个预测的解释。

鸢尾花数据集上所有类型的可解释性,看看会很有趣

我自己对每天出现的与 XAI 相关的新流行词感到困惑(即使在开发了我们自己的 xai 框架之后)。考虑可解释性和可解释性指的是同一件事。人们只给了不同的名字。

可解释的机器学习是人工智能的领域由可解释的模型组成可以说区别在于一个是工具,另一个是研究领域。

简而言之,可解释机器学习是一种用于解决可解释机器学习领域中存在的问题的工具

定义你的答案:一个人应该使用一个可解释的模型来帮助“解释”模型并解释为什么模型会给出具体的结果。

详细说明:假设你需要一个cnn来分类图像中是否有狗。cnn 的架构将是机器学习问题的可解释方面。显示 cnn 输出和焦点的最终显着性图或热图将是其中可解释的部分。

在我看来,ML 模型的可解释性是指理解 ML 模型是如何形成的能力。通常,通过使用一些直觉来创建 ML 模型。但是,如果模型是基于先验知识设计的,例如展开算法,那么我们就知道它是如何工作的。可解释性指的是为什么,比如为什么模型会以这种方式做出决定。例如,情绪分析模型会总结带有正面标签的文本。这是为什么?因为文本中包含一些指示词,如amazing等。