神经网络是否像决策树一样具有可解释性?

数据挖掘 神经网络
2021-09-21 03:13:24

在决策树中,我们可以理解树结构的输出,也可以可视化决策树是如何做出决策的。所以决策树具有可解释性(它们的输出可以很容易地解释。)

我们在神经网络中是否像决策树一样具有可解释性?

4个回答

我不同意之前的答案和您的建议,原因有两个:

1)决策树基于简单的逻辑决策,它们组合在一起可以做出更复杂的决策。但是,如果您的输入有 1000 个维度,并且学习的特征是高度非线性的,那么您将获得一个非常大且重的决策树,您将无法仅通过查看节点来阅读/理解。

2)神经网络类似于神经网络,它们学习的功能只有在它们非常小的情况下才能理解。当变大时,您需要其他技巧来理解它们。正如@SmallChess 建议的那样,您可以阅读这篇名为Visualizing and Understanding Convolutional Networks的文章,该文章解释了卷积神经网络的特殊情况,您如何阅读权重来理解诸如“它在这张图片中检测到一辆汽车,主要是因为轮子,而不是其他组件”。

这些可视化帮助许多研究人员真正了解了他们神经架构中的弱点,并帮助改进了训练算法。

不。神经网络通常很难理解。您可以用预测能力换取模型的复杂性。虽然可以以图形方式可视化 NN 权重,但它们并不能准确地告诉您决策是如何做出的。祝你好运尝试理解深度网络。

有一个流行的 Python 包(它有一篇论文)可以使用更简单的模型在本地对 NN 进行建模。你可能想看看

https://arxiv.org/abs/1704.02685提供了一个NN特有的局部解释工具:deep lift。它通过传播您要解释的实例和参考实例之间的激活差异来工作。获得参考有点棘手,但该工具总体上似乎是可解释和可扩展的。它可以用于表格数据。

一般来说,决策树由于其结构而易于理解。然而,在大多数应用程序中,它们变得如此之大,以至于您很容易看不见。此外,在大多数情况下,您希望将随机森林用作一种集成方法而不是单个决策树,然后再一次,您无法解释一棵树。

对于神经网络,有一种新的研究方法即将出现,称为“可解释的 AI”,它试图让我们理解神经网络预测的原因。一种方法是所谓的积分梯度,它计算每个输入特征对预测的重要性。