可解释的人工智能 (XAI)关注的是可以增强人工智能的可解释性、问责制和透明度的技术的开发，特别是机器学习算法和模型，尤其是黑盒算法和模型，例如人工神经网络，因此这些也可以在需要可解释性和理解结果（例如分类）的领域中采用，例如医疗保健。
有哪些 XAI 技术？
如果有很多，为避免使这个问题过于宽泛，您可以只提供一些示例（最著名或最有效的示例），并且对于对更多技术和细节感兴趣的人，您还可以提供一个或多个参考/调查/ 详细介绍 XAI 的书籍。这个问题的想法是人们可以很容易地找到一种他们可以研究的技术，以了解 XAI 的真正含义或如何处理它。
可解释的AI和模型可解释性是当前研究的超活跃和超热门领域（想想圣杯之类的），最近提出这些领域的原因尤其是由于深度学习模型在各种任务中的（通常是巨大的）成功，加上算法公平和问责制的必要性。
以下是一些最先进的算法和方法，以及实现和框架。
与模型无关的方法
LIME: Local Interpretable Model-agnostic Explanations ( paper , code , blog post , R port )
SHAP：解释模型预测的统一方法（论文、Python 包、R 包）。NVIDIA 使用 RAPIDS-GPUTreeShap 对树模型的 GPU 实现（论文、代码、博客文章）
Anchors: High-Precision Model-Agnostic Explanations ( paper , authors' Python code , Java implementation)
黑盒审计和证明并消除不同的影响（作者的Python 代码）
SHAP似乎在从业者中享有很高的知名度；该方法在合作博弈论（Shapley 值）上有坚实的理论基础，并且在一个共同的框架下很大程度上整合了 LIME 方法。尽管与模型无关，但可用于神经网络 ( DeepExplainer ) 和树集成 ( TreeExplainer , paper ) 的特定且高效的实现。
神经网络方法（主要但不限于计算机视觉模型）
神经网络的逐层相关传播（LRP）工具箱（2015 年论文@PLoS ONE，2016 年论文@JMLR，项目页面，代码，TF Slim 包装器）
Grad - CAM : Visual Explanations from Deep Networks via Gradient - based Localization _
Axiom-based Grad-CAM (XGrad-CAM): Towards Accurate Visualization and Explanation of CNNs，对现有 Grad-CAM 方法的改进（论文、代码）
TCAV：使用概念激活向量进行测试（ICML 2018 论文，Tensorflow 代码）
集成渐变（论文、代码、Tensorflow 教程、独立实现）
Network Dissection: Quantifying Interpretability of Deep Visual Representations，作者：MIT CSAIL（项目页面、Caffe 代码、PyTorch 端口）
GAN Dissection: Visualizing and Understanding Generative Adversarial Networks，MIT CSAIL（项目页面，附有论文和代码链接）
Distilling a Neural Network into a Soft Decision Tree，Geoff Hinton 于 2017 年发表的一篇论文，具有各种独立的 PyTorch 实现
了解单个单元在深度神经网络中的作用（预印本，2020 年论文@PNAS，代码，项目页面）
库和框架
随着可解释性走向主流，已经有框架和工具箱包含了不止一种上面提到和链接的算法和技术；这是部分列表：
Google 的 What-If 工具，开源 TensorBoard Web 应用程序的一项功能，让用户无需编写代码即可分析 ML 模型（项目页面、代码、博客文章）
Google 的 Language Interpretability Tool (LIT)，一种用于 NLP 模型的可视化交互式模型理解工具（项目页面、代码、博客文章）
Facebook 的TorchRay，一个 PyTorch 包，为深度 CNN 实现了几种可视化方法
AI Explainability 360，由 IBM 启动并移至 Linux Foundation（主页、代码、文档、IBM Bluemix、博客文章）
H2O 无人驾驶 AI 中机器学习可解释性的秘诀（repo）
评论和一般论文
解释黑盒模型的方法调查（2018 年，ACM 计算调查）
可解释机器学习中的定义、方法和应用（2019，PNAS）
停止为高风险决策解释黑盒机器学习模型，转而使用可解释模型（2019，Nature Machine Intelligence，预印本）
机器学习可解释性：方法和指标调查（2019 年，电子学）
可解释机器学习原理与实践（2020，预印本）
可解释的机器学习——简史、最新技术和挑战（Christoph Molnar在2020 ECML XKDD 研讨会上的主题演讲、视频和幻灯片）
可解释的人工智能 (XAI)：负责任的 AI 的概念、分类法、机遇和挑战（2020 年，信息融合）
机器学习的反事实解释：评论（2020 年，预印本，Judea Pearl的评论）
Cloudera Fast Forward 的应用研究报告Interpretability 2020定期更新
解释 NLP 模型的预测（EMNLP 2020 教程）
电子书（可在线获取）
解释性模型分析，由 DALEX 创建者 Przemyslaw Biecek 和 Tomasz Burzykowski 提供，包含 R 和 Python 代码片段
机器学习可解释性简介（2019 年第 2 版），作者：H2O
在线课程和教程
机器学习可解释性，Kaggle 教程
可解释的AI：场景分类和 GradCam 可视化，Coursera 指导项目
在 R 中使用 LIME 和 H2O 进行可解释机器学习，Coursera 指导项目
机器学习中的可解释性和可解释性，哈佛 COMPSCI 282BR
其他资源
解释.ai 博客
一个Twitter 线程，链接到可用于 R 的多个解释工具
Awesome Machine Learning Interpetability repo中的一大堆资源
在线漫画书 (!) The Hitchhiker's Guide to Responsible Machine Learning，由教科书解释模型分析背后的团队和上面提到的 DALEX 包（博客文章和后台）
有一些XAI 技术（部分）与要解释的模型无关
逐层相关传播 (LRP)，在On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation (2015)中介绍
本地可解释的与模型无关的解释 (LIME)，在“我为什么要相信你？”中介绍 解释任何分类器的预测(2016)
模型不可知对比解释方法 (MACEM)，在结构化数据的模型不可知对比解释(2019)中引入
还有一些 ML 模型不被视为黑盒，因此比黑盒更易于解释，例如
有关此类技术和模型的更完整列表，请查看 Christoph Molnar 的在线书籍Interpretable Machine Learning: A Guide for Making Black Box Models Explainable ，该书试图对主要的 XAI 技术进行分类和介绍。
雅克·皮特拉 (Jacques Pitrat) 的上一本书《 人工存在者意识机器的良心》 (Artificial Beings The Conscience of a Conscious Machine ) 有一些有趣的章节（§2、§3、§5、§6、§7）与 AI 系统中的解释和元解释问题相关。
它描述了一种自反的“专家系统”，例如基于元知识的可解释人工智能方法
您还可以在线阅读他的论文 Implementation of a Reflective System (1996) 和A Step to an Artificial AI Scientist（其中可能有错别字：“pile”是法语中的堆栈，包括调用堆栈）。
您还可以查看 J.Pitrat 的博客和正在进行的RefPerSys项目（时间为 2020 年 11 月）。
PS。J.Pitrat（生于 1934 年）于 2019 年 10 月去世。法国读者可以看到这一点。他的博客可能会在几个月后消失。
集成梯度用于衡量预测的特征重要性。您可以通过阅读这篇关于在 Transformer 模型上使用该方法的文章来深入了解。