在实践中如何使用现有的可解释性方法？
Umang 提到了围绕 XAI（可解释 AI）的文献大幅增长。特别是，旨在“解释”机器学习输出的提议算法的增加。有了这个观察结果，Umang 的团队着手做的事情之一就是研究组织如何使用这些算法。
研究访谈
在他们的研究中，他们对来自 30 个不同组织的 50 人进行了半结构化访谈，访谈持续时间在 30 分钟到 2 小时之间。
共同语言
团队意识到需要共享和建立语言来思考可解释的人工智能，以便能够围绕该主题进行这些对话。 Umang 提供以下两个定义：
- 透明度：向利益相关者提供有关模型如何工作的相关信息：这包括训练过程的文档、训练数据分布的分析、代码发布、特征级别说明等。
- （本地）可解释性：提供对特定数据点的模型行为的洞察。
关键点在于，可解释性是一种实现透明的算法方法。
被问到的问题
一旦在访谈中建立了共同语言，受访者就会被问到以下问题：
- 您使用了哪种类型的解释（例如，基于特征的、基于样本的、反设事实（Counterfactuals）的或自然语言）？
- 谁是模型解释的受众（例如，研究科学家、产品经理、领域专家或用户）？
- 您在什么情况下部署了模型解释（例如，告知开发过程，告知人类决策者有关模型的信息，或告知最终用户如何根据模型的输出采取行动）？
解释类型
Umang 和他的团队发现了一些非常流行的解释类型：
- 特征重要性：使用相关性（重要）的特征，而不是相关性较小的特征（不重要），以做出正确的决策，并避免虚假相关性等误导性结论
- 样本重要性：尝试回答“在预测新测试点时哪些训练数据点最有影响力？”这个问题。
- 反设事实（Counterfactuals）：试图回答“为了改变这个预测变量的结果，你需要改变自己的哪些方面？”这个问题。
谁在乎可解释性？
他们意识到的下一件事是，谁是对 ML 可解释性有既得利益的利益相关者：
- 高管：团队发现公司的工程经理、首席数据科学家等曾有过这样的经历，他们的高管会要求他们开始使用可解释的机器学习，这样他们就可以说他们的公司使用可解释的机器学习。
- 工程师：他们是最普遍的利益相关者。 ML 工程师和数据科学家使用这些可解释性技术来健全地检查他们的模型。
- 最终用户：开发可消费的解释可以在最终用户和 AI 之间建立信任。
- 监管机构：监管机构，如法律、外交官和研究界，对了解 XAI 如何工作以了解它如何影响周围社区具有既得利益。
研究的最终发现
最终，团队确定了该研究的 3 个关键发现。
可解释性用于内部调试
如前所述，可解释的 AI 主要由 ML 工程师使用。他们在现有流水线之上添加了这一层 XAI 来检查他们的模型。正如一些 XAI 文献所宣称的那样，这些系统无法到达最终用户。他们发现这些系统的主要场景是内容审核和金融。
可解释性的目标没有在内部定义
他们发现，重要的利益相关者从一开始就没有参与，这最终使得解释很难被真实的人理解。与这些利益相关者合作并定义这些解释的目的和作用，并建立可解释性的目标非常重要。
建立可解释性目标：识别利益相关者，让利益相关者参与，并设计工作流程。
技术限制使得可解释性难以实时部署
研究中经常出现一些限制。
- 特征级别解释暴露的虚假相关性：如果我发现特征归因有问题，我该如何解决？
- 模型本身没有因果关系：高管和监管者希望将事物放入模型中，并希望看到它对结果的影响：他们希望看到某种相关性。这些模型可能根本不是因果关系，而是支持这种产生相关性的系统。
- 样本重要性在计算上无法大规模部署：哪些训练点与模型相似并产生相似的结果？这很难回答，尤其是在大规模上。
- 模型反转的隐私问题是存在的：如果我能给你解释，我就可以反转你的模型，反转你的训练数据并重建它，这成为了一个巨大的隐私问题。
是否可以使用现有的可解释性工具来确保模型不公平？
Umang 强调的这一部分的关键（也有点令人沮丧）的要点是：
- 特征重要性表明模型公平性并不可靠。
人们为什么要关心好的解释？
请注意来自 Umang 的以下示例。
- 具有相同精度的模拟模型（A、B），但模型 B 不重视年龄特征。
- 具有相同精度的模拟模型，但分配给不同特征的重要性不同。
这里有两个具有 3 个特征的模拟模型：
- 财富
- 年龄，以及
- 花费在做一些下游任务上的时间。
假设有人对他们使用相同的解释技术。第一个模型的解释将特征的重要性排列为时间>财富>年龄。 对第二个模型的解释将特征的重要性排序为时间>财富，年龄不重要。
这些模型可以以相同的精度执行相同的操作，但它们的解释却大不相同。 理论上，监管者可以进来说模型 A 是不公平的，因为它使用了一个歧视性属性，即年龄。
这个问题引出了另一个问题：人们应该如何在不损失准确性的情况下将模型 A 转换为模型 B？
试图影响解释
其实已经有一些工作涉及影响解释。本文探讨的解决方案是通过对参数的对抗性扰动来降级解释，以便作者可以隐藏不公平或歧视性的特征。或者简单地解释一下，攻击模型的参数，使得对某个特征（如年龄）的归因减少。
