如何解释AI做出的决策?一文梳理算法应用场景和可解释性(1)

简介: 如何解释AI做出的决策?一文梳理算法应用场景和可解释性


本文结合《Explanation decisions made with AI》指南,重点对算法的应用场景和可解释性分析进行了梳理总结。



英国的 Information Commissioner’s Office (ICO)和 The Alan-Turing Institute 联合发布了《Explanation decisions made with AI》指南。该指南旨在为机构和组织提供实用建议,以帮助向受其影响的个人解释由 AI 提供或协助的程序、服务和决定,同时帮助机构和组织遵循欧盟 GDPR 等与个人信息保护相关的政策要求。该指南分为三个部分,第 1 部分:可解释 AI 的基础知识;第 2 部分:可解释 AI 的实践;第 3 部分:可解释 AI 对机构 / 组织的意义。指南最后给出了主流的 AI 算法 / 模型的适用场景,以及对这些算法 / 模型的可解释性分析,可作为实践任务中结合应用场景特点选择能够满足领域要求的可解释性的 AI 算法 / 模型的参考。

本文结合《Explanation decisions made with AI》指南,重点对算法的应用场景和可解释性分析进行了梳理总结。此外,我们还解读了一篇医学领域可解释性方法的最新论文—《评估药物不良事件预测中基于注意和 SHAP 时间解释的临床有效性》,以了解关于可解释性方法的最新研究进展。

1、算法的应用场景和可解释性分析

《Explanation decisions made with AI》指南给出了主流的 AI 算法 / 模型的适用场景,以及对这些算法 / 模型的可解释性分析,作者对主流模型的可解释性情况进行了梳理总结。

算法类型

可能的应用

解释

线性回归 (LR)

在金融(如信用评分)和医疗保健(根据生活方式和现有的健康状况预测疾病风险)等高度监管的行业中具有优势,因为它的计算和监督都比较简单。

由于线性和单调性,具有较高的可解释性。随着特征数量的增加(即高维度),可解释性会变差。

逻辑回归

像线性回归一样,在高度管制和安全关键部门有优势,特别是在基于分类问题的用例中,如对风险、信用或疾病的是/否决策。

良好的可解释性,但不如LR,因为特征是通过逻辑函数转换的,与概率结果的关系是对数,而不是相加。

正则化回归(LASSO和Ridge)

与线性回归一样,在要求结果可理解、可获得和透明的高度监管和安全关键部门中具有优势。

由于通过更好的特征选择程序改善了模型的稀疏性,因此具有高度的可解释性。

广义线性模型(GLM)

适用于目标变量具有需要指数族分布集的约束条件的用例(例如,如果目标变量涉及人数、时间单位或结果的概率,则结果必须具有非负值。)

良好的可解释性水平,跟踪了LR的优点,同时也引入了更多的灵活性。因为其链接功能,确定特征的重要性可能不如用加性特征简单的LR那么直接,一定程度上失去了透明度。

广义加性模型(GAM)

适用于预测变量和响应变量之间的关系不是线性的(即输入-输出关系在不同时间以不同速度变化),但需要最佳可解释性的用例。

良好的可解释性,因为即使在存在非线性关系的情况下,GAM也可以用图形清晰地表示预测变量对响应变量的影响。

决策树

由于产生DT结果的分步逻辑对非技术用户来说很容易理解(取决于节点/特征的数量),这种方法可用于需要透明度的高风险和安全关键的决策支持情况,以及相关特征数量相当少的许多其他用例。

如果DT保持相当小的规模,那么可解释的程度就很高,这样就可以从头到尾跟踪逻辑。与LR相比,DT的优势在于前者可以适应非线性和变量交互,同时保持可解释性。

规则/决定清单和集

与DT一样,由于产生规则列表和规则集的逻辑对非技术用户来说很容易理解,这种方法可用于需要透明度的高风险和安全关键的决策支持情况,以及其他许多需要明确和完全透明地说明结果的用例。

规则列表和规则集是所有最佳性能和不透明的算法技术中具有最高程度的可解释性之一。然而,它们也与DT有相同的可能性,即当规则列表变长或规则集变大时,可理解的程度就会消失。

基于案例的推理(CBR)/原型和批评

CBR适用于任何基于经验的领域。推理用于决策的任何领域。例如,在医学上,当以前类似案例的成功经验指向决策者建议的治疗方法时,就会在CBR的基础上推荐。CBR扩展到原型和批评的方法意味着更好地促进对复杂数据分布的理解,以及增加数据挖掘的洞察力、可操作性和可解释性。

CBR是可以通过设计来解释的。它使用从可解释的设计中提取的例子。它使用从人类知识中提取的例子,以便将输入的特征吸收到人类可识别的表征中。它通过稀疏的特征和熟悉的原型保留了模型的可解释性。

超稀疏线性整数模型(SLIM)

SLIM已被用于需要快速、简化而又最准确的临床决策的医疗应用中。一个被称为风险校准SLIM(RiskSLIM)的版本已被应用于刑事司法领域,表明其稀疏线性方法对生态犯罪的预测与目前使用的一些不透明模型一样有效。

由于其稀疏和易理解的特点,SLIM为以人为中心的决策支持提供了最佳的可解释性。作为一个手动完成的评分系统,它还确保了实施它的引导员-用户的积极参与。

Naïve Bayes

虽然这种技术由于不现实的特征独立性假设而被认为是naive的,但众所周知它是非常有效的。它的快速计算时间和可扩展性使其适合于高维特征空间的应用。
常见的应用包括垃圾邮件过滤、推荐系统和情感分析。

Naive Bayes分类器具有高度的可解释性,因为每个特征的类成员概率是独立计算的。然而,假设独立变量的条件概率在统计上是独立的,这也是一个弱点,因为没有考虑特征的相互作用。

K近邻(KNN)

KNN是一种简单、直观、多功能的技术,应用广泛,但对较小的数据集效果最好。由于它是非参数性的(对基础数据分布不做任何假设),它对非线性数据很有效,同时不失可解释性。常见的应用包括推荐系统、图像识别、客户评级和排序。

KNN的工作假设是,通过查看它们所依赖的数据点与产生类似类别和结果的数据点的接近程度,可以预测类别或结果。这种关于近似性/接近性的重要性的直觉是对所有KNN结果的解释。当特征空间保持小的时候,这样的解释更有说服力,所以实例之间的相似性仍然是可以得到的。

SVM

SVM对于复杂的分类任务来说是非常通用的。它们可以用来检测图像中物体的存在(有脸/无脸;有猫/无猫),对文本类型进行分类(体育文章/艺术文章),以及识别生物信息学中感兴趣的基因。

可解释性水平低,取决于维度特征空间。在上下文确定的情况下,使用SVM应辅以辅助解释工具。

ANN

ANN最适合于完成高维特征空间的各种分类和预测任务,即有非常大的输入向量的情况。它们的用途可能包括计算机视觉、图像识别、销售和天气预报、药品发现和股票预测、机器翻译、疾病诊断和欺诈检测。

由于曲线(极端非线性)的倾向和输入变量的高维度,导致ANN非常低的可解释性。ANN被认为是 "黑盒 "技术的缩影。在适当的情况下,应当引入解释工具辅助ANN的使用。

随机森林

随机森林经常被用来有效地提高单个决策树的性能,改善其错误率,并减轻过拟合。它们在基因组医学等高维问题领域非常流行,也被广泛用于计算语言学、计量经济学和预测性风险建模。

由于在bagged数据和随机特征上训练这些决策树群的方法、特定森林中的树木数量以及单个树木可能有数百甚至数千个节点的可能性,可能导致随机森林方法非常低的可解释性。

集合方法

集合方法有广泛的应用,跟踪其组成学习者模型的潜在用途(包括DT、KNN、随机森林、NaiveBayes,等等)。

集合方法的可解释性因使用何种方法而不同。例如,使用bagging技术的模型,即把在随机数据子集上训练的学习者的多个估计值平均起来,其原理可能难以解释。对这些技术的解释需求应该结合其组成学习者的情况分别考虑。


2、评估药物不良事件预测中基于注意力机制和 SHAP 时间解释的临床有效性


可解释的机器学习是一个新兴的领域,它尝试以更人性化的方式帮助我们理解黑盒分类器模型的决策。特别是对于医疗领域,可解释性对于提供公开透明的分析和合法的决策结果至关重要。具备可解释性,一线医疗利益相关者就可以信任模型的决定并采取适当的行动。此外,全面的可解释性能够确保医疗实施的用户可能获取监管权利,例如根据欧盟通用数据保护条例(GDPR):"获得解释的权利"。

在医疗领域,深度学习模型应用于电子健康记录(Electronic Health Record,EHR)数据获得了很好的效果。例如循环神经网络(RNN)能够有效捕捉 EHR 中时间相关的和异质的数据复杂性。然而,RNNs 的一个主要缺点是缺乏内在的可解释性。在过去的研究过程中,已经产生了几种使 RNNs 更具解释性的方法,例如,通过引入注意力机制使模型本身更易解释,如用 RETAIN;事后可解释性框架(如 SHAP)可以应用于概述 RNNs 的时间解释等等。

RETAIN[2]:用于分析 EHR 数据以预测病人未来出现心力衰竭的风险。RETAIN 受注意力机制启发,通过使用一个两层的神经注意力模型,并对 EHR 数据进行逆序输入系统,模拟医生满足病人需求及分析病人记录时专注于病人过去诊疗记录中某些特殊临床信息、风险因素的过程,在保证预测结果准确性(Accuracy)的同时确保了结果的可解释性(interpretability)。


SHAP[3]:来自于博弈论原理,SHAP(SHapley Additive exPlanations)为特征分配特定的预测重要性值,作为特征重要性的统一度量,能够解释现代机器学习中大多数的黑盒模型,为机器学习模型量化各个特征的贡献度。给定当前的一组特征值,特征值对实际预测值与平均预测值之差的贡献就是估计的 Shapley 值。


然而,关于医学预测领域 RNN 的可解释技术所提供的时间解释的质量,还存在着研究空白。支持和反对使用注意力作为解释方法的论点都存在,一些证据表明,使用注意力得分可以提供足够的透明度来解释单个特征如何影响预测结果。而还有一些证据则质疑了注意力机制的有效性,因为注意力值和更直观的特征重要性测量之间的相关性很弱。在实践中,用于模型解释的可视化平台已经成功地利用了注意力分数来为医学预测提供解释。然而,使用注意力值的整体效用还需要更深入的验证,特别是与利用其他可解释方法(如 SHAP)相比。

本文的主要目标是探索具有内在可解释性的 RNN 通过注意力机制能够在多大程度上提供与临床兼容的时间解释,并评估这种解释应该如何通过应用事后方法来补充或取代,例如对黑盒 RNN 的 SHAP。本文具体在药物不良事件(Adverse Drug Event,ADE)预测的医学背景下探讨这个问题。结合我们所解读的《Explanation decisions made with AI》指南,这篇文章所讨论的是典型的必须应用非线性统计技术的情况。在上一章节的梳理中,指南已经明确“由于曲线(极端非线性)的倾向和输入变量的高维度,导致 ANN 非常低的可解释性。ANN 被认为是 "黑盒" 技术的缩影。在适当的情况下,应当引入解释工具辅助 ANN 的使用。”。因此,本文所做的工作就是为应用于医学领域的 ANN 方法引入适当的辅助解释工具(注意力机制和 SHAP 时间解释)。当然,正如我们在之前的解读中分析的,在一些应用场景中,简单的白盒模型 / 方法无法满足应用需要,为了保证较高的准确度 / 预测率,有时必须采用黑盒算法 / 模型。而如何在这种情况下通过引入辅助解释工具帮助模型 / 系统的用户更好的理解解释,就是下面这篇论文会详细介绍的了。


相关文章
|
4天前
|
数据采集 机器学习/深度学习 算法
机器学习方法之决策树算法
决策树算法是一种常用的机器学习方法,可以应用于分类和回归任务。通过递归地将数据集划分为更小的子集,从而形成一棵树状的结构模型。每个内部节点代表一个特征的判断,每个分支代表这个特征的某个取值或范围,每个叶节点则表示预测结果。
15 1
|
9天前
|
机器学习/深度学习 人工智能 编解码
AI - 支持向量机算法
**支持向量机(SVM)**是一种用于二分类的强大学习算法,寻找最佳超平面以最大化类别间间隔。对于线性可分数据,SVM通过硬间隔最大化找到线性分类器;非线性数据则通过核技巧映射到高维空间,成为非线性分类器。SVM利用软间隔处理异常或线性不可分情况,并通过惩罚参数C平衡间隔和误分类。损失函数常采用合页损失,鸢尾花数据集常用于SVM的示例实验。
|
9天前
|
机器学习/深度学习 人工智能 Dart
AI - 机器学习GBDT算法
梯度提升决策树(Gradient Boosting Decision Tree),是一种集成学习的算法,它通过构建多个决策树来逐步修正之前模型的错误,从而提升模型整体的预测性能。
|
13天前
|
算法 数据可视化 Python
Python中的决策树算法探索
Python中的决策树算法探索
|
13天前
|
机器学习/深度学习 自然语言处理 算法
Adam优化算法和应用场景
Adam(Adaptive Moment Estimation)是一种用于训练深度学习模型的优化算法
24 2
|
19天前
|
机器学习/深度学习 算法 前端开发
决策树与随机森林算法在分类问题中的应用
本文探讨了决策树和随机森林两种监督学习算法,它们在分类任务中表现出强大的解释性和预测能力。决策树通过特征测试进行分类,构建涉及特征选择、树生成和剪枝。随机森林是集成学习方法,通过构建多棵决策树并汇总预测结果,防止过拟合。文中提供了Python代码示例,展示如何使用sklearn构建和应用这些模型,并讨论了参数调优和模型评估方法,如交叉验证和混淆矩阵。最后,强调了在实际问题中灵活选择和调整模型参数的重要性。
42 4
|
19天前
|
存储 机器学习/深度学习 算法
使用决策树算法预测隐形眼镜类型
使用决策树算法预测隐形眼镜类型
25 2
|
19天前
|
存储 算法 Python
决策树算法
决策树算法
13 2
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
AI大模型的核心成功因素通常可以归结为三大要素:大数据、大算力和强算法。
AI大模型的核心成功因素通常可以归结为三大要素:大数据、大算力和强算法。
23 0
|
11天前
|
机器学习/深度学习 算法 数据可视化
决策树算法:从原理到实践的深度解析
决策树算法:从原理到实践的深度解析
16 0