如何解释AI做出的决策?一文梳理算法应用场景和可解释性(1)

简介: 如何解释AI做出的决策?一文梳理算法应用场景和可解释性


本文结合《Explanation decisions made with AI》指南,重点对算法的应用场景和可解释性分析进行了梳理总结。



英国的 Information Commissioner’s Office (ICO)和 The Alan-Turing Institute 联合发布了《Explanation decisions made with AI》指南。该指南旨在为机构和组织提供实用建议,以帮助向受其影响的个人解释由 AI 提供或协助的程序、服务和决定,同时帮助机构和组织遵循欧盟 GDPR 等与个人信息保护相关的政策要求。该指南分为三个部分,第 1 部分:可解释 AI 的基础知识;第 2 部分:可解释 AI 的实践;第 3 部分:可解释 AI 对机构 / 组织的意义。指南最后给出了主流的 AI 算法 / 模型的适用场景,以及对这些算法 / 模型的可解释性分析,可作为实践任务中结合应用场景特点选择能够满足领域要求的可解释性的 AI 算法 / 模型的参考。

本文结合《Explanation decisions made with AI》指南,重点对算法的应用场景和可解释性分析进行了梳理总结。此外,我们还解读了一篇医学领域可解释性方法的最新论文—《评估药物不良事件预测中基于注意和 SHAP 时间解释的临床有效性》,以了解关于可解释性方法的最新研究进展。

1、算法的应用场景和可解释性分析

《Explanation decisions made with AI》指南给出了主流的 AI 算法 / 模型的适用场景,以及对这些算法 / 模型的可解释性分析,作者对主流模型的可解释性情况进行了梳理总结。

算法类型

可能的应用

解释

线性回归 (LR)

在金融(如信用评分)和医疗保健(根据生活方式和现有的健康状况预测疾病风险)等高度监管的行业中具有优势,因为它的计算和监督都比较简单。

由于线性和单调性,具有较高的可解释性。随着特征数量的增加(即高维度),可解释性会变差。

逻辑回归

像线性回归一样,在高度管制和安全关键部门有优势,特别是在基于分类问题的用例中,如对风险、信用或疾病的是/否决策。

良好的可解释性,但不如LR,因为特征是通过逻辑函数转换的,与概率结果的关系是对数,而不是相加。

正则化回归(LASSO和Ridge)

与线性回归一样,在要求结果可理解、可获得和透明的高度监管和安全关键部门中具有优势。

由于通过更好的特征选择程序改善了模型的稀疏性,因此具有高度的可解释性。

广义线性模型(GLM)

适用于目标变量具有需要指数族分布集的约束条件的用例(例如,如果目标变量涉及人数、时间单位或结果的概率,则结果必须具有非负值。)

良好的可解释性水平,跟踪了LR的优点,同时也引入了更多的灵活性。因为其链接功能,确定特征的重要性可能不如用加性特征简单的LR那么直接,一定程度上失去了透明度。

广义加性模型(GAM)

适用于预测变量和响应变量之间的关系不是线性的(即输入-输出关系在不同时间以不同速度变化),但需要最佳可解释性的用例。

良好的可解释性,因为即使在存在非线性关系的情况下,GAM也可以用图形清晰地表示预测变量对响应变量的影响。

决策树

由于产生DT结果的分步逻辑对非技术用户来说很容易理解(取决于节点/特征的数量),这种方法可用于需要透明度的高风险和安全关键的决策支持情况,以及相关特征数量相当少的许多其他用例。

如果DT保持相当小的规模,那么可解释的程度就很高,这样就可以从头到尾跟踪逻辑。与LR相比,DT的优势在于前者可以适应非线性和变量交互,同时保持可解释性。

规则/决定清单和集

与DT一样,由于产生规则列表和规则集的逻辑对非技术用户来说很容易理解,这种方法可用于需要透明度的高风险和安全关键的决策支持情况,以及其他许多需要明确和完全透明地说明结果的用例。

规则列表和规则集是所有最佳性能和不透明的算法技术中具有最高程度的可解释性之一。然而,它们也与DT有相同的可能性,即当规则列表变长或规则集变大时,可理解的程度就会消失。

基于案例的推理(CBR)/原型和批评

CBR适用于任何基于经验的领域。推理用于决策的任何领域。例如,在医学上,当以前类似案例的成功经验指向决策者建议的治疗方法时,就会在CBR的基础上推荐。CBR扩展到原型和批评的方法意味着更好地促进对复杂数据分布的理解,以及增加数据挖掘的洞察力、可操作性和可解释性。

CBR是可以通过设计来解释的。它使用从可解释的设计中提取的例子。它使用从人类知识中提取的例子,以便将输入的特征吸收到人类可识别的表征中。它通过稀疏的特征和熟悉的原型保留了模型的可解释性。

超稀疏线性整数模型(SLIM)

SLIM已被用于需要快速、简化而又最准确的临床决策的医疗应用中。一个被称为风险校准SLIM(RiskSLIM)的版本已被应用于刑事司法领域,表明其稀疏线性方法对生态犯罪的预测与目前使用的一些不透明模型一样有效。

由于其稀疏和易理解的特点,SLIM为以人为中心的决策支持提供了最佳的可解释性。作为一个手动完成的评分系统,它还确保了实施它的引导员-用户的积极参与。

Naïve Bayes

虽然这种技术由于不现实的特征独立性假设而被认为是naive的,但众所周知它是非常有效的。它的快速计算时间和可扩展性使其适合于高维特征空间的应用。
常见的应用包括垃圾邮件过滤、推荐系统和情感分析。

Naive Bayes分类器具有高度的可解释性,因为每个特征的类成员概率是独立计算的。然而,假设独立变量的条件概率在统计上是独立的,这也是一个弱点,因为没有考虑特征的相互作用。

K近邻(KNN)

KNN是一种简单、直观、多功能的技术,应用广泛,但对较小的数据集效果最好。由于它是非参数性的(对基础数据分布不做任何假设),它对非线性数据很有效,同时不失可解释性。常见的应用包括推荐系统、图像识别、客户评级和排序。

KNN的工作假设是,通过查看它们所依赖的数据点与产生类似类别和结果的数据点的接近程度,可以预测类别或结果。这种关于近似性/接近性的重要性的直觉是对所有KNN结果的解释。当特征空间保持小的时候,这样的解释更有说服力,所以实例之间的相似性仍然是可以得到的。

SVM

SVM对于复杂的分类任务来说是非常通用的。它们可以用来检测图像中物体的存在(有脸/无脸;有猫/无猫),对文本类型进行分类(体育文章/艺术文章),以及识别生物信息学中感兴趣的基因。

可解释性水平低,取决于维度特征空间。在上下文确定的情况下,使用SVM应辅以辅助解释工具。

ANN

ANN最适合于完成高维特征空间的各种分类和预测任务,即有非常大的输入向量的情况。它们的用途可能包括计算机视觉、图像识别、销售和天气预报、药品发现和股票预测、机器翻译、疾病诊断和欺诈检测。

由于曲线(极端非线性)的倾向和输入变量的高维度,导致ANN非常低的可解释性。ANN被认为是 "黑盒 "技术的缩影。在适当的情况下,应当引入解释工具辅助ANN的使用。

随机森林

随机森林经常被用来有效地提高单个决策树的性能,改善其错误率,并减轻过拟合。它们在基因组医学等高维问题领域非常流行,也被广泛用于计算语言学、计量经济学和预测性风险建模。

由于在bagged数据和随机特征上训练这些决策树群的方法、特定森林中的树木数量以及单个树木可能有数百甚至数千个节点的可能性,可能导致随机森林方法非常低的可解释性。

集合方法

集合方法有广泛的应用,跟踪其组成学习者模型的潜在用途(包括DT、KNN、随机森林、NaiveBayes,等等)。

集合方法的可解释性因使用何种方法而不同。例如,使用bagging技术的模型,即把在随机数据子集上训练的学习者的多个估计值平均起来,其原理可能难以解释。对这些技术的解释需求应该结合其组成学习者的情况分别考虑。


2、评估药物不良事件预测中基于注意力机制和 SHAP 时间解释的临床有效性


可解释的机器学习是一个新兴的领域,它尝试以更人性化的方式帮助我们理解黑盒分类器模型的决策。特别是对于医疗领域,可解释性对于提供公开透明的分析和合法的决策结果至关重要。具备可解释性,一线医疗利益相关者就可以信任模型的决定并采取适当的行动。此外,全面的可解释性能够确保医疗实施的用户可能获取监管权利,例如根据欧盟通用数据保护条例(GDPR):"获得解释的权利"。

在医疗领域,深度学习模型应用于电子健康记录(Electronic Health Record,EHR)数据获得了很好的效果。例如循环神经网络(RNN)能够有效捕捉 EHR 中时间相关的和异质的数据复杂性。然而,RNNs 的一个主要缺点是缺乏内在的可解释性。在过去的研究过程中,已经产生了几种使 RNNs 更具解释性的方法,例如,通过引入注意力机制使模型本身更易解释,如用 RETAIN;事后可解释性框架(如 SHAP)可以应用于概述 RNNs 的时间解释等等。

RETAIN[2]:用于分析 EHR 数据以预测病人未来出现心力衰竭的风险。RETAIN 受注意力机制启发,通过使用一个两层的神经注意力模型,并对 EHR 数据进行逆序输入系统,模拟医生满足病人需求及分析病人记录时专注于病人过去诊疗记录中某些特殊临床信息、风险因素的过程,在保证预测结果准确性(Accuracy)的同时确保了结果的可解释性(interpretability)。


SHAP[3]:来自于博弈论原理,SHAP(SHapley Additive exPlanations)为特征分配特定的预测重要性值,作为特征重要性的统一度量,能够解释现代机器学习中大多数的黑盒模型,为机器学习模型量化各个特征的贡献度。给定当前的一组特征值,特征值对实际预测值与平均预测值之差的贡献就是估计的 Shapley 值。


然而,关于医学预测领域 RNN 的可解释技术所提供的时间解释的质量,还存在着研究空白。支持和反对使用注意力作为解释方法的论点都存在,一些证据表明,使用注意力得分可以提供足够的透明度来解释单个特征如何影响预测结果。而还有一些证据则质疑了注意力机制的有效性,因为注意力值和更直观的特征重要性测量之间的相关性很弱。在实践中,用于模型解释的可视化平台已经成功地利用了注意力分数来为医学预测提供解释。然而,使用注意力值的整体效用还需要更深入的验证,特别是与利用其他可解释方法(如 SHAP)相比。

本文的主要目标是探索具有内在可解释性的 RNN 通过注意力机制能够在多大程度上提供与临床兼容的时间解释,并评估这种解释应该如何通过应用事后方法来补充或取代,例如对黑盒 RNN 的 SHAP。本文具体在药物不良事件(Adverse Drug Event,ADE)预测的医学背景下探讨这个问题。结合我们所解读的《Explanation decisions made with AI》指南,这篇文章所讨论的是典型的必须应用非线性统计技术的情况。在上一章节的梳理中,指南已经明确“由于曲线(极端非线性)的倾向和输入变量的高维度,导致 ANN 非常低的可解释性。ANN 被认为是 "黑盒" 技术的缩影。在适当的情况下,应当引入解释工具辅助 ANN 的使用。”。因此,本文所做的工作就是为应用于医学领域的 ANN 方法引入适当的辅助解释工具(注意力机制和 SHAP 时间解释)。当然,正如我们在之前的解读中分析的,在一些应用场景中,简单的白盒模型 / 方法无法满足应用需要,为了保证较高的准确度 / 预测率,有时必须采用黑盒算法 / 模型。而如何在这种情况下通过引入辅助解释工具帮助模型 / 系统的用户更好的理解解释,就是下面这篇论文会详细介绍的了。


相关文章
|
26天前
|
算法 数据处理 C语言
C语言中的位运算技巧,涵盖基本概念、应用场景、实用技巧及示例代码,并讨论了位运算的性能优势及其与其他数据结构和算法的结合
本文深入解析了C语言中的位运算技巧,涵盖基本概念、应用场景、实用技巧及示例代码,并讨论了位运算的性能优势及其与其他数据结构和算法的结合,旨在帮助读者掌握这一高效的数据处理方法。
38 1
|
1天前
|
存储 监控 算法
员工上网行为监控中的Go语言算法:布隆过滤器的应用
在信息化高速发展的时代,企业上网行为监管至关重要。布隆过滤器作为一种高效、节省空间的概率性数据结构,适用于大规模URL查询与匹配,是实现精准上网行为管理的理想选择。本文探讨了布隆过滤器的原理及其优缺点,并展示了如何使用Go语言实现该算法,以提升企业网络管理效率和安全性。尽管存在误报等局限性,但合理配置下,布隆过滤器为企业提供了经济有效的解决方案。
26 8
员工上网行为监控中的Go语言算法:布隆过滤器的应用
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
转载:【AI系统】AI的领域、场景与行业应用
本文概述了AI的历史、现状及发展趋势,探讨了AI在计算机视觉、自然语言处理、语音识别等领域的应用,以及在金融、医疗、教育、互联网等行业中的实践案例。随着技术进步,AI模型正从单一走向多样化,从小规模到大规模分布式训练,企业级AI系统设计面临更多挑战,同时也带来了新的研究与工程实践机遇。文中强调了AI基础设施的重要性,并鼓励读者深入了解AI系统的设计原则与研究方法,共同推动AI技术的发展。
转载:【AI系统】AI的领域、场景与行业应用
|
6天前
|
机器学习/深度学习 人工智能 算法
X-AnyLabeling:开源的 AI 图像标注工具,支持多种标注样式,适于目标检测、图像分割等不同场景
X-AnyLabeling是一款集成了多种深度学习算法的图像标注工具,支持图像和视频的多样化标注样式,适用于多种AI训练场景。本文将详细介绍X-AnyLabeling的功能、技术原理以及如何运行该工具。
45 2
X-AnyLabeling:开源的 AI 图像标注工具,支持多种标注样式,适于目标检测、图像分割等不同场景
|
20天前
|
机器学习/深度学习 人工智能 JSON
【实战干货】AI大模型工程应用于车联网场景的实战总结
本文介绍了图像生成技术在AIGC领域的发展历程、关键技术和当前趋势,以及这些技术如何应用于新能源汽车行业的车联网服务中。
308 34
|
6天前
|
存储 人工智能 开发工具
AI场景下的对象存储OSS数据管理实践
本文介绍了对象存储(OSS)在AI业务中的应用与实践。内容涵盖四个方面:1) 对象存储作为AI数据基石,因其低成本和高弹性成为云上数据存储首选;2) AI场景下的对象存储实践方案,包括数据获取、预处理、训练及推理阶段的具体使用方法;3) 国内主要区域的默认吞吐量提升至100Gbps,优化了大数据量下的带宽需求;4) 常用工具介绍,如OSSutil、ossfs、Python SDK等,帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施,以及不同工具的特点和应用场景。
43 10
|
6天前
|
弹性计算 人工智能 数据管理
AI场景下的对象存储OSS数据管理实践
本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。
48 10
|
15天前
|
人工智能 Cloud Native 调度
阿里云容器服务在AI智算场景的创新与实践
本文源自张凯在2024云栖大会的演讲,介绍了阿里云容器服务在AI智算领域的创新与实践。从2018年推出首个开源GPU容器共享调度方案至今,阿里云容器服务不断推进云原生AI的发展,包括增强GPU可观测性、实现多集群跨地域统一调度、优化大模型推理引擎部署、提供灵活的弹性伸缩策略等,旨在为客户提供高效、低成本的云原生AI解决方案。
|
1天前
|
存储 缓存 算法
探索企业文件管理软件:Python中的哈希表算法应用
企业文件管理软件依赖哈希表实现高效的数据管理和安全保障。哈希表通过键值映射,提供平均O(1)时间复杂度的快速访问,适用于海量文件处理。在Python中,字典类型基于哈希表实现,可用于管理文件元数据、缓存机制、版本控制及快速搜索等功能,极大提升工作效率和数据安全性。
19 0
|
27天前
|
机器学习/深度学习 人工智能 算法
探索人工智能中的强化学习:原理、算法与应用
探索人工智能中的强化学习:原理、算法与应用

热门文章

最新文章