神经网络?决策树?都做不到!谁能解决可解释性AI?

简介: 神经网络是准确的,但无法解释;在计算机视觉中,决策树是可解释的,但不准确。可解释性AI(XAI)试图弥合这一分歧,但正如下面所解释的那样,“XAI在不直接解释模型的情况下证明了决策的合理性”。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

准确性与可解释性是不能同时达到的吗?来自IEEE研究员Cuntai Guan这样认为:“许多机器决策仍然没有得到很好的理解”。大多数论文甚至提出在准确性和可解释性之间进行严格区分。

神经网络是准确的,但无法解释;在计算机视觉中,决策树是可解释的,但不准确。可解释性AI(XAI)试图弥合这一分歧,但正如下面所解释的那样,“XAI在不直接解释模型的情况下证明了决策的合理性”。

这意味着金融和医学等应用领域的从业者被迫陷入两难境地:选择一个无法解释的、准确的模型,还是一个不准确的、可解释的模型。

什么是“可解释的”?

定义计算机视觉的可解释性是一项挑战:解释像图像这样的高维输入的分类意味着什么?正如下面讨论的,两种流行的定义都涉及到显著图和决策树,但是这两种定义都有缺点。

可解释性AI不能解释什么

显著图:

许多XAI方法产生的热图被称为显著图,突出显示影响预测的重要输入像素。然而,显著图映射只关注输入,而忽略了解释模型如何决策。

image
拍摄原始图像
image
使用一种称为Grad-CAM的方法的显著图
image
和另一种使用引导反向传播方法的图像

显著图不能解释什么

为了说明为什么显著图不能完全解释模型如何预测,这里有一个例子:下列显著图是相同的,但是预测结果不同。

为什么?尽管两个显著图都突出显示了正确的对象,但有一个预测结果是不正确的。回答这个问题可以帮助改进模型,但是如下所示,显著图不能解释模型的决策过程。

image
模型预测结果为有耳朵的鸟
image
模型预测结果为有角的鸟

这些是使用Caltech-UCSDBirds-200-2011(或简称CUB 2011)在ResNet18模型上运用Grad-CAM方法得到的结果。虽然显著图看起来非常相似,但是模型的预测结果不同。因此,显著图并不能解释模型是如何达到最终预测的。

决策树

另一种方法是用可解释的模型代替神经网络。深度学习之前,决策树是准确性和可解释性的黄金标准。下面演示决策树的可解释性,它通过将每个预测分解为一系列决策来工作。

image

与仅仅预测“大汉堡”或“华夫饼”不同,上面的决策树将输出一系列导致最终预测的决策。然后可以分别对这些中间决策进行验证或质疑。因此,经典的机器学习将这种模型称为“可解释的”。

但是,就准确性而言,决策树在图像分类数据集²上落后于神经网络达40%。神经网络和决策树混合算法也表现不佳,甚至在数据集CIFAR10上无法匹配神经网络,该数据集有如下所示的32x32微小图像。

image
该示例展现了32x32有多小。这是来自CIFAR10数据集的一个样本。

这种精度差距损害了可解释性:需要高精度、可解释的模型来解释高精度的神经网络。

进入神经支持的决策树

通过建立既可解释又准确的模型来改良这种错误的二分法。关键是将神经网络与决策树相结合,在使用神经网络进行低级决策时保留高级的可解释性。

如下所示,将这些模型称为神经支持的决策树(NBDTs),并证明它们能够在保持决策树可解释性的同时,与神经网络的准确性相匹配。

image

在此图中,每个节点都包含一个神经网络。该图仅突出显示了一个这样的节点和内部的神经网络。在神经支持的决策树中,通过决策树进行预测,以保留高级解释性。

但是,决策树中的每个节点都是做出低级决策的神经网络。上面的神经网络做出的“低级”决定是“有香肠”或“没有香肠”。

NBDT与决策树一样可解释。

与当今的神经网络不同,NBDT可以输出中间决策来进行预测。例如,给定图像,神经网络可以输出Dog。但是,NBDT可以同时输出Dog和Animal,Chordate,Carnivore(下图)。

image

在此图中,每个节点都包含一个神经网络。该图仅突出显示了一个这样的节点和内部的神经网络。在神经支持的决策树中,通过决策树进行预测,以保留高级解释性。

但是,决策树中的每个节点都是做出低级决策的神经网络。上面的神经网络做出的“低级”决定是“有香肠”或“没有香肠”。上面的照片是根据Pexels许可从pexels.com获取的。

NBDT实现了神经网络的准确性。

与其他任何基于决策树的方法不同,NBDT在3个图像分类数据集上都匹配神经网络精度(差异小于1%)。NBDT还能在ImageNet上实现神经网络2%范围内波动的准确性,ImageNet是拥有120万张224x224图像的最大图像分类数据集之一。

此外,NBDT为可解释的模型设置了新的最新精度。NBDT的ImageNet准确度达到75.30%,比基于决策树的最佳竞争方法高出整整14%。为了准确地说明这种准确性的提高:对于不可解释的神经网络,类似的14%的增益花费了3年的研究时间。

神经支持的决策树可以解释什么,如何解释

个人预测的理由

最有见地的理由是根据该模型从未见过的对象。例如,考虑一个NBDT(如下),并在斑马上进行推断。尽管此模型从未见过斑马,但下面显示的中间决策是正确的——斑马既是动物又是蹄类动物。单个预测的正确性的能力对于没见过的物体至关重要。

image

NBDT甚至可以为没见过的物体做出准确的中间决策。在此,该模型在CIFAR10上进行了训练,并且之前从未见过斑马。尽管如此,NBDT仍正确地将斑马识别为动物和蹄类动物。上面的照片是根据Pexels许可从pexels.com获取的。

模型行为的理由

此外,发现可以使用NBDT后,可解释性的准确性得到了提高。这与简介中的二分法背道而驰:NBDT不仅具有准确性和可解释性,还使准确性和可解释性成为同一目标。

image
ResNet10层次结构
image
WideResNet层次结构

在前者中,“猫”,“青蛙”和“飞机”位于同一子树下。相比之下,WideResNet层次结构在每一侧干净地分割了Animals和Vehicles。上面的图片来自CIFAR10数据集。

例如,较低精度的ResNet⁶层次结构将青蛙,猫和飞机分组在一起的意义较小。这是“不太明智的”,因为很难找到所有三类共有的明显视觉特征。

相比之下,准确性更高的WideResNet层次结构更有意义,将Animal与Vehicle完全分开——因此,准确性越高,NBDT的解释就越容易。

image
图源:unsplash

了解决策规则

使用低维表格数据时,决策树中的决策规则很容易解释,例如,如果盘子中有面包,那么选择右侧节点,如下所示。但是,决策规则对于像高维图像这样的输入而言并不那么直接。

image

此示例演示了如何使用低维表格数据轻松解释决策规则。右侧是几个项目的表格数据示例。左侧是根据此数据训练的决策树。

此时,决策规则(蓝色)是“是否有面包?”所有带有面包(橙色)的项目都发给最上面的节点,而所有没有面包(绿色)的项目都发给最下面的节点。该模型的决策规则不仅基于对象类型,而且还基于上下文、形状和颜色。

为了定量地解释决策规则,使用了称为WordNet7的现有层次;通过这种层次结构,可以找到类之间最具体的共享含义。例如,给定类别Cat和Dog,WordNet将提供哺乳动物。如下图所示,定量地验证了这些WordNet假设。

image
image

左子树(红色箭头)的WordNet假设是Vehicle。右边(蓝色箭头)的WordNet假设是Animal。为了定性地验证这些含义,针对没见过的物体类别对NBDT进行了测试:

查找训练期间未见过的图像。
根据假设,确定每个图像属于哪个节点。例如,大象是动物,所以*可以找到正确的子树。
现在,可以通过检查将多少图像传递给正确的节点来评估假设。例如,检查将多少张大象图像发送到“Animal”子树。

这些分类的正确性显示在右侧,没见过的动物(蓝色)和没见过的Vehicle(红色)都显示较高的准确性。

请注意,在具有10个类别(即CIFAR10)的小型数据集中,可以找到所有节点的WordNet假设。但是,在具有1000个类别的大型数据集(即ImageNet)中,只能找到节点子集的WordNet假设。

一分钟内尝试NBDT

现在有兴趣尝试NBDT吗?无需安装任何软件,就可以在线查看更多示例输出,甚至可以尝试Web示例。或者,使用命令行实用程序来运行推理(使用pip installnbdt安装)。下面对猫的图片进行推断。

nbdthttps://images.pexels.com/photos/126407/pexels-photo-126407.jpeg?auto=compress&cs=tinysrgb&dpr=2&w=32 # this can also be a path to local image

这将输出类别预测和所有中间决策。

Prediction: cat // Decisions: animal (99.47%), chordate(99.20%), carnivore (99.42%), cat (99.86%) 

也可以只用几行Python代码加载预训练的NBDT。使用以下内容开始,支持几种神经网络和数据集。

from nbdt.model import HardNBDTfrom nbdt.models importwrn28_10_cifar10model = wrn28_10_cifar10()model = HardNBDT( pretrained=True, dataset='CIFAR10', arch='wrn28_10_cifar10', modelmodel=model) 

作为参考,请参见上面运行的命令行工具的脚本。仅约20行就能进行转换输入和运行推理。

运作原理

神经支持决策树的训练和推理过程可以分为四个步骤。

image

训练NBDT分为两个阶段:首先,构建决策树的层次结构。其次,训练带有特殊损失项的神经网络。要进行推理,请将样本输入神经网络主干。最后,将最后一个完全连接的层作为决策规则序列运行。

构建决策树的层次结构。此层次结构确定了NBDT必须在哪些类之间进行决策。将此层次结构称为归纳层次结构。
此层次结构产生一个特定的损失函数,称为树监督损失5。使用此新损失函数训练原始神经网络,无需任何修改。
通过使样本输入神经网络主干来开始推理。主干是最终完全连接层之前的所有神经网络层。
通过将最终的全连接层作为决策规则序列,称为嵌入式决策规则来完成推理。这些决策形成最终的预测。

可解释性AI不能完全解释神经网络如何实现预测:现有方法可以解释图像对模型预测的影响,但不能解释决策过程。决策树解决了这个问题,但其准确性还存在个挑战。

因此,将神经网络和决策树结合在一起。与采用相同混合设计的前代产品不同,神经支持决策树(NBDT)同时解决了以下问题:

神经网络无法提供理由;
决策树无法达到较高的准确性。

这为医学和金融等应用提供了一种新的准确、可解释的NBDT。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-05-14
本文作者:读芯术
本文来自:“51cto”,了解相关信息可以关注“51cto

相关文章
|
20天前
|
人工智能 自动驾驶 算法
智能时代的伦理困境:AI决策的道德边界
在人工智能技术飞速发展的今天,我们面临着前所未有的伦理挑战。本文探讨了AI决策中的道德边界问题,分析了技术发展与人类价值观之间的冲突,并提出了建立AI伦理框架的必要性和可能路径。通过深入剖析具体案例,揭示了AI技术在医疗、司法等领域的应用中所引发的道德争议,强调了在追求技术进步的同时,必须审慎考虑其对社会伦理的影响,确保科技发展服务于人类的福祉而非成为新的困扰源。
|
30天前
|
存储 人工智能 搜索推荐
解锁AI新境界:LangChain+RAG实战秘籍,让你的企业决策更智能,引领商业未来新潮流!
【10月更文挑战第4天】本文通过详细的实战演练,指导读者如何在LangChain框架中集成检索增强生成(RAG)技术,以提升大型语言模型的准确性与可靠性。RAG通过整合外部知识源,已在生成式AI领域展现出巨大潜力。文中提供了从数据加载到创建检索器的完整步骤,并探讨了RAG在企业问答系统、决策支持及客户服务中的应用。通过构建知识库、选择合适的嵌入模型及持续优化系统,企业可以充分利用现有数据,实现高效的商业落地。
77 6
|
5天前
|
人工智能 数据库 决策智能
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策
本文为阿里云瑶池数据库「拥抱Data+AI」系列连载第1篇,聚焦电商行业痛点,探讨如何利用数据与AI技术及分析方法论,为电商注入新活力与效能。文中详细介绍了阿里云Data+AI解决方案,涵盖Zero-ETL、实时在线分析、混合负载资源隔离、长周期数据归档等关键技术,帮助企业应对数据在线重刷、实时分析、成本优化等挑战,实现智能化转型。
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策
|
5天前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
10天前
|
人工智能 分布式计算 数据可视化
大模型私有化部署全攻略:硬件需求、数据隐私、可解释性与维护成本挑战及解决方案详解,附示例代码助你轻松实现企业内部AI应用
【10月更文挑战第23天】随着人工智能技术的发展,企业越来越关注大模型的私有化部署。本文详细探讨了硬件资源需求、数据隐私保护、模型可解释性、模型更新和维护等方面的挑战及解决方案,并提供了示例代码,帮助企业高效、安全地实现大模型的内部部署。
28 1
|
10天前
|
人工智能 分布式计算 数据可视化
大模型私有化部署全攻略:硬件需求、数据隐私、可解释性与维护成本挑战及解决方案详解,附示例代码助你轻松实现企业内部AI应用
【10月更文挑战第23天】随着人工智能技术的发展,大模型在各领域的应用日益广泛。然而,将其私有化部署到企业内部面临诸多挑战,如硬件资源需求高、数据隐私保护、模型可解释性差、更新维护成本高等。本文探讨了这些挑战,并提出了优化硬件配置、数据加密、可视化工具、自动化更新机制等解决方案,帮助企业顺利实现大模型的私有化部署。
31 1
|
2月前
|
机器学习/深度学习 人工智能 TensorFlow
神经网络深度剖析:Python带你潜入AI大脑,揭秘智能背后的秘密神经元
【9月更文挑战第12天】在当今科技飞速发展的时代,人工智能(AI)已深入我们的生活,从智能助手到自动驾驶,从医疗诊断到金融分析,其力量无处不在。这一切的核心是神经网络。本文将带领您搭乘Python的航船,深入AI的大脑,揭秘智能背后的秘密神经元。通过构建神经网络模型,我们可以模拟并学习复杂的数据模式。以下是一个使用Python和TensorFlow搭建的基本神经网络示例,用于解决简单的分类问题。
47 10
|
2月前
|
机器学习/深度学习 自然语言处理
如何让等变神经网络可解释性更强?试试将它分解成简单表示
【9月更文挑战第19天】等变神经网络在图像识别和自然语言处理中表现出色,但其复杂结构使其可解释性成为一个挑战。论文《等变神经网络和分段线性表示论》由Joel Gibson、Daniel Tubbenhauer和Geordie Williamson撰写,提出了一种基于群表示论的方法,将等变神经网络分解成简单表示,从而提升其可解释性。简单表示被视为群表示的“原子”,通过这一分解方法,可以更好地理解网络结构与功能。论文还展示了非线性激活函数如何产生分段线性映射,为解释等变神经网络提供了新工具。然而,该方法需要大量计算资源,并且可能无法完全揭示网络行为。
36 1
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI的奥秘:深度学习与神经网络
【9月更文挑战第11天】本文将深入探讨人工智能的核心领域——深度学习,以及其背后的神经网络技术。我们将从基础理论出发,逐步深入到实践应用,揭示这一领域的神秘面纱。无论你是AI领域的初学者,还是有一定基础的开发者,都能在这篇文章中获得新的启示和理解。让我们一起踏上这场探索之旅,揭开AI的神秘面纱,体验深度学习的魅力。
|
2月前
|
机器学习/深度学习 人工智能 TensorFlow
深入骨髓的解析:Python中神经网络如何学会‘思考’,解锁AI新纪元
【9月更文挑战第11天】随着科技的发展,人工智能(AI)成为推动社会进步的关键力量,而神经网络作为AI的核心,正以其强大的学习和模式识别能力开启AI新纪元。本文将探讨Python中神经网络的工作原理,并通过示例代码展示其“思考”过程。神经网络模仿生物神经系统,通过加权连接传递信息并优化输出。Python凭借其丰富的科学计算库如TensorFlow和PyTorch,成为神经网络研究的首选语言。
45 1