AI算法透明不是必须,黑箱和可解释性可简化为优化问题

简介: 由于AI算法内部的运作往往是不透明的,AI的黑箱问题和可解释性问题越来越受到关注。《纽约时报》和《连线》最近的两篇文章认为,AI的黑箱并没有那么可怕,我们不需要要求算法必须透明,甚至为了可解释性牺牲AI系统的能力,相反,将其视为一个优化问题更可行。

AI算法对人类生活的影响越来越大,但它们内部的运作往往是不透明的,人们对这种技术的工作方式也愈加感到担忧。MIT科技评论曾经发表一篇题为“人工智能中的黑暗秘密”的文章,警告说:“没有人真正知道先进的机器学习算法是怎样工作的,而这恐将成为一大隐忧。”由于这种不确定性和缺乏问责制,纽约大学AI Now Institute的一份报告建议负责刑事司法、医疗保健、社会福利和教育的公共机构不应该使用AI技术。

输入的数据和答案之间的不可观察的空间通常被称为“黑箱”(black box)——名称来自飞机上强制使用的飞行记录仪“黑匣子”(实际上是橙色的,而非黑色),并且经常在空难事故后用于向调查人员提供有关飞机当时运作情况的数据。在人工智能领域,这个术语描述了AI技术如何在“暗处”运作的景象:我们提供数据、模型和架构,然后计算机给出答案,同时以一种看似不可能的方式继续学习——显然对于我们人类来说,这太难理解了。

黑箱没有什么可怕的

在医疗领域,这个问题尤其被关注。AI被用于区分哪些皮肤病变是癌变,从血液中识别早期癌症,预测心脏疾病,确定人和动物的哪些化合物可以延长寿命,等等。但是,对黑箱的这些担忧是不必要的。AI的透明程度并不亚于医生一直以来的工作方式——在许多情况下,AI甚至是一种进步,它增强了医院的能力,对病人和整个医疗系统都有积极的作用。毕竟,对于新技术来说,AI的黑箱问题并不是一个新问题:人类智能本身就是一个黑箱,而且一直都是

让我们来看一个人类医生做诊断的例子。病人可能会问医生她是如何做出诊断的,医生可能会说出一些她用来得出结论的数据。但她真的能够解释她是如何、以及为什么得出这个结论吗,她从哪些研究中得到哪些具体数据,她从所受的教育或导师那里得到了什么影响,她从自己以及同事的共同经验中得到哪些隐性知识,以及所有这些的结合如何引导她得出那个诊断?当然,她可能会说出引领她往某个特定方向走的某些指示,但这也会有猜测的成分,有跟随直觉的成分。即使没有,我们也仍然不知道有没有什么其他因素是她自己甚至没有意识到的。

如果使用AI进行同样的诊断,我们可以从该患者的所有可用信息中获取数据,以及在不同时间和从其他无数同类患者身上匿名收集的数据,用以做出最有力的基于证据的决策。这是一种与数据直接相关的诊断,而不是基于有限数据的人类直觉,或者相对少的局部患者的诊断经验总结。

但是,我们每天都必须在很多我们并不完全了解的领域做决策——并且通常都非常成功——从预测政策对经济的影响到天气预报,再到我们最初接触大部分科学的方式。我们要么认为这些决策非常简单,要么接受它们过于复杂以至我们无法解决,更不用说完全解释它们了。这就像AI的黑箱:人类的智慧能够针对一个给出的结论进行推理和论证,但无法解释我们得出一个特定结论的复杂、隐含的过程。试想一下一对夫妻因某个明确的原因(例如,不忠)而离婚这个问题——在现实中,有许多完全看不见的、错综复杂的原因、影响和事件共同促成了这一结果。为什么这一对夫妇选择分手,而另一对类似情况的夫妇却没有?即使是处于这些关系中的人也无法完全解释这个问题。这是一个黑箱。

AI的黑箱更多是一个特征,而不是一个bug

具有讽刺意味的是,与人类智能相比,人工智能实际上更加透明。与人类的思维不同,人工智能可以——也应该——被审问和被解释。例如检查和改进模型的能力,揭示深度神经网络中的知识差距,必须要构建的调试工具,以及通过脑机接口增强人类只能的潜在能力,等等,有许多技术可以帮助解释人工智能,而这些解释AI的方式无法用于解释人脑。在这个过程中,我们甚至可以更多地了解人类智能的运作方式。

也许批评者们担忧的真正原因不是我们无法“看到”AI的推理过程,而是当AI变得愈加强大时,人类的心智就变成了限制因素。他们担心的是,在未来,我们需要利用AI去理解AI。在医疗领域以及其他领域,这意味着我们很快就会看到一个新类别的专业人士的出现,他们自己不必去做即时的决策,而是管理一个AI工人去做决策——就像商用飞机的驾驶员在恶劣的天气条件下使用自动驾驶仪降落一样。医生将不再“主导”初始诊断;相反,他们需要确保AI系统对患者的诊断是相关的和易于理解的,并监督AI在何时以及如何提供更多的说明和解释。未来的医生办公室很可能有多名计算机助理,包括医生方面的和病人方面的,以及来自外部的数据输入。

当这种情况成为现实时,显然,所谓的人工智能“黑箱”将更多是一种特征,而不是一个bug——因为它相比人类的大脑更能够理解和解释决策的过程。这并没有否定或忽视对AI进行监督的需求,只是说与其担心黑箱,我们更应该关注机会,从而更好地应对这样一个未来:AI不仅增强人类智能和人类直觉,而且甚至可以启发人之本质。

不要为了可解释性牺牲AI的能力

当前的AI系统可能会发生一些故障,例如使自动驾驶汽车遭遇事故,或在用于司法时对黑人判处相比白人更长的刑期。我们会知道这些,是因为AI已经在这些方面出现了错误。但是,这并不意味着我们应该坚持AI需要解释它在任何情况下如何做决策,包括欧盟的“一般数据保护条例”(GDPR)也如此要求。

要求可解释性听起来不错,但实现它可能需要让AI人为地变蠢。机器学习有如此强大的使用前景,缩减AI的能力可能意味着无法诊断疾病、无法发现气候变化的重要原因,等等。充分利用机器学习的能力意味着必须依赖那些现在无法向人类大脑解释的结果。

机器学习,特别是深度学习,可以将数据分析成数以千计的变量,将它们排列成非常复杂而敏感的加权关系数组,然后通过基于计算机的神经网络反复运行这些数组。要想理解这些运行的结果,例如为什么系统认为有73%的几率患上糖尿病,或者在象棋中走这步棋有84%的几率能导致最终胜利,这就需要理解这些成千上万的变量之间的关系,这些变量是通过大量的神经网络计算得出的。我们的大脑根本无法掌握这么多的信息。

可解释性是工具:我们用这些工具来达成目标。通过机器学习,可解释性能够帮助开发人员debug。可解释性也可以用来判断一个结果是否基于不应该计数的因素(例如性别,种族等,取决于具体情况)来评估责任。但是,我们可以通过其他方法来实现预期的效果,而不用约束机器学习系统的能力。

一个很有前景的工具是优化(optimization)。例如,在20世纪70年代石油危机期间,美国政府决定将限速降至55英里/时,从而优化高速公路。同样,政府也可以决定对自动驾驶汽车进行优化。

AI系统需要对针对某个目的的优化及其结果保持透明,特别是对我们希望它们支持的一些关键值保持透明。但是不一定要求算法是透明的。如果一个系统没有达到它的目标,就需要对它进行调优。如果达到了目标,可解释性就不是必要的。

通过将AI的可解释性问题视为优化问题,我们可以将争论集中在真正重要的问题上:我们想从一个系统中得到什么,我们愿意放弃什么来得到它?


原文发布时间为:2018-01-30

本文作者:Vijay Pande、David Weinberger

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号

原文链接:AI算法透明不是必须,黑箱和可解释性可简化为优化问题

目录
打赏
0
0
0
0
73533
分享
相关文章
ACK AI Profiling:从黑箱到透明的问题剖析
本文从一个通用的客户问题出发,描述了一个问题如何从前置排查到使用AI Profiling进行详细的排查,最后到问题定位与解决、业务执行过程的分析,从而展现一个从黑箱到透明的精细化的剖析过程。
|
13天前
|
解析公司屏幕监控软件中 C# 字典算法的数据管理效能与优化策略
数字化办公的时代背景下,企业为维护信息安全并提升管理效能,公司屏幕监控软件的应用日益普及。此软件犹如企业网络的 “数字卫士”,持续记录员工电脑屏幕的操作动态。然而,伴随数据量的持续增长,如何高效管理这些监控数据成为关键议题。C# 中的字典(Dictionary)数据结构,以其独特的键值对存储模式和高效的操作性能,为公司屏幕监控软件的数据管理提供了有力支持。下文将深入探究其原理与应用。
31 4
如何利用AI简历优化工具提升招聘效率?HR必读指南
本文为HR提供如何利用AI简历优化工具提升招聘效率的实用指南。针对海量简历筛选难题,AI工具通过自然语言处理技术实现信息提取与智能分析,大幅提高筛选效率和精准度。文章解析了工具在数据驱动决策、多语言支持及动态评估模型上的优势,并提出科学应用框架,如岗位画像量化、分阶段筛选策略等。同时探讨未来智能化招聘趋势,强调人机协同的重要性,助力HR将精力转向更具创造性的工作,推动人力资源管理体系全面升级。
基于GA遗传优化的最优阈值计算认知异构网络(CHN)能量检测算法matlab仿真
本内容介绍了一种基于GA遗传优化的阈值计算方法在认知异构网络(CHN)中的应用。通过Matlab2022a实现算法,完整代码含中文注释与操作视频。能量检测算法用于感知主用户信号,其性能依赖检测阈值。传统固定阈值方法易受噪声影响,而GA算法通过模拟生物进化,在复杂环境中自动优化阈值,提高频谱感知准确性,增强CHN的通信效率与资源利用率。预览效果无水印,核心程序部分展示,适合研究频谱感知与优化算法的学者参考。
阿里云 AI 搜索开放平台:从算法到业务——AI 搜索驱动企业智能化升级
本文介绍了阿里云 AI 搜索开放平台的技术的特点及其在各行业的应用。
187 3
智创 AI 新视界 -- 优化 AI 模型训练效率的策略与技巧(16 - 1)
本文深度聚焦 AI 模型训练效率优化,全面涵盖数据预处理(清洗、归一化、增强)、模型架构(轻量级应用、剪枝与量化)、训练算法与超参数调优(自适应学习率、优化算法)等核心维度。结合自动驾驶、动物图像识别、语音识别等多领域实际案例,佐以丰富且详细的代码示例,深度剖析技术原理与应用技巧,为 AI 从业者呈上极具专业性、可操作性与参考价值的技术宝典,助力高效优化模型训练效率与性能提升。
智创 AI 新视界 -- 优化 AI 模型训练效率的策略与技巧(16 - 1)
这个AI把arXiv变成代码工厂,快速复现顶会算法!Paper2Code:AI论文自动转代码神器,多智能体框架颠覆科研复现
Paper2Code是由韩国科学技术院与DeepAuto.ai联合开发的多智能体框架,通过规划、分析和代码生成三阶段流程,将机器学习论文自动转化为可执行代码仓库,显著提升科研复现效率。
164 18
这个AI把arXiv变成代码工厂,快速复现顶会算法!Paper2Code:AI论文自动转代码神器,多智能体框架颠覆科研复现
企业内训|智能调控系统算法与优化——某汽车厂商
5月9日,东北某市,TsingtaoAI团队为某汽车厂商的智能驾驶业务和研发团队交付“智能调控系统算法与优化”课程。 本课程系统化解析智能调控系统的核心算法原理与前沿优化技术,深度融合经典控制、现代控制及模型预测控制(MPC)三大理论体系,聚焦自动驾驶与工业自动化场景的实践需求。课程从硬件层(传感器、异构计算芯片、执行器)到软件层(闭环反馈、实时优化)逐层拆解系统架构,结合车辆横纵向控制等实际案例,详解PID参数整定、LQR最优控制、MPC多目标优化等关键技术。
48 16

新智元

+ 订阅

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等