要强大的“黑匣子”,还是“可解释”的机器学习?| 清华AI Time激辩

简介: 要不要用准确性换可解释性?这可能是许多资源有限的创业公司,在技术研发中面临的重要问题,同时也是机器学习可解释性研究中的重要议题。

来源:大数据文摘

文章来源:微信公众号 数据派THU


要不要用准确性换可解释性?这可能是许多资源有限的创业公司,在技术研发中面临的重要问题,同时也是机器学习可解释性研究中的重要议题。

把场景具体化,让我们先来看这样一道选择题。

如果你是一个投资公司老板,针对电话诈骗检测,现在有一个可信度85%,但无法解释的“黑盒”模型,和一个可信度75%,但可解释的机器学习模型摆在你面前,你会选择哪一个?

6月19日下午,AItime第二期以《论道自动机器学习与可解释机器学习》为主题,邀请到美国伊利诺伊大学芝加哥分校(UIC)特聘教授Philip Yu(俞士纶)、美国密歇根大学梅俏竹教授、北京大学的王立威教授和百度高级研究员李兴建进行了一次对谈。

这次的对谈就从这个问题开始。

但最初的最初,让我们先来理清这两个概念:自动机器学习与可解释机器学习。

理清概念

机器学习自动化(AutoML):让机器自己炼丹

image.png

王立威教授首先解释了什么是机器学习自动化。机器学习的应用需要大量的人工干预,比如特征提取、模型选择、参数调节等,深度学习也被戏称为炼丹术。

而AutoML 是试图将这些与特征、模型、优化、评价有关的重要步骤进行自动化地学习,实现从end to end 到learning to learn,使得机器学习模型无需人工干预即可被应用。让机器自己炼丹,让深度学习自动寻找最优框架。

使用AutoML,就像是在使用一个工具,我们只需要将训练数据集传入AutoML,那么这个工具就会自动帮我们生成参数和模型,形成训练模型,这样即使不具备机器学习方面深入的专业知识也可以进行机器学习方面的工作。

可解释机器学习(Explainable ML):信任之后人与机器才能更好地互动

image.png

随着AutoML学习模型的发展,机器学习的黑箱似乎在越来越大。这种缺乏解释的情况既是一个现实问题,也是一个伦理问题。所以近年,很多研究者呼吁我们需要可解释机器学习。

梅俏竹教授在解释XML的时候强调,辩题的核心还是在于AI和人的关系。我们大多同意未来的世界是AI与人共同合作,AI目前肯定还是做不到取代人。AutoML与XML其实并不矛盾,问题在于合作中如何人要如何达成对于AI的信任。

基于人工智能的结果越重要,对可解释人工智能的需求就越大。高风险的情况下,比如自动驾驶和医疗领域,人们可能需要明确地解释是如何得出特定结果的。而相对低风险的人工智能系统可能就更适合黑盒模型,人们很难理解其结果。

为什么说,机器学习中的可解释性很重要

追逐解释是人类的天性

场景问题是大家公认的导致可解释问题重要的一个原因。我们可以容忍机器没有理由地给我们错误推荐了一首不喜欢的歌,但是把重大的投资问题或者医疗建议交由机器决定的时候,我们希望可以得到充分的解释说明。

解释是跨多个行业和科学学科的负责任的、开放的数据科学的核心。

俞士纶教授提到对可解释人工智能的需求与人类的影响会同步上升,比如医生应用机器评估数据并得出决策数据,但是机器无法回答病人的疑问。以及在过滤假新闻的时候,机器在作出粗略判断和初步筛选之后,还是需要人类解释其中细微差别。

Clever Hans问题

Hans是一匹聪明的马,人们以为它会计算加法,因为有人说2+3的时候,它就会敲5下蹄子。但后来人们发现,它只是单纯地在敲蹄子,直到人们的表情发生改变就停下来。如果没有可解释性,任何人都无法保证高正确率模型其实只是另一匹Hans。

李兴建工程师说道,可解释也是企业实际应用非常关心的问题。如果人工智能系统出错,构建者需要理解为什么会这样做,这样才能改进和修复。如果他们的人工智能服务在黑盒中存在并运行,他们就无法了解如何调试和改进它。

可解释也许是一个伪命题

有些事情是无法解释,也不需要解释

但很有意思的事,解释可能无法穷尽。

王立威教授提出一个有趣的例子。机器作出判断,这是一只猫。如果我们要寻求解释,问为什么这是一只猫,机器可能回答,因为它有皮毛,有四只猫爪……我们再问,那为什么这是皮毛?

当然机器还可以继续解释,但是解释的结果可能会更加复杂,比直接告诉你这是皮毛要曲折得多。

人类大脑是非常有限的,而现在的数据太多了。我们没有那么多脑容量去研究所有东西的可解释性。世界上有那么多应用、网站,我们每天用 Facebook、Google 的时候,也不会想着去寻求它们背后的可解释性。

对于医疗行业的可解释机器学习的应用王立威教授也提出完全不同的想法,他认为只有在开始阶段,医生不够信任系统的时候可解释才重要。而当系统性能足够优化,可解释就不再重要。在不可解释上做的能超过人类,这就是未来机器学习的可为之处。

来自Geoffrey Hinton 的驳斥

Geoffrey Hinton 曾经大胆宣称,纠结深度学习(可与不可)解释性问题根本是一个伪命题。为什么一定要存在识别数字的理论才能证明我们擅长识别数字?难道非要通透骑车每一个细节的物理力学,才能证明自己会骑车?其实不是神经网络需要理论解释,而是人类克制不住自己讲故事的冲动,理论再合理也只是主观判断,并不能帮助我们理解为什么。

王立威教授表示赞同,以历史做类比。历史书上简单归纳出的胜败输赢难道就是真实的历史吗,不过是人类编造出的故事。真实的历史复杂,现实生活复杂,只言片语的解释和理论不过是管窥蠡测。

通过神经网络反思人的思维,同一个网络框架,初始点不同结果可能完全不同。解释可能会有两套截然不同的解释,就像对同一件事不同的人可能会有不同的解释。

一个人都无法完全理解另一个人,更何况与人的思维完全不同的机器?即使把alpha go下围棋中的所有数据告诉人也没有用,因为机器每一步的判断所用的数据是百万量级,而人最多处理到百的程度。就算打开黑匣,一千个人可能会看到一千种解释。

image.png

俞士纶教授认为Hinton的说法还是有些激进,解释不仅是为了说服,解释的形式和含义都非常之广,就算是autoML我们还是要朝着可解释的方向不断推进。

梅俏竹教授则认为单纯讨论autoML还是XML是没有意义的,就像我们判断autoML好不好,怎么算是一个好的推荐算法?如果机器中午十二点推荐你去吃午饭,的确它的准确率是百分之百,但是对于用户来说这是完全没有意义的一个推荐。评判需要加入人的因素进行考量,还是要看人机配合得怎么样,加入用户体验。

autoML的能耗问题:ACL论文痛批其捡芝麻丢西瓜

最近一份提交到自然语言处理顶会ACL 2019的论文引起热议,研究人员对几种常见的NLP模型进行碳排放评估后发现,像Transformer、GPT-2等流行的深度神经网络的训练过程可以排放超过62.6万磅的二氧化碳当量,几乎是美国汽车平均寿命期内排放量(包括制造过程)的五倍。

某些模型可能经过了千百次的训练之后取得最优成果,但是实际进展非常微小,而背后的代价是不成比例的计算量和碳排放。

李文钰提出业界现在的解决办法有比如共享参数、热启动,利用之前训练好的参数,避免再从头训练一个模型。

真正的autoML应该是在大型数据集上搜索,操作类型,拓扑结构,加上人的先验知识,未来希望找到又小又高效的好的模型。我们希望用机器代替节约人力,但是人也要去限制一些盲目搜索,节约成本的约束。

未来之路:炼金,观星,算命都不可取

image.png

几位教授最后都同意autoML和XML在未来是可以结合的。不管是autoML还是XML,现在还是在底层信号的层面运作,比如识别图像、文本,关键还是在知识层面,我们需要的是对整个网络结构更高层、更进一步的理解。

梅教授提出过犹不及,有三条走得太过的路是炼金、观星和算命。

炼金就是走极端的autoML之路。不要为了全自动就抛开所有代价去追求自动化,最后你也无法保证炼出来的是金子还是破铁;

观星,扩大范围,如果非要在一大堆的变量中拼命找联系,总能找寻到一二;

而算命的原理是找一些你愿意听的说,讲你爱听的故事,观星和算命都是在可解释的道路上走得太远。

最后的最后,梅教授也提醒大家,解释性可以解释部分问题,关于伦理,关于道德,但是它不是万能药。不要纠结于理解,为了理解而理解。

编辑:文婧

目录
相关文章
|
1月前
|
存储 人工智能 大数据
AI开发新范式,PAI模型构建平台升级发布
本次分享由阿里云智能集团产品专家高慧玲主讲,聚焦AI开发新范式及PAI模型构建平台的升级。分享分为四个部分,围绕“人人可用”和“面向生产”两大核心理念展开。通过降低AI工程化门槛、提供一站式全链路服务,PAI平台致力于帮助企业和开发者更高效地实现AI应用。案例展示中,介绍了多模态模型微调在文旅场景的应用,展示了如何快速复现并利用AI解决实际问题。最终目标是让AI技术更普及,赋能各行业,推动社会进步。
|
11天前
|
人工智能 自然语言处理 语音技术
FilmAgent:多智能体共同协作制作电影,哈工大联合清华推出 AI 驱动的自动化电影制作工具
FilmAgent 是由哈工大与清华联合推出的AI电影自动化制作工具,通过多智能体协作实现从剧本生成到虚拟拍摄的全流程自动化。
112 10
FilmAgent:多智能体共同协作制作电影,哈工大联合清华推出 AI 驱动的自动化电影制作工具
|
1月前
|
机器学习/深度学习 人工智能 编解码
Inf-DiT:清华联合智谱AI推出超高分辨率图像生成模型,生成的空间复杂度从 O(N^2) 降低到 O(N)
Inf-DiT 是清华大学与智谱AI联合推出的基于扩散模型的图像上采样方法,能够生成超高分辨率图像,突破传统扩散模型的内存限制,适用于多种实际应用场景。
89 21
Inf-DiT:清华联合智谱AI推出超高分辨率图像生成模型,生成的空间复杂度从 O(N^2) 降低到 O(N)
|
1月前
|
人工智能 测试技术 决策智能
玩转智能体魔方!清华推出AgentSquare模块化搜索框架,开启AI智能体高速进化时代
清华大学研究团队提出模块化LLM智能体搜索(MoLAS)框架AgentSquare,将LLM智能体设计抽象为规划、推理、工具使用和记忆四大模块,实现模块间的轻松组合与替换。通过模块进化和重组机制,AgentSquare显著提升了智能体的适应性和灵活性,并在多个基准测试中表现出色,平均性能提高17.2%。此外,该框架还具备可解释性,有助于深入理解智能体架构对任务性能的影响。论文地址:https://arxiv.org/abs/2410.06153
85 10
|
1月前
|
SQL 人工智能 关系型数据库
PolarDB-PG AI最佳实践 2 :PolarDB AI X EAS实现自定义库内模型推理最佳实践
PolarDB通过POLAR_AI插件支持使用SQL调用AI/ML模型,无需专业AI知识或额外部署环境。结合阿里云EAS在线模型服务,可轻松部署自定义模型,在SQL中实现如文本翻译等功能。
|
1月前
|
人工智能 安全 大数据
PAI年度发布:GenAI时代AI基础设施的演进
本文介绍了AI平台在大语言模型时代的新能力和发展趋势。面对推理请求异构化、持续训练需求及安全可信挑战,平台推出了一系列优化措施,包括LLM智能路由、多模态内容生成服务、serverless部署模式等,以提高资源利用效率和降低使用门槛。同时,发布了训推一体调度引擎、竞价任务等功能,助力企业更灵活地进行训练与推理任务管理。此外,PAI开发平台提供了丰富的工具链和最佳实践,支持从数据处理到模型部署的全流程开发,确保企业和开发者能高效、安全地构建AI应用,享受AI带来的红利。
|
2月前
|
人工智能 安全 算法
PAI负责任的AI解决方案: 安全、可信、隐私增强的企业级AI
在《PAI可信AI解决方案》会议中,分享了安全、可信、隐私增强的企业级AI。会议围绕三方面展开:首先通过三个案例介绍生活和技术层面的挑战;其次阐述构建AI的关键要素;最后介绍阿里云PAI的安全功能及未来展望,确保数据、算法和模型的安全与合规,提供全方位的可信AI解决方案。
|
3月前
|
机器学习/深度学习 人工智能 Python
MuCodec:清华、腾讯AI、港中文共同推出的超低比特率音乐编解码器
MuCodec是由清华大学深圳国际研究生院、腾讯AI实验室和香港中文大学联合开发的超低比特率音乐编解码器。它能够在0.35kbps至1.35kbps的比特率下实现高效的音乐压缩和高保真重建,适用于在线音乐流媒体服务、音乐下载、语言模型建设等多个应用场景。
56 1
MuCodec:清华、腾讯AI、港中文共同推出的超低比特率音乐编解码器
|
1月前
|
人工智能 容灾 Serverless
AI推理新纪元,PAI全球化模型推理服务的创新与实践
本次分享主题为“AI推理新纪元,PAI全球化模型推理服务的创新与实践”,由阿里云高级产品经理李林杨主讲。内容涵盖生成式AI时代推理服务的变化与挑战、play IM核心引擎的优势及ES专属网关的应用。通过LM智能路由、多模态异步生成等技术,PAI平台实现了30%以上的成本降低和显著性能提升,确保全球客户的业务稳定运行并支持异地容灾,目前已覆盖16个地域,拥有10万张显卡的推理集群。
|
1月前
|
人工智能 运维 API
PAI企业级能力升级:应用系统构建、高效资源管理、AI治理
PAI平台针对企业用户在AI应用中的复杂需求,提供了全面的企业级能力。涵盖权限管理、资源分配、任务调度与资产管理等模块,确保高效利用AI资源。通过API和SDK支持定制化开发,满足不同企业的特殊需求。典型案例中,某顶尖高校基于PAI构建了融合AI与HPC的科研计算平台,实现了作业、运营及运维三大中心的高效管理,成功服务于校内外多个场景。