大模型铺天盖地出现后,计算机科学终成「自然科学」

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 大模型铺天盖地出现后,计算机科学终成「自然科学」
当部分人工智能正偏离其工程本源,AI 研究的方向变化,超出了我们的预料。


当前的人工智能(AI)处在一个奇妙的时代,时常会出现让人惊叹的隐性知识(Polanyi 的复仇和人工智能的新型浪漫与隐性知识,https://bit.ly/3qYrAOY),但可以确信在未来相当长的一段时间,计算机无法完成这个任务。最近出现的让人感兴趣的研究是基于 Transformer 架构的大型学习系统,基于大网络规模的多模态语料库和数十亿参数的训练。典型例子如大型语言模型、响应任意形式文本 prompt 的 GPT3 和 PALM、将文本转换成图像的语言 / 图像模型 DALL-E 和 Imagen(甚至具有通用行为的模型如 GATO)。

大型学习模型的出现从根本上改变了人工智能研究的性质。最近研究人员在使用 DALL-E 时,认为它似乎已经发展出自己的特有语言,如果人类能掌握它,或许可以更好地与 DALL-E 交互。也有研究人员发现,可以通过在 prompt 中添加某些神奇的咒语(比如「让我们一步步地思考」)来改善 GPT3 对推理问题的表现。现在 GPT3 和 DALL-E 这样的大型学习模型就像是「外星物种」一样,我们要尝试解码它们的行为。

对于人工智能来说,这无疑是一个奇怪的转折点。自出现以来,人工智能一直是介于工程学(特定功能的系统)和科学(发现自然现象规律)之间的「无人区」地带。人工智能的科学部分源于其最初的主张,即对人类智能本质的洞察;而工程部分则源于对智能功能(让计算机展示智能行为)的关注,而不是对人类智能的洞察。

而目前的情况正在迅速变化,特别是人工智能已成为大型学习模型的同义词。当前的现状是,人们对于训练过的模型是如何拥有特定功能一无所知,甚至它们可能具有的其它功能一无所知(如 PALM 所谓的「解释笑话」的能力)。即使是它们的创造者,通常也对这些系统能做的事情始料不及。探索这些系统以了解其「功能」范围,已成为近来人工智能研究的趋势。

越来越清楚的是,部分人工智能正偏离其工程本源。如今很难将大型学习系统看作传统意义上有特定目标的工程设计。毕竟人们不能说自己的孩子是「设计」出来的。工程学领域通常不会为设计的系统出现意料之外的新特性而庆祝(就如同土木工程师不会因为他们设计的抵御五级飓风的桥梁被发现还能悬浮而激动兴奋的庆祝)。

越来越多地证据表明,这些经过训练(但未经设计)的大型系统的研究注定要成为自然科学:观察系统的功能;做消融研究;对最佳实践进行定性的分析。

考虑到目前研究表象而非内里的事实,这类似于生物学中想在没有实际证据的情况下达到「弄清楚」的宏伟目标。机器学习属于研究工作,更多地关注系统为什么会做它正在做的事情(可以想象成对大型学习系统做「核磁共振成像」研究),而不是证明设计系统就是为了这样做。这些研究收获的知识能提升微调系统的能力(就像医学一样)。当然表象的研究允许比内里设置进行更具针对性的干预。

人工智能变成自然科学,也会对整个计算机科学产生影响,考虑到人工智能会对几乎所有计算领域都产生巨大影响。计算机科学的「科学」二字也受到过质疑和讽刺。但现在情况已有改变,因为人工智能已经成为研究大型人工学习系统的自然科学。当然,这一转变可能存在很大的阻力和意见,因为计算机科学长期以来一直是「建构修正的方法 (correct by construction)」圣杯,从最开始计算机科学就相当于生活在充满激励的系统中,它像训练有素的狗不犯错,就像人类一样正确。

早在 2003 年,图灵奖得主 Leslie Lamport 对计算未来属于生物学而非逻辑的可能性敲响警钟,称计算机科学将让我们生活在顺势疗法和信仰疗愈的世界。当时他的焦虑主要是针对人类通过编程完成的复杂软件系统,而不是现在更神秘的大型学习模型。

当从一个主要关注有意设计和「通过构造保证正确」的领域,转向试图探索或理解现有的(未经设计的)人工产物,它将带来的方法学转变值得思考。与生物学研究野外生物不同,人工智能研究人类创造的缺乏「设计感」的人工产物,对于创造和部署那些不被理解的人工产物,伦理问题是肯定会出现的。大型学习模型不太可能保证支持可证明的能力,无论是关于准确性、透明度还是公平性,然而这些是部署和实践这些系统的关键问题。虽然人类也无法提供关于其自身决定和行为正确性的证据,但确实有法律制度来让人类遵守惩罚,如罚款、谴责甚至监禁。而对于大型学习系统,有什么是等价的制度?

计算研究的美学也会发生改变。目前的研究者可以用论文中包含定理与定义的比例来评价论文。但随着计算机科学的目标,越来越像生物学等自然科学的目标,就需要开发新的计算美学方法论(因为零定理与零定义比例不会有很大的区别)。有迹象表明,计算复杂性分析在人工智能研究中已处于次要地位。

原文链接:https://cacm.acm.org/magazines/2022/9/263799-changing-the-nature-of-ai-research/fulltext

相关文章
|
3月前
|
项目管理
【贝叶斯分析】计算机科学专业博士作业一
本文通过多个案例,详细解释了贝叶斯分析在不同情境下的应用,包括跨种族夫妇的有罪概率、患X病的风险评估、犯罪现场的嫌疑人推断以及XOR运算的概率计算,展示了如何利用贝叶斯定理进行推理和决策。
36 3
|
3月前
【贝叶斯分析】计算机科学专业博士作业二
本文通过多个实例详细解释了如何使用贝叶斯定理和贝叶斯网络来求解条件概率和期望效用等问题。
31 2
|
6月前
|
人工智能 知识图谱
软考之专家系统的特点
软考之专家系统的特点
101 0
|
6月前
西安石油大学校赛培训(1)数学模型简介 初等模型
西安石油大学校赛培训(1)数学模型简介 初等模型
35 0
|
机器学习/深度学习 人工智能
大模型铺天盖地出现后,计算机科学终成「自然科学」
大模型铺天盖地出现后,计算机科学终成「自然科学」
|
机器学习/深度学习 人工智能 算法
王怀民院士:图灵计算模型仍是最深刻的理论基础,是新科学基础的基点
王怀民院士:图灵计算模型仍是最深刻的理论基础,是新科学基础的基点
136 0
|
机器学习/深度学习 算法 计算机视觉
北大陈宝权组图灵班本科生:用于图像编辑的自条件生成对抗网络|SIGGRAPH 2022
北大陈宝权组图灵班本科生:用于图像编辑的自条件生成对抗网络|SIGGRAPH 2022
122 0
|
人工智能 安全 物联网
图灵奖得主约瑟夫·斯法基斯:人工智能在设计复杂性上还功力不足
第十四届中国国际软件和信息服务交易会上,知名计算机科学家、图灵奖得主约瑟夫•斯法基斯发表了《系统工程中的复杂性》的主题演讲。机器之心对其进行了专访。
162 0
图灵奖得主约瑟夫·斯法基斯:人工智能在设计复杂性上还功力不足
|
机器学习/深度学习
普林斯顿大学教授:用理论的力量横扫深度学习(77PPT)
目前深度学习的应用较为广泛,尤其是各种开源库的使用,导致很多从业人员只注重应用的开发,却往往忽略了对理论的深究与理解。普林斯顿大学教授Sanjeev Arora近期公开的77页PPT,言简意赅、深入浅出的介绍了深度学习的理论——用理论的力量横扫深度学习!
1991 0