大模型铺天盖地出现后,计算机科学终成「自然科学」

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 大模型铺天盖地出现后,计算机科学终成「自然科学」
当部分人工智能正偏离其工程本源,AI 研究的方向变化,超出了我们的预料。


当前的人工智能(AI)处在一个奇妙的时代,时常会出现让人惊叹的隐性知识(Polanyi 的复仇和人工智能的新型浪漫与隐性知识,https://bit.ly/3qYrAOY),但可以确信在未来相当长的一段时间,计算机无法完成这个任务。最近出现的让人感兴趣的研究是基于 Transformer 架构的大型学习系统,基于大网络规模的多模态语料库和数十亿参数的训练。典型例子如大型语言模型、响应任意形式文本 prompt 的 GPT3 和 PALM、将文本转换成图像的语言 / 图像模型 DALL-E 和 Imagen(甚至具有通用行为的模型如 GATO)。

大型学习模型的出现从根本上改变了人工智能研究的性质。最近研究人员在使用 DALL-E 时,认为它似乎已经发展出自己的特有语言,如果人类能掌握它,或许可以更好地与 DALL-E 交互。也有研究人员发现,可以通过在 prompt 中添加某些神奇的咒语(比如「让我们一步步地思考」)来改善 GPT3 对推理问题的表现。现在 GPT3 和 DALL-E 这样的大型学习模型就像是「外星物种」一样,我们要尝试解码它们的行为。

对于人工智能来说,这无疑是一个奇怪的转折点。自出现以来,人工智能一直是介于工程学(特定功能的系统)和科学(发现自然现象规律)之间的「无人区」地带。人工智能的科学部分源于其最初的主张,即对人类智能本质的洞察;而工程部分则源于对智能功能(让计算机展示智能行为)的关注,而不是对人类智能的洞察。

而目前的情况正在迅速变化,特别是人工智能已成为大型学习模型的同义词。当前的现状是,人们对于训练过的模型是如何拥有特定功能一无所知,甚至它们可能具有的其它功能一无所知(如 PALM 所谓的「解释笑话」的能力)。即使是它们的创造者,通常也对这些系统能做的事情始料不及。探索这些系统以了解其「功能」范围,已成为近来人工智能研究的趋势。

越来越清楚的是,部分人工智能正偏离其工程本源。如今很难将大型学习系统看作传统意义上有特定目标的工程设计。毕竟人们不能说自己的孩子是「设计」出来的。工程学领域通常不会为设计的系统出现意料之外的新特性而庆祝(就如同土木工程师不会因为他们设计的抵御五级飓风的桥梁被发现还能悬浮而激动兴奋的庆祝)。

越来越多地证据表明,这些经过训练(但未经设计)的大型系统的研究注定要成为自然科学:观察系统的功能;做消融研究;对最佳实践进行定性的分析。

考虑到目前研究表象而非内里的事实,这类似于生物学中想在没有实际证据的情况下达到「弄清楚」的宏伟目标。机器学习属于研究工作,更多地关注系统为什么会做它正在做的事情(可以想象成对大型学习系统做「核磁共振成像」研究),而不是证明设计系统就是为了这样做。这些研究收获的知识能提升微调系统的能力(就像医学一样)。当然表象的研究允许比内里设置进行更具针对性的干预。

人工智能变成自然科学,也会对整个计算机科学产生影响,考虑到人工智能会对几乎所有计算领域都产生巨大影响。计算机科学的「科学」二字也受到过质疑和讽刺。但现在情况已有改变,因为人工智能已经成为研究大型人工学习系统的自然科学。当然,这一转变可能存在很大的阻力和意见,因为计算机科学长期以来一直是「建构修正的方法 (correct by construction)」圣杯,从最开始计算机科学就相当于生活在充满激励的系统中,它像训练有素的狗不犯错,就像人类一样正确。

早在 2003 年,图灵奖得主 Leslie Lamport 对计算未来属于生物学而非逻辑的可能性敲响警钟,称计算机科学将让我们生活在顺势疗法和信仰疗愈的世界。当时他的焦虑主要是针对人类通过编程完成的复杂软件系统,而不是现在更神秘的大型学习模型。

当从一个主要关注有意设计和「通过构造保证正确」的领域,转向试图探索或理解现有的(未经设计的)人工产物,它将带来的方法学转变值得思考。与生物学研究野外生物不同,人工智能研究人类创造的缺乏「设计感」的人工产物,对于创造和部署那些不被理解的人工产物,伦理问题是肯定会出现的。大型学习模型不太可能保证支持可证明的能力,无论是关于准确性、透明度还是公平性,然而这些是部署和实践这些系统的关键问题。虽然人类也无法提供关于其自身决定和行为正确性的证据,但确实有法律制度来让人类遵守惩罚,如罚款、谴责甚至监禁。而对于大型学习系统,有什么是等价的制度?

计算研究的美学也会发生改变。目前的研究者可以用论文中包含定理与定义的比例来评价论文。但随着计算机科学的目标,越来越像生物学等自然科学的目标,就需要开发新的计算美学方法论(因为零定理与零定义比例不会有很大的区别)。有迹象表明,计算复杂性分析在人工智能研究中已处于次要地位。

原文链接:https://cacm.acm.org/magazines/2022/9/263799-changing-the-nature-of-ai-research/fulltext

相关文章
|
5天前
|
存储 关系型数据库 分布式数据库
PostgreSQL 18 发布,快来 PolarDB 尝鲜!
PostgreSQL 18 发布,PolarDB for PostgreSQL 全面兼容。新版本支持异步I/O、UUIDv7、虚拟生成列、逻辑复制增强及OAuth认证,显著提升性能与安全。PolarDB-PG 18 支持存算分离架构,融合海量弹性存储与极致计算性能,搭配丰富插件生态,为企业提供高效、稳定、灵活的云数据库解决方案,助力企业数字化转型如虎添翼!
|
16天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1315 5
|
2天前
|
监控 JavaScript Java
基于大模型技术的反欺诈知识问答系统
随着互联网与金融科技发展,网络欺诈频发,构建高效反欺诈平台成为迫切需求。本文基于Java、Vue.js、Spring Boot与MySQL技术,设计实现集欺诈识别、宣传教育、用户互动于一体的反欺诈系统,提升公众防范意识,助力企业合规与用户权益保护。
|
15天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1363 87
|
2天前
|
JavaScript Java 大数据
基于JavaWeb的销售管理系统设计系统
本系统基于Java、MySQL、Spring Boot与Vue.js技术,构建高效、可扩展的销售管理平台,实现客户、订单、数据可视化等全流程自动化管理,提升企业运营效率与决策能力。
|
4天前
|
弹性计算 安全 数据安全/隐私保护
2025年阿里云域名备案流程(新手图文详细流程)
本文图文详解阿里云账号注册、服务器租赁、域名购买及备案全流程,涵盖企业实名认证、信息模板创建、域名备案提交与管局审核等关键步骤,助您快速完成网站上线前的准备工作。
197 82
2025年阿里云域名备案流程(新手图文详细流程)

热门文章

最新文章