为什么GPT-4不开源?OpenAI联合创始人:过去的做法是“错误的”

简介: 为什么GPT-4不开源?OpenAI联合创始人:过去的做法是“错误的”
OpenAI 发布了其自称为“迄今为止最强大、对齐最好的模型”GPT-4,但人工智能社区的一部分人对‘缺乏公共信息’感到失望。他们的抱怨,凸显了人工智能世界中关于安全问题的日益紧张的形势。


昨天,OpenAI 发布了强大的 GPT-4,它是人们期待已久的下一代人工智能语言模型。该模型的强大能力仍在评估中,但随着研究人员和专家对其相关材料的仔细研究,一部分人对一个明显的事实表示失望:OpenAI 发布的 GPT-4,不是一个开放的人工智能模型(not an open AI model)。
尽管 OpenAI 已经分享了大量 GPT-4 的基准和测试结果,以及一些有趣的演示,但基本上没有提供用于训练该模型的数据、能源成本,或用于创建该模型的具体硬件或方法的信息。
人工智能社区的一部分人批评了这一决定,认为它破坏了该公司作为一个研究机构的创始精神,并使其他人更难以复制其工作。也许更重要的是,一些人说,这也使人们难以制定保障措施来应对像 GPT-4 这样的人工智能系统所带来的威胁,而这些抱怨是在人工智能世界日益紧张和快速发展时显现的。
“我认为这一做法关闭了 'Open' AI 的大门:他们在介绍 GPT-4 的 98 页论文中自豪地宣称,没有透露任何有关训练集的内容,” Nomic AI 信息设计副总裁 Ben Schmidt 在推特上表示。关于这一说法,Schmidt 指的是 GPT-4 技术报告中的一段内容,如下:

鉴于像 GPT-4 这样的大型模型的竞争状况和安全影响,本报告没有包含关于架构(包括模型大小)、硬件、训练计算、数据集构建、训练方法等方面的进一步细节。



在接受采访时,OpenAI 首席科学家、联合创始人 Ilya Sutskever 对这一做法进行了说明。他表示,OpenAI 不分享关于 GPT-4 的更多信息的原因是 “不言而喻的”——害怕竞争和对安全的担忧。
“在竞争格局方面--外面的竞争很激烈,” Sutskever 说,“GPT-4 的开发并不容易。几乎 OpenAI 的所有人在一起花了很长时间才做出了这个东西,而且(目前)有很多很多公司都想做同样的事情。”
“安全方面,我想说,还没有竞争方面那么突出。但它将会改变,基本上是这样的。这些模型非常强大,而且会变得越来越强大。在某种程度上,如果有人想的话,很容易用这些模型造成很大的伤害。随着(模型)能力的增强,你不想透露它们是有道理的。”
OpenAI 于 2015 年成立,创始人包括 Sutskever、现任首席执行官 Sam Altman、现已离开 OpenAI 的马斯克。在一篇介绍性博客文章中,Sutskever 等人表示,该组织的目标是 “为每个人而不是股东创造价值”,并将与该领域的其他人 “自由合作”。OpenAI 成立之初是一个非营利组织,但后来为了获得数十亿美元的投资(主要来自微软)而变成了“利润上限”。
当被问及为什么 OpenAI 改变了分享其研究的方法时,Sutskever 简单地回答:“我们错了。坦率地说,我们错了。如果你像我们一样相信,在某个时候,人工智能/通用人工智能将变得极其强大,令人难以置信,那么,开源就是没有意义的。这是一个坏主意...... 可以预料的是,在几年内,每个人都会完全明白,开源人工智能是不明智的。”
然而,人工智能社区对此事的看法各不相同。值得注意的是,在 GPT-4 发布的几周前,Meta 开发的另一个名为 LLaMA 的人工智能语言模型在网上遭泄露,引发了关于开源研究的威胁和好处的类似讨论。不过,大多数人对 GPT-4 的“封闭”模型的最初反应是负面的。
对此,Schmidt 表示,由于无法看到 GPT-4 是在什么数据上训练的,人们很难知道该系统在什么地方可以安全使用并提出修正。
“对于人们来说,要想对这个模型在什么地方不起作用做出明智的决定,他们需要对它的作用以及其中的假设有一个更好的认识,” Schmidt 说,“我不会相信在没有雪天气候经验的情况下训练出来的自动驾驶汽车;一些漏洞或其他问题,很可能会在真实情况下使用时浮现出来。”
Lightning AI 首席执行官、开源工具 PyTorch Lightning 创建者 William Falcon 表示,人们可以从商业角度上理解这一决定。“作为一家公司,它完全有权利这样做。” 但 Falcon 也认为,这一做法为更广泛的社区树立了一个 “坏先例”,并可能产生有害影响。
“如果这个模型出错了,而且会出错的,你已经看到它出现了幻觉,给你提供了错误的信息,那么社会应该如何反应?” Falcon 说,“伦理研究人员应该如何应对并提出解决方案,并说 ‘这种方式不起作用,也许可以调整它来做这个其他事情?’”
一些人建议 OpenAI 隐藏 GPT-4 的构建细节的另一个原因是法律责任。
人工智能语言模型是在巨大的文本数据集上进行训练的,其中很多数据是从网络上直接获取的,可能包括受版权保护的材料。同样以互联网内容为基础训练数据的人工智能 “文生图”模型,正是因为这个原因而面临法律挑战,目前有几家公司正被人类艺术家和图片库网站 Getty Images 起诉。
当被问及这是否是 OpenAI 没有分享其训练数据的一个原因时,Sutskever 表示:“我对此的看法是,训练数据就是技术(training data is technology)。它可能看起来不是这样的,但它是。我们不披露训练数据的原因与我们不披露参数数量的原因基本相同。” 当被问及 OpenAI 是否可以明确表示其训练数据不包括盗版材料时,Sutskever 没有回答。
Sutskever 确实同意批评者们的观点,即开源模型有助于开发安全措施的想法是有 “价值” 的。他说:“如果有更多人研究这些模型,我们就能了解更多,那就太好了。” 出于这些原因,OpenAI 向某些学术和研究机构提供了访问其系统的权限。
关于共享研究的讨论是在人工智能世界发生狂热变化的时候进行的,压力在多个方面都在增加。在企业方面,像谷歌和微软这样的科技巨头正急于将人工智能功能添加到他们的产品中,往往将以前的道德问题搁置一边。(微软最近解雇了一个专门负责确保其人工智能产品遵循道德准则的团队)。在研究方面,技术本身似乎正在迅速改善,引发了人们对人工智能正在成为一个严重和迫在眉睫的威胁的担忧。
The Centre for Long-Term Resilience 人工智能政策负责人 Jess Whittlestone 说,平衡这些不同的压力带来了严重的治理挑战——可能需要第三方监管机构参与。
“我们看到这些人工智能能力发展得非常快,我总体上担心这些能力的发展速度超过了我们的适应能力。” 她表示,OpenAI 不分享关于 GPT-4 的更多细节的理由是好的,但也可能导致人工智能世界的权力集中化。
“不应该由个别公司来做这些决定,” Whittlestone 说,“理想的情况是,我们需要把这里的做法编纂成册,然后让独立的第三方在审查与某些模型相关的风险以及向世界发布它们是否有意义方面发挥更大的作用。”

one more thing
在不满 OpenAI 越来越“封闭”的人群中,自然少不了因“利益冲突”而离开 OpenAI 的马斯克。这一次,他表达了自己的困惑:
“我仍然困惑的是,我捐献了 1 亿美元的非营利组织是如何成为市值 300 亿美元的营利组织的。如果这是合法的,为什么不是每个人都这样做?”

相关文章
|
1月前
|
数据采集 API 决策智能
华为诺亚联合中科大发布工具调用模型ToolACE,效果持平GPT-4获开源第一
 【10月更文挑战第10天】华为诺亚方舟实验室与中国科学技术大学合作推出ToolACE,一种自进化合成过程的工具调用模型。ToolACE通过多智能体交互和双重验证系统生成准确、复杂、多样化的工具学习数据,显著提升大型语言模型(LLM)的功能调用能力。实验结果显示,使用ToolACE数据训练的80亿参数模型性能媲美GPT-4,在伯克利功能调用排行榜上获得开源第一。
59 4
|
1月前
|
存储 数据采集 数据安全/隐私保护
商汤、清华、复旦等开源百亿级多模态数据集,可训练类GPT-4o模型
商汤科技、清华大学和复旦大学等机构联合开源了名为OmniCorpus的多模态数据集,规模达百亿级,旨在支持类似GPT-4级别的大型多模态模型训练。该数据集包含86亿张图像和1696亿个文本标记,远超现有数据集规模并保持高质量,具备广泛来源和灵活性,可轻松转换为纯文本或图像-文本对。经验证,该数据集质量优良,有望促进多模态模型研究,但同时也面临存储管理、数据偏见及隐私保护等挑战。
147 60
|
1月前
|
人工智能 编解码 文字识别
阿里国际AI开源Ovis1.6,多项得分超GPT-4o-mini!
阿里国际AI团队提出了一种名为Ovis (Open VISion)的新型多模态大模型的架构。
|
2月前
|
数据可视化 Swift
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
旗舰端侧模型面壁「小钢炮」系列进化为全新 MiniCPM 3.0 基座模型,再次以小博大,以 4B 参数,带来超越 GPT-3.5 的性能。并且,量化后仅 2GB 内存,端侧友好。
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
|
2月前
|
人工智能 Serverless API
一键服务化:从魔搭开源模型到OpenAI API服务
在多样化大模型的背后,OpenAI得益于在领域的先发优势,其API接口今天也成为了业界的一个事实标准。
一键服务化:从魔搭开源模型到OpenAI API服务
|
2月前
|
人工智能 安全 测试技术
忘掉GPT-5!OpenAI推出全新AI模型系列o1,声称性能达到博士级
忘掉GPT-5!OpenAI推出全新AI模型系列o1,声称性能达到博士级
|
1月前
|
API
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
41 0
|
2月前
|
人工智能 自然语言处理 数据挖掘
【通义】AI视界|性能超越GPT-4o?最强大的开源AI模型来了……
本文介绍了五项最新AI技术动态,包括性能超越GPT-4o的开源AI模型Reflection70B、智谱清言App限时免费的视频通话功能、哈佛医学院研发的癌症诊断AI模型CHIEF、Replit推出的AI编程助手,以及英特尔与日本AIST合作设立的芯片制造研发中心。这些进展展示了AI领域的快速创新与广泛应用。更多详情,请访问通义官网体验。
|
2月前
|
测试技术 人机交互
没有等来OpenAI开源GPT-4o,等来了开源版VITA
【9月更文挑战第9天】近日,论文《Towards Open-Source Interactive Omni Multimodal LLM》介绍了VITA,一种基于Mixtral 8×7B的新型开源多模态大语言模型,能处理视频、图像、文本和音频等多模态数据,并提供先进的人机交互体验,填补了开源模型在多模态能力上的空白。经多任务学习及指令微调,VITA在多个基准测试中表现出色,但仍存在基础能力和嘈杂音频处理等方面的局限。更多详情见论文:https://arxiv.org/pdf/2408.05211
48 3
|
3月前
|
人工智能 API Python
Openai python调用gpt测试代码
这篇文章提供了使用OpenAI的Python库调用GPT-4模型进行聊天的测试代码示例,包括如何设置API密钥、发送消息并接收AI回复。

热门文章

最新文章