为什么GPT-4不开源?OpenAI联合创始人:过去的做法是“错误的”

简介: 为什么GPT-4不开源?OpenAI联合创始人:过去的做法是“错误的”
OpenAI 发布了其自称为“迄今为止最强大、对齐最好的模型”GPT-4,但人工智能社区的一部分人对‘缺乏公共信息’感到失望。他们的抱怨,凸显了人工智能世界中关于安全问题的日益紧张的形势。


昨天,OpenAI 发布了强大的 GPT-4,它是人们期待已久的下一代人工智能语言模型。该模型的强大能力仍在评估中,但随着研究人员和专家对其相关材料的仔细研究,一部分人对一个明显的事实表示失望:OpenAI 发布的 GPT-4,不是一个开放的人工智能模型(not an open AI model)。
尽管 OpenAI 已经分享了大量 GPT-4 的基准和测试结果,以及一些有趣的演示,但基本上没有提供用于训练该模型的数据、能源成本,或用于创建该模型的具体硬件或方法的信息。
人工智能社区的一部分人批评了这一决定,认为它破坏了该公司作为一个研究机构的创始精神,并使其他人更难以复制其工作。也许更重要的是,一些人说,这也使人们难以制定保障措施来应对像 GPT-4 这样的人工智能系统所带来的威胁,而这些抱怨是在人工智能世界日益紧张和快速发展时显现的。
“我认为这一做法关闭了 'Open' AI 的大门:他们在介绍 GPT-4 的 98 页论文中自豪地宣称,没有透露任何有关训练集的内容,” Nomic AI 信息设计副总裁 Ben Schmidt 在推特上表示。关于这一说法,Schmidt 指的是 GPT-4 技术报告中的一段内容,如下:

鉴于像 GPT-4 这样的大型模型的竞争状况和安全影响,本报告没有包含关于架构(包括模型大小)、硬件、训练计算、数据集构建、训练方法等方面的进一步细节。



在接受采访时,OpenAI 首席科学家、联合创始人 Ilya Sutskever 对这一做法进行了说明。他表示,OpenAI 不分享关于 GPT-4 的更多信息的原因是 “不言而喻的”——害怕竞争和对安全的担忧。
“在竞争格局方面--外面的竞争很激烈,” Sutskever 说,“GPT-4 的开发并不容易。几乎 OpenAI 的所有人在一起花了很长时间才做出了这个东西,而且(目前)有很多很多公司都想做同样的事情。”
“安全方面,我想说,还没有竞争方面那么突出。但它将会改变,基本上是这样的。这些模型非常强大,而且会变得越来越强大。在某种程度上,如果有人想的话,很容易用这些模型造成很大的伤害。随着(模型)能力的增强,你不想透露它们是有道理的。”
OpenAI 于 2015 年成立,创始人包括 Sutskever、现任首席执行官 Sam Altman、现已离开 OpenAI 的马斯克。在一篇介绍性博客文章中,Sutskever 等人表示,该组织的目标是 “为每个人而不是股东创造价值”,并将与该领域的其他人 “自由合作”。OpenAI 成立之初是一个非营利组织,但后来为了获得数十亿美元的投资(主要来自微软)而变成了“利润上限”。
当被问及为什么 OpenAI 改变了分享其研究的方法时,Sutskever 简单地回答:“我们错了。坦率地说,我们错了。如果你像我们一样相信,在某个时候,人工智能/通用人工智能将变得极其强大,令人难以置信,那么,开源就是没有意义的。这是一个坏主意...... 可以预料的是,在几年内,每个人都会完全明白,开源人工智能是不明智的。”
然而,人工智能社区对此事的看法各不相同。值得注意的是,在 GPT-4 发布的几周前,Meta 开发的另一个名为 LLaMA 的人工智能语言模型在网上遭泄露,引发了关于开源研究的威胁和好处的类似讨论。不过,大多数人对 GPT-4 的“封闭”模型的最初反应是负面的。
对此,Schmidt 表示,由于无法看到 GPT-4 是在什么数据上训练的,人们很难知道该系统在什么地方可以安全使用并提出修正。
“对于人们来说,要想对这个模型在什么地方不起作用做出明智的决定,他们需要对它的作用以及其中的假设有一个更好的认识,” Schmidt 说,“我不会相信在没有雪天气候经验的情况下训练出来的自动驾驶汽车;一些漏洞或其他问题,很可能会在真实情况下使用时浮现出来。”
Lightning AI 首席执行官、开源工具 PyTorch Lightning 创建者 William Falcon 表示,人们可以从商业角度上理解这一决定。“作为一家公司,它完全有权利这样做。” 但 Falcon 也认为,这一做法为更广泛的社区树立了一个 “坏先例”,并可能产生有害影响。
“如果这个模型出错了,而且会出错的,你已经看到它出现了幻觉,给你提供了错误的信息,那么社会应该如何反应?” Falcon 说,“伦理研究人员应该如何应对并提出解决方案,并说 ‘这种方式不起作用,也许可以调整它来做这个其他事情?’”
一些人建议 OpenAI 隐藏 GPT-4 的构建细节的另一个原因是法律责任。
人工智能语言模型是在巨大的文本数据集上进行训练的,其中很多数据是从网络上直接获取的,可能包括受版权保护的材料。同样以互联网内容为基础训练数据的人工智能 “文生图”模型,正是因为这个原因而面临法律挑战,目前有几家公司正被人类艺术家和图片库网站 Getty Images 起诉。
当被问及这是否是 OpenAI 没有分享其训练数据的一个原因时,Sutskever 表示:“我对此的看法是,训练数据就是技术(training data is technology)。它可能看起来不是这样的,但它是。我们不披露训练数据的原因与我们不披露参数数量的原因基本相同。” 当被问及 OpenAI 是否可以明确表示其训练数据不包括盗版材料时,Sutskever 没有回答。
Sutskever 确实同意批评者们的观点,即开源模型有助于开发安全措施的想法是有 “价值” 的。他说:“如果有更多人研究这些模型,我们就能了解更多,那就太好了。” 出于这些原因,OpenAI 向某些学术和研究机构提供了访问其系统的权限。
关于共享研究的讨论是在人工智能世界发生狂热变化的时候进行的,压力在多个方面都在增加。在企业方面,像谷歌和微软这样的科技巨头正急于将人工智能功能添加到他们的产品中,往往将以前的道德问题搁置一边。(微软最近解雇了一个专门负责确保其人工智能产品遵循道德准则的团队)。在研究方面,技术本身似乎正在迅速改善,引发了人们对人工智能正在成为一个严重和迫在眉睫的威胁的担忧。
The Centre for Long-Term Resilience 人工智能政策负责人 Jess Whittlestone 说,平衡这些不同的压力带来了严重的治理挑战——可能需要第三方监管机构参与。
“我们看到这些人工智能能力发展得非常快,我总体上担心这些能力的发展速度超过了我们的适应能力。” 她表示,OpenAI 不分享关于 GPT-4 的更多细节的理由是好的,但也可能导致人工智能世界的权力集中化。
“不应该由个别公司来做这些决定,” Whittlestone 说,“理想的情况是,我们需要把这里的做法编纂成册,然后让独立的第三方在审查与某些模型相关的风险以及向世界发布它们是否有意义方面发挥更大的作用。”

one more thing
在不满 OpenAI 越来越“封闭”的人群中,自然少不了因“利益冲突”而离开 OpenAI 的马斯克。这一次,他表达了自己的困惑:
“我仍然困惑的是,我捐献了 1 亿美元的非营利组织是如何成为市值 300 亿美元的营利组织的。如果这是合法的,为什么不是每个人都这样做?”

相关文章
|
2月前
|
数据采集 API 决策智能
华为诺亚联合中科大发布工具调用模型ToolACE,效果持平GPT-4获开源第一
 【10月更文挑战第10天】华为诺亚方舟实验室与中国科学技术大学合作推出ToolACE,一种自进化合成过程的工具调用模型。ToolACE通过多智能体交互和双重验证系统生成准确、复杂、多样化的工具学习数据,显著提升大型语言模型(LLM)的功能调用能力。实验结果显示,使用ToolACE数据训练的80亿参数模型性能媲美GPT-4,在伯克利功能调用排行榜上获得开源第一。
86 4
|
10天前
|
数据采集 人工智能 数据可视化
InternVL 2.5,首个MMMU超过70%的开源模型,性能媲美GPT-4o
近期Internvl2.5发布,性能与GPT-4o和Claude-3.5-sonnet等领先的商业模型相媲美,成为首个在MMMU上超过70%的开源模型,通过链式思考(CoT)推理实现了3.7个百分点的提升,展示了强大的测试时间可扩展性潜力。
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
MetaGPT开源SELA,用AI设计AI,效果超越OpenAI使用的AIDE
MetaGPT团队开源了Tree-Search Enhanced LLM Agents(SELA)系统,通过蒙特卡罗树搜索(MCTS)优化AutoML过程,显著提升了机器学习模型的构建效率和性能。SELA在20个数据集上的实验结果表明,其性能优于传统AutoML方法和基于LLM的代理,为AutoML领域带来了新的突破。
14 4
|
2月前
|
存储 数据采集 数据安全/隐私保护
商汤、清华、复旦等开源百亿级多模态数据集,可训练类GPT-4o模型
商汤科技、清华大学和复旦大学等机构联合开源了名为OmniCorpus的多模态数据集,规模达百亿级,旨在支持类似GPT-4级别的大型多模态模型训练。该数据集包含86亿张图像和1696亿个文本标记,远超现有数据集规模并保持高质量,具备广泛来源和灵活性,可轻松转换为纯文本或图像-文本对。经验证,该数据集质量优良,有望促进多模态模型研究,但同时也面临存储管理、数据偏见及隐私保护等挑战。
179 60
|
29天前
|
SQL 机器学习/深度学习 人工智能
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!
本文介绍了四个最新的 AI 开源项目,涵盖多模态生成式 AI、自然语言到 SQL 转化、多模态数学推理和复杂逻辑推理等多个领域,为 AI 应用开发提供了丰富的资源和工具。
115 0
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
开源版GPT-4o来了,AI大神Karpathy盛赞!67页技术报告全公开
【10月更文挑战第20天】近日,开源版GPT-4o的发布成为AI领域的焦点。作为GPT系列的最新成员,GPT-4o在性能和多模态数据处理方面实现了显著提升,得到了知名AI专家Andrej Karpathy的高度评价。该模型的开源特性将进一步促进AI研究的进展。
59 3
|
2月前
|
人工智能 语音技术 UED
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
【10月更文挑战第19天】中国科学院计算技术研究所提出了一种名为LLaMA-Omni的新型模型架构,实现与大型语言模型(LLMs)的低延迟、高质量语音交互。该模型集成了预训练的语音编码器、语音适配器、LLM和流式语音解码器,能够在不进行语音转录的情况下直接生成文本和语音响应,显著提升了用户体验。实验结果显示,LLaMA-Omni的响应延迟低至226ms,具有创新性和实用性。
69 1
|
2月前
|
人工智能 编解码 文字识别
阿里国际AI开源Ovis1.6,多项得分超GPT-4o-mini!
阿里国际AI团队提出了一种名为Ovis (Open VISion)的新型多模态大模型的架构。
|
3月前
|
人工智能 安全 测试技术
忘掉GPT-5!OpenAI推出全新AI模型系列o1,声称性能达到博士级
忘掉GPT-5!OpenAI推出全新AI模型系列o1,声称性能达到博士级
|
2月前
|
API
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
52 0

热门文章

最新文章

下一篇
DataWorks