莆田版GPT-3开源:同等复现预训练模型GPT Neo,可在Colab上完成微调

简介: GPT-3开源了?Eleuther AI推出的名为GPT-Neo的开源项目:公开发布的GPT-3同等复现预训练模型(1.3B & 2.7B),可在Colab上完成微调。

微信图片_20220113002142.png  新智元报道  

来源:Eleuther AI

编辑:小匀


【新智元导读】 GPT-3开源了?Eleuther AI推出的名为GPT-Neo的开源项目:公开发布的GPT-3同等复现预训练模型(1.3B & 2.7B),可在Colab上完成微调。

 

……当然此 GPT-3非彼 GPT-3。

 

近日,Eleuther AI在GitHub上推出了一个名为GPT-Neo的开源项目:GPT-3同等复现预训练模型(1.3B & 2.7B),并可在Colab上完成微调。

 

虽然GPT-Neo与真正的GPT-3比,参数量仍然很小(较大版本也只与GPT-3最小模型的参数量),但开源又免费,仍然得到了「同性好友们」的认可!

项目目前在GitHub上已经得到了近3k的star。


微信图片_20220113002146.png


Eleuther AI也表示,未来会进一步开源10B版本和原始大小版本的GPT3模型参数。

 

「莆田版」GPT-3


在Eleuther AI官网上,他们对GPT-Neo的描述是,「一系列基于变换器的语言模型的代码名称,这些模型的风格松散地围绕着GPT架构,我们计划对其进行训练和开源。我们的主要目标是复制一个GPT-3大小的模型,并将其免费开源给公众。」

 

在这一过程中,我们将对替代架构和注意力类型进行实验,发布任何中间模型,并在我们的博客上写出任何发现。

 

GPT-Neo模型是在Tensorflow-mesh中构建的,这将使他们能够使用同步的模型和数据并行来扩展到GPT-3和更大的规模。

微信图片_20220113002149.png

 


据Eleuther AI称,他们已经建立了大部分的模型,训练了GPT-2大小的模型,并实施了几个实验性的架构。


目前的代码库应该能够扩展到GPT-3规模的模型。

而他们接下来的步骤,将是正在努力完成GPT-2规模的模型复制。

「到目前为止,2 们得到的单步训练的最大模型是200B参数。」

 

GPT3: 一般人玩不起

 

6月,OpenAI发表了一篇论文,详细介绍了GPT-3,这是一个机器学习模型,在一些自然语言基准上取得了强大的效果。在1750亿个参数——模型从历史训练数据中学习的部分——它是同类模型中最大的模型之一,也是最复杂的模型之一,能够进行原始类比,以某种风格写作,甚至完成基本代码。

 

与GPT-3的前身GPT-2和GPT-1相比,OpenAI选择不将模型或训练数据集开源,而是选择通过商业API提供前者。该公司选择将GPT-3独家授权给微软,进一步缩减了访问权限,而OpenAI与微软有业务关系。

 

微软已经向OpenAI投资了10亿美元,并建立了一台Azure托管的超级计算机,旨在进一步推动OpenAI的研究。


微信图片_20220113002152.png


 来看下OpenAI的定价策略。 


微信图片_20220113002155.png


自由探索Explore版 (我等):可以免费使用3个月,或者10万token,哪个先到按哪个算,占着不用可不行。


 Create版(普通用户): 100美元一个月,200万token每月,超出的部分1k token按8美分计算;


 Build版(VIP): 400美元一个月,1000万token每月,超出的部分1k token按6美分计算; 


Scale版(尊享版):如果你是也就是生产级的大规模用户,联系官方就好,有专人服务。 


这个200万token,能有多少字呢?大约相当于3000页的文本。


这样说可能还是不直接,举个例子,莎士比亚全集是大约有90万个单词,折算到token的话大概能有120万。


                   微信图片_20220113002158.png


贫穷使人进(fu)步(ke)。


现在,一些人开始在开源中重新创建GPT-3,但可能目前最值得期待的就是GPT-Neo了。


关于Eleuther AI

 

Eleuther AI是一个由研究人员组成的草根集合,致力于开源人工智能研究。

 

Connor Leahy,Leo Gao和Sid Black三人联合创立,于去年11月宣布推出GPT-Neo的开源项目,该项目基于GPT系列的设计原理,旨在复现GPT系列的各种项目。

其中Sid是目前世界上最牛的TPU黑客之一。

不过,也有人也认为这伙人炒作太多!

 

「据我所知,他们正在大肆宣传他们无法兑现的夸大其词。」

「例如,他们在OpenAI宣布几天后就运出了一个DALL-E repo,这是坏的,而且由于他们的架构不能扩展,他们已经把他们的GPT-3复制宣称走回了复制1.5B。」

 微信图片_20220113002201.png


项目地址:https://github.com/EleutherAI/gpt-neo

相关文章
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
当语言遇见智慧火花:GPT家族历代模型大起底,带你见证从平凡到卓越的AI进化奇迹!
【10月更文挑战第6天】随着自然语言处理技术的进步,GPT系列模型(Generative Pre-trained Transformers)成为该领域的明星。从GPT-1的开创性工作,到GPT-2在规模与性能上的突破,再到拥有1750亿参数的GPT-3及其无需微调即可执行多种NLP任务的能力,以及社区驱动的GPT-NeoX,这些模型不断进化。虽然它们展现出强大的语言理解和生成能力,但也存在如生成错误信息或偏见等问题。本文将对比分析各代GPT模型的特点,并通过示例代码展示其部分功能。
125 2
|
2月前
|
数据采集 API 决策智能
华为诺亚联合中科大发布工具调用模型ToolACE,效果持平GPT-4获开源第一
 【10月更文挑战第10天】华为诺亚方舟实验室与中国科学技术大学合作推出ToolACE,一种自进化合成过程的工具调用模型。ToolACE通过多智能体交互和双重验证系统生成准确、复杂、多样化的工具学习数据,显著提升大型语言模型(LLM)的功能调用能力。实验结果显示,使用ToolACE数据训练的80亿参数模型性能媲美GPT-4,在伯克利功能调用排行榜上获得开源第一。
72 4
|
2月前
|
SQL 数据采集 自然语言处理
NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比
NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比
|
2月前
|
存储 数据采集 数据安全/隐私保护
商汤、清华、复旦等开源百亿级多模态数据集,可训练类GPT-4o模型
商汤科技、清华大学和复旦大学等机构联合开源了名为OmniCorpus的多模态数据集,规模达百亿级,旨在支持类似GPT-4级别的大型多模态模型训练。该数据集包含86亿张图像和1696亿个文本标记,远超现有数据集规模并保持高质量,具备广泛来源和灵活性,可轻松转换为纯文本或图像-文本对。经验证,该数据集质量优良,有望促进多模态模型研究,但同时也面临存储管理、数据偏见及隐私保护等挑战。
159 60
|
2月前
|
机器学习/深度学习 弹性计算 人工智能
大模型进阶微调篇(三):微调GPT2大模型实战
本文详细介绍了如何在普通个人电脑上微调GPT2大模型,包括环境配置、代码实现和技术要点。通过合理设置训练参数和优化代码,即使在无独显的设备上也能完成微调,耗时约14小时。文章还涵盖了GPT-2的简介、数据集处理、自定义进度条回调等内容,适合初学者参考。
258 6
|
2月前
|
人工智能 编解码 文字识别
阿里国际AI开源Ovis1.6,多项得分超GPT-4o-mini!
阿里国际AI团队提出了一种名为Ovis (Open VISion)的新型多模态大模型的架构。
|
2月前
|
API
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
48 0
|
2月前
|
开发工具 git
LLM-03 大模型 15分钟 FineTuning 微调 GPT2 模型 finetuning GPT微调实战 仅需6GB显存 单卡微调 数据 10MB数据集微调
LLM-03 大模型 15分钟 FineTuning 微调 GPT2 模型 finetuning GPT微调实战 仅需6GB显存 单卡微调 数据 10MB数据集微调
62 0
|
5月前
|
存储 SQL 数据库
Python 金融编程第二版(GPT 重译)(四)(4)
Python 金融编程第二版(GPT 重译)(四)
50 3
|
5月前
|
存储 NoSQL 索引
Python 金融编程第二版(GPT 重译)(一)(4)
Python 金融编程第二版(GPT 重译)(一)
63 2

热门文章

最新文章