OpenAI重磅开源,全面拥抱GPT-3

简介: OpenAI重磅开源,全面拥抱GPT-3

你好,我是Giant。


还记得去年5月,OpenAI提出了包含1750亿参数的GPT究极进化版模型GPT-3吗?


在长达72页的论文中,作者证明了对于所有任务,GPT-3无需进行任何梯度更新或微调,仅通过与模型的文本交互指定任务和少量示例(few-shot)即可获得很好的效果。


除了常规的翻译、问答和文本填空任务,GPT-3的出色能力还体现在一些即时推理或领域适应的任务,例如给一句话中的单词替换成同义词,或执行 3 位数的数学运算。


然而,此前OpenAI并没有暴露GPT-3的访问接口,普通用户想要测试,需要填写申请表并经过N天等待。直到11月18号,OpenAI的官方博客带来了两个消息:


微信图片_20220524150151.png


1)OpenAI为众多国家开发了白名单,开发人员注册账号就可以立刻体验GPT-3接口。

2)中国不在批开放的国家列表中= =


微信图片_20220524150212.png


博客地址https://openai.com/blog/api-no-waitlist/


Anyway,虽然我们暂时用不了接口,但这次OpenAI更新的内容还是透露了很多信号,例如GPT-3的功能列表,商业化布局等等。


应用示例


官网一共提供了49种使用示例,有分类、对话、生成、翻译、SQL等各种类型的任务。


微信图片_20220524150227.png


GPT-3就像一个聪明的学生,每次只需要提供极少的样本,就能举一反三。


例如在语法纠错demo中,用户只需要在输入中提供一个原始的句子,并告知模型希望遵循“美式英语”,模型就会输出纠正后的句子表达:


微信图片_20220524150242.png


实现的代码也非常简单:


import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")
response = openai.Completion.create(
  engine="davinci",
  prompt="Original: She no went to the market.\nStandard American English:",
  temperature=0,
  max_tokens=60,
  top_p=1.0,
  frequency_penalty=0.0,
  presence_penalty=0.0,
  stop=["\n"]
)


产品付费


价格方面,GPT-3一共提供了4款模型供用户选择,Ada是最轻量、响应最快的模型,Davinci效果最强大,可以应对复杂文本推理和因果分析。


微信图片_20220524150259.jpg


每位用户在开始的3个月中,有18刀的免费额度。后面只需要为你使用的资源付费。


微信图片_20220524150311.png


Davinci为例,0.06美金可以调用1000个token,约等于750个英文单词。

如果你想在某些子领域内获得更好的性能,还可以通过特定数据微调GPT-3,同样也是按token收费。


微信图片_20220524150319.png


Model as a Service

GPT-3是第一个将模型转换为付费服务的PLM产品,从这个角度看具有划时代的意义。
它真正厉害的地方在于few-shot能力,在不精调或者只利用prompt的情况下就能获得很好的效果,从而实现卖服务长期捞金的商业模式。


此前GPT-3已经提供了最基础的生成、分类、问答、搜索应用的API,还能满足用户多种定制化需求。例如分类支持用户提供标注示例,搜素支持用户上传自定义文档等等。
这些贴心的设计只为向用户传递一个信息:GPT-3不是一个停留在实验室的demo,而是真的能产生实际价值!国内目前对于巨无霸模型的玩法,基本是先在某一个评测数据集上刷到sota,然后火速转成一篇paper证明这种方法work,最后“忍痛”把权重开源。对于模型在实际业务中的落地,考虑的有点少。总结我们知道,AI有三要素:算力、算法和数据。在前两者固定的情况下,GPT3通过庞大的规模带来了震撼的影响,可以实现其他模型无法做的事情:执行特定任务无需特殊调整,可以做翻译,写程序,作诗,写文章,仅需要提供极少的训练样本或prompt。同时,GPT-3在“产品化”上花了很多心思,考虑了不同业务的定制化需求,提供了详细的demo、文档和付费服务,为我们的国产大模型提供了很好的范例。


利用当下的技术和数据积累,产出服务和价值,继而获取更多的需求和数据,是一个良性循环。长此以往,一定能形成真正的壁垒。

相关文章
|
10天前
|
人工智能 搜索推荐 API
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
node-DeepResearch 是一个开源 AI 智能体项目,支持多步推理和复杂查询,帮助用户逐步解决问题。
142 27
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
DeepSeek 开源 R1 系列推理模型,性能对标 OpenAI o1,基于纯强化学习完成自我进化,无需监督微调
DeepSeek R1-Zero 是一款基于纯强化学习的开源推理模型,无需监督微调数据,支持多任务泛化与自我进化,适用于数学推理、代码生成等场景。
478 21
DeepSeek 开源 R1 系列推理模型,性能对标 OpenAI o1,基于纯强化学习完成自我进化,无需监督微调
|
8天前
|
存储 人工智能 JSON
Open-Deep-Research:开源复现版 Deep Research,支持切换多种大模型,不再依赖 OpenAI o3
Open Deep Research 是一个开源的 AI 智能体,支持多种语言模型,具备实时数据提取、多源数据整合和AI推理功能。
194 16
|
1月前
|
人工智能 Python
JoyCaption:开源的图像转提示词生成工具,支持多种风格和场景,性能与 GPT4o 相当
JoyCaption 是一款开源的图像提示词生成工具,支持多种生成模式和灵活的提示选项,适用于社交媒体、图像标注、内容创作等场景,帮助用户快速生成高质量图像描述。
163 21
JoyCaption:开源的图像转提示词生成工具,支持多种风格和场景,性能与 GPT4o 相当
|
1月前
|
人工智能 语音技术 iOS开发
MiniCPM-o 2.6:面壁智能开源多模态大模型,仅8B参数量就能媲美GPT-4o,支持实时交互,在ipad等终端设备上运行
MiniCPM-o 2.6 是面壁智能开源的多模态大模型,支持视觉、语音和多模态直播,性能媲美GPT-4o,能够在端侧设备上高效运行。
326 10
MiniCPM-o 2.6:面壁智能开源多模态大模型,仅8B参数量就能媲美GPT-4o,支持实时交互,在ipad等终端设备上运行
|
26天前
|
数据采集 人工智能 异构计算
Sky-T1:开源版"OpenAI o1-preview",训练成本竟不到450美元
Sky-T1是NovaSky发布的开源推理AI模型,支持低成本训练,性能优异,适用于数学问题解决、编程评估和科学研究。
114 3
Sky-T1:开源版"OpenAI o1-preview",训练成本竟不到450美元
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
MetaGPT开源自动生成智能体工作流,4.55%成本超GPT-4o
AFlow是由Jiayi Zhang等学者提出的一项新研究,发表于arXiv。它通过将工作流优化问题转化为代码表示空间中的搜索,并引入蒙特卡洛树搜索(MCTS)算法,实现了高效的工作流自动化生成与优化。在六个基准数据集上,AFlow性能比现有基线平均提高5.7%,并使小模型以较低成本超越GPT-4。尽管存在一些局限性,如通用性和计算复杂度,AFlow为降低大型语言模型应用成本提供了新思路,推动了人工智能技术的进步。论文地址:https://arxiv.org/abs/2410.10762。
82 27
|
2月前
|
数据采集 人工智能 数据可视化
InternVL 2.5,首个MMMU超过70%的开源模型,性能媲美GPT-4o
近期Internvl2.5发布,性能与GPT-4o和Claude-3.5-sonnet等领先的商业模型相媲美,成为首个在MMMU上超过70%的开源模型,通过链式思考(CoT)推理实现了3.7个百分点的提升,展示了强大的测试时间可扩展性潜力。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
MetaGPT开源SELA,用AI设计AI,效果超越OpenAI使用的AIDE
MetaGPT团队开源了Tree-Search Enhanced LLM Agents(SELA)系统,通过蒙特卡罗树搜索(MCTS)优化AutoML过程,显著提升了机器学习模型的构建效率和性能。SELA在20个数据集上的实验结果表明,其性能优于传统AutoML方法和基于LLM的代理,为AutoML领域带来了新的突破。
79 4
|
3月前
|
SQL 机器学习/深度学习 人工智能
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!
本文介绍了四个最新的 AI 开源项目,涵盖多模态生成式 AI、自然语言到 SQL 转化、多模态数学推理和复杂逻辑推理等多个领域,为 AI 应用开发提供了丰富的资源和工具。
384 0
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!

热门文章

最新文章