OpenAI重磅开源,全面拥抱GPT-3

简介: OpenAI重磅开源,全面拥抱GPT-3

你好,我是Giant。


还记得去年5月,OpenAI提出了包含1750亿参数的GPT究极进化版模型GPT-3吗?


在长达72页的论文中,作者证明了对于所有任务,GPT-3无需进行任何梯度更新或微调,仅通过与模型的文本交互指定任务和少量示例(few-shot)即可获得很好的效果。


除了常规的翻译、问答和文本填空任务,GPT-3的出色能力还体现在一些即时推理或领域适应的任务,例如给一句话中的单词替换成同义词,或执行 3 位数的数学运算。


然而,此前OpenAI并没有暴露GPT-3的访问接口,普通用户想要测试,需要填写申请表并经过N天等待。直到11月18号,OpenAI的官方博客带来了两个消息:


微信图片_20220524150151.png


1)OpenAI为众多国家开发了白名单,开发人员注册账号就可以立刻体验GPT-3接口。

2)中国不在批开放的国家列表中= =


微信图片_20220524150212.png


博客地址https://openai.com/blog/api-no-waitlist/


Anyway,虽然我们暂时用不了接口,但这次OpenAI更新的内容还是透露了很多信号,例如GPT-3的功能列表,商业化布局等等。


应用示例


官网一共提供了49种使用示例,有分类、对话、生成、翻译、SQL等各种类型的任务。


微信图片_20220524150227.png


GPT-3就像一个聪明的学生,每次只需要提供极少的样本,就能举一反三。


例如在语法纠错demo中,用户只需要在输入中提供一个原始的句子,并告知模型希望遵循“美式英语”,模型就会输出纠正后的句子表达:


微信图片_20220524150242.png


实现的代码也非常简单:


import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")
response = openai.Completion.create(
  engine="davinci",
  prompt="Original: She no went to the market.\nStandard American English:",
  temperature=0,
  max_tokens=60,
  top_p=1.0,
  frequency_penalty=0.0,
  presence_penalty=0.0,
  stop=["\n"]
)


产品付费


价格方面,GPT-3一共提供了4款模型供用户选择,Ada是最轻量、响应最快的模型,Davinci效果最强大,可以应对复杂文本推理和因果分析。


微信图片_20220524150259.jpg


每位用户在开始的3个月中,有18刀的免费额度。后面只需要为你使用的资源付费。


微信图片_20220524150311.png


Davinci为例,0.06美金可以调用1000个token,约等于750个英文单词。

如果你想在某些子领域内获得更好的性能,还可以通过特定数据微调GPT-3,同样也是按token收费。


微信图片_20220524150319.png


Model as a Service

GPT-3是第一个将模型转换为付费服务的PLM产品,从这个角度看具有划时代的意义。
它真正厉害的地方在于few-shot能力,在不精调或者只利用prompt的情况下就能获得很好的效果,从而实现卖服务长期捞金的商业模式。


此前GPT-3已经提供了最基础的生成、分类、问答、搜索应用的API,还能满足用户多种定制化需求。例如分类支持用户提供标注示例,搜素支持用户上传自定义文档等等。
这些贴心的设计只为向用户传递一个信息:GPT-3不是一个停留在实验室的demo,而是真的能产生实际价值!国内目前对于巨无霸模型的玩法,基本是先在某一个评测数据集上刷到sota,然后火速转成一篇paper证明这种方法work,最后“忍痛”把权重开源。对于模型在实际业务中的落地,考虑的有点少。总结我们知道,AI有三要素:算力、算法和数据。在前两者固定的情况下,GPT3通过庞大的规模带来了震撼的影响,可以实现其他模型无法做的事情:执行特定任务无需特殊调整,可以做翻译,写程序,作诗,写文章,仅需要提供极少的训练样本或prompt。同时,GPT-3在“产品化”上花了很多心思,考虑了不同业务的定制化需求,提供了详细的demo、文档和付费服务,为我们的国产大模型提供了很好的范例。


利用当下的技术和数据积累,产出服务和价值,继而获取更多的需求和数据,是一个良性循环。长此以往,一定能形成真正的壁垒。

相关文章
|
2月前
|
数据采集 API 决策智能
华为诺亚联合中科大发布工具调用模型ToolACE,效果持平GPT-4获开源第一
 【10月更文挑战第10天】华为诺亚方舟实验室与中国科学技术大学合作推出ToolACE,一种自进化合成过程的工具调用模型。ToolACE通过多智能体交互和双重验证系统生成准确、复杂、多样化的工具学习数据,显著提升大型语言模型(LLM)的功能调用能力。实验结果显示,使用ToolACE数据训练的80亿参数模型性能媲美GPT-4,在伯克利功能调用排行榜上获得开源第一。
92 4
|
20天前
|
数据采集 人工智能 数据可视化
InternVL 2.5,首个MMMU超过70%的开源模型,性能媲美GPT-4o
近期Internvl2.5发布,性能与GPT-4o和Claude-3.5-sonnet等领先的商业模型相媲美,成为首个在MMMU上超过70%的开源模型,通过链式思考(CoT)推理实现了3.7个百分点的提升,展示了强大的测试时间可扩展性潜力。
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
MetaGPT开源SELA,用AI设计AI,效果超越OpenAI使用的AIDE
MetaGPT团队开源了Tree-Search Enhanced LLM Agents(SELA)系统,通过蒙特卡罗树搜索(MCTS)优化AutoML过程,显著提升了机器学习模型的构建效率和性能。SELA在20个数据集上的实验结果表明,其性能优于传统AutoML方法和基于LLM的代理,为AutoML领域带来了新的突破。
36 4
|
2月前
|
存储 数据采集 数据安全/隐私保护
商汤、清华、复旦等开源百亿级多模态数据集,可训练类GPT-4o模型
商汤科技、清华大学和复旦大学等机构联合开源了名为OmniCorpus的多模态数据集,规模达百亿级,旨在支持类似GPT-4级别的大型多模态模型训练。该数据集包含86亿张图像和1696亿个文本标记,远超现有数据集规模并保持高质量,具备广泛来源和灵活性,可轻松转换为纯文本或图像-文本对。经验证,该数据集质量优良,有望促进多模态模型研究,但同时也面临存储管理、数据偏见及隐私保护等挑战。
189 60
|
1月前
|
SQL 机器学习/深度学习 人工智能
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!
本文介绍了四个最新的 AI 开源项目,涵盖多模态生成式 AI、自然语言到 SQL 转化、多模态数学推理和复杂逻辑推理等多个领域,为 AI 应用开发提供了丰富的资源和工具。
145 0
今日 AI 开源|共 4 项|DeepSeek 推出新一代 AI 推理模型,实力比肩 OpenAI o1-preview!
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
开源版GPT-4o来了,AI大神Karpathy盛赞!67页技术报告全公开
【10月更文挑战第20天】近日,开源版GPT-4o的发布成为AI领域的焦点。作为GPT系列的最新成员,GPT-4o在性能和多模态数据处理方面实现了显著提升,得到了知名AI专家Andrej Karpathy的高度评价。该模型的开源特性将进一步促进AI研究的进展。
75 3
|
2月前
|
人工智能 语音技术 UED
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
【10月更文挑战第19天】中国科学院计算技术研究所提出了一种名为LLaMA-Omni的新型模型架构,实现与大型语言模型(LLMs)的低延迟、高质量语音交互。该模型集成了预训练的语音编码器、语音适配器、LLM和流式语音解码器,能够在不进行语音转录的情况下直接生成文本和语音响应,显著提升了用户体验。实验结果显示,LLaMA-Omni的响应延迟低至226ms,具有创新性和实用性。
77 1
|
2月前
|
人工智能 编解码 文字识别
阿里国际AI开源Ovis1.6,多项得分超GPT-4o-mini!
阿里国际AI团队提出了一种名为Ovis (Open VISion)的新型多模态大模型的架构。
|
2月前
|
API
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
54 0
|
2月前
|
机器学习/深度学习 人工智能 并行计算
"震撼!CLIP模型:OpenAI的跨模态奇迹,让图像与文字共舞,解锁AI理解新纪元!"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型,通过对比学习方法预训练,能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成,分别处理图像和文本数据,通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练,能够实现zero-shot图像分类、文本-图像检索等多种任务,展现出强大的跨模态理解能力。
256 2

热门文章

最新文章