你好,我是Giant。
还记得去年5月,OpenAI提出了包含1750亿参数的GPT究极进化版模型GPT-3吗?
在长达72页的论文中,作者证明了对于所有任务,GPT-3无需进行任何梯度更新或微调,仅通过与模型的文本交互指定任务和少量示例(few-shot)即可获得很好的效果。
除了常规的翻译、问答和文本填空任务,GPT-3的出色能力还体现在一些即时推理或领域适应的任务,例如给一句话中的单词替换成同义词,或执行 3 位数的数学运算。
然而,此前OpenAI并没有暴露GPT-3的访问接口,普通用户想要测试,需要填写申请表并经过N天等待。直到11月18号,OpenAI的官方博客带来了两个消息:
1)OpenAI为众多国家开发了白名单,开发人员注册账号就可以立刻体验GPT-3接口。
2)中国不在首批开放的国家列表中= =
博客地址https://openai.com/blog/api-no-waitlist/
Anyway,虽然我们暂时用不了接口,但这次OpenAI更新的内容还是透露了很多信号,例如GPT-3的功能列表,商业化布局等等。
应用示例
官网一共提供了49种使用示例,有分类、对话、生成、翻译、SQL等各种类型的任务。
GPT-3就像一个聪明的学生,每次只需要提供极少的样本,就能举一反三。
例如在语法纠错demo中,用户只需要在输入中提供一个原始的句子,并告知模型希望遵循“美式英语”,模型就会输出纠正后的句子表达:
实现的代码也非常简单:
import os import openai openai.api_key = os.getenv("OPENAI_API_KEY") response = openai.Completion.create( engine="davinci", prompt="Original: She no went to the market.\nStandard American English:", temperature=0, max_tokens=60, top_p=1.0, frequency_penalty=0.0, presence_penalty=0.0, stop=["\n"] )
产品付费
价格方面,GPT-3一共提供了4款模型供用户选择,Ada是最轻量、响应最快的模型,Davinci效果最强大,可以应对复杂文本推理和因果分析。
每位用户在开始的3个月中,有18刀的免费额度。后面只需要为你使用的资源付费。
以Davinci为例,0.06美金可以调用1000个token,约等于750个英文单词。
如果你想在某些子领域内获得更好的性能,还可以通过特定数据微调GPT-3,同样也是按token收费。
Model as a Service
GPT-3是第一个将模型转换为付费服务的PLM产品,从这个角度看具有划时代的意义。
它真正厉害的地方在于few-shot能力,在不精调或者只利用prompt的情况下就能获得很好的效果,从而实现卖服务长期捞金的商业模式。
此前GPT-3已经提供了最基础的生成、分类、问答、搜索应用的API,还能满足用户多种定制化需求。例如分类支持用户提供标注示例,搜素支持用户上传自定义文档等等。
这些贴心的设计只为向用户传递一个信息:GPT-3不是一个停留在实验室的demo,而是真的能产生实际价值!国内目前对于巨无霸模型的玩法,基本是先在某一个评测数据集上刷到sota,然后火速转成一篇paper证明这种方法work,最后“忍痛”把权重开源。对于模型在实际业务中的落地,考虑的有点少。总结我们知道,AI有三要素:算力、算法和数据。在前两者固定的情况下,GPT3通过庞大的规模带来了震撼的影响,可以实现其他模型无法做的事情:执行特定任务无需特殊调整,可以做翻译,写程序,作诗,写文章,仅需要提供极少的训练样本或prompt。同时,GPT-3在“产品化”上花了很多心思,考虑了不同业务的定制化需求,提供了详细的demo、文档和付费服务,为我们的国产大模型提供了很好的范例。
利用当下的技术和数据积累,产出服务和价值,继而获取更多的需求和数据,是一个良性循环。长此以往,一定能形成真正的壁垒。