OpenAI重磅开源，全面拥抱GPT-3

你好，我是Giant。

还记得去年5月，OpenAI提出了包含1750亿参数的GPT究极进化版模型GPT-3吗？

在长达72页的论文中，作者证明了对于所有任务，GPT-3无需进行任何梯度更新或微调，仅通过与模型的文本交互指定任务和少量示例(few-shot)即可获得很好的效果。

除了常规的翻译、问答和文本填空任务，GPT-3的出色能力还体现在一些即时推理或领域适应的任务，例如给一句话中的单词替换成同义词，或执行 3 位数的数学运算。

然而，此前OpenAI并没有暴露GPT-3的访问接口，普通用户想要测试，需要填写申请表并经过N天等待。直到11月18号，OpenAI的官方博客带来了两个消息：

1）OpenAI为众多国家开发了白名单，开发人员注册账号就可以立刻体验GPT-3接口。

2）中国不在首批开放的国家列表中= =

博客地址https://openai.com/blog/api-no-waitlist/

Anyway，虽然我们暂时用不了接口，但这次OpenAI更新的内容还是透露了很多信号，例如GPT-3的功能列表，商业化布局等等。

应用示例

官网一共提供了49种使用示例，有分类、对话、生成、翻译、SQL等各种类型的任务。

GPT-3就像一个聪明的学生，每次只需要提供极少的样本，就能举一反三。

例如在语法纠错demo中，用户只需要在输入中提供一个原始的句子，并告知模型希望遵循“美式英语”，模型就会输出纠正后的句子表达：

实现的代码也非常简单：

import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")
response = openai.Completion.create(
  engine="davinci",
  prompt="Original: She no went to the market.\nStandard American English:",
  temperature=0,
  max_tokens=60,
  top_p=1.0,
  frequency_penalty=0.0,
  presence_penalty=0.0,
  stop=["\n"]
)

产品付费

价格方面，GPT-3一共提供了4款模型供用户选择，Ada是最轻量、响应最快的模型，Davinci效果最强大，可以应对复杂文本推理和因果分析。

每位用户在开始的3个月中，有18刀的免费额度。后面只需要为你使用的资源付费。

以Davinci为例，0.06美金可以调用1000个token，约等于750个英文单词。

如果你想在某些子领域内获得更好的性能，还可以通过特定数据微调GPT-3，同样也是按token收费。

Model as a Service

GPT-3是第一个将模型转换为付费服务的PLM产品，从这个角度看具有划时代的意义。
它真正厉害的地方在于few-shot能力，在不精调或者只利用prompt的情况下就能获得很好的效果，从而实现卖服务长期捞金的商业模式。

此前GPT-3已经提供了最基础的生成、分类、问答、搜索应用的API，还能满足用户多种定制化需求。例如分类支持用户提供标注示例，搜素支持用户上传自定义文档等等。
这些贴心的设计只为向用户传递一个信息：GPT-3不是一个停留在实验室的demo，而是真的能产生实际价值！国内目前对于巨无霸模型的玩法，基本是先在某一个评测数据集上刷到sota，然后火速转成一篇paper证明这种方法work，最后“忍痛”把权重开源。对于模型在实际业务中的落地，考虑的有点少。总结我们知道，AI有三要素：算力、算法和数据。在前两者固定的情况下，GPT3通过庞大的规模带来了震撼的影响，可以实现其他模型无法做的事情：执行特定任务无需特殊调整，可以做翻译，写程序，作诗，写文章，仅需要提供极少的训练样本或prompt。同时，GPT-3在“产品化”上花了很多心思，考虑了不同业务的定制化需求，提供了详细的demo、文档和付费服务，为我们的国产大模型提供了很好的范例。

利用当下的技术和数据积累，产出服务和价值，继而获取更多的需求和数据，是一个良性循环。长此以往，一定能形成真正的壁垒。