1.3 什么是ChatGPT

ChatGPT，是美国OpenAI公司开发的一种基于神经网络的预训练模型，它预先内置了1750亿的参数，我们可以理解为1750亿个数学公式，并且通过数以亿计的数据进行预先训练。

从1.0版本开始，ChatGPT还只会通过大量数据进行学习，进行上下文补齐。我们举一个例子，如图1-8所示：

图1-8 ChatGPT1.0问答

ChatGPT会从已经训练好的数据中查找答案，比如找到的数据中，回到“绩效管理”比较多，那么ChatGPT会给出回答“绩效管理”。这类似于稍微智能一点的搜索引擎，这是ChatGPT1.0做的事情，基于上文和下文出现的概率来给出答案。

到了2.0版本，ChatGPT已经可以熟练掌握填空题、判断题、问答题、或者帮助你查找错别字这种基于上下文处理的工作事项。

而2.0版本则增加了“多任务”的概念，这意味着ChatGPT可以同时做多个任务，当我们抛给GPT一个问题，它可以从多个方面回答这个问题，达到举一反三的效果。如图1-9所示：

图1-9 多任务处理

1.0版本和2.0版本看似已经非常强大了，但却存在一个很大的问题，即数据标识的问题。我们前面说过，ChatGPT是预训练模型，就像一个小孩子，它的学习过程需要大人引导输入数据，比如告诉它这是猫，那不是猫，ChatGPT才能在学习大量数据后，判断出这是不是猫。

由此暴露出的问题是，我们要给ChatGPT输入的每一项内容都做好标识，这在自然语言学习的领域称之为“监督学习”。监督学习海量的数据，那么就需要海量的人工去把数据做好标识，才能给到ChatGPT进行学习，这种方式的工作量和成本无疑是很可怕的。如图1-10所示：

图1-10 数据标注

到了ChatGPT3.0版本，科学家们提出了一个“小样本学习”的概念，即先给GPT少量的已经标识好的数据进行学习，后面使用大量没有标识的数据进行测试。这在自然语言学习的领域称之为“无监督学习”。和我们小时候学习的概念类似，老师先教概念，再举一些例子，后面由学生自主学习。

到了3.5的版本，ChatGPT在“监督学习”的基础上增加了“强化学习”的概念，即回答出的问题让用户进行打分，通过大量用户的使用和打分，将评分结果返过去再确认结果的准确性。

随着这一创新性的技术升级，自从2022年11月30日OpenAI开放ChatGPT以来，在短短的1周内就获得了全球100W的用户，而目前更是超过10亿的用户和月活1亿的用户，一跃成为了全球最热门的公司。如图1-11所示：

图1-11 OpenAI官网