为了使模型更安全，并能够以聊天机器人的方式提问和回答。该模型经过进一步的微调后，成为目前 ChatGPT 中使用的版本。微调是将不太符合人类价值观的模型，转变为可控的 ChatGPT。微调模型的这个过程称为人类反馈强化训练（RLHF）。
OpenAI 解释了他们如何在模型上运行RLHF，使用 RLHF 微调 GPT 3.5 就像提高厨师的技能，使他们的菜肴更加美味。
最初，厨师接受了大量食谱和烹饪技术数据集的培训。然而，有时厨师不知道要根据客户定制要求制作那道菜。为了帮助解决这个问题，我们收集真实用户反馈来创建新的数据集。第一步是创建比较数据集，我们要求厨师根据给定要求准备多种菜肴，然后让人们根据口味和外观对菜肴进行排名。这有助于厨师了解顾客喜欢那些菜肴。
下一步是奖励建模，厨师利用这些反馈创建奖励模型，就像了解顾客偏好的指南。奖励越高，菜品越好。接下来，我们使用PPO（即临近策略优化）训练模型，在这个类比中，厨师在遵循奖励模型的同时练习制作菜肴。他们使用一种称为“近端策略优化”的技术来提高他们的技能。这就像厨师将他们当前的菜肴与略有不同的版本进行比较，并根据奖励模型了解那一个更好。
这个过程会重复几次，厨师会根据最新的客户反馈来完善他们的技能。通过每次迭代，厨师都会更好地准备满足顾客喜好的菜肴。从另一个角度看，GPT-3.5 通过收集人们的反馈、根据他们的偏好创建奖励模型，然后使用 PPO 迭代改进模型性能，对 RLHF 进行了微调。这使得GPT-3.5能够针对特定用户请求生成更好的响应。
4.4 Prompt
通过 GPT 训练员针对它的教导后，我们就可以使用 ChatGPT 了。但由于基于大语言模型的 GPT 参数过于繁杂，其实准确表达出我们需求也是非常关键的。也就是说，想要更好的和 AI 进行对话，就需要 Prompt “语言”。现在网上有很多教程教会大家，如何能更高效的使用 Prompt 和 AI 沟通。
下图就是 Prompt 的具体逻辑，其实就是描述的越准确，ChatGPT 就会给你的越精准。
从概念上说，Prompt 就像输入给ChatGPT模型并返回输出一样简单。事实上，情况要复杂一些。首先 ChatGPT 了解聊天对话上下文，这是通过每次输入新提示时 ChatGPT UI 向模型提供整个对话来完成的。
这称为会话 Prompt 注入，这就是ChatGPT具有上下文感知能力的方式。
其次，ChatGPT包括隐含的 Prompt 内容，这些是在用户提示之前和之后注入的指令，用于指导模型使用对话语气。这些提示对于用户来说是不可见的。比如，它会事先分析你的输入是什么语气的，什么语言等等。
生成的结果也可能会在返回给用户之前传递给审核API
创建ChatGPT使用的模型需要进行大量工程设计，其背后的技术不断发展，为新的可能性打开了大门，并重塑了我们的沟通方式。ChatGPT 正在彻底改变软件开发人员的工作方式，展示它如何增强我们的日常任务并提高效率。为了不落后，我们应当了解，如何利用ChatGPT的强大功能，并在这个快速发展的软件开发世界中保持领先地位。
五、总结
在历史上发生了几次工业革命，每一次工业革命都是以科学的突破和根技术的发展为基础的。例如第一次工业革命，18世纪牛顿经典力学和热力学出现了突破。瓦特改良了蒸汽机，带领人类走进了蒸汽时代，他让英国成为日不落帝国。19世纪末20世纪初，法拉第发现了电磁感应现象，麦克斯韦阐述了电磁波原理。人类发明了发电机，电动机和无线电通讯。这就是第二次工业革命，他让美国成为了世界第一强国。20世纪中叶，因为电子技术计算机技术发展，人类迅速进入了电子时代，这就是第三次工业革命。日本抓住了这个机会，迅速从战争的阴影中走了出来，成为世界最发达国家俱乐的一员。前三次工业革命中国都没赶上，而现在世界正处于无线互联网、人工智能、新能源和生物科技为代表的第四次工业革命当中。这一次中国人没有缺席，无论是5G还是人工智能，亦或是新能源或者生物科技。中国的科学家和工程师用了二十多年实现了追赶，在很多新科学和新技术方面，走在了世界的前列。
