一、ChatGPT发展
【ChatGPT——GPT3.5】
诞生于:2022 年 11 月
类型:对话场景的大语言模型
特点:更贴近人的方式与使用者互动;在理解人类意图、精准回答问题、流畅生成结果方面远超人类预期。
功能:可以回答问题、承认错误、挑战不正确的前提、拒绝不适当的请求,同时拥有惊艳的思维链推理能力和零样本下处理问题能力。
热度:据瑞银数 据,ChatGPT 产品推出 2 个月后用户数量即过亿,而上一个现象级应用 TikTok 达到 1 亿用户花费了 9 个月时间。
能力:强大的上下文连续话能力 :ChatGPT 可以实现几十轮连续对话,能够比较准确地识别省略、指代等细粒度语言现象、记录历史信息,而且似乎都可以保持对话主题的一致性和专注度。
智能的交互修正能力:无论是用户更改自己之前的说法还是指出ChatGPT的回复中存在的问题,都能够捕捉到修改意图,并准确识别出需要修改的部分,最后做出正确的修改。
【ChatGPT——GPT4.0】
诞生于:2023年 3 月
类型:对话场景的大语言模型
特点:具备多模态能力,可以同时支持文本和图像输入。
支持的文本输入数量提升至约 32000 个 tokens,对应约 2.5 万单词。
性能:
- 理解/推理/多语言能力增强。
- 理解能力显著增强,可以实现“看图说话”。
- 可靠性相比 GPT3.5 大幅提升 19%。
- 对不允许和敏感内容的错误反应显著下降。
二、ChatGPT技术基础
ChatGPT由生成式预训练模型(Generative Pretrained Transformer,GPT)GPT-3.5 微调而来,在GPT-3.5的基础上,引入了基于人类反馈的强化学习技术(Reinforcement Learning from Human Feedback,RLHF)对模型进行微调。
参考:ChatGPT 为代表的大模型对信息资源管理的影响
ChatGPT 的能力来源于:大规模预训练 + 指令微调 + 基于人类反馈的强化学习
1、通过大规模的预训练,通过让拥有 1750 亿参数的大模型去学习包含 3000 亿单词的语料,大模型已经具备了基础能力。
大模型基础能力:语言生成、情景学习(in-context learning,遵循给定的示例为新的测试应用生成解决方案)、世界知识(事实性知识和常识)、指令遵循(Instruct following)、思维链(Chain of thought)可逐步解决问题。
2、通过指令微调(Instruction tuning),帮助大模型“解锁”特定领域的能力如遵循指令来实现问答式的聊天机器人,或泛化到其他新的任务领域。
3、基于人类反馈的强化学习(RLHF,Reinforcement Learning with Human Feedback)则让大模型具备了和人类“对齐”的能力,即给予提问者详实、公正的回应,拒绝不当的问题,拒绝其知识范围外的问题等特性。
2.1 大规模的预训练
ChatGPT基于Transformer进行特征提取,采用Decoder-Only方式,由两阶段到一阶段:单向语言模型预训练+zero shot/ few shot prompt/ Instruct。
解释一下GPT的含义:生成式预训练(Generative Pre-Train,GPT)。
Transformer 结构由编码器和解码器构成,而单独基于编码器或者解码器均可构建大语言模型,因此业内形成三类大模型路线:
- Decoder-Only(仅解码器)——GPT
- Encoder-Only(仅编码器)——谷歌的Bert、Deberta
- Encoder-Decoder(编码器-解码器)——Meta的Bart、T5、ChatGLM
采用 Decoder-Only 的有 GPT 等,其采用“预测下一个单词”的 方式进行预训练,之后通过指令微调等实现特定领域功能的激发。
采用 Encoder-Only 的有谷歌的 Bert、微软的 Deberta 等,其采用 “完形填空”式的预训练,再根据所需的应用领域用少量标注过的数据进行 Fine-tuning(微调)。
采用Encoder-Decoder 架构的模型如谷歌的 T5、Meta 的 Bart、清华大学的 ChatGLM 等。
大模型预训练:
编辑
参考:《A Survey of Large Language Models》(Zhao Wayne Xin 等)、开源证券研究所
2.2 模型微调
模型微调将赋予模型在特定领域的能力,预训练好的基础模型进行微调:
- 1、采用人工标注好的数据来训练模型;
- 2、通过人类对模型答案的排序训练一个奖励模型;
- 3、使用奖励模型通过强化学习的方式训练 ChatGPT。其中后两个步骤称为 RLHF(基于人类反馈的强化学习)。
在 GPT4 的训练过程中,OpenAI还进一步加入了基于规则的奖励模型(RBRMs)来帮助模型进一步生成正确的回答,
拒绝有害内容。可以看出模型微调对模型最终的效果实现至关重要,玩家独特的训练和微调方法会让自己的模型形成独特的性能。
2.3 基于人类反馈的强化学习
基于人类反馈的强化学习(RLHF)则让大模型具备了和人类“对齐”的能力,即给予提问者详实、公正的回应,拒绝不当的问题,拒绝其知识范围外的问题等特性。
三、ChatGPT对科研思路的影响
1、资源富集的实验室会开始进一步投入大模型竞争,短期内将会以探索 RLHF 的不同方向和规模为主。
2、部分子任务的快速消失和被整合。大量之前存在的子任务/小任务会并入大任务,构造有监督数据集并微调不再是小任务的第一选择。大模型无法取得好结果的小任务将成为研究热点。
3、跨模态知识的挖掘和自监督学习将成为新的热点研究方向。大量基于RLHF的跨模态知识的生成方法将被快速提出并实践,相关成果将在短期内大量发表。主流热点将主要聚焦在知识的数量、质量以及运用知识的方法。
参考文献:
[1] 赵朝阳,朱贵波,王金桥.ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路[J].中国科学院自动化研究所.2023
[2] 《A Survey of Large Language Models》(Zhao Wayne Xin 等)
[3] ChatGPT 为代表的大模型对信息资源管理的影响
本文只供大家参考与学习,谢谢~