ChatGPT发展与技术基础

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: ChatGPT发展与技术基础

 一、ChatGPT发展

【ChatGPT——GPT3.5】

诞生于:2022 年 11 月

类型:对话场景的大语言模型

特点更贴近人的方式与使用者互动;在理解人类意图、精准回答问题、流畅生成结果方面远超人类预期

功能可以回答问题、承认错误、挑战不正确的前提、拒绝不适当的请求,同时拥有惊艳的思维链推理能力和零样本下处理问题能力。

热度据瑞银数 据,ChatGPT 产品推出 2 个月后用户数量即过亿,而上一个现象级应用 TikTok 达到 1 亿用户花费了 9 个月时间。

能力强大的上下文连续话能力 :ChatGPT 可以实现几十轮连续对话,能够比较准确地识别省略、指代等细粒度语言现象、记录历史信息,而且似乎都可以保持对话主题的一致性和专注度。

       智能的交互修正能力:无论是用户更改自己之前的说法还是指出ChatGPT的回复中存在的问题,都能够捕捉到修改意图,并准确识别出需要修改的部分,最后做出正确的修改。

【ChatGPT——GPT4.0】

诞生于:2023年 3 月

类型:对话场景的大语言模型

特点具备多模态能力,可以同时支持文本和图像输入

        支持的文本输入数量提升至约 32000 个 tokens,对应约 2.5 万单词。

性能

    1. 理解/推理/多语言能力增强。
    2. 理解能力显著增强,可以实现“看图说话”。
    3. 可靠性相比 GPT3.5 大幅提升 19%
    4. 对不允许和敏感内容的错误反应显著下降。



    二、ChatGPT技术基础

    ChatGPT由生成式预训练模型(Generative Pretrained Transformer,GPT)GPT-3.5 微调而来,在GPT-3.5的基础上,引入了基于人类反馈的强化学习技术(Reinforcement Learning from Human Feedback,RLHF)对模型进行微调。

    image.gif

    参考:ChatGPT 为代表的大模型对信息资源管理的影响

    ChatGPT 的能力来源于:大规模预训练 + 指令微调 + 基于人类反馈的强化学习

    1、通过大规模的预训练,通过让拥有 1750 亿参数的大模型去学习包含 3000 亿单词的语料,大模型已经具备了基础能力。

    大模型基础能力:语言生成、情景学习(in-context learning,遵循给定的示例为新的测试应用生成解决方案)、世界知识(事实性知识和常识)、指令遵循(Instruct following)、思维链(Chain of thought)可逐步解决问题。

    2、通过指令微调(Instruction tuning),帮助大模型“解锁”特定领域的能力如遵循指令来实现问答式的聊天机器人,或泛化到其他新的任务领域。

    3、基于人类反馈的强化学习(RLHF,Reinforcement Learning with Human Feedback)则让大模型具备了和人类“对齐”的能力,即给予提问者详实、公正的回应,拒绝不当的问题,拒绝其知识范围外的问题等特性。



    2.1 大规模的预训练

    ChatGPT基于Transformer进行特征提取,采用Decoder-Only方式,由两阶段到一阶段:单向语言模型预训练+zero shot/ few shot prompt/ Instruct。

    解释一下GPT的含义:生成式预训练(Generative Pre-Train,GPT)。

    Transformer 结构由编码器和解码器构成,而单独基于编码器或者解码器均可构建大语言模型,因此业内形成三类大模型路线:

      • Decoder-Only(仅解码器)——GPT
      • Encoder-Only(仅编码器)——谷歌的Bert、Deberta
      • Encoder-Decoder(编码器-解码器)——Meta的Bart、T5、ChatGLM

      采用 Decoder-Only 的有 GPT 等,其采用“预测下一个单词”的 方式进行预训练,之后通过指令微调等实现特定领域功能的激发。

      采用 Encoder-Only 的有谷歌的 Bert、微软的 Deberta 等,其采用 “完形填空”式的预训练,再根据所需的应用领域用少量标注过的数据进行 Fine-tuning(微调)。

      采用Encoder-Decoder 架构的模型如谷歌的 T5、Meta 的 Bart、清华大学的 ChatGLM 等。

      大模型预训练:

      image.gif编辑

      image.gif

      参考:A Survey of Large Language Models》(Zhao Wayne Xin 等)、开源证券研究所



      2.2 模型微调

      模型微调将赋予模型在特定领域的能力,预训练好的基础模型进行微调:

        • 1、采用人工标注好的数据来训练模型;
        • 2、通过人类对模型答案的排序训练一个奖励模型;
        • 3、使用奖励模型通过强化学习的方式训练 ChatGPT。其中后两个步骤称为 RLHF(基于人类反馈的强化学习)。

        在 GPT4 的训练过程中,OpenAI还进一步加入了基于规则的奖励模型(RBRMs)来帮助模型进一步生成正确的回答,

        拒绝有害内容。可以看出模型微调对模型最终的效果实现至关重要,玩家独特的训练和微调方法会让自己的模型形成独特的性能。


        2.3 基于人类反馈的强化学习

        基于人类反馈的强化学习(RLHF)则让大模型具备了和人类“对齐”的能力,即给予提问者详实、公正的回应,拒绝不当的问题,拒绝其知识范围外的问题等特性。



        三、ChatGPT对科研思路的影响

        1、资源富集的实验室会开始进一步投入大模型竞争,短期内将会以探索 RLHF 的不同方向和规模为主。

        2、部分子任务的快速消失和被整合。大量之前存在的子任务/小任务会并入大任务,构造有监督数据集并微调不再是小任务的第一选择。大模型无法取得好结果的小任务将成为研究热点。

        3、跨模态知识的挖掘自监督学习将成为新的热点研究方向。大量基于RLHF的跨模态知识的生成方法将被快速提出并实践,相关成果将在短期内大量发表。主流热点将主要聚焦在知识的数量、质量以及运用知识的方法。



        参考文献:

        [1] 赵朝阳,朱贵波,王金桥.ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路[J].中国科学院自动化研究所.2023

        [2] A Survey of Large Language Models》(Zhao Wayne Xin 等)

        [3] ChatGPT 为代表的大模型对信息资源管理的影响



        本文只供大家参考与学习,谢谢~

        相关文章
        |
        1月前
        |
        人工智能
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 27 章:如何避开和绕过所有人工智能内容检测器
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 27 章:如何避开和绕过所有人工智能内容检测器
        |
        1月前
        |
        人工智能 数据处理
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 28 章:圣杯 = 专家 + ChatGPT 的协同作用
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 28 章:圣杯 = 专家 + ChatGPT 的协同作用
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 26 章:让 ChatGPT 成为你自己的提示工程师
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 26 章:让 ChatGPT 成为你自己的提示工程师
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 11 章:知识整合提示
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 11 章:知识整合提示
        |
        1月前
        |
        自然语言处理
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 22 章:情感分析提示
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 22 章:情感分析提示
        |
        1月前
        |
        机器学习/深度学习 自然语言处理
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 20 章:强化学习提示
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 20 章:强化学习提示
        |
        1月前
        |
        自然语言处理
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 14 章:受控生成提示
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 14 章:受控生成提示
        |
        1月前
        |
        数据挖掘
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 10 章:知识生成提示
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 10 章:知识生成提示
        |
        1月前
        |
        自然语言处理
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 25 章:文本生成提示
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 25 章:文本生成提示
        |
        1月前
        |
        机器学习/深度学习 自然语言处理
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 21 章:课程学习提示
        要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 21 章:课程学习提示