(建议收藏深读)GPT 高阶玩法 - 万字 GPT 模型自动化应用指南( javaScript 示例)(上)

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介: (建议收藏深读)GPT 高阶玩法 - 万字 GPT 模型自动化应用指南( javaScript 示例)

image.png

当提到领先的人工智能研究机构,OpenAI 人工智能公司绝对是其中之一。作为全球最知名的 AI 研究机构之一,OpenAI 的成果和贡献不可谓不深远。它在自然语言处理和生成领域的 GPT 系列模型(GPT-1、GPT-2、GPT-3)尤为出色,引领了该领域的发展。

如果还不清楚怎么注册使用 GPT 的同学,不妨看看这篇《(建议收藏)ChatGPT 被锁中国区 ip ?别慌,看这篇ChatGPT & OpenAI 注册使用指北》

大家好,我是祯民。最近 ChatGPT 对各个领域都造成了不小的冲击,大家或多或少都已经和 ChatGPT 对话过,并且也得到了不少答案和结果,相信对它的能力也有了较为清晰的认知。

当然这篇文章的重点并不是怎么注册使用 ChatGPT 或是怎么搭建一个自己的 ChatGPT 服务,在很多同学的印象里,ChatGPT 是一个人工智能的模型,可以通过聊天的方式得到一些答案。这个并不是一个全面的认知,它能做到的事情也远不及此。

通过 GPT 模型 , 可以批量智能并且自动化地完成各行各业的工作。在这篇文章中,我们就将来学习 GPT 的高阶玩法 -- 基于GPT模型开发自动化应用, 通过这篇文章的学习,大家将对 GPT 模型产生一个初步的认知,并且具备使用 GPT 模型应用到自己需要的方向的基本开发能力,形成整个 AI 应用维度的架构思维。本文将从以下几个大方向展开这部分的学习:

  • GPT 模型篇:通过这部分的学习,大家将对 GPT 模型具备一个相对清晰的认知,并且了解怎么根据自己的应用场景灵活选用模型。实际上,我们使用的 ChatGPT 只是其中的一种模型,即 GPT-3.5-turbo 模型。
  • GPT 接入篇:这部分我们将结合实际的例子来介绍 GPT 模型的接入,涵盖流获取、流式接入等高阶玩法。
  • GPT 应用篇:这部分我会基于我最近开发 GPT 模型的 vscode 自动化测试插件 GPT Unit Test,来具体剖析整个方案是如何设计的,并延伸到其他方向应该如何展开具体的 AI 应用。

全文干货很多,建议收藏深读! 本文虽会以技术视角展开,但是并没有较深的技术门槛,非技术同学也可以关注,其中的 AI 应用思路相信会对优秀的你有不一样的启发,在这个领域,想法💡远比技术要更有价值

GPT 模型篇

初识 -- 什么是 GPT 模型?

GPT (Generative Pre-trained Transformer) 模型是一种基于 Transformer 结构的预训练语言模型,由 OpenAI 人工智能公司开发。它表现出色的原因是它能够在大规模文本数据上进行预训练,并根据任务进行微调,从而在多种自然语言处理任务上取得优异的结果。

GPT 模型是在大规模语料库上进行训练的。在预训练阶段,它会学习构建句子的基本结构、单词之间的关系、句子的文法和语法等等。在对其进行微调后,它可以实现诸如对话生成、文本摘要、机器翻译、命名实体识别等任务。

简单来说,GPT 是一种预训练算法模型,在它的基础上,存在一些变体,具备更大的预训练规模和数据集,使得它的自然语言能力更强,我们一直使用 ChatGPT 就是其中的一种变体。

因为这个性质,GPT 也可以被理解为是一系列预训练模型的统称,这些变体其实我们也可以称它们为 GPT 模型。经过这样的描述,相信大家也可以理解,GPT 模型的能力来自于大量数据集的反复预训练,不同的变体之间的差异也与训练的次数、规模和数据集息息相关

差异 -- GPT-3 , GPT-3.5, GPT-4 模型之间有什么区别?

InstructGPT(2022 年 1 月)是一系列 GPT-3 模型(包括 text-davinci-001、text-davinci-002 和 text-davinci-003)统称,于GPT-3相比,它的最大不同是针对人类指令(reinforcement learning with human feedback, RLHF)进行了微调 ; InstructGPT 产生的幻觉更少,更真实,但它在生成的多样性或者说创意上相对更差,因为它们试图在“对齐”的前提下,将人类偏好/价值观硬塞进原始数据模型中。

ChatGPT(2022 年 11 月)更进一步。 为了训练 ChatGPT,OpenAI 对 InstructGPT 对话模型进行了微调(马斯克在Twitter上指出openai 使用了Twitter 数据), 这种微调在一定程度上也是可以的, 区别在于使用的policy and reward model

在了解了什么是 GPT 模型后,我们来看一下它的变体。当然除了 GPT-3, GPT-3.5, GPT-4 以外还有 GPT-2,GPT-2的能力在各方面都比较差,也不适合微调,这里就不展示描述了。

image.png

首先大家需要了解 GPT-3, GPT-3.5, GPT-4 都是具备对人类指令做出基本有效反馈的模型:

  • GPT-3 模型也称 davinci 模型,它虽然具备基础的响应能力,但是创造性比较差,在逻辑构造方面也比较难形成有规律或者说逻辑紧密的回答,所以通常来说,项目的应用(即 GPT 模型 的接入)我们并不会直接选用 GPT-3 模型,更多是用于模型微调,来产生适合业务的变体。
  • GPT-3.5 模型是在 GPT-3 模型的基础上微调的产物,相比之下,它具备更强的语言逻辑组织能力和创造力,也是目前使用范围比较广的 GPT 模型。
  • GPT-4 模型在 GPT-3.5 模型上提供了更具有实效性的数据集来进行微调,在时效性、创造力上都有一定的提升,缺陷是还没有完全公开,需要体验名额,或者接入微软提供的 azure gpt 模型使用。

清晰认知 -- 最近大火的 ChatGPT 使用的是哪种模型?

那么我们平时常用 web ChatGPT 使用的是哪种模型呢?通常来说,使用的都是 GPT-3.5 模型,即 gpt-3.5-turbo 和 gpt-3.5-turbo-0301 这两种模型。

上文我们也提到 GPT-3 模型通常是不会直接用来应用的,而 GPT-3.5 模型是在 GPT-3 模型基础上做出的更具创造力的模型,也是最基本适合应用直接使用的模型。至于 GPT-4 模型目前还没有直接推广,需要和企业签订协议,或者拿到体验名额后才能尝试。(不过目前我实验下来的效果,个人感觉,GPT-4 和 GPT-3.5 并没有太大差异)

大家在看完 GPT 接入篇后也可以尝试接入一下 GPT-3 模型试试效果,相比目前的答案实体,GPT-3 的答案更像是信息的堆砌,所以这也是 GPT-3 模型通常是作为其他模型母体的原因。

思路确定 -- 应用阶段,我们应该选择哪种模型?

如果你的应用比较轻量,没有过多的业务背景或是技术壁垒(即没办法在外网查阅到),那么可以直接接入 GPT-3.5 及以上模型。

反之,如果你的应用需要了解业务背景,或者存在一些自研的能力,形成了技术壁垒,又或者是在时效性上有更高的要求,那么则需要以 GPT-3 模型为母体,进行微调。

微调的文档可以参考platform.openai.com/docs/api-re… ,这里不再赘述,需要注意的是,请提前准备好和你业务背景、技术能力相关的训练数据,微调的效果与数据集的完整度和逻辑可靠性强相关。

GPT 接入篇

迈出第一步 -- GPT 模型的接入 ?

相信大家在上面的学习中,应该已经对 GPT 模型有了一个较为清晰的认知,事实上,GPT 模型提供可以为应用接入的能力,我们可以按照自己想法为自己的业务接入 GPT,并基于它批量完成一些工程化的事情。

当然这里提到的自动化能力,绝不仅仅是 ChatGPT 这种 web 聊天这么简单, 通过对实际业务场景的通用性问题总结以及规律性结果处理,我们完全可以做到自动化完成一些工程化的事情,比如测试,代码优化等等,这个就是后话了,我们会在应用篇详细介绍。

GPT 模型提供了 fetch 和 npm 包两种方式接入,当然这两种接入方式底层都是相同的,npm 包可以理解为是基于 fetch 逻辑的 nodejs 包装。接下来,我会结合实际的例子来给大家详细讲解 GPT 模型的接入以及实际业务接入使用中必须解决的一系列问题。

GPT 模型接入 -- fetch

GPT 模型可以通过接口的方式来完成接入,上面我们提到 GPT-3 模型有很多变体,分别用于不同行业方向,比如 图片、聊天等,具体的文档大家可以参考 platform.openai.com/docs/api-re…

下面我们将以聊天模型的接入展开介绍,这个是我们应用中最常用的模型(即使不是用来做聊天室),它的结果更具备逻辑性,容易总结出通用性问题并集中处理, 我们来看下面的例子

const messages = "Once upon a time";
const apiKey = "<INSERT_YOUR_API_KEY_HERE>"; // OpenAI API 授权密钥
const apiUrl = "https://api.openai.com/v1/chat/completions";
const headers = {
  "Content-Type": "application/json",
  Authorization: `Bearer ${apiKey}`,
};
const data = {
  messages,
  max_tokens: 5,
};
const options = {
  method: "POST",
  headers,
  body: JSON.stringify(data),
};
fetch(apiUrl, options)
  .then((res) => res.json())
  .then((json) => console.log(json))
  .catch((err) => console.error(err));
复制代码

在上面的例子中,我们实现了一个简单的 fetch 方式的接入,其中 apiurl 即是 chatgpt 模型的接入地址,我们需要获取到 openAPI KEY 并作为鉴权传入 headers 中,其中 openAPI Key 可以从 openAI 账号中生成,是一个用户信息鉴权 key,使用过程将会消耗 openAI 的额度,大家可以到 platform.openai.com/account/api… 生成。

image.png

data 的部分是 openAI 提供给我们的参数,可以进行一些自定义的配置,大家需要关注的有下面这些参数:

  • model:文本生成器使用的模型,即 GPT-3.5及以上 模型
  • messages:文本生成器的输入,表示您要向 API 提出的问题或问题描述。
  • temperature:控制生成的文本的随机性。值越高,生成的文本越具有创造性和想象力。当然并不是越高越好,值越高,答案存在错误的可能性也越高,需要根据业务场景灵活调整,默认为 0.7。
  • max_tokens:生成文本的最大长度,以 token 数量为单位。默认为 150,最大为 2048。
  • top_p:控制模型多个单词的权重。取值范围从 0 到 1,默认为 1.0。
  • n:请求 API 生成的新文本的数量。默认为 1。
  • stop:如果生成的文本包含以下任意一个字符串,即停止文本生成过程。默认为一个空数组 []。
  • presence_penalty:生成文本时减少出现重复子串。若设置,则模型尝试消除两个已经重复出现的词语间的文本。默认为 0.0。
  • frequency_penalty:在生成文本时惩罚使用过于频繁的单词。较高的值有助于提高生成文本的多样性,但可能会导致生成文本的不连贯性等问题。默认为 0.0。

需要额外注意的是,该模型输入(即 messages)最大为 4096 token,这里 token 的单位指的是自然语言处理领域中的最小语言单位,可以理解成小于等于1个单词,而输出(即max_tokens)最大为 2048 token。

也就是说如果问题过大,或者说回答过大,都将会造成内容的截断,常规的调用并不能无限制地问答,当然这个也是有解法的,我们会在下文中流相关部分详细介绍。

GPT 模型接入 -- npm 包

除 fetch 调用外,我们还可以通过 npm 包的方式完成接入,当然底层都是用 fetch 链接,我们需要安装一下 npm 包的依赖。

npm install openai --save
复制代码

我们来结合例子看看具体应该怎么通过 npm 接入 GPT 模型

const openai = require("openai");
const prompt = "Once upon a time";
const apiKey = "<INSERT_YOUR_API_KEY_HERE>"; // OpenAI API 授权密钥
openai.api_key = apiKey;
const parameters = {
  model: 'text-davinci-003',
  prompt,
  max_tokens: 5,
};
openai.Completion.create(parameters)
  .then((response) => console.log(response))
  .catch((err) => console.error(err));
复制代码

不过需要注意的一点是,fetch 中我们举例调用的 chatgpt 模型,即 gpt-3.5-turbo 及以上模型,而 npm 包不需要填 fetch 链接,如果想调用了 davinci 模型(即 gpt-3),参数需要有一些调整,需要将 messages 换成 promt,因为 davinci 底层调用的链接其实是 api.openai.com/v1/completi…

如果用的是 gpt-3.5-turbo 及以上模型, 那么 parameters 中的问题描述参数请用 messages。

流获取 -- 如何解决 max_tokens 答案截断的问题?

在上文中,我们有提到 gpt 输出的结果长度由一个参数 max_tokens 限制,最大为 2048。但是在实际的业务场景中,我们不可能保证我们需要的答案一定只在 2048 内,一个可能截断的答案我们是没办法进行有效规律地提取我们需要的内容然后做一些事情的。

这个问题很头疼,但是是有解法的,我们来看下面这段示例

/**
 * 询问 openai 问题
 * @param question 
 * @returns 
 */
const openApiAsk = async (question: string) => {
  const openApiKey = 'test'; // your openApi key
  // 以流的方式接入
  const responseStream = await axios({
    method: 'POST',
    url: openAIURL,
    headers: {
      'Content-Type': 'application/json',
      Authorization: `Bearer ${openApiKey}`,
    },
    data: JSON.stringify({
      model: 'gpt-3.5-turbo',
      messages: [{ role: "user", content: question }],
      max_tokens: 2048,
      temperature: vscode.workspace.getConfiguration().get('chatgptUiUnitTest.temperature')
    }),
    responseType: 'stream'
  });
  return responseStream;
};
// 处理文件流
const question = "hello openai";
const resultStream = await openApiAsk(question);
const fileStream = fs.createWriteStream('test.txt');
resultStream.data.pipe(fileStream);
fileStream.on('close', () => {
  fs.readFile('test.txt', (err, data) => {
    fs.writeFile('test.txt', data.toString(), (err) => {
      // 二次处理, do something 
    });
  });
});
复制代码

在上面的例子中,我们在请求中补充了一个响应类型,即 responseType:stream,这将使得 openai 的响应将由一个固定的结果,调整为文件流。在后面的逻辑中,我们创建了一个可写流,接收这个可读流,并将内容完整写入到文件中。

流是一种处理读写文件、网络通信或任何端到端信息交换的有效方式。流的独特之处在于,它不像传统的程序那样一次将一个文件读入内存,而是逐块读取数据、处理其内容,而不是将其全部保存在内存中。这也是为什么通过这种方式可以突破 max_tokens 长度限制的原因,因为我们并不是一次性拿到全部的答案,而是逐步写入。


目录
相关文章
|
9天前
|
运维 分布式计算 大数据
自动化运维的利剑:Ansible在现代IT架构中的应用
【7月更文挑战第16天】本文深入探讨了Ansible作为自动化运维工具的核心价值及其在现代IT架构中的多维度应用。我们将通过具体案例分析,揭示Ansible如何优化IT运维流程、提升工作效率,并讨论其在云环境、容器化及大数据处理等领域的创新应用。文章旨在为读者提供一套实用的Ansible应用策略,助力企业构建更加高效、稳定的IT运维体系。
|
12天前
|
机器学习/深度学习 传感器 人工智能
高效能计算机视觉技术在工业自动化中的应用与发展
随着工业自动化的迅速发展,高效能计算机视觉技术正成为关键驱动力。本文探讨了计算机视觉在工业自动化中的重要性,以及其应用和未来发展趋势。通过深入分析现有技术和案例研究,展示了计算机视觉如何提升生产效率、质量控制和安全性,并展望了其在智能制造中的潜力。 【7月更文挑战第13天】
11 1
|
17天前
|
JavaScript 前端开发 测试技术
自动化测试在API测试中的深度应用与实践
【7月更文挑战第8天】自动化测试在API测试中的应用极大地提高了测试效率和质量,为软件的快速迭代和持续交付提供了有力保障。通过合理选择测试工具、制定清晰的测试计划并遵循最佳实践,我们可以充分发挥自动化测试的优势,为软件产品的稳定性和可靠性保驾护航。
|
13天前
|
机器学习/深度学习 运维 监控
智能化运维:机器学习在故障预测和自动化修复中的应用
随着信息技术的迅猛发展,企业对运维工作的效率和准确性要求越来越高。传统的运维模式已难以应对日益复杂的系统环境和数据量。本文将探讨如何利用机器学习技术提升运维工作的智能化水平,实现故障的早期预测和自动化修复,从而减少系统停机时间,提高企业运营效率。通过分析机器学习在运维领域的应用实例,揭示其在实际工作中的有效性和潜力。
30 0
|
15天前
|
jenkins 测试技术 持续交付
探索自动化测试框架在软件开发中的应用
【7月更文挑战第10天】随着软件行业的快速发展,高效、可靠的软件产品成为企业竞争的核心。自动化测试框架作为提升软件质量与开发效率的关键技术,其在软件开发过程中扮演着越来越重要的角色。本文将深入探讨自动化测试框架的应用,从其定义、优势到具体实施策略,旨在为软件开发团队提供一套完整的自动化测试解决方案。通过实际案例分析,我们将展示如何有效整合自动化测试框架到软件开发生命周期中,以及如何克服实施过程中可能遇到的挑战。
|
20天前
|
运维 监控 容灾
实现Java应用的高可用与自动化运维
实现Java应用的高可用与自动化运维
|
26天前
|
数据采集 监控 搜索推荐
CRM报表在企业中的应用:分析工具与报告自动化
Zoho CRM报表汇总客户数据,以图表形式展示客户活动、销售、市场趋势,支持定制。报表功能包括数据分析、业绩评估、预测规划和监控调整。关键在于数据质量、报表定制、员工培训及持续优化。CRM报表帮助企业做决策,提升竞争力,是数字化转型的重要工具。
38 4
|
1月前
|
人工智能 人机交互 语音技术
让大模型更懂你的情绪——通义实验室与中科院自动化所联合开源中英双语共情语音对话模型BLSP-Emo
BLSP-Emo模型展示了情感智能在人机交互中的重要性,未来的多模态模型将更加注重情感的识别和表达,使得机器能够更加准确地理解和回应用户的情感状态,甚至生成富有情感的语音反馈。同时,BLSP-Emo展示了将副语言信号对齐到大语言模型语义空间的可能性,我们期待着更加人性化、更具有共情力的对话交互模型的出现。
|
29天前
|
JavaScript 前端开发
JavaScript 中的三种事件模型
JavaScript 中的事件模型主要有三种: 传统事件模型(DOM Level 0) 标准事件模型(DOM Level 2) IE 事件模型(非标准,仅限于旧版本的 Internet Explorer)
23 1
|
17天前
|
运维 Prometheus 监控
「架构」云上自动化运维及其应用
企业在云上采用自动化运维,通过Prometheus+Grafana实现监控,Ansible进行配置管理,Jenkins+GitLab+SonarQube支持CI/CD,提升效率,降低成本。关键指标包括系统可用性、故障恢复时间等。通过自动化监控、配置管理和持续集成/部署,保证服务稳定性,促进快速迭代,确保市场竞争力。持续改进与培训是维持领先的关键。
17 0