使用PAI-EAS一键部署ChatGLM及LangChain应用

使用PAI-EAS一键部署ChatGLM及LangChain应用

1. 实验资源方式简介及开始实验

云起实验室实验资源方式介绍

云起实验室支持开通免费试用、个人账户资源两种实验资源方式。

领取免费试用额度

使用个人账号开通试用，平台仅提供手册参考。

所有实验操作将保留至您的账号，请谨慎操作。

在实验页面下方卡片会展示本实验支持的试用规格，可以选择你要试用的云产品资源进行开通。您在实验过程中，可以随时用右下角icon唤起试用卡片。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心。

说明：试用云产品开通在您的个人账号下，并占用您的试用权益。如试用超出免费试用额度，可能会产生一定费用。

个人账户资源

使用您个人的云资源进行操作，资源归属于个人。

所有实验操作将保留至您的账号，请谨慎操作。

平台仅提供手册参考，不会对资源做任何操作。

说明：使用个人账户资源，在创建资源时，可能会产生一定的费用，请您及时关注相关云产品资源的计费概述。

准备开始实验

在实验开始前，请您选择其中一种实验资源，单击确认开启实验。

说明：每个实验所支持的实验资源方式都不相同，实验不一定能满足有三种实验资源方式，请根据实验的实际情况，进行选择。

2. 准备环境及资源

实验前必看！

开始教程前，请按以下步骤准备环境和资源：

重要：PAI-EAS抵扣包只适用于本教程中的PAI-EAS产品。如果您领取了PAI-EAS抵扣包后，使用了PAI-EAS及PAI的其他产品功能（如PAI-DSW、PAI-DLC等），PAI-EAS产品产生的费用由抵扣包抵扣，其他产品功能产生的费用无法抵扣，会产生对应的费用账单。

如果您的阿里云账号只能领取部分免费试用产品，请您领取符合免费试用资格的产品，然后进入实验，不满足免费试用资格的产品将会使用个人账户资源进行创建，并会产生一定的费用，请您及时关注账户扣费。

为了避免资源浪费并造成账号扣费的情况，请严格按照本文提供的参数进行配置。在实验完成之后，请您及时删除或禁用压测任务。

在实验开始前，请您选择领取免费试用额度。

申请免费使用PAI-EAS。

在模型在线服务PAI-EAS卡片上单击立即试用。

在模型在线服务PAI-EAS面板，勾选服务协议后，单击立即试用，如弹出新的页面，您可先忽略。

领取完免费试用后，返回资源领取界面，单击我已开通，进入实验。

说明：第一次使用控制台需要创建默认工作空间，步骤如下，若开通过则跳过此步骤

4.1 前往PAI控制台。

4.2 开通机器学习PAI并创建默认工作空间。其中关键参数配置如下。

本教程地域选择：华南2（河源）。

组合开通：本教程无需使用其他产品，去除勾选MaxCompute和DataWorks产品。如果您勾选了MaxCompute和DataWorks产品，在开通时会产生如下图报错。

服务角色授权：单击去授权，完成服务角色授权。

说明：更多详细内容，请参见开通并创建默认工作空间。如果您后续使用RAM用户来部署模型，您需要将RAM用户添加为默认工作空间的成员，并配置管理员角色，详情请参见管理成员；同时，需要为RAM用户授予PAI-EAS的管理权限，详情请参见云产品依赖与授权：EAS。

2.3 返回如下页面，表示您已成功开通机器学习PAI并创建默认工作空间。

说明： 如果您在开通时出现Create workspace failed, status: FAILURE!报错提示，您可忽略此报错，继续进行下一步实验操作。

3. 开通工作空间

若您的免费试用资格已过期或已无试用资格，您可以使用个人账户资源， 计费标准详情请参考计费概述。如需长期使用本服务，请仔细阅读计费概述，避免产生意料之外的费用；如仅为体验功能不做长期使用，完成实验后请及时清理。

选择个人账号资源，点击确认开启实验。

创建模型在线服务PAI-EAS。

说明：您此步的创建会用您个人的资源，使用期间可能会产生费用。

2.1 前往PAI控制台。

2.2 开通机器学习PAI并创建默认工作空间。其中关键参数配置如下。如果您已经开通了工作空间，可直接前往控制台。

本教程地域选择：华南2（河源）。

组合开通：本教程无需使用其他产品，去除勾选MaxCompute和DataWorks产品。如果您勾选了MaxCompute和DataWorks产品，在开通时会产生如下图报错。

服务角色授权：单击去授权，完成服务角色授权。

说明：更多详细内容，请参见开通并创建默认工作空间。如果您后续使用RAM用户来部署模型，您需要将RAM用户添加为默认工作空间的成员，并配置管理员角色，详情请参见管理成员；同时，需要为RAM用户授予PAI-EAS的管理权限，详情请参见云产品依赖与授权：EAS。

2.3 返回如下页面，表示您已成功开通机器学习PAI并创建默认工作空间。

说明： 如果您在开通时出现Create workspace failed, status: FAILURE!报错提示，您可忽略此报错，继续进行下一步实验操作。

4. 进入PAI EAS模型在线服务页面

进入PAI EAS模型在线服务页面。

登录PAI控制台。

在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入PAI EAS模型在线服务页面。

5. 部署ChatGLM模型服务

在PAI EAS模型在线服务页面，单击部署服务。

在部署服务页面，配置以下关键参数。

使用免费试用资源：试用活动-ecs.gn7i-c8g1.2xlarge.limit

b. 使用个人资源：GPU-ml.gu7i.c16m60.1-gu30

单击部署，等待一段时间即可完成模型部署。

当服务状态为运行中时，表明服务部署成功。

6. 启动WebUI进行模型推理

单击目标服务服务方式列下的查看Web应用。

在WebUI页面，进行模型推理验证。

在①位置输入请求数据，单击②位置的发送按钮，即可在③位置输出推理结果。

7. 使用langchain来集成自己的业务数据

LangChain功能介绍：

LangChain是一个开源的框架，可以让AI开发人员将像GPT-4这样的大语言模型（LLM）和外部数据结合起来，从而在尽可能少消耗计算资源的情况下，获得更好的性能和效果。

LangChain工作原理：

将一个大的数据源，比如一个20页的PDF文件，分成各个区块，然后把它们嵌入到一个向量存储（Vector Store）里。

LangChain首先将输入的用户数据进行自然语言处理并作为大模型的知识库存储在本地。每次推理用户的输入会首先在本地知识库中查找与输入问题相近的答案，并将知识库答案与用户输入一起输入大模型生成基于本地知识库的定制答案。

设置方法：

在WebUI页面上方Tab页选择LangChain。

在WebUI页面左下角，按照界面操作指引拉取自定义数据，支持配置.txt、.md、.docx、.pdf格式的文件。

例如上传README.md文件，单击左下角的知识库文件向量化，返回如下结果表明自定义数据加载成功。

在WebUI页面底部输入框中，输入业务数据相关的问题进行对话即可。

例如在输入框中输入如何安装deepspeed，单击发送，返回结果如下图所示。

8. （可选）启动模型服务

说明：如果您部署的模型状态为运行中您可忽略此步骤。

如果30分钟未调用服务，服务实例会自动缩容为0，模型状态为已停止。

如果需要再次使用，请在PAI EAS模型在线服务页面中，单击上述步骤中部署模型操作列下的启动。当模型状态从已停止变为运行中，表明服务已运行正常。

9. 清理

清理

领取抵扣包后，请在抵扣包额度和有效期内使用。如果抵扣包额度用尽或超出有效期，继续使用计算资源，会产生后付费账单。

请前往节省计划页面，查看抵扣包剩余金额和过期时间。

如果无需继续使用EAS服务，您可以按照以下操作步骤删除模型服务。

登录PAI控制台。

在页面左上方，选择服务的地域。

在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。

在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入PAI EAS模型在线服务页面。

在推理服务页签，单击目标服务操作列下的删除，删除模型服务。

如果需要继续使用EAS服务，请务必至少在抵扣包额度用尽或试用到期1小时前为您的阿里云账号充值，到期未续费的EAS服务会因欠费而被自动停止。

实验链接：https://developer.aliyun.com/adc/scenario/96067309564244e8a373a69401281f2d