借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据

简介: 【8月更文挑战第8天】借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据

环境部署

本次体验用到了模型在线服务PAI-EAS,所以在正式开始部署体验前,需要先开通服务。如果你是新用户,可以领取免费试用资源。如下:

在模型在线服务PAI-EAS面板,单击立即试用,如下:

点击前往PAI控制台。如下:

从开通服务的时候我们可以很清晰地看到PAI-EAS服务目前支持的地域有北京、上海、杭州、深圳、成都、河源。为了方便,这里就直接选择了杭州。如下:

由于本次体验不需要开通其他服务,所以组合服务这里我们不要勾选,以免产生不必要的费用。

首次开通需要授权,点击授权前往RAM访问控制。如下:

点击同意授权即可。如下:

完成授权后返回点击刷新,继续点击“确认开通并创建默认工作空间”。如下:

稍等片刻即可完成服务的开通。如下:

来到PAI控制台,点击左侧的工作空间列表,单击待操作的工作空间名称,进入对应工作空间内。如下:

在PAI EAS模型在线服务页面,单击部署服务。如下:

在选择部署方式面板,选择自定义部署,单击确定。如下:

在部署服务页面,自定义服务名称,选择镜像部署AI-Web应用,在PAI平台镜像列表中选择chat-llm-webui;镜像版本选择3.0,勾选协议,运行命令配置为:python webui/webui_server.py --port=8000 --model-path=Qwen/Qwen-7B-Chat。如下:

选择公共资源组,选择常规资源配置,如果你选择免费试用资源,则选择试用活动页签的ecs.gn7i-c8g1.2xlarge.limit实例规格。

如果此处使用个人账户资源,推荐选择GPU页签的ecs.gn7i-c8g1.2xlarge,或者选择GPU显存大于24GB规格的实例。

这里尤其要注意的是,本次部署体验参加免费试用抵扣的实例规格,只有如下三种,选择时需要甄别。

ecs.g6.xlarge.limit

ecs.gn6i-c8g1.2xlarge.limit

ecs.gn7i-c8g1.2xlarge.limit

完成如上配置后,点击部署。如下:

回到PAI控制台,在PAI-EAS服务处单击查看日志,可以看到部署时的日志信息。如下:

整个部署过程大约耗时3分钟,当服务状态为运行中时,表明完成部署。如下:

点击“查看Web应用”,即可开始体验了。如下:

如何利用LangChain来集成自己的业务数据,只需简单的上传并初始化即可。如下:

基于集成数据完成chat效率还是非常高的。如下:

基本上做到了秒解。这对于个人或企业知识库的构建帮助还是非常大的。

当然除了服务本身功能的实现外,基于PAI-EAS一键部署不但能带来更好的体验,而且对于服务的监控也是非常详细的。如下:

体验完成后一定要记得释放掉使用的资源,在推理服务页签,单击目标服务操作列下的删除,删除模型服务。如下:

体验总结

1、使用PAI-EAS一键部署ChatGLM和LangChain,大大简化了部署和集成的复杂度,用户无需过多配置即可快速部署ChatGLM模型。

2、LangChain提供了丰富的组件和灵活的配置方式,可以轻松地与外部数据进行交互,满足不同的应用场景需求。此外,LangChain框架的灵活性和高度抽象性使得集成外部数据变得相对简单,用户可以根据需求自定义模型的行为和输出。ChatGLM模型在集成LangChain后,能够结合外部数据生成更加准确和定制化的答案,显著提升了模型的应用效果。

3、ChatGLM模型在PAI-EAS的部署下表现出色,能够快速响应并生成高质量的回答。

4、值得好评的是通过选择免费试用资源或合理规划个人账户资源,可以在不产生过多费用的情况下,体验ChatGLM和LangChain的强大功能。

5、唯一的不足就是服务时常出现不可用,这可能跟使用的是公共资源有关,但好在每次恢复耗时并不长,弹性能力是真的好用。

综上,使用PAI-EAS一键部署ChatGLM,并通过LangChain集成外部数据,为开发人员提供了一个高效、灵活且成本效益高的解决方案。

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
10月前
|
人工智能 自然语言处理 运维
【新模型速递】PAI-Model Gallery云上一键部署Kimi K2模型
月之暗面发布开源模型Kimi K2,采用MoE架构,参数达1T,激活参数32B,具备强代码能力及Agent任务处理优势。在编程、工具调用、数学推理测试中表现优异。阿里云PAI-Model Gallery已支持云端部署,提供企业级方案。
567 0
【新模型速递】PAI-Model Gallery云上一键部署Kimi K2模型
|
12月前
|
存储 文字识别 自然语言处理
通义大模型在文档自动化处理中的高效部署指南(OCR集成与批量处理优化)
本文深入探讨了通义大模型在文档自动化处理中的应用,重点解决传统OCR识别精度低、效率瓶颈等问题。通过多模态编码与跨模态融合技术,通义大模型实现了高精度的文本检测与版面分析。文章详细介绍了OCR集成流程、批量处理优化策略及实战案例,展示了动态批处理和分布式架构带来的性能提升。实验结果表明,优化后系统处理速度可达210页/分钟,准确率达96.8%,单文档延迟降至0.3秒,为文档处理领域提供了高效解决方案。
1083 1
|
9月前
|
机器学习/深度学习 数据采集 算法
量子机器学习入门:三种数据编码方法对比与应用
在量子机器学习中,数据编码方式决定了量子模型如何理解和处理信息。本文详解角度编码、振幅编码与基础编码三种方法,分析其原理、实现及适用场景,帮助读者选择最适合的编码策略,提升量子模型性能。
734 8
|
10月前
|
人工智能 自然语言处理 运维
【新模型速递】PAI-Model Gallery云上一键部署gpt-oss系列模型
阿里云 PAI-Model Gallery 已同步接入 gpt-oss 系列模型,提供企业级部署方案。
|
11月前
|
物联网 Linux 开发者
快速部署自己私有MQTT-Broker-下载安装到运行不到一分钟,快速简单且易于集成到自己项目中
本文给物联网开发的朋友推荐的是GMQT,让物联网开发者快速拥有合适自己的MQTT-Broker,本文从下载程序到安装部署手把手教大家安装用上私有化MQTT服务器。
2235 5
|
人工智能 安全 Shell
Jupyter MCP服务器部署实战:AI模型与Python环境无缝集成教程
Jupyter MCP服务器基于模型上下文协议(MCP),实现大型语言模型与Jupyter环境的无缝集成。它通过标准化接口,让AI模型安全访问和操作Jupyter核心组件,如内核、文件系统和终端。本文深入解析其技术架构、功能特性及部署方法。MCP服务器解决了传统AI模型缺乏实时上下文感知的问题,支持代码执行、变量状态获取、文件管理等功能,提升编程效率。同时,严格的权限控制确保了安全性。作为智能化交互工具,Jupyter MCP为动态计算环境与AI模型之间搭建了高效桥梁。
796 2
Jupyter MCP服务器部署实战:AI模型与Python环境无缝集成教程
|
12月前
|
机器学习/深度学习 人工智能 自然语言处理
【新模型速递】PAI-Model Gallery云上一键部署MiniMax-M1模型
MiniMax公司6月17日推出4560亿参数大模型M1,采用混合专家架构和闪电注意力机制,支持百万级上下文处理,高效的计算特性使其特别适合需要处理长输入和广泛思考的复杂任务。阿里云PAI-ModelGallery现已接入该模型,提供一键部署、API调用等企业级解决方案,简化AI开发流程。
|
12月前
|
机器学习/深度学习 人工智能 JSON
DistilQwen-ThoughtX 蒸馏模型在 PAI-ModelGallery 的训练、评测、压缩及部署实践
通过 PAI-ModelGallery,可一站式零代码完成 DistilQwen-ThoughtX 系列模型的训练、评测、压缩和部署。
|
8月前
|
机器学习/深度学习 数据采集 人工智能
【机器学习算法篇】K-近邻算法
K近邻(KNN)是一种基于“物以类聚”思想的监督学习算法,通过计算样本间距离,选取最近K个邻居投票决定类别。支持多种距离度量,如欧式、曼哈顿、余弦相似度等,适用于分类与回归任务。结合Scikit-learn可高效实现,需合理选择K值并进行数据预处理,常用于鸢尾花分类等经典案例。(238字)
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
1796 6

热门文章

最新文章

相关产品

  • 人工智能平台 PAI