开发者社区> 问答> 正文

使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据

4000积分,U3金属蓝牙音箱*5

随着ChatGPT和通义千问等大模型在业界的引爆,LLM大模型的推理应用成为当下最热门的应用之一。ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于General Language Model(GLM)架构,具有62亿参数。LangChain是一个开源的框架,可以让AI开发人员将大语言模型(LLM)和外部数据结合起来,从而在尽可能少消耗计算资源的情况下,获得更好的性能和效果。现邀请您使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据:https://developer.aliyun.com/adc/scenario/96067309564244e8a373a69401281f2d?

本期话题:使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据,分享配置过程、输出结果及使用体验
话题规则:话题讨论要求围绕指定方向展开,晒出部署过程及输出结果,并分享使用体验。图文并茂,字数少于50字无效,言之无物无效,无具体讨论的回复将会视为无效回复,对于无效回复工作人员有权删除。

配置过程示例:
1.png
2.png

输出结果示例:
3.png

本期奖品:截止2024年7月26日24时,参与本期话题讨论,将会选出5个优质回答获得U3金属蓝牙音箱。快来参加讨论吧~

优质回答获奖规则:字数不少于100字,明确清晰的配置过程、详细的使用体验分享。内容阳光积极,健康向上。

未获得实物奖品者,按要求完成回复的参与者均可获得20积分奖励。
4.png

注:讨论内容要求原创,如有参考,一律注明出处,如有复制抄袭、不当言论等回答将不予发奖。阿里云开发者社区有权对回答进行删除。获奖名单将于活动结束后5个工作日内公布,奖品将于7个工作日内进行发放,节假日顺延。

中奖用户:
截止到7月26日共收到41条有效回复,获奖用户如下
优质回答:sunrr、穿过生命散发芬芳、Echo_Wish、六月的雨在钉钉、aliyun6078005488-49160
恭喜以上用户!感谢大家对本话题的支持~

展开
收起
探索云世界 2024-07-04 16:52:58 1173 2
41 条讨论
参与讨论
取消 提交讨论
  • 使用PAI-EAS一键部署ChatGLM并应用LangChain集成外部数据

    登录阿里云,申请免费试用或使用个人资源以创建模型服务,注意使用个人资源会产生费用。

    在PAI控制台中,通过选择”模型部署”,”模型在线服务(EAS)”来创建默认工作空间并部署ChatGLM模型服务。

    通过选择PAI平台上的”chatglm-webui”镜像及最高版本并配置公共资源组,部署AI-Web应用。
    部署完成后,启动WebUI进行模型推理。

    访问PAIEAS模型在线服务页面,点击”查看Web应用”以使用ChatGLM的WebUI。

    通过LangChain集成外部数据:上传支持格式(.txt,.md,.docx,.pdf)的自定义数据至WebUI的LangChain标签页,并设置数据源、检索方式和模型参数。

    最后,测试LangChain集成效果,验证其能否依据外部数据提供更精准的回答。

    2024-07-26 21:44:17
    赞同 43 展开评论 打赏
  • 使用PAI-EAS一键部署ChatGLM并集成LangChain的步骤

    登录阿里云账号,并且开通PAI-EAS服务。

    新建新项目,上传ChatGLM模型到OSS。

    在PAI-EAS配置服务,选择模型,设置环境和实例规格。

    编写入口脚本处理请求,启动服务。

    安装LangChain,编写调用ChatGLM服务的LangChain代码并集成外部数据源。

    测试查询以验证集成结果。

    PAI-EAS简化了ChatGLM部署流程,LangChain集成平滑,易于实现复杂对话逻辑。

    模型响应迅速,准确率高,用户体验良好。

    2024-07-26 21:44:16
    赞同 42 展开评论 打赏
  • 使用PAI-EAS一键部署ChatGLM并集成LangChain的详细步骤与体验分享

    登录阿里云PAI-EAS控制台并创建新项目

    将ChatGLM模型文件上传至阿里云OSS,记录模型路径。

    在PAI-EAS中配置服务,选择”模型仓库”,输入模型路径并设置运行环境及实例规格。

    创建一个使用如Flask框架的入口脚本来加载模型和处理HTTP请求。

    最后,启动服务并等待状态变为”运行中”。

    应用LangChain集成外部数据

    安装LangChain及其依赖,包括通过SQLAlchemy连接数据库。

    随后,利用LangChain的Chain类定义链式操作:首先从外部源提取数据,并将其作为上下文信息传递给ChatGLM模型以生成对话。

    最后,在Chain中借助requests库调用部署在PAI-EAS上的ChatGLM服务API。

    2024-07-26 21:44:17
    赞同 43 展开评论 打赏
  • 使用PAI-EAS一键部署ChatGLM并集成LangChain

    准备工作

    注册并登录阿里云账号完成实名认证。

    开通PAI-EAS服务或申请试用开通服务。

    下载ChatGLM模型:从开源仓库获取ChatGLM模型文件。

    准备LangChain环境:确保本地或云端环境已安装LangChain库。

    部署ChatGLM模型至PAI-EAS

    在PAI-EAS控制台,上传ChatGLM模型文件。

    在”服务管理”中,新建服务,选择已上传的ChatGLM模型。

    点击”部署”,服务启动成功。

    ChatGLM模型在PAI-EAS上运行,优点响应速度快,增强信息的准确性和实用性。

    2024-07-26 21:44:18
    赞同 43 展开评论 打赏
  • 使用PAI-EAS一键部署ChatGLM

    提示开始前需开通阿里云账号,并申请PAI-EAS的免费试用或使用个人资源。

    打开控制台,新建默认工作空间。

    部署ChatGLM模型

    在控制台中,模型部署-模型在线服务(EAS)-模型在线服务。

    自定义服务名称:例如ChatGLM_demo。

    在PAI平台镜像中选择chatglm-webui镜像,并选择最高版本进行部署。

    配置完成后,点击“部署”,稍等片刻即可完成部署。

    部署后,打开模型在线服务页面,点击”查看Web应用”,输入内容即可得到推理结果。

    2024-07-26 21:44:16
    赞同 43 展开评论 打赏
  • 配置过程

    准备工作:

    1. 在PAI控制台创建默认工作空间
      image.png
      image.png
    2. 部署PAI EAS模型
      image.png
    3. 然后选择自定义部署
      image.png
    4. 根据项目文档进行配置服务,如下图
      image.png
    5. 服务状态显示为运行中表示创建部署成功
      image.png

    体验ChatGLM

    启动WebUI

    1. 点击查看web应用进入web页面。
      image.png
    2. 然后就可以进行模型推理体验验证了
      image.png

    集成自己的业务数据

    LangChain是一个开源的框架,可以让AI开发人员将像GPT-4这样的大语言模型(LLM)和外部数据结合起来,从而在尽可能少消耗计算资源的情况下,获得更好的性能和效果。

    1. 首先进入LangChain页面,然后上传自定义数据,支持配置.txt、.md、.docx、.pdf格式的文件。
      image.png
    2. 这里官方有提供一个README.md示例文件,上传测试。
      image.png
      image.png
    3. 最后测试对话,输入业务数据相关的问题进行对话,如下图
      image.png
      通过Web界面与ChatGLM进行交互,模型能够根据输入的问题给出准确回答,并能结合LangChain集成的外部数据源提供更丰富、更精确的答案。

    清理资源

    回到工作空间控制台直接点击删除然后确认即可
    image.png
    image.png

    使用体验分享:

    部署便捷性:PAI-EAS的一键部署功能简化了模型部署的复杂度,即使是初学者也能快速上手。图形化的界面和清晰的指引使得整个过程非常直观。
    性能表现:ChatGLM-6B在PAI-EAS上运行效率高,响应速度快,能够满足实时对话的需求。集成LangChain后,模型的回答更加准确和实用,能够处理更多样化的问题。
    灵活性与扩展性:LangChain框架的灵活性让模型能够轻松集成外部数据源,实现了复杂任务的处理能力。可以根据需求添加更多的工具和数据源,进一步扩展模型的功能和应用场景。
    资源效率:通过LangChain的优化,模型在处理外部数据时的计算资源消耗得到了有效控制。PAI-EAS提供的弹性扩缩容和蓝绿部署等功能,有助于以较低的资源成本获取高并发且稳定的在线算法模型服务。

    注意事项:在实际操作中,需要严格按照文档和指南进行配置,避免因误操作产生不必要的费用。同时,要注意资源的使用情况,及时释放不需要的资源。

    总的来说,使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据是一种高效、便捷且强大的解决方案,为AI开发和应用提供了有力的支持。

    2024-07-25 16:56:41
    赞同 41 展开评论 打赏
  • 资深技术专家,全网粉丝10W+。主攻技术开发,擅长分享、写文、测评。

    使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据

    一、PAI-EAS一键部署ChatGLM

    image.png

    准备工作:
    确保已注册阿里云账号并开通PAI-EAS(Elastic AI Service)服务。
    访问PAI-EAS控制台,并创建必要的项目环境。
    image.png

    选择ChatGLM镜像:
    在PAI-EAS的模型市场或自定义镜像区域,查找或上传ChatGLM-6B的Docker镜像。如果阿里云已提供ChatGLM镜像,则直接选择;否则,需要自行构建镜像并上传。
    image.png

    配置部署参数:
    根据业务需求,配置模型所需的CPU、GPU资源(如果支持GPU加速)、内存等。
    设置模型的访问端口、环境变量等配置信息。
    image.png

    一键部署:
    在配置完成后,点击“部署”按钮,PAI-EAS将自动完成模型的部署工作。部署过程中,可以在控制台查看部署进度和日志。
    image.png
    image.png

    验证部署:
    部署完成后,通过PAI-EAS提供的API测试功能或自行编写代码调用API,验证ChatGLM模型是否成功部署并可正常响应请求。
    image.png
    如何利用LangChain来集成自己的业务数据,只需简单的上传并初始化即可。如下:
    image.png

    image.png

    总结

    使用PAI-EAS一键部署ChatGLM极大地简化了模型部署的复杂度,使得AI开发人员能够更专注于模型的应用和集成工作。LangChain作为一个强大的框架,为将LLM与外部数据结合提供了丰富的工具和接口,使得开发者能够轻松地构建出高性能、高效果的AI应用。整个过程中,阿里云提供的PAI-EAS和LangChain的开源社区都给予了很大的帮助和支持,使得整个项目能够顺利进行并取得良好的成果。

    2024-07-25 12:35:05
    赞同 40 展开评论 打赏
  • 分享一下自己的心得和对自己对你的一个认真学习的一个鼓励一个flag吧。分享正能量以及交流一些软件的用法比如linux和编程语言(现在主要在学python和linux)。希望我的博客能带给你一个正能量的心情以及以后能一起交流一下如何写出更好更优雅的代码。

    配置过程

    1.访问PAI-EAS平台: 打开PAI-EAS平台,登录你的阿里云账号。
    2.创建部署任务

    • 在PAI-EAS平台上,选择“创建部署任务”。
    • 选择ChatGLM-6B模型,并填写相关的配置信息,如实例类型、数量等。
      3.配置环境
    • 确保你的环境中已经安装了必要的依赖,如Python、LangChain等。
    • 你可以使用以下命令安装LangChain:
      pip install langchain
      

    4.集成外部数据
    使用LangChain框架,将外部数据集成到ChatGLM中。以下是一个简单的示例代码:
    Python

    from langchain import LangChain
    from chatglm import ChatGLM
    
    # 初始化LangChain和ChatGLM
    lc = LangChain()
    model = ChatGLM()
    
    # 加载外部数据
    external_data = lc.load_data('path/to/your/data')
    
    # 将外部数据集成到模型中
    model.integrate_data(external_data)
    
    # 启动模型
    model.start()
    

    5.启动部署

    • 在PAI-EAS平台上,点击“启动部署”按钮,等待模型部署完成。

      输出结果

      部署完成后,你可以通过API接口与ChatGLM进行交互,测试模型的性能和效果。以下是一个简单的API调用示例:
    import requests
    
    response = requests.post('http://your-deployed-model-endpoint', json={'input': '你好,世界!'})
    print(response.json())
    

    使用体验

    • 便捷性:PAI-EAS平台提供了一键部署功能,使得整个部署过程非常简单和高效。
    • 性能:通过LangChain集成外部数据,可以显著提升模型的性能和效果,尤其是在处理特定领域的数据时。
    • 灵活性:LangChain框架提供了灵活的数据集成方式,使得开发人员可以根据需求自定义数据处理和集成流程。
    • 高效性:PAI-EAS平台的高性能计算资源,确保了模型的快速部署和高效运行。

      结论

      使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据,是一个非常高效且实用的解决方案。它不仅简化了部署过程,还提升了模型的性能和效果,非常适合在实际项目中应用。
    2024-07-22 12:06:02
    赞同 50 展开评论 打赏
  • 根据实验手册进行部署,非常方便,选择完必要的东西之后就一键部署了
    image.png
    根据这些参数就非常明白了,等待大概5分钟左右,就部署成功了,可以正常访问了
    image.png

    后面就可以正常的使用大模型来进行提问了,我问的是通用大模型和垂直大模型的相关
    image.png

    后面我让大模型分别站在两边去回答问题,也给出了不错的回答
    image.png

    这种部署方式还是非常方便的,可以选择自己需要的大模型去部署,可以应用于自己的工作生活

    2024-07-18 13:35:53
    赞同 62 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    今天的话题需要先部署ChatGLM,那么我们打开部署操作连接:https://developer.aliyun.com/adc/scenario/96067309564244e8a373a69401281f2d? 开始部署了。

    使用PAI-EAS一键部署ChatGLM及LangChain应用

    进入部署操作页面,点击【再次实验】
    image.png
    选择【个人账号资源】,然后点击【确认开启实验】
    image.png
    进入人工智能平台PAI控制台,如果没有创建工作空间,那么需要先创建工作空间,这里我已经创建过工作空间了,因此直接就进入到已经创建好的工作空间中
    image.png
    在工作空间页面的左侧导航栏,选择模型部署>模型在线服务(EAS),进入PAI EAS模型在线服务页面
    image.png
    点击【部署服务】,选择【自定义部署】
    image.png
    在部署页面输入服务名称、部署方式、镜像选择
    image.png
    运行命令默认即可,资源组种类选择公共资源组,资源配置选择GPU 实例规格 ecs.gn7i-c8g1.2xlarge
    image.png
    完成之后点击【部署】等待部署成功
    image.png
    当服务状态为运行中时,表明服务部署成功。
    image.png
    点击【查看Web应用】跳转到ChatGLM模型对话页面,在WebUI页面,进行模型推理验证
    image.png
    到这里,基于PAI-EAS一键部署ChatGLM的基本操作就完成了,整个部署过程按照文档指引操作,还是比较容易上手的。

    使用体验

    本次部署的操作很轻松,整个部署过程也没什么卡顿,唯一的一点就是涉及到训练模型或者使用模型的服务器实例规格计费往往都比较贵,这点希望 可以提供一些资源包或者优惠来供新手体验使用,降低学习成本。

    2024-07-17 14:01:17
    赞同 65 展开评论 打赏
  • 公众号:北京宏哥,关注宏哥,提前解锁更多测试干货

    作为一名开发者,使用PAI-EAS(Elastic Algorithm Service)一键部署ChatGLM,并应用LangChain集成外部数据,整个配置过程、输出结果及使用体验可以归纳如下:

    一、配置过程

    1. 准备工作

    • 领取资源包:前往阿里云活动页面,领取模型在线服务PAI-EAS产品的免费试用资源包,特别是新用户。
    • 访问PAI-EAS控制台:准备好ChatGLM模型的打包文件,包括模型参数、配置文件等,以及依赖库。

    2. 部署ChatGLM模型服务

    • 选择工作空间:在PAI控制台中,选择或创建工作空间,并导航到模型部署->模型在线服务(EAS)。
    • 配置部署信息
      • 自定义服务名称:如chatglm_demo
      • 选择镜像:在PAI平台镜像列表中选择chatglm-webui,并选择合适的镜像版本(如1.0)。
      • 配置运行命令:系统自动配置为python webui/webui_server.py --listen --port=8000
      • 选择资源组:根据需要选择公共资源组或专属资源组。
      • 配置资源:选择合适的实例规格,如果使用免费试用资源,选择如ecs.gn7i-c8g1.2xlarge.limit的机型。
    • 部署服务:点击“部署”,等待服务部署完成。

    3. 启动WebUI进行模型推理

    • 查看Web应用:部署完成后,点击“查看Web应用”,访问ChatGLM的Web界面。
    • 输入内容:在Web界面中输入问题,进行模型推理。

    4. 使用LangChain集成外部数据

    • 安装LangChain:在开发环境中,使用pip安装LangChain库。
    • 准备外部数据源:确定要集成的外部数据源,如数据库、文档、API等,并准备相应的访问凭证或接口。
    • 创建LangChain应用
      • 使用LangChain的VectorStore类来存储和查询数据。
      • 定义如何与外部数据交互,例如通过API调用或文件读取。
    • 上传测试文件:在ChatGLM的Web界面中,切换到LangChain标签页,并上传测试文件(如.txt、.md、.docx、.pdf格式)。
    • 执行知识库文件向量化:对上传的文件进行向量化处理,以便在推理过程中使用。

    二、输出结果

    • 模型推理结果:在ChatGLM的Web界面中,输入问题后,模型会生成相应的回答。这些回答基于模型的训练数据和推理逻辑。
    • LangChain集成结果:当LangChain集成外部数据时,模型能够结合外部知识库生成更加准确和相关的回答。这可以显著提高模型的性能和效果。

    三、使用体验

    • 部署便捷性:PAI-EAS提供了一键部署的功能,使得ChatGLM的部署过程变得非常简单和快捷。开发者无需过多关注底层技术细节,即可快速将模型部署为在线服务。
    • 弹性扩缩容:PAI-EAS支持弹性扩缩容功能,可以根据实际需求自动调整资源分配。这有助于降低资源成本并提高服务的稳定性。
    • 集成灵活性:LangChain的集成使得ChatGLM能够轻松结合外部数据,从而生成更加准确和丰富的回答。这为开发者提供了更多的灵活性和可能性。
    • 性能优化:通过优化模型的运行环境和配置参数,可以进一步提高ChatGLM的推理速度和准确性。同时,LangChain的集成也有助于减少计算资源的消耗。

    综上所述,使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据,是一个高效、便捷且灵活的解决方案。它为开发者提供了强大的工具和支持,使得自然语言处理任务的实现变得更加简单和高效。

    2024-07-16 08:56:38
    赞同 62 展开评论 打赏
  • 在探索AI前沿技术的旅程中,我有幸通过阿里云的PAI-EAS平台一键部署了ChatGLM-6B模型,并结合LangChain框架集成了外部数据源,整个过程既流畅又高效,令人印象深刻。
    PAI-EAS的用户界面直观易用,只需几个简单的步骤就能完成模型的部署,极大地降低了技术门槛,让AI模型的上线变得如同日常操作一样简单。ChatGLM-6B作为一款支持中英文的对话模型,其对语言的理解能力超出了我的预期,无论是闲聊还是专业咨询,都能给出恰当的回应。LangChain框架的引入,让模型能够接入外部数据,增强了场景适应性,使得ChatGLM不仅能够基于已有知识进行交流,还能根据实时数据提供更新鲜、更贴合实际的反馈,这无疑大大拓宽了模型的应用范围。
    使用体验不仅让我领略到了AI技术的魅力,也让我看到了未来AI应用的无限可能。PAI-EAS平台的便捷性,ChatGLM的智能表现,以及LangChain框架的灵活性,共同构建了一个充满创新与活力的技术生态,让人对未来充满期待。
    image.png

    2024-07-15 10:55:20
    赞同 61 展开评论 打赏
  • 使用PAI-EAS部署ChatGLM模型并集成LangChain以融合外部数据,可遵循以下结构化步骤进行操作,以获得高效且便捷的部署体验:

    1. 准备工作

    • 确认环境与资源:确保拥有支持的硬件环境,如单卡A100(80GB)、2卡A100(40GB)或4卡V100(32GB)[3],以满足模型运行需求。

    2. 一键部署ChatGLM

    • 登录阿里云PAI-EAS控制台。
    • 选择“模型部署”功能,找到ChatGLM模型的部署选项。
    • 点击“一键部署”,按照向导完成配置,包括选择合适的实例规格、设置网络等。
    • 部署完成后,您将获得一个可直接访问的ChatGLM应用端点。image.png

    3. LangChain集成

    • 安装LangChain:在您的开发环境中安装LangChain框架,该框架允许无缝连接大型语言模型与外部数据源。
    • 配置数据源:利用LangChain提供的接口和工具,配置您的业务数据源,如数据库、文件系统或API服务。
    • 编写适配器:根据业务需求,编写代码适配器来指导模型如何使用LangChain访问和处理这些数据。image.png

    4. 应用集成

    • 调整ChatGLM应用,使其能够通过LangChain接口与您的业务数据进行交互。
    • 更新部署配置,将包含LangChain集成的代码部署至PAI-EAS平台。
      image.png

    输出结果与使用体验

    • 即时响应:部署成功后,您可以通过API调用或Web界面与ChatGLM进行交互,体验到针对中文优化的高质量对话响应。
    • 数据驱动的个性化:LangChain的集成使得模型能够根据实时业务数据提供更加精准、个性化的答案,提升了用户体验和业务价值。
    • 资源效率:LangChain框架设计旨在减少大型语言模型对计算资源的消耗,从而在保证性能的同时,优化成本效益。image.png

    使用体验分享

    • 便捷性:一键部署极大简化了复杂模型的上线流程,即便是非专业AI开发者也能快速部署并开始使用。
    • 灵活性:LangChain的开放性和灵活性让模型能够轻松融入现有业务体系,促进了AI技术的实际应用和创新。
    • 性能优化:结合PAI-EAS的高性能计算能力与LangChain的高效数据处理,整体解决方案在处理速度和资源利用上表现出色。

    综上所述,通过PAI-EAS部署ChatGLM模型并集成LangChain,不仅简化了部署流程,还实现了模型与业务数据的有效融合,为用户提供了一个强大且灵活的AI应用基础。

    2024-07-13 15:05:06
    赞同 66 展开评论 打赏
  • 使用PAI-EAS(阿里云机器学习平台模型在线服务)一键部署ChatGLM并应用LangChain集成外部数据,主要可以分为几个步骤:准备环境、部署ChatGLM模型、启动WebUI进行模型推理、以及使用LangChain集成外部数据。以下将详细分享每个步骤的配置过程、输出结果及使用体验。

    1. 准备环境
      在开始之前,需要确保已经开通了阿里云账号,并申请了PAI-EAS的免费试用或个人资源。进入PAI控制台,创建默认工作空间,并设置相关参数(如地域选择华南2(河源))。

    2. 部署ChatGLM模型
      2.1 进入PAI EAS模型在线服务页面
      在PAI控制台中,选择“模型部署” > “模型在线服务(EAS)”,进入模型在线服务页面。

    2.2 部署服务
    自定义服务名称:例如 chatglm_demo。
    选择镜像部署AI-Web应用:在PAI平台镜像列表中选择 chatglm-webui,并选择最高版本。
    运行命令:保持默认信息,选择镜像版本后,系统会自动配置运行命令 python webui/webui_server.py --listen --port=8000 和端口号 8000。
    资源组种类:选择公共资源组。
    资源配置方法:选择常规资源配置。
    实例规格:如果使用免费试用资源,选择试用活动页签的 ecs.gn7i-c8g1.2xlarge.limit;如果使用个人账户资源,选择GPU页签的 ml.gu7i.c16m60.1-gu30。
    配置完成后,单击“部署”,等待一段时间即可完成模型部署。

    1. 启动WebUI进行模型推理
      部署完成后,在模型在线服务页面,点击“查看Web应用”,输入内容后,即可得到推理结果。此时,ChatGLM模型已经成功部署并可通过WebUI进行交互。

    2. 使用LangChain集成外部数据
      4.1 引入LangChain
      LangChain是一个开源框架,用于将大语言模型(LLM)与外部数据结合。首先,需要安装LangChain包,并设置必要的环境(如API密钥等)。

    4.2 集成外部数据
    下载测试文件:从指定链接下载测试文件,如 .txt、.md、.docx、.pdf 等格式的文件。
    上传测试文件:在WebUI页面,切换到LangChain标签页,并上传测试文件。
    知识库文件向量化:LangChain会将文件内容转换为向量,存储在向量存储中,以便后续检索。
    提问与推理:在WebUI中输入问题,LangChain会首先在本地知识库中查找与问题相近的答案,并将这些答案与原始问题一起输入ChatGLM模型,生成基于本地知识库的定制答案。
    输出结果及使用体验
    输出结果:当通过LangChain集成外部数据后,ChatGLM模型不仅能回答基础问题,还能根据上传的文件内容提供定制化的回答。这大大增强了模型的实用性和准确性。
    使用体验:整个部署和集成过程相对简单,阿里云PAI-EAS平台提供了较为完善的文档和教程,有助于用户快速上手。然而,由于模型推理和数据处理需要一定的计算资源,因此在实际应用中需要注意资源消耗和费用问题。
    总的来说,使用PAI-EAS一键部署ChatGLM并应用LangChain集成外部数据,可以大大提升模型的实用性和智能化水平。同时,阿里云提供的PAI平台也为用户提供了便捷的开发和部署环境。

    2024-07-13 13:18:58
    赞同 60 展开评论 打赏
  • 在本次实践中,我通过阿里云的PAI-EAS平台一键部署了ChatGLM-6B对话模型,并成功集成了LangChain框架来增强模型的外部数据处理能力。整个配置流程直观简便,PAI-EAS提供了丰富的预置环境,使得模型部署变得快速且高效。在LangChain的辅助下,ChatGLM能够更好地理解并利用外部数据,显著提升了对话质量和响应速度。测试中,模型展现了出色的多轮对话能力和跨语言交流特性,无论是中文还是英文场景,都能流畅应对,令人印象深刻。此次实践不仅验证了PAI-EAS在大模型部署上的便捷性,同时也展示了LangChain在整合外部信息方面的强大功能。对于希望快速搭建对话系统或进行自然语言处理研究的团队来说,这是一个非常有价值的参考案例。
    image.png

    2024-07-11 16:20:58
    赞同 58 展开评论 打赏
  • 将军百战死,壮士十年归!

    模型在线服务EAS(Elastic Algorithm Service)是一种模型在线服务平台,可支持您一键部署模型为在线推理服务或AI-Web应用。它提供的弹性扩缩容和蓝绿部署等功能,可以支撑您以较低的资源成本获取高并发且稳定的在线算法模型服务。此外,EAS还提供了资源组管理、版本控制以及资源监控等功能,方便您将模型服务应用于业务。EAS适用于实时推理、近实时异步推理等多种AI推理场景,并具备自动扩缩容和完整运维监控体系等能力。

    微信截图_20240710163816.png
    微信截图_20240710163752.png
    微信截图_20240710163704.png

    2024-07-10 16:46:53
    赞同 75 展开评论 打赏
  • 在本期的实践探索中我尝试了使用阿里云的PAI-EAS一键部署ChatGLM-6B模型,并结合LangChain框架集成外部数据,整个过程流畅且高效。
    通过PAI-EAS的自动化部署流程,快速完成了ChatGLM模型的环境搭建和部署,这一过程仅需简单的几步操作,极大地节省了时间。随后我利用LangChain框架将模型与外部数据源进行连接,使得ChatGLM能够基于实时或历史数据生成更贴合场景的响应。LangChain的易用性让这一集成变得简单直接,无需复杂的代码编写即可实现。
    最终的输出结果令人满意,ChatGLM结合LangChain后,不仅能够理解并响应中英文提问,还能根据外部数据提供更为个性化和精准的回答。整个使用体验流畅,PAI-EAS的稳定性确保了模型运行的可靠性,而LangChain则极大提升了模型的应用灵活性和实用性。
    image.png

    2024-07-10 14:28:24
    赞同 77 展开评论 打赏
  • 使用PAI-EAS一键部署ChatGLM并集成LangChain
    一、准备工作
    注册阿里云账号:确保拥有阿里云账号并完成实名认证。
    开通PAI-EAS服务:访问阿里云官网,进入PAI-EAS页面,按照指引开通服务。
    下载ChatGLM模型:从开源仓库获取ChatGLM模型文件。
    准备LangChain环境:确保本地或云端环境已安装LangChain库。
    二、部署ChatGLM模型至PAI-EAS
    上传模型文件:

    登录PAI-EAS控制台,选择“模型管理”,上传ChatGLM模型文件。
    指定模型格式,如PyTorch或TensorFlow等。
    配置模型服务:

    在“服务管理”中,新建服务,选择已上传的ChatGLM模型。
    配置服务实例规格,根据模型大小和预期负载选择合适的GPU或CPU实例。
    设置服务入口,如HTTP API。
    部署服务:

    点击“部署”,等待服务启动成功。
    服务部署完成后,记录下服务的调用地址。
    三、集成LangChain
    编写LangChain代码:

    创建一个Python脚本,导入LangChain库。
    使用PAI-EAS提供的API地址调用ChatGLM模型。
    集成外部数据源,如数据库、API或文件,使用LangChain的DocumentLoader和Retriever组件。
    配置LangChain:

    定义数据加载器,加载外部数据。
    创建Retriever,用于从数据中检索相关信息。
    配置Chain,将ChatGLM模型作为LLM(Language Model)组件,与Retriever结合使用。
    运行LangChain应用:

    执行脚本,LangChain应用将调用ChatGLM模型,并结合外部数据生成响应。
    四、输出结果及使用体验
    输出结果:LangChain应用能够根据用户提问,结合外部数据,提供更加丰富和准确的回答。例如,询问公司财务数据时,ChatGLM能够结合数据库中的最新财务报表给出回答。

    使用体验:

    响应速度:由于ChatGLM模型在PAI-EAS上运行,响应速度较快,接近实时。
    准确性:集成LangChain后,ChatGLM的回答更加贴合具体场景,提高了信息的准确性和实用性。
    灵活性:LangChain的集成使得模型能够处理更多样化的问题,增强了应用的灵活性和扩展性。
    五、总结
    通过PAI-EAS一键部署ChatGLM模型,并结合LangChain集成外部数据,不仅简化了模型部署的复杂度,还提升了模型的应用价值。整个过程流畅,PAI-EAS提供了稳定的服务保障,LangChain则极大地丰富了模型的应用场景,整体体验良好,适合快速搭建对话机器人或智能客服系统。

    2024-07-10 09:38:02
    赞同 95 展开评论 打赏
  • 在本次实践中,我通过阿里云的PAI-EAS平台,成功地一键部署了ChatGLM-6B模型,并结合LangChain框架集成了外部数据,实现了高效且灵活的语言处理应用。PAI-EAS提供了直观易用的界面,简化了复杂的部署流程,让模型上线变得轻松快捷。通过LangChain,我能够无缝连接模型与各种数据源,显著提升了模型的实用性和响应速度。整个过程流畅,从模型部署到数据集成,再到应用测试,每个环节都得到了良好的支持。最终的输出结果准确且迅速,证明了PAI-EAS与LangChain组合的强大效能。这次实践不仅展示了技术的先进性,也体现了阿里云在推动AI应用落地方面的卓越能力。

    虽然上述描述概括了使用PAI-EAS部署ChatGLM并集成LangChain的过程,但具体的配置步骤和细节并未在提供的信息中详细展开。实际操作中,需要根据阿里云的官方文档和指引进行具体设置,包括环境准备、模型上传、服务配置、以及LangChain的集成调试等步骤。
    image.png

    2024-07-09 15:57:24
    赞同 99 展开评论 打赏
  • 使用PAI-EAS一键部署ChatGLM并集成LangChain的详细步骤与体验分享

    1. 部署ChatGLM至PAI-EAS
      配置过程
      创建PAI-EAS项目:登录阿里云PAI-EAS控制台,创建一个新的项目,设置好项目的基本信息。
      模型上传:将ChatGLM模型文件上传至阿里云OSS(对象存储服务),并记录模型路径。
      服务配置:在PAI-EAS中配置服务,选择“模型仓库”选项,输入之前上传的模型路径,设置运行环境(如Python版本)和实例规格。
      编写入口脚本:创建一个入口脚本,该脚本负责加载模型和处理HTTP请求,例如使用Flask或FastAPI框架。
      启动服务:配置完成后,点击“启动服务”,等待服务状态变为“运行中”。
      输出结果
      服务状态:在PAI-EAS控制台中确认服务状态为“运行中”,表示部署成功。
      API调用测试:使用Postman或curl命令测试服务的API接口,确认模型能够正常接收请求并返回响应。
    2. 应用LangChain集成外部数据
      配置过程
      安装LangChain和相关依赖:在本地环境中安装LangChain库以及连接外部数据源所需的库(如SQLAlchemy连接数据库)。
      编写LangChain代码:使用LangChain的Chain类,定义一个链式调用,先从外部数据源获取数据,然后将数据作为上下文传递给ChatGLM模型进行对话生成。
      调用PAI-EAS服务:在LangChain的链式调用中,使用requests库调用PAI-EAS上部署的ChatGLM服务API。
      输出结果
      对话输出:展示通过LangChain调用ChatGLM服务得到的对话结果,包括提问、外部数据和模型的回答。
      数据集成验证:确认外部数据被正确地集成到对话上下文中,模型的回答能够反映数据内容。
    3. 使用体验分享
      部署便捷性:PAI-EAS提供了图形化的界面和一键部署功能,简化了模型部署的复杂性,提高了效率。
      LangChain集成体验:LangChain的链式调用机制使得外部数据的集成变得简单,减少了代码量,提高了开发效率。
      性能反馈:在实际使用中,模型的响应速度较快,能够实时处理对话请求,数据集成也较为顺畅,没有明显的延迟。
      成本考量:PAI-EAS的计费模式基于服务实例的运行时间和资源消耗,对于高并发的场景,成本控制需要考虑。
    2024-07-09 10:10:04
    赞同 94 展开评论 打赏
滑动查看更多

话题讨论榜

  • 1
    AI客服未来会完全代替人工吗?
    奖品池:4000积分,折叠桌*5
    76

    斩钉截铁的说:不可能完全替代,但会大部分替代

  • 2
    AI宠物更适合当代年轻人的陪伴需求吗?
    奖品池:4000积分,音箱闹钟*3
    67

    AI宠物在某些方面更适合当代年轻人的陪伴需求,主要体现在以下几点: 便利性 无需过多照料:与真实宠物相比,AI宠物不需要喂食、洗澡、遛弯、清理粪便等,节省了大量时间和精力,适合忙碌的年轻人. 随时陪伴:AI宠物可以24小时随时陪伴年轻人,不存在因主人忙碌而被忽视产生健康问题等情况,比如Living AI推出的口袋宠物机器人AiBi,能随时随地陪伴主人. 经济实惠 购买成本低:一般AI宠物的价...

  • 3
    FFA 2024 大会门票免费送!AI时代下大数据技术未来路在何方?
    奖品池:4000积分,咖啡杯*5,FFA大会电子票*25
    61

    在AI时代,大数据技术的未来肯定是越来越智能,越来越快。Apache Flink作为一个强大的流处理框架,我觉得它未来的发展趋势应该是更高效、更易用。 我期待它能更好地和AI技术结合,让数据处理不仅快速,还能智能预测和分析。这样,无论是企业还是开发者,都能用Flink轻松处理海量数据,快速得到有价值的洞察。 简单来说,就是希望Flink能成为AI时代数据处理的超级英雄,让大数据发挥出更大的价值。

  • 4
    AI助力,短剧迎来创新热潮?
    奖品池:4000积分,保温杯*3
    74

    🎁嘿,大家好!👋 ,今天跟大家聊聊AI技术如何助力短剧领域的创新发展。随着AI技术的飞速发展,短剧创作迎来了前所未有的变革。这不仅仅是技术的进步,更是创意和效率的双重提升。🚀 AI助力短剧领域的创新 智能编剧辅助 创意生成:AI可以基于大数据分析,生成多种剧情梗概和创意点子。这对于编剧来说,就像是一个无穷无尽的创意宝库,可以激发更多的灵感。💡 剧本优化:AI还可以帮助编剧优化剧本,检...

  • 5
    “云+AI”能够孵化出多少可能?
    奖品池:4000积分,小怪兽靠垫*4
    63

    云计算的进化方向: 边缘计算:随着物联网设备的增加和对实时数据处理的需求,边缘计算将越来越重要。云计算将与边缘计算相结合,以提供更低延迟和更高效的数据处理能力。 无服务器计算:无服务器架构将进一步普及,使开发者能够专注于应用程序代码,而不必管理基础设施。这种模式可以提高开发效率,降低成本。 多云和混合云:企业将越来越倾向于使用多云和混合云策略,以避免供应商锁定,同时优化成本和性能。这将促进不...

  • 相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载