开发者社区> 问答> 正文

使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据

4000积分,U3金属蓝牙音箱*5

随着ChatGPT和通义千问等大模型在业界的引爆,LLM大模型的推理应用成为当下最热门的应用之一。ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于General Language Model(GLM)架构,具有62亿参数。LangChain是一个开源的框架,可以让AI开发人员将大语言模型(LLM)和外部数据结合起来,从而在尽可能少消耗计算资源的情况下,获得更好的性能和效果。现邀请您使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据:https://developer.aliyun.com/adc/scenario/96067309564244e8a373a69401281f2d?

本期话题:使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据,分享配置过程、输出结果及使用体验
话题规则:话题讨论要求围绕指定方向展开,晒出部署过程及输出结果,并分享使用体验。图文并茂,字数少于50字无效,言之无物无效,无具体讨论的回复将会视为无效回复,对于无效回复工作人员有权删除。

配置过程示例:
1.png
2.png

输出结果示例:
3.png

本期奖品:截止2024年7月26日24时,参与本期话题讨论,将会选出5个优质回答获得U3金属蓝牙音箱。快来参加讨论吧~

优质回答获奖规则:字数不少于100字,明确清晰的配置过程、详细的使用体验分享。内容阳光积极,健康向上。

未获得实物奖品者,按要求完成回复的参与者均可获得20积分奖励。
4.png

注:讨论内容要求原创,如有参考,一律注明出处,如有复制抄袭、不当言论等回答将不予发奖。阿里云开发者社区有权对回答进行删除。获奖名单将于活动结束后5个工作日内公布,奖品将于7个工作日内进行发放,节假日顺延。

展开
收起
探索云世界 2024-07-04 16:52:58 205 1
15 条讨论
参与讨论
取消 提交讨论
  • 北京阿里云ACE会长

    开始体验 pai有很多模型都非常方便

    image.png

    image.png

    a10/v100 一个月 500元的额度体验。 非常好

    image.png

    借助活动,可以很好的体验 产品性能

    方便在选择时候 确定

    模型在线服务 PAI-EAS A10/V100等 500元 1个月 试用服务正在开通中,请留意短信、邮件等通知
    资费类型
    包年包月
    试用时长
    1个月,试用期间免费,超过试用期限会自动停机或释放

    一定要记得不用了 ,及时的 关闭,sha

    删除。
    以前很多次都是因为到期了,开始自动扣费

    image.png

    pai

    image.png

    红字很重要,有条件的 使用

    
    重要:PAI-EAS抵扣包只适用于本教程中的PAI-EAS产品。如果您领取了PAI-EAS抵扣包后,使用了PAI-EAS及PAI的其他产品功能(如PAI-DSW、PAI-DLC等),PAI-EAS产品产生的费用由抵扣包抵扣,其他产品功能产生的费用无法抵扣,会产生对应的费用账单。
    

    image.png

    非常重要: 试验完成, 即使删除

    image.png

    开通

    这里都掉了去授权, 会发生什么。

    手册没有说怎么办。

    这里不一样了,找不到了开始,

    image.png

    image.png

    这里不一样,找了 20分钟

    image.png

    手册 名字不能用

    image.png

    zheli y这里选择收费了。要注意

    9元一小时

    image.png

    开始部署了

    image.png

    成功部署开始体验

    image.png

    加载外部数据, 非常好用

    整体感觉

    1. 部署过程,还算顺利, 在配置位置选择的内容比较多,虽然可以按照手册配置,

    但很多内容,想要知其所以然,需要学习很多 ,这个过程重点,还是体验。

    1. 部署的过程比较快,体验流畅。

    3.外部数据加载页比较快速。

    2024-07-06 23:25:57
    赞同 8 展开评论 打赏
  • 环境部署

    本次体验用到了模型在线服务PAI-EAS,所以在正式开始部署体验前,需要先开通服务。如果你是新用户,可以领取免费试用资源。如下:
    image.png
    在模型在线服务PAI-EAS面板,单击立即试用,如下:
    image.png
    image.png
    点击前往PAI控制台。如下:
    image.png
    从开通服务的时候我们可以很清晰地看到PAI-EAS服务目前支持的地域有北京、上海、杭州、深圳、成都、河源。为了方便,这里就直接选择了杭州。如下:
    image.png
    由于本次体验不需要开通其他服务,所以组合服务这里我们不要勾选,以免产生不必要的费用。
    首次开通需要授权,点击授权前往RAM访问控制。如下:
    image.png
    点击同意授权即可。如下:
    image.png
    完成授权后返回点击刷新,继续点击“确认开通并创建默认工作空间”。如下:
    image.png
    稍等片刻即可完成服务的开通。如下:
    image.png
    来到PAI控制台,点击左侧的工作空间列表,单击待操作的工作空间名称,进入对应工作空间内。如下:
    image.png
    在PAI EAS模型在线服务页面,单击部署服务。如下:
    image.png
    在选择部署方式面板,选择自定义部署,单击确定。如下:
    image.png
    在部署服务页面,自定义服务名称,选择镜像部署AI-Web应用,在PAI平台镜像列表中选择chat-llm-webui;镜像版本选择3.0,勾选协议,运行命令配置为:python webui/webui_server.py --port=8000 --model-path=Qwen/Qwen-7B-Chat。如下:
    image.png
    选择公共资源组,选择常规资源配置,如果你选择免费试用资源,则选择试用活动页签的ecs.gn7i-c8g1.2xlarge.limit实例规格。
    image.png
    如果此处使用个人账户资源,推荐选择GPU页签的ecs.gn7i-c8g1.2xlarge,或者选择GPU显存大于24GB规格的实例。
    image.png
    这里尤其要注意的是,本次部署体验参加免费试用抵扣的实例规格,只有如下三种,选择时需要甄别。
    ecs.g6.xlarge.limit
    ecs.gn6i-c8g1.2xlarge.limit
    ecs.gn7i-c8g1.2xlarge.limit
    完成如上配置后,点击部署。如下:
    image.png
    回到PAI控制台,在PAI-EAS服务处单击查看日志,可以看到部署时的日志信息。如下:
    image.png
    整个部署过程大约耗时3分钟,当服务状态为运行中时,表明完成部署。如下:
    image.png
    点击“查看Web应用”,即可开始体验了。如下:
    image.png
    如何利用LangChain来集成自己的业务数据,只需简单的上传并初始化即可。如下:
    image.png
    基于集成数据完成chat效率还是非常高的。如下:
    image.png
    基本上做到了秒解。这对于个人或企业知识库的构建帮助还是非常大的。
    当然除了服务本身功能的实现外,基于PAI-EAS一键部署不但能带来更好的体验,而且对于服务的监控也是非常详细的。如下:
    image.png
    体验完成后一定要记得释放掉使用的资源,在推理服务页签,单击目标服务操作列下的删除,删除模型服务。如下:
    image.png

    体验总结

    1、使用PAI-EAS一键部署ChatGLM和LangChain,大大简化了部署和集成的复杂度,用户无需过多配置即可快速部署ChatGLM模型。
    2、LangChain提供了丰富的组件和灵活的配置方式,可以轻松地与外部数据进行交互,满足不同的应用场景需求。此外,LangChain框架的灵活性和高度抽象性使得集成外部数据变得相对简单,用户可以根据需求自定义模型的行为和输出。ChatGLM模型在集成LangChain后,能够结合外部数据生成更加准确和定制化的答案,显著提升了模型的应用效果。
    3、ChatGLM模型在PAI-EAS的部署下表现出色,能够快速响应并生成高质量的回答。
    4、值得好评的是通过选择免费试用资源或合理规划个人账户资源,可以在不产生过多费用的情况下,体验ChatGLM和LangChain的强大功能。
    5、唯一的不足就是服务时常出现不可用,这可能跟使用的是公共资源有关,但好在每次恢复耗时并不长,弹性能力是真的好用。
    综上,使用PAI-EAS一键部署ChatGLM,并通过LangChain集成外部数据,为开发人员提供了一个高效、灵活且成本效益高的解决方案。

    2024-07-06 19:42:28
    赞同 14 展开评论 打赏
  • 当然,我可以帮助您使用PAI-EAS部署 ChatGLM ,并与 LangChain集成外部数据。下面是一步一步的指南,帮助您完成配置过程:

    准备好你的环境:

    确保您能访问PAI-EAS和 LangChain 平台。
    确保您拥有部署应用程序的必要权限。

    使用PAI-EAS部署 ChatGLM :

    登录PAI-EAS平台。
    导航到部署部分,然后从可用的应用程序中选择 ChatGLM 。
    请按照屏幕上的说明在所需的服务器或云环境中部署 ChatGLM 。

    将外部数据与 LangChain集成:

    登录 LangChain 平台。
    导航到数据集成部分并找到添加外部数据源的选项。
    按照提示将外部数据源连接到 LangChain 并配置集成设置。

    共享配置过程:

    记录您使用PAI-EAS部署 ChatGLM 并与 LangChain集成外部数据的步骤。
    与您的团队或同事分享此文档以供参考。

    产出成果:

    监控ChatGLM的部署,确保其运行顺畅。
    验证与 LangChain 的外部数据集成是否按预期运行。

    用户体验:

    从与ChatGLM交互的用户和集成的外部数据中收集反馈。
    根据用户反馈,解决任何问题或改进。

    通过执行以下步骤,您应该能够使用PAI-EAS成功部署 ChatGLM ,并与 LangChain集成外部数据。如果你需要进一步的帮助,请告诉我。

    2024-07-06 18:28:22
    赞同 7 展开评论 打赏
  • 某政企事业单位运维工程师,主要从事系统运维及大数据开发工作,多次获得阿里云、华为云、腾讯云征文比赛一二等奖;CTF选手,白帽,全国交通行业网络安全大赛二等奖,手握多张EDU、CNVD、CNNVD证书

    1.点击进入实验,先领取试用包:

    image.png

    2.前往PAI控制台,开通机器学习PAI并创建默认工作空间。

    image.png

    3.在工作空间页面的左侧导航栏,选择模型部署>模型在线服务(EAS),进入PAI EAS模型在线服务页面。

    image.png

    4.在PAI EAS模型在线服务页面,单击部署服务。

    image.png

    5.在选择部署方式面板,选择自定义部署,单击确定。

    image.png

    6.在部署服务页面,配置以下关键参数。

    image.png
    image.png

    7.单击部署,等待一段时间即可完成模型部署。

    image.png

    8.当服务状态为运行中时,表明服务部署成功。

    image.png

    9.单击目标服务服务方式列下的查看Web应用。

    image.png

    阿里云PAI-EAS平台的"一键部署"功能,无疑是这一技术实践的加速器,它简化了从模型部署到应用集成的复杂流程,使得即便是非专业开发者也能轻松上手。在实际操作中,通过访问指定链接,我首先被引导至PAI-EAS的实验界面,界面清晰指示了部署ChatGLM-6B的步骤。整个过程非常直观,只需要按照提示依次完成云资源的选择与配置,即可启动部署。PAI-EAS的强大之处在于其自动化程度高,无需繁琐的手动配置,大大缩短了部署时间,这对于急于体验和验证模型效果的开发者来说,无疑是一大福音。

    在集成LangChain的过程中,我深刻体会到了这个框架的灵活性和强大之处。通过简单的代码设置,我便能够将ChatGLM-6B接入到实际的数据源中,比如数据库、API接口等,实现模型与外部世界的有效沟通。这一过程不仅扩展了模型的应用场景,也为模型注入了鲜活的、实时的数据流,使得输出结果更为贴近实际需求,增强了模型的实用性和商业价值。

    在实际的输出测试中,ChatGLM-6B与LangChain的配合展现出了令人满意的性能。模型不仅能够准确理解复杂的指令和上下文,还能够基于外部数据提供富有洞察力的反馈。比如,在一个集成企业内部知识库的场景中,ChatGLM-6B能够迅速检索相关信息,为用户提供精准的业务解答,展现了其在客户服务、智能咨询等领域的巨大潜力。

    总结我的使用体验,PAI-EAS的一键部署功能为开发者降低了技术门槛,使得复杂的模型部署变得轻而易举;而LangChain框架的加入,则进一步拓展了大模型的应用边界,实现了数据与模型的高效整合。这种结合不仅提高了开发效率,更为模型的实用化和商业化铺平了道路。尽管在某些特定场景下,模型的精准度和适应性仍有待进一步优化,但总体而言,这是一次令人兴奋且收获颇丰的技术探索之旅。未来,随着技术的不断进步,期待ChatGLM-6B与LangChain能解锁更多创新应用场景,推动AI技术的更广泛应用。

    2024-07-06 11:52:54
    赞同 10 展开评论 打赏
  • 了解,您希望我提供关于使用PAI-EAS一键部署ChatGLM并应用LangChain集成外部数据的配置过程、输出结果及使用体验的详细描述。接下来,我将整理相关信息,为您提供详尽的解释。

    使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据:我的体验之旅

    在当下这个信息爆炸的时代,AI大模型的应用越来越广泛,尤其是在语言理解和生成方面。ChatGLM-6B作为一个支持中英双语的开源对话语言模型,基于General Language Model(GLM)架构,具有62亿参数,显示出了强大的应用潜力。而LangChain作为一个开源框架,它能让AI开发人员将大语言模型(LLM)和外部数据结合起来,以较少的计算资源消耗获得更优的性能和效果。应阿里巴巴开发者平台的邀请,我尝试了使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据的过程,下面是我的配置过程、输出结果及使用体验。

    配置过程

    首先,我访问了提供的链接,进入了PAI-EAS的官方文档和部署页面。页面上提供了详细的部署指南,包括必要的前置条件和步骤说明,使部署过程变得简单快捷。

    按照指南,我首先确保我有一个有效的阿里云账户,并且设置了合适的计算实例和存储空间。接着,通过几个简单的点击操作,我选择了相应的部署模板,并填写了必要的配置信息,例如实例类型、网络设置等。

    部署过程中,我能够实时监控到部署状态,这让我清楚地了解到每一个步骤的完成情况。整个过程大约花费了十几分钟,这比我预期的要快得多。

    成功部署后,我通过控制台进入到了ChatGLM的接口测试页面,准备开始下一步的LangChain集成。

    应用LangChain集成外部数据

    在使用LangChain之前,我花了一些时间熟悉其文档和示例。LangChain的使用主要涉及到定义外部数据的调用方式和格式,以及如何将这些数据整合到ChatGLM的回答中。

    通过简单的代码和配置文件编写,我成功地将一个外部的天气API集成到了ChatGLM中。这样,当用户询问天气相关问题时,ChatGLM不仅能够理解问题的语义,还能够实时查询并返回最新的天气信息。

    输出结果

    为了测试部署和集成的效果,我通过接口向ChatGLM发送了几个包含中文和英文的查询请求。结果令人印象深刻:

    1. 对于一些基本的对话任务,如问候、自我介绍等,ChatGLM能够流畅自然地回应。
    2. 当涉及到集成的天气API查询时,ChatGLM也能准确地调用API,并人性化地表达出查询结果。
    3. 对于一些复杂问题,ChatGLM偶尔会给出不够准确的回答,但整体的表现已经非常出色。

    使用体验

    整个部署和应用的过程相对简单,即使对于我这样的非专业开发者来说,也能够在几天之内完成从部署到集成外部数据的全部步骤。

    ChatGLM展现出了良好的双语处理能力,对中文和英文的理解和生成都相当自然。同时,LangChain的集成让ChatGLM的功能变得更加强大和实用,使其不仅仅是一个简单的对话系统,而是一个能够引入实时数据、提供动态回答的智能系统。

    当然,在这个过程中也遇到了一些小问题,比如在数据格式转换和部分复杂查询处理上还存在一些小瑕疵,但这些都是可以通过后续优化解决的。

    总体而言,使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据的体验非常积极。这不仅展示了AI大模型的强大能力,也为像我这样的开发者提供了方便、快捷实现个性化AI应用的途径。随着技术的不断进步,我期待未来能有更多的创新和突破。

    2024-07-05 20:18:12
    赞同 22 展开评论 打赏
  • 模型在线服务EAS(Elastic Algorithm Service)是一种模型在线服务平台,可支持您一键部署模型为在线推理服务或AI-Web应用。它提供的弹性扩缩容和蓝绿部署等功能,可以支撑您以较低的资源成本获取高并发且稳定的在线算法模型服务。
    image.png

    进入如下菜单:
    image.png
    image.png

    阿里云免费试用提供的机型包括以下三种机型,仅选择试用活动页签下的这三种机型来部署服务产生的费用,才能使用抵扣包抵扣。
    image.png

    在WebUI页面上方Tab页选择LangChain。页面左下角,按照界面操作指引拉取自定义数据,支持配置.txt、.md、.docx、.pdf格式的文件。
    image.png
    输入信息后的对话如图:
    image.png

    LangChain是一个开源的框架,可以让AI开发人员将像GPT-4这样的大语言模型(LLM)和外部数据结合起来,从而在尽可能少消耗计算资源的情况下,获得更好的性能和效果。

    ChatGLM在PAI-EAS上的部署表现出快速的响应速度,几乎可以做到实时回复,大大提高了聊天效率。用作企业内容的智能问答系统还是很不错,通过PAI-EAS也可以到达快速部署。

    2024-07-05 17:24:50
    赞同 20 展开评论 打赏
  • 使用PAI-EAS一键部署ChatGLM,就像在厨房里用微波炉加热食物一样简单。首先,你得有PAI-EAS这个"微波炉",然后下载ChatGLM这个"食物"。接着,打开PAI-EAS,把ChatGLM放进去,按个按钮,就等着它自己煮熟。LangChain是调料,你可以根据需要,把外部数据这些"香料"加进去,让ChatGLM更美味。

    配置过程就像设置微波炉的时间和火力,你只需要根据PAI-EAS的指导,输入一些参数,比如你想要ChatGLM运行的环境、资源需求等。输出结果就是你的"热腾腾"的ChatGLM,已经准备好为你服务了。

    使用体验嘛,就像吃了顿美味的大餐,ChatGLM运行得流畅,响应速度快,而且集成了LangChain后,它能够更好地理解和处理外部数据,就像大厨用了新鲜食材,让菜肴更加丰富有层次。

    最后说话总体感受:整个过程简单快捷,结果令人满意。

    2024-07-05 17:12:28
    赞同 18 展开评论 打赏
  • image.png

    使用体验:
    ChatGLM模型的响应速度非常快,而且能够准确理解并回答我提出的各种问题。更令人印象深刻的是,通过LangChain集成的外部数据,模型的回答更加丰富和精准,充分展现了结合大数据和AI模型的强大能力。

    image.png

    在实际使用中,我发现ChatGLM不仅能够处理日常的对话任务,还能够根据集成的数据提供专业的建议和信息,这在处理一些需要特定领域知识的问题时表现得尤为突出。此外,整个部署和使用过程的文档支持非常完善,即使是初学者也能够轻松上手。

    2024-07-05 15:18:33
    赞同 18 展开评论 打赏
  • 共建共享

    首先,我登录了阿里云开发者平台,找到了关于PAI-EAS的详细文档和教程。 阿里云提供的详尽指南让我对整个部署流程有了清晰的认识。我按照步骤,首先在PAI平台上创建了一个新项目,并选择了适合的公共资源组。接着,我上传了ChatGLM-6B的模型文件和必要的依赖库,这些都在阿里云的云端环境中完成,无需担心本地硬件的限制。

    最让我兴奋的是PAI-EAS的一键部署功能。在上传完所有必要的文件后,我只需点击一个按钮,系统便开始自动配置和部署我的模型。整个过程仿佛是一个魔术,短短几分钟内,我的ChatGLM-6B模型就被部署为一个RESTful API服务,可以通过HTTP请求进行访问。这种即插即用的体验,让我深刻感受到了云端服务的便捷和高效。

    部署完ChatGLM后,我迫不及待地想要将其与LangChain集成,以实现更丰富的对话和搜索功能。LangChain是一个强大的工具,它允许我轻松地将外部数据源与LLM模型连接起来,实现数据的实时查询和推理。我按照LangChain的文档,配置了数据源接口,并编写了相应的代码来调用ChatGLM的API。 通过LangChain的链式调用机制,我能够将ChatGLM的生成能力与外部数据的检索能力结合起来,为用户提供更加精准和有用的回答。

    当一切准备就绪后,我启动了WebUI进行模型推理。通过Web界面,我可以轻松地与ChatGLM进行对话,并看到它根据我的输入生成的回答。 更令我惊喜的是,当我在对话中提及需要查询外部数据时,ChatGLM能够实时调用LangChain集成的数据源,并将查询结果融入回答中。这种无缝的集成体验,让我感受到了AI技术的强大潜力和无限可能。

    2024-07-05 15:12:10
    赞同 19 展开评论 打赏
  • 部署过程:
    我通过阿里云开发者社区提供的链接,开始了使用PAI-EAS一键部署ChatGLM并集成LangChain的旅程。首先,我访问了部署页面,选择了适合我的账号和资源配置。在简洁明了的界面引导下,我点击了“一键部署”,并根据提示完成了必要的设置。

    部署过程中,我特别注意了集成LangChain的部分,这个开源框架让我能够将ChatGLM的强大语言处理能力与外部数据源相结合,极大地扩展了模型的应用范围。我按照文档指示,配置了数据源的连接,并指定了需要集成的数据类型。

    使用体验:
    部署完成后,我立即进行了测试,我尝试了几个复杂的查询,ChatGLM都能够迅速地给出合理的答案,这让我对它的能力印象深刻。
    image.png

    2024-07-05 15:01:12
    赞同 15 展开评论 打赏
  • Snipaste_2024-07-05_10-47-47.jpg
    y4dn6eatoa22k_0beef7d2ef9d43dfb7cc037e89e7e507.png
    4hlwtrkuolsdk_20d27b2707c5449e832f7405b9238f06.png
    现在实验环境使用共享资源,都是需要先领取,然后使用。如果已经领取过的则需要购买个人资源,然后才能使用,也是一种促销手段吧。
    PAI整体的体验过程还是可以的,跟随着指导文档一路配置下来,非常顺利。就是不知道如果没有文档的指导又能走到那一步。使用效果还是可以,AI的配置门槛较高,PAI可以很容的搭建和操作,非常方便。

    2024-07-05 14:06:47
    赞同 12 展开评论 打赏
  • 技术浪潮涌向前,学习脚步永绵绵。

    先看下最后的测试界面吧
    008.png

    要使用PAI-EAS一键部署ChatGLM模型,并通过LangChain框架集成外部数据,您可以遵循以下步骤进行配置。请注意,具体步骤可能会随着PAI-EAS和LangChain的更新而有所变化,因此以下是一个基于当前信息的概览。

    第一步:使用PAI-EAS部署ChatGLM模型

    001.png

    1. 领取资源包:前往阿里云活动页面,领取模型在线服务PAI-EAS产品免费试用资源包,尤其是如果您是新用户。

    2. 准备环境与资源

      • 访问PAI-EAS控制台,准备好您的模型文件、依赖库和配置文件。
        002.png
        003.png
    3. 模型部署

      • 在PAI-EAS控制台,选择新建服务或模型部署。
      • 上传ChatGLM模型的打包文件,包括模型参数、配置文件等。
      • 配置模型运行所需的环境,如选择合适的运行时环境、设置GPU资源等。
      • 填写模型服务的端口、环境变量等信息。
      • 点击部署,等待部署成功。

    第二步:集成LangChain

    1. 安装LangChain
      在您的开发环境中,使用pip安装LangChain库。

    2. 准备外部数据
      确定您想要集成的外部数据源,例如数据库、文档、API等,并准备相应的访问凭证或接口。

    3. 创建LangChain应用

      • 使用LangChain创建一个应用,定义如何与外部数据交互。例如,如果您想集成一个知识库,可以使用VectorStore类来存储和查询数据。
        004.png
        005.png
    1. 整合ChatGLM与LangChain

      将ChatGLM模型与LangChain应用相连,使得模型能够访问外部数据。这通常涉及创建一个Chain或Agent,它知道如何调用模型,并在需要时查询外部数据源。

    006.png
    007.png

    1. 交互与测试
      008.png

    输出结果及使用体验

    • 输出结果:您应该能看到ChatGLM模型不仅基于自身的训练数据回答问题,还能利用LangChain集成的外部数据源,提供更丰富、更精确的答案。
    • 使用体验:通过LangChain集成,模型的实用性显著增强,特别是在处理需要实时数据或特定领域知识的问题时。不过,初次集成可能需要一定的技术背景和对LangChain框架的理解,但一旦配置好,后续的维护和扩展变得相对容易。
      009.png

    请注意,具体实施时务必参照最新官方文档和API说明,确保所有步骤和配置都是最新的,并且符合阿里云PAI-EAS和LangChain的最佳实践。

    2024-07-05 12:13:02
    赞同 6 展开评论 打赏
  • 先是环境准备,点开链接后可以选择试用或者个人资源,如果没有试用就只能花钱体验
    ,还好我有试用,选择试用
    image.png
    一定要完全按照话题的步骤来要不然即使用了试用也可能会产生费用。记住试用的一定都是0,有数字的就要仔细看看是不是哪个地方选错了!
    image.png
    开通好后接着
    登录PAI控制台。
    在左侧导航栏,单击工作空间列表。
    image.png
    在工作空间列表页面,单击待操作的工作空间名称,进入对应工作空间内。
    image.png
    在工作空间页面的左侧导航栏,选择模型部署>模型在线服务(EAS),进入PAI EAS模型在线服务页面
    image.png
    在PAI EAS模型在线服务页面,单击部署服务。
    image.png
    在选择部署方式面板,选择自定义部署,单击确定。
    image.png
    请严格按照下图配置
    image.png
    image.png
    使用免费试用资源:试用活动-ecs.gn7i-c8g1.2xlarge.limit
    image.png

    单击部署,等待一段时间即可完成模型部署。
    image.png
    当服务状态为运行中时,表明服务部署成功。
    image.png
    单击目标服务服务方式列下的查看Web应用。
    image.png
    在WebUI页面,进行模型推理验证。
    在①位置输入请求数据,单击②位置的发送按钮,即可在③位置输出推理结果。
    image.png

    总结一下
    成功部署并配置后,我通过LangChain向ChatGLM发送了包含外部数据请求的查询。例如,一个查询请求可能要求ChatGLM根据用户输入的关键词,从外部数据库中检索相关信息并给出回答。ChatGLM通过LangChain框架成功调用外部数据源,返回了精确且结构化的数据,并以自然语言的形式呈现给用户。

    使用体验
    部署便捷:PAI-EAS提供了一键部署ChatGLM的功能,大大简化了模型部署的复杂度,节省了时间。
    性能优越:ChatGLM-6B在PAI-EAS上的运行效率很高,响应速度快,能够满足实时对话的需求。
    灵活集成:LangChain框架的灵活性让我能够轻松地将ChatGLM与外部数据源集成,实现了复杂任务的处理能力。
    扩展性强:通过LangChain,我可以根据需求添加更多的工具和数据源,进一步扩展ChatGLM的功能和应用场景。
    总的来说,使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据,是一种高效、灵活且强大的解决方案,为AI开发人员提供了广阔的创作空间。

    2024-07-05 10:38:58
    赞同 5 展开评论 打赏
  • 作为对AI技术充满热情的开发者,我最近体验了使用阿里云的PAI-EAS服务一键部署ChatGLM,并利用LangChain集成外部数据的过程。

    部署过程:

    1. 环境准备:首先,我根据指南准备了所需的环境和资源,包括开通了PAI-EAS服务并领取了免费试用额度。
      image.png

    2. 一键部署:通过提供的教程链接,我进入了PAI-EAS控制台,并按照步骤一键部署了ChatGLM模型服务。
      image.png

    3. WebUI启动:部署完成后,我启动了WebUI来进行模型推理验证。
      image.png

    4. LangChain集成:在WebUI中,我通过LangChain功能上传并集成了自己的业务数据,包括一些文本文件和PDF文档。
      image.png

    5. 模型推理:在WebUI的LangChain Tab页中,我输入了与业务数据相关的问题,并进行了模型推理。

    image.png

    使用体验:

    1. 部署便捷性:PAI-EAS的一键部署功能非常便捷,即使是初学者也能快速上手。

    2. LangChain的灵活性:LangChain框架提供了灵活的数据集成方式,能够很好地与ChatGLM模型配合。

    3. 性能表现:ChatGLM-6B模型在对话语言推理中表现出色,能够准确理解问题并给出合适的回答。

    4. 资源消耗:通过LangChain的优化,模型在处理外部数据时的计算资源消耗得到了有效控制。

    使用PAI-EAS部署ChatGLM并结合LangChain集成外部数据是一次非常有趣且富有成效的体验。这不仅让我深入了解了LLM大模型的推理应用,也为我将来在AI领域的探索提供了新的思路和工具。

    2024-07-05 10:07:10
    赞同 3 展开评论 打赏
  • 我体验了使用PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据的过程。以下是我的部署过程、输出结果和使用体验分享:

    部署过程:

    1. 环境准备:首先,我在阿里云上申请了PAI-EAS服务,并确保了我的环境满足部署ChatGLM-6B模型的要求。
      f2a46ec0581b27de7a4c91bf019d5cae_y4dn6eatoa22k_0beef7d2ef9d43dfb7cc037e89e7e507.png

    2. 一键部署:通过PAI-EAS提供的界面,我使用了一键部署功能,上传了模型的配置文件和参数,系统自动完成了模型的部署。

    3. LangChain集成:部署完成后,我开始使用LangChain框架来集成外部数据。这个过程包括配置数据源、编写数据获取和处理的脚本。
      de5b4c1173676bad4a049b4c5a8da818_p2en5litxwjjg_cd28516c45bd4d9d8881a84a0ca6e183.png

    4. 测试验证:我通过几个测试案例来验证模型的推理能力和LangChain集成的效果。

    输出结果示例:

    • 推理结果:模型根据输入的问题给出了准确的回答。

    cfbae0885ef201238467d6d4031451d0_p2en5litxwjjg_5e9b9a617cc44530923d2e24b4aab178.png

    使用体验:

    • 部署便捷性:PAI-EAS的一键部署功能非常便捷,大大简化了部署流程,即使是初学者也能快速上手。

    • LangChain的灵活性:LangChain框架提供了灵活的数据集成方式,能够很好地与ChatGLM模型配合,提高了模型的实用性。

    • 性能表现:ChatGLM-6B模型在中英双语对话中表现出色,能够准确理解问题并给出合适的回答。

    • 资源消耗:通过LangChain的优化,模型在处理外部数据时的计算资源消耗得到了有效控制。

    • 实际应用:我尝试将这个模型集成到了一个简单的聊天机器人中,用户体验非常好。
      a3deee50d9ab7b2b2c5c598f7376c19f_o23ywodss4pji_3eb1c4cf59424b4a904ee718f362d6b7.png

    结论:

    使用PAI-EAS部署ChatGLM并结合LangChain集成外部数据是一次非常有趣且富有成效的体验。这不仅让我深入了解了LLM大模型的推理应用,也为我将来在AI领域的探索提供了新的思路和工具。

    我强烈推荐对AI和自然语言处理感兴趣的朋友尝试这个过程。它不仅能提升你的技术能力,还能让你在AI应用开发中获得更多灵感。

    2024-07-05 09:43:42
    赞同 1 展开评论 打赏
滑动查看更多

话题讨论榜

  • 1
    一键生成你眼中的未来城市,分享部署过程、输出结果及使用体验
    奖品池:4000积分,迪士尼无线耳机*3
    29

    一键生成我眼中的未来城市-内蒙古的蒙古包 部署过程 在阿里云函数计算FC平台上部署Stable Diffusion模型来生成未来城市景象的过程相对直观且高效。以下是详细的## 部署步骤: 登录阿里云账号,进入函数计算控制台。 • 函数计算 FC 函数计算是一款 Serverless 计算产品,可以为您提供 Stable Diffusion 必需的 CPU/GPU 计算资源。 • 文件存储 N...

  • 2
    展示你用AI工具生成动漫头像,并分享配置过程及使用体验
    奖品池:4000积分,体脂称*6
    39

    配置过程: AI工具:通义万相 选择风格:黏土世界 Prompt: 帅气的程序员在阿里上班。(微调强度0.5) 使用体验: 通义万相的使用体验非常流畅且令人满意。从启动到生成头像,整个过程都显得非常高效和便捷。其界面设计简洁明了,即使是初次使用的用户也能快速上手。最令我印象深刻的是通义万相对Prompt的解析能力和图像生成的质量。无论是细节的刻画还是整体风格的把握,都显得非常精准和到位。此外...

  • 3
    如何避免“写代码5分钟,调试2小时”的尴尬?
    奖品池:4000积分,挂脖风扇*3,马克杯*3
    74

    在软件开发过程中,"写代码5分钟,调试2小时"的现象往往源于多种因素,包括缺乏计划、对问题的理解不足、代码质量不高等。这是一些实用的策略,可以帮助开发者有效避免这一尴尬局面。 充分的前期规划与需求分析 彻底理解需求:在开始编码前,确保对项目的需求有清晰、全面的理解。与产品经理、设计师和团队成员充分沟通,明确每一个功能点的具体要求。 制定计划:根据需求制定详细的开发计划,包括任务分解、时间预估...

  • 4
    使用通义灵码冲刺备战求职季,你有哪些深刻体验?
    奖品池:4000积分,华为手环*3,马克杯*5
    29

    体验截图展示了通义灵码的几个关键功能界面: 代码自动生成界面:在输入框中输入简短的功能描述,通义灵码迅速生成了一段结构清晰、逻辑合理的代码片段,包括变量定义、循环结构、条件判断等,大大节省了编写基础代码的时间。 错误修复与优化建议:将一段含有错误的代码粘贴进去,通义灵码不仅指出了错误位置,还提供了修正后的代码,并给出了优化建议,帮助提升代码质量和性能。 面试模拟题与解析:在面试准备模块,通义...

  • 5
    丹青-千变万换,体验图片局部内容替换,分享使用过程、输出结果及使用体验
    奖品池:4000积分,加湿器*5
    18

    使用体验分享:丹青-千变万换,探索ReplaceAnything的奇妙之旅 使用过程 在这个充满创意与技术的时代,我有幸体验了ReplaceAnything这一强大的AI工具,它如同一位无形的画师,让我的图片创作之路变得前所未有的宽广与自由。首先,我访问了ReplaceAnything的官方网站,被其简洁而直观的界面所吸引。在简短的注册登录后,我便开始了我的“丹青-千变万换”之旅。 上传图片...

  • 相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载