环境部署
本次体验用到了模型在线服务PAI-EAS,所以在正式开始部署体验前,需要先开通服务。如果你是新用户,可以领取免费试用资源。如下:
在模型在线服务PAI-EAS面板,单击立即试用,如下:
点击前往PAI控制台。如下:
从开通服务的时候我们可以很清晰地看到PAI-EAS服务目前支持的地域有北京、上海、杭州、深圳、成都、河源。为了方便,这里就直接选择了杭州。如下:
由于本次体验不需要开通其他服务,所以组合服务这里我们不要勾选,以免产生不必要的费用。
首次开通需要授权,点击授权前往RAM访问控制。如下:
点击同意授权即可。如下:
完成授权后返回点击刷新,继续点击“确认开通并创建默认工作空间”。如下:
稍等片刻即可完成服务的开通。如下:
来到PAI控制台,点击左侧的工作空间列表,单击待操作的工作空间名称,进入对应工作空间内。如下:
在PAI EAS模型在线服务页面,单击部署服务。如下:
在选择部署方式面板,选择自定义部署,单击确定。如下:
在部署服务页面,自定义服务名称,选择镜像部署AI-Web应用,在PAI平台镜像列表中选择chat-llm-webui;镜像版本选择3.0,勾选协议,运行命令配置为:python webui/webui_server.py --port=8000 --model-path=Qwen/Qwen-7B-Chat。如下:
选择公共资源组,选择常规资源配置,如果你选择免费试用资源,则选择试用活动页签的ecs.gn7i-c8g1.2xlarge.limit实例规格。
如果此处使用个人账户资源,推荐选择GPU页签的ecs.gn7i-c8g1.2xlarge,或者选择GPU显存大于24GB规格的实例。
这里尤其要注意的是,本次部署体验参加免费试用抵扣的实例规格,只有如下三种,选择时需要甄别。
ecs.g6.xlarge.limit
ecs.gn6i-c8g1.2xlarge.limit
ecs.gn7i-c8g1.2xlarge.limit
完成如上配置后,点击部署。如下:
回到PAI控制台,在PAI-EAS服务处单击查看日志,可以看到部署时的日志信息。如下:
整个部署过程大约耗时3分钟,当服务状态为运行中时,表明完成部署。如下:
点击“查看Web应用”,即可开始体验了。如下:
如何利用LangChain来集成自己的业务数据,只需简单的上传并初始化即可。如下:
基于集成数据完成chat效率还是非常高的。如下:
基本上做到了秒解。这对于个人或企业知识库的构建帮助还是非常大的。
当然除了服务本身功能的实现外,基于PAI-EAS一键部署不但能带来更好的体验,而且对于服务的监控也是非常详细的。如下:
体验完成后一定要记得释放掉使用的资源,在推理服务页签,单击目标服务操作列下的删除,删除模型服务。如下:
体验总结
1、使用PAI-EAS一键部署ChatGLM和LangChain,大大简化了部署和集成的复杂度,用户无需过多配置即可快速部署ChatGLM模型。
2、LangChain提供了丰富的组件和灵活的配置方式,可以轻松地与外部数据进行交互,满足不同的应用场景需求。此外,LangChain框架的灵活性和高度抽象性使得集成外部数据变得相对简单,用户可以根据需求自定义模型的行为和输出。ChatGLM模型在集成LangChain后,能够结合外部数据生成更加准确和定制化的答案,显著提升了模型的应用效果。
3、ChatGLM模型在PAI-EAS的部署下表现出色,能够快速响应并生成高质量的回答。
4、值得好评的是通过选择免费试用资源或合理规划个人账户资源,可以在不产生过多费用的情况下,体验ChatGLM和LangChain的强大功能。
5、唯一的不足就是服务时常出现不可用,这可能跟使用的是公共资源有关,但好在每次恢复耗时并不长,弹性能力是真的好用。
综上,使用PAI-EAS一键部署ChatGLM,并通过LangChain集成外部数据,为开发人员提供了一个高效、灵活且成本效益高的解决方案。