1
学习教程
请认真阅读教程后再参赛去学习
2
领取免费资源
可领取EAS免费试用资源去领取
3
上传作品
上传作品投票赢大礼去上传
4
更多AIGC挑战
加入钉群,参与更多AI相关活动去加入

学习部署模型教程

基于PAI-EAS一键部署通义千问模型

1. 教程简述

本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。

通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制开发了基于大语言模型的AI助手Qwen-7B-Chat。

本教程部署通义千问WebUI示例效果如下所示:

网络异常,图片无法展示
|

基于本教程可以体验:

新用户可免费领取价值万元的人工智能平台PAI 试用资源;

学会如何快速在阿里云上创建模型在线服务;

学会如何在ESA中部署WebUI。


2. 使用PAI-EAS一键部署通义千问WebUI

2.1 准备环境与资源

2.1.1 领取模型在线服务PAI-EAS免费试用权益

前往活动页面,领取模型在线服务PAI-EAS产品免费试用资源包

网络异常,图片无法展示
|

2.1.2 部署模型

  1. 前往人工智能平台PAI控制台
  2. 开通人工智能PAI并创建默认工作空间。请参见开通并创建默认工作空间
  3. 在人工智能平台PAI控制台内,选择模型在线服务PAI-EAS,点击部署服务

网络异常,图片无法展示
|

  1. 部署方式选择-镜像部署AI-Web应用,镜像选择-PAI平台镜像  modelscope-inference

环境变量:参数参考下图

参数

描述

服务名称

自定义服务名称。本案例使用的示例值为:qwen_demo

部署方式

选择镜像部署AI-Web应用

镜像选择

选择PAI平台镜像 > modelscope-inference > 1.8.1

环境变量

MODEL_ID输入:qwen/Qwen-7B-Chat

TASK输入:chat

REVISION输入:v1.0.5

运行命令

服务运行命令:python app.py

输入端口号:8000

网络异常,图片无法展示
|

  1. 选择实例机型 ecs.gn7i-c8g1.2xlarge.limit  ,若无此机型库存可更换地域尝试;

在领取免费试用权益后(参考步骤1.1),试用活动tab分类下的机型支持免费试用;若不符合领用条件或免费试用机型无库存,可选择GPU分类下的GU30机型(ml.gu7i.c8m30.1-gu30),需自费,约8元/小时。

网络异常,图片无法展示
|

  1. 单击部署,进入PAI-EAS 模型在线服务,等待服务状态变更为运行中,表示模型部署完成。

说明一般在5分钟能够完成部署,具体与资源紧缺程度、服务负载以及配置有关。

2.2 使用WebUI进行模型推理

2.2.1 单击目标服务的服务方式 > 查看Web应用,打开WebUI页面。

网络异常,图片无法展示
|

网络异常,图片无法展示
|

2.2.2 在WebUI页面,进行模型推理验证。

网络异常,图片无法展示
|


3. 资源清理及后续

3.1 清理

  • 领取抵扣包后,请在抵扣包额度和有效期内使用。如果抵扣包额度用尽或超出有效期,继续使用计算资源,会产生后付费账单。请前往节省计划页面,查看抵扣包剩余金额和过期时间。
  • 如果无需继续使用EAS服务,您可以按照以下操作步骤停止/删除模型服务。

网络异常,图片无法展示
|


如需技术支持,请在钉钉搜索群号「 52485000325」,加入群聊

基于PAI-EAS快速部署通义千问模型
【和PAI一起,每周玩转AI】第二期:使用PAI-EAS部署通义千问,并由Qwen为您推荐专属冬日美食
进入PAI-EAS控制台立即开始创作
作者信息

领取免费资源

领取PAI-EAS免费试用权益,部署通义千问,如历史已领取资源可直接参赛上传对话截图
No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
Error: No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
    at https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:272373
    at h (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:125719)
    at Generator.<anonymous> (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:125470)
    at Generator.next (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:126078)
    at f (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:204053)
    at a (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:204255)
    at https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:204314
    at new Promise (<anonymous>)
    at https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:204196
    at https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:272563
No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
Error: No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
    at https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:272373
    at h (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:125719)
    at Generator.<anonymous> (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:125470)
    at Generator.next (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:126078)
    at f (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:204053)
    at a (https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:204255)
    at https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:204314
    at new Promise (<anonymous>)
    at https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:204196
    at https://g.alicdn.com/hmod/ace-developer-factory-free-product/0.0.10/??index.js,services.js:1:272563
我的作品
晒晒我与通义千问的对话
上传作品
最新最热
第一次部署了大语言模型,使用体验较好,但是针对我重复提出的问题,这个模型的回答是惊人的一致,是不是训练量还不够啊😂
操作简单,就是资源部署有点慢,等了很久/(ㄒoㄒ)/~~,今天冬至,人在北方,记得吃饺子!
通义千问为我推荐一些北京的冬日美食和特色饺子馆
安徽冬日美食,欢迎品尝
通义千问推荐福建美食:饺子与腊肉
请通义千问-推荐一些东北的特色冬季美食,介绍东北火锅的历史
操作非常简单,容易上手。
如果是推荐杭州的美食,我看之前的回答都挺符合的。 但是我在对话前面先问了“杭州为什么被称为“美食荒漠””,然后Qwen的回答就有点跑偏了,回答里面的“美食”甚至从未听闻,估计是受到前面对话语境的影响了。
晒晒我与通义千问的对话,江西的冬季美食——南昌的瓦罐汤和麻婆豆腐
流程简洁、易上手,收到的答案清晰、有条理,但加载速度有待提升。 另外,大西安的美食还是很丰富滴。
通过称呼Qwen为“资深的北京美食家”,给予他一个定位。其次,明确表示了我们对北京冬日美食的兴趣,并强调了地方特色和独特风味的重要性。这样,Qwen会推荐一些符合这些条件的冬日美食
湖北监利的美食,监利黄鳝,监利猪,美滋滋,欢迎全国各地的朋友们来品尝
昆明冬天的美食,一吃一个不吱声
让我们了解一下杭州推荐的美食有哪些,哈哈哈
南京美食千千万,各类板鸭占一半。 作为一名东北人,在南京吃板鸭、吃鸭血、和鸭血粉丝汤。确实不错。
模型搭建非常便捷,直接鼠标点击就可以搭建成功,不需要代码基础,降低了开发搭建门槛,另外如果遇到问题可以非常便捷的咨询在线客服或者提交工单解决。另外模型搭建中选择的服务器只能选择教程中哪一款,如果选择其他款搭建成功后使用模型会出现内存报错,具体原因还是很清楚。目前针对这款通义千问大模型,响应速度来说相对较慢,不过回答问题条理比较清晰,准确性来说可以达到80%。对于比较偏门的知识可能回答的不够好。
云平台搭建大语言模型方便快捷,能够降低非专业人士的使用门槛,通义千问能够实现连续询问,对问题的反馈较为精准,符合日常使用预期,是人们日常办公的好助手!
整体体验还可以。不过在部署过程中经常性出现资源不足的问题,而且问答框是固定的,不友好。输入了问题需要点击发送才可以实现问答,直接回车键不支持。当回答当地特色美食时,回答质量一般。比如我在江西,其实冬日美食必有瓦罐汤的,可它却不推荐,不合常理的。
第一次领用pai-eas资源,部署了千问大模型,按照操作步骤,确实很快。只需要简单配置即可。但是在等待部署成功过程,需要15分钟左右,大大超过了文档说的5分钟左右。 有点被欺骗哈,在部署过程发现千问的版本可以选择1.9.1,手册要求的是1.8.1。 为了稳妥我先部署了1.8.1的版本,后来也部署了1.9的版本。整体看起来,1.9的版本要好很多。
千问的大模型最近是不是有问题,问了不少问题,感觉回答的质量一般。继续追问的情况下,还会答非所问。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等