基于PAI-EAS一键部署通义千问模型

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。

1. 教程简述

本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。

通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制开发了基于大语言模型的AI助手Qwen-7B-Chat。

本教程部署通义千问WebUI示例效果如下所示:

image.png

基于本教程可以体验:

新用户可免费领取价值万元的人工智能平台PAI 试用资源;

学会如何快速在阿里云上创建模型在线服务;

学会如何在ESA中部署WebUI。


2. 使用PAI-EAS一键部署通义千问WebUI

2.1 准备环境与资源

2.1.1 领取模型在线服务PAI-EAS免费试用权益

前往活动页面,领取模型在线服务PAI-EAS产品免费试用资源包

image.png

2.1.2 部署模型

  1. 前往人工智能平台PAI控制台
  2. 开通人工智能PAI并创建默认工作空间。请参见开通并创建默认工作空间
  3. 在人工智能平台PAI控制台内,选择模型在线服务PAI-EAS,点击部署服务

image.png

  1. 部署方式选择-镜像部署AI-Web应用,镜像选择-PAI平台镜像  modelscope-inference

环境变量:参数参考下图

参数

描述

服务名称

自定义服务名称。本案例使用的示例值为:qwen_demo

部署方式

选择镜像部署AI-Web应用

镜像选择

选择PAI平台镜像>modelscope-inference>1.8.1

环境变量

MODEL_ID输入:qwen/Qwen-7B-Chat

TASK输入:chat

REVISION输入:v1.0.5

运行命令

服务运行命令:python app.py

输入端口号:8000

image.png

  1. 选择实例机型 ecs.gn7i-c8g1.2xlarge.limit  ,若无此机型库存可更换地域尝试;

在领取免费试用权益后(参考步骤1.1),试用活动tab分类下的机型支持免费试用;若不符合领用条件或免费试用机型无库存,可选择GPU分类下的GU30机型(ml.gu7i.c8m30.1-gu30),需自费,约8元/小时。

image.png

  1. 单击部署,进入PAI-EAS 模型在线服务,等待服务状态变更为运行中,表示模型部署完成。

说明一般在5分钟能够完成部署,具体与资源紧缺程度、服务负载以及配置有关。

2.2 使用WebUI进行模型推理

2.2.1 单击目标服务的服务方式> 查看Web应用,打开WebUI页面。

image.png

image.png

2.2.2 在WebUI页面,进行模型推理验证。


3. 资源清理及后续

3.1 清理

  • 领取抵扣包后,请在抵扣包额度和有效期内使用。如果抵扣包额度用尽或超出有效期,继续使用计算资源,会产生后付费账单。请前往节省计划页面,查看抵扣包剩余金额和过期时间。
  • 如果无需继续使用EAS服务,您可以按照以下操作步骤停止/删除模型服务。

image.png


如需技术支持,请在钉钉搜索群号「 52485000325」,加入群聊

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
7天前
|
存储 人工智能 测试技术
小鱼深度评测 | 通义灵码2.0,不仅可跨语言编码,自动生成单元测试,更炸裂的是集成DeepSeek模型且免费使用,太炸裂了。
小鱼深度评测 | 通义灵码2.0,不仅可跨语言编码,自动生成单元测试,更炸裂的是集成DeepSeek模型且免费使用,太炸裂了。
140671 12
小鱼深度评测 | 通义灵码2.0,不仅可跨语言编码,自动生成单元测试,更炸裂的是集成DeepSeek模型且免费使用,太炸裂了。
|
3天前
|
人工智能 自然语言处理 物联网
阿里万相重磅开源,人工智能平台PAI一键部署教程来啦
阿里云视频生成大模型万相2.1(Wan)重磅开源!Wan2.1 在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面具有显著的优势,轻松实现高质量的视频生成。同时,万相还支持业内领先的中英文文字特效生成,满足广告、短视频等领域的创意需求。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署阿里万相重磅开源的4个模型,可获得您的专属阿里万相服务。
|
1天前
|
数据采集 编解码 缓存
通义万相Wan2.1视频模型开源!视频生成模型新标杆,支持中文字效+高质量视频生成
通义万相Wan2.1视频模型开源!视频生成模型新标杆,支持中文字效+高质量视频生成
|
4天前
|
数据采集 编解码 缓存
通义万相Wan2.1视频模型开源!视频生成模型新标杆,支持中文字效+高质量视频生成
2025年1月,阿里通义万相Wan2.1模型登顶Vbench榜首第一,超越Sora、HunyuanVideo、Minimax、Luma、Gen3、Pika等国内外视频生成模型。而在今天,万相Wan2.1视频生成大模型正式开源!
|
4天前
|
机器学习/深度学习 存储 算法
DistilQwen2.5发布:通义千问蒸馏小模型再升级
为解决大语言模型在资源有限环境下的高计算成本和复杂性问题,阿里云推出了基于 Qwen2.5 的轻量化模型系列 DistilQwen2.5。该模型通过双层蒸馏框架、数据优化策略及参数融合技术,在保留性能的同时显著降低计算资源消耗。本文提供了详细的使用教程和代码示例,方便用户在 PAI 平台上调用。
|
23小时前
|
人工智能 自然语言处理 搜索推荐
开发者专属福利!通义灵码接入满血版DeepSeek-R1模型!
开发者专属福利!通义灵码接入满血版DeepSeek-R1模型!
|
18小时前
|
人工智能 JSON 文字识别
通义两大模型,正式开源!
通义两大模型,正式开源!
|
4天前
|
人工智能 测试技术 API
最新全球模型榜单:通义千问Qwen2.5-Max数学及编程能力第一!
最新全球模型榜单:通义千问Qwen2.5-Max数学及编程能力第一!
61 5
|
6天前
|
人工智能 IDE 测试技术
用户说 | 通义灵码2.0,跨语言编码+自动生成单元测试+集成DeepSeek模型且免费使用
通义灵码, 作为国内首个 AI 程序员,从最开始的内测到公测,再到通义灵码正式发布第一时间使用,再到后来使用企业定制版的通义灵码,再再再到现在通义灵码2.0,我可以说“用着”通义灵码成长的为数不多的程序员之一了吧。咱闲言少叙,直奔主题!今天,我会聊一聊通义灵码的新功能和通义灵码2.0与1.0的体验感。
|
17小时前
|
人工智能 编解码 API
刚刚,通义万相模型能力重磅升级!
刚刚,通义万相模型能力重磅升级!

相关产品

  • 人工智能平台 PAI