基于PAI-EAS一键部署通义千问模型

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。

1. 教程简述

本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。

通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制开发了基于大语言模型的AI助手Qwen-7B-Chat。

本教程部署通义千问WebUI示例效果如下所示:

image.png

基于本教程可以体验:

新用户可免费领取价值万元的人工智能平台PAI 试用资源;

学会如何快速在阿里云上创建模型在线服务;

学会如何在ESA中部署WebUI。


2. 使用PAI-EAS一键部署通义千问WebUI

2.1 准备环境与资源

2.1.1 领取模型在线服务PAI-EAS免费试用权益

前往活动页面,领取模型在线服务PAI-EAS产品免费试用资源包

image.png

2.1.2 部署模型

  1. 前往人工智能平台PAI控制台
  2. 开通人工智能PAI并创建默认工作空间。请参见开通并创建默认工作空间
  3. 在人工智能平台PAI控制台内,选择模型在线服务PAI-EAS,点击部署服务

image.png

  1. 部署方式选择-镜像部署AI-Web应用,镜像选择-PAI平台镜像  modelscope-inference

环境变量:参数参考下图

参数

描述

服务名称

自定义服务名称。本案例使用的示例值为:qwen_demo

部署方式

选择镜像部署AI-Web应用

镜像选择

选择PAI平台镜像>modelscope-inference>1.8.1

环境变量

MODEL_ID输入:qwen/Qwen-7B-Chat

TASK输入:chat

REVISION输入:v1.0.5

运行命令

服务运行命令:python app.py

输入端口号:8000

image.png

  1. 选择实例机型 ecs.gn7i-c8g1.2xlarge.limit  ,若无此机型库存可更换地域尝试;

在领取免费试用权益后(参考步骤1.1),试用活动tab分类下的机型支持免费试用;若不符合领用条件或免费试用机型无库存,可选择GPU分类下的GU30机型(ml.gu7i.c8m30.1-gu30),需自费,约8元/小时。

image.png

  1. 单击部署,进入PAI-EAS 模型在线服务,等待服务状态变更为运行中,表示模型部署完成。

说明一般在5分钟能够完成部署,具体与资源紧缺程度、服务负载以及配置有关。

2.2 使用WebUI进行模型推理

2.2.1 单击目标服务的服务方式> 查看Web应用,打开WebUI页面。

image.png

image.png

2.2.2 在WebUI页面,进行模型推理验证。


3. 资源清理及后续

3.1 清理

  • 领取抵扣包后,请在抵扣包额度和有效期内使用。如果抵扣包额度用尽或超出有效期,继续使用计算资源,会产生后付费账单。请前往节省计划页面,查看抵扣包剩余金额和过期时间。
  • 如果无需继续使用EAS服务,您可以按照以下操作步骤停止/删除模型服务。

image.png


如需技术支持,请在钉钉搜索群号「 52485000325」,加入群聊

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
9天前
|
机器学习/深度学习 数据采集 编解码
机器学习探索稳定扩散:前沿生成模型的魅力解析
机器学习探索稳定扩散:前沿生成模型的魅力解析
12 2
|
1天前
|
机器学习/深度学习 算法 Python
从零开始:构建你的第一个机器学习模型
【7月更文第16天】在机器学习的浩瀚宇宙中,迈出第一步总是充满挑战又激动人心的。本文旨在通过一个简单而经典的案例——线性回归,引领你动手构建首个机器学习模型,让你从零开始,逐步掌握模型构建的基本流程。
14 3
|
3天前
|
机器学习/深度学习
机器学习模型评估指标详解
【7月更文挑战第14天】选择合适的评估指标对于准确评估机器学习模型的性能至关重要。在实际应用中,需要根据具体任务场景和数据特点,综合考虑多种评估指标,以全面评估模型的性能。同时,还需要注意评估指标的局限性,避免单一指标带来的误导。
|
12天前
|
机器学习/深度学习 算法 文件存储
使用Python实现深度学习模型:神经架构搜索与自动机器学习
【7月更文挑战第5天】 使用Python实现深度学习模型:神经架构搜索与自动机器学习
26 2
|
15天前
|
机器学习/深度学习 自然语言处理 算法
扩散模型在机器学习中的应用及原理
扩散模型在机器学习中的应用及原理
|
16天前
|
机器学习/深度学习 分布式计算 算法
Java中的机器学习模型集成与训练实践
Java中的机器学习模型集成与训练实践
|
17天前
|
机器学习/深度学习 数据采集 人工智能
人工智能平台PAI产品使用合集之在使用ARIMA模型预测时,目标是预测输出12个值,但只打印了5个值,是什么原因
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
17天前
|
机器学习/深度学习 人工智能 Java
Java与AI集成开发:机器学习模型部署
Java与AI集成开发:机器学习模型部署
|
1天前
|
存储 人工智能 物联网
|
1天前
|
人工智能

热门文章

最新文章

相关产品

  • 人工智能平台 PAI