基于PAI-EAS一键部署通义千问模型

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。

1. 教程简述

本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。

通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制开发了基于大语言模型的AI助手Qwen-7B-Chat。

本教程部署通义千问WebUI示例效果如下所示:

image.png

基于本教程可以体验:

新用户可免费领取价值万元的人工智能平台PAI 试用资源;

学会如何快速在阿里云上创建模型在线服务;

学会如何在ESA中部署WebUI。


2. 使用PAI-EAS一键部署通义千问WebUI

2.1 准备环境与资源

2.1.1 领取模型在线服务PAI-EAS免费试用权益

前往活动页面,领取模型在线服务PAI-EAS产品免费试用资源包

image.png

2.1.2 部署模型

  1. 前往人工智能平台PAI控制台
  2. 开通人工智能PAI并创建默认工作空间。请参见开通并创建默认工作空间
  3. 在人工智能平台PAI控制台内,选择模型在线服务PAI-EAS,点击部署服务

image.png

  1. 部署方式选择-镜像部署AI-Web应用,镜像选择-PAI平台镜像  modelscope-inference

环境变量:参数参考下图

参数

描述

服务名称

自定义服务名称。本案例使用的示例值为:qwen_demo

部署方式

选择镜像部署AI-Web应用

镜像选择

选择PAI平台镜像>modelscope-inference>1.8.1

环境变量

MODEL_ID输入:qwen/Qwen-7B-Chat

TASK输入:chat

REVISION输入:v1.0.5

运行命令

服务运行命令:python app.py

输入端口号:8000

image.png

  1. 选择实例机型 ecs.gn7i-c8g1.2xlarge.limit  ,若无此机型库存可更换地域尝试;

在领取免费试用权益后(参考步骤1.1),试用活动tab分类下的机型支持免费试用;若不符合领用条件或免费试用机型无库存,可选择GPU分类下的GU30机型(ml.gu7i.c8m30.1-gu30),需自费,约8元/小时。

image.png

  1. 单击部署,进入PAI-EAS 模型在线服务,等待服务状态变更为运行中,表示模型部署完成。

说明一般在5分钟能够完成部署,具体与资源紧缺程度、服务负载以及配置有关。

2.2 使用WebUI进行模型推理

2.2.1 单击目标服务的服务方式> 查看Web应用,打开WebUI页面。

image.png

image.png

2.2.2 在WebUI页面,进行模型推理验证。


3. 资源清理及后续

3.1 清理

  • 领取抵扣包后,请在抵扣包额度和有效期内使用。如果抵扣包额度用尽或超出有效期,继续使用计算资源,会产生后付费账单。请前往节省计划页面,查看抵扣包剩余金额和过期时间。
  • 如果无需继续使用EAS服务,您可以按照以下操作步骤停止/删除模型服务。

image.png


如需技术支持,请在钉钉搜索群号「 52485000325」,加入群聊

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型
DeepSeek 系列模型以其卓越性能在全球范围内备受瞩目,多次评测中表现优异,性能接近甚至超越国际顶尖闭源模型(如OpenAI的GPT-4、Claude-3.5-Sonnet等)。企业用户和开发者可使用 PAI 平台一键部署 DeepSeek 系列模型,实现 DeepSeek 系列模型与现有业务的高效融合。
|
12天前
|
API 开发工具 Python
阿里云PAI部署DeepSeek及调用
本文介绍如何在阿里云PAI EAS上部署DeepSeek模型,涵盖7B模型的部署、SDK和API调用。7B模型只需一张A10显卡,部署时间约10分钟。文章详细展示了模型信息查看、在线调试及通过OpenAI SDK和Python Requests进行调用的步骤,并附有测试结果和参考文档链接。
1938 9
阿里云PAI部署DeepSeek及调用
|
6天前
|
人工智能 搜索推荐 程序员
通义灵码全新上线模型选择功能,新增支持 DeepSeek-V3 和 DeepSeek-R1 模型
阿里云百炼平台推出DeepSeek-V3、DeepSeek-R1等6款新模型,丰富AI模型矩阵。通义灵码随之升级,支持Qwen2.5、DeepSeek-V3和R1系列模型选择,助力AI编程。开发者可通过VS Code和JetBrains IDE轻松切换模型,实现复杂编码任务的自动化处理,进一步降低AI编程门槛,提供个性化服务。
347 19
|
5天前
|
人工智能 自然语言处理 程序员
如何在通义灵码里用上DeepSeek-V3 和 DeepSeek-R1 满血版671B模型?
除了 AI 程序员的重磅上线外,近期通义灵码能力再升级全新上线模型选择功能,目前已经支持 Qwen2.5、DeepSeek-V3 和 R1系列模型,用户可以在 VSCode 和 JetBrains 里搜索并下载最新通义灵码插件,在输入框里选择模型,即可轻松切换模型。
934 14
|
17天前
|
人工智能 测试技术
QVQ-72B-Preview:阿里通义千问最新多模态推理模型,视觉推理助力复杂图像理解
阿里云通义千问团队开源的多模态推理模型 QVQ-72B-Preview,专注于提升视觉推理能力,支持复杂图像理解和逐步推理。
98 6
QVQ-72B-Preview:阿里通义千问最新多模态推理模型,视觉推理助力复杂图像理解
|
1天前
|
人工智能 自然语言处理 程序员
通义灵码内置 DeepSeek V3 和 R1 满血版 671B模型,免费不限量,免部署!
近期,通义灵码能力再升级全新上线模型选择功能,支持基于百炼的 DeepSeek-V3 和 DeepSeek-R1 满血版671B模型,用户可以在 VSCode 和 JetBrains 里搜索并下载最新通义灵码插件,在输入框里选择模型,即可轻松切换模型。
|
4天前
|
人工智能 自然语言处理 PyTorch
InspireMusic:阿里通义实验室开源的音乐生成模型,支持文本或音频生成多种风格的音乐
阿里通义实验室开源的音乐生成技术,支持通过简单描述快速生成多种风格的高质量音乐作品。
203 4
|
7天前
|
机器学习/深度学习 人工智能 开发者
DeepSeek服务器繁忙?拒绝稍后再试!基于阿里云PAI实现0代码一键部署DeepSeek-V3和DeepSeek-R1大模型
阿里云PAI平台支持零代码一键部署DeepSeek-V3和DeepSeek-R1大模型,用户可轻松实现从训练到部署再到推理的全流程。通过PAI Model Gallery,开发者只需简单几步即可完成模型部署,享受高效便捷的AI开发体验。具体步骤包括开通PAI服务、进入控制台选择模型、一键部署并获取调用信息。整个过程无需编写代码,极大简化了模型应用的门槛。
140 7
|
1天前
|
机器学习/深度学习 数据挖掘 定位技术
多元线性回归:机器学习中的经典模型探讨
多元线性回归是统计学和机器学习中广泛应用的回归分析方法,通过分析多个自变量与因变量之间的关系,帮助理解和预测数据行为。本文深入探讨其理论背景、数学原理、模型构建及实际应用,涵盖房价预测、销售预测和医疗研究等领域。文章还讨论了多重共线性、过拟合等挑战,并展望了未来发展方向,如模型压缩与高效推理、跨模态学习和自监督学习。通过理解这些内容,读者可以更好地运用多元线性回归解决实际问题。
|
3月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
196 6

热门文章

最新文章

相关产品

  • 人工智能平台 PAI