千问QWQ-32B/满血DeepSeek R1部署指南,两种方式轻松玩转热门推理模型

本文涉及的产品
应用实时监控服务-应用监控,每月50GB免费额度
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
函数计算FC,每月15万CU 3个月
简介: 本文介绍了如何利用阿里云CAP平台一键部署QWQ-32B和DeepSeek R1两大热门推理模型。通过应用模板或模型服务两种方式,开发者可快速完成部署并验证模型效果。QWQ-32B在数学、编程等任务上表现出色,而DeepSeek R1凭借强化学习训练,具备高效推理能力。两者均支持API调用及第三方平台集成,助力智能应用开发。
在人工智能快速发展的今天,大模型的应用为各个领域带来了前所未有的机遇和变革。 基于阿里云函数计算 FC提供算力,Serverless+ AI 云原生应用开发平台 CAP 为开发者们提供了一个便捷、高效的环境,让部署和体验热门推理大模型变得简单快捷。本文将带您了解如何使用CAP平台,轻松实现QWQ-32B和满血DeepSeek R1两大热门推理模型的一键部署,开启智能应用的新篇章。

模型介绍

  • DeepSeek R1系列模型使用强化学习训练,推理过程包含大量反思和验证,并凭借其卓越的性能和广泛的应用场景,一经开源迅速在全球范围内获得了极高的关注度和广泛的用户基础。您可点击以下链接,查看方案具体详情:https://www.aliyun.com/solution/tech-solution/deepseek-r1-for-platforms
  • 千问QWQ-32B 是阿里探索推理模型的最新成果。在冷启动的基础上,模型针对数学和编程任务、通用能力分别进行了两轮大规模强化学习,实现质的飞跃,整体性能比肩DeepSeek-R1,同时大度降低了部署使用成本,在消费机显卡上也能实现本地部署。您可点击以下链接,查看方案具体详情:https://www.aliyun.com/solution/tech-solution/qwq-for-platforms

开始部署

部署QWQ-32B推理模型

方式一:应用模板部署

创建项目
进入 CAP控制台 单击 基于模板创建 开始创建。

部署模板

1.在搜索栏输入QWQ进行搜索,单击基于 Qwen-QwQ 推理模型构建AI聊天助手,进入模板详情页,单击立即部署

2.选择地域,目前支持 北京、上海、杭州,单击部署项目,在项目资源预览对话框中,您可以看到相关的计费项,详情请见计费涉及的产品。单击确认部署,部署过程大约持续 10 分钟左右,状态显示已部署表示部署成功。

说明

  • 选择地域时,一般是就近选择地域信息,如果已经开启了NAS文件系统,选择手动配置模型存储时,请选择和文件系统相同的地域。
  • 如果您在测试调用的过程中遇到部署异常或模型拉取失败,可能是当前地域的GPU显卡资源不足,建议您更换地域进行重试。

验证应用
部署完毕后,点击 Open-WebUI 服务,在 访问地址 内找到 公网访问 单击访问。在 OpenWebUI 界面体验 QwQ 模型进行对话。

方式二:模型服务部署

使用 API 形式进行模型调用,接入线上业务应用。
创建空白项目
进入 CAP控制台 单击 创建空白项目 开始创建,并为项目命名。

选择模型服务

部署模型服务

1.选择模型QwQ-32B-GGUF,目前仅支持杭州地域。

2.单击资源配置,QwQ-32B-GGUF推荐使用 Ada 系列,可直接使用默认配置。您可以根据业务诉求填写需要的卡型及规格信息。

3.单击预览并部署,在服务资源预览对话框中,您可以看到相关的计费项,详情请见计费涉及的产品。单击确认部署,该阶段需下载模型,预计等待10~30分钟即可完成。

验证模型服务
单击 调试 ,即可测试和验证相关模型调用。

在本地命令行窗口中验证模型调用。

第三方平台 API 调用
您可以选择在 Chatbox 等其他第三方平台中验证和应用模型调用,以下以 Chatbox 为例。

部署满血DeepSeek R1模型

方式1 : 应用模版部署

实现 DeepSeek-R1 模型 + OpenWebUI 部署

创建项目

点击如下链接新建项目:

https://cap.console.aliyun.com/projects

部署模版

搜索 “DeepSeek” ,点击 “基于 DeepSeek-R1 构建AI聊天助手” 模版并部署

选择 Region 并部署应用

部署过程大约持续 10 分钟左右

验证应用

部署完毕后,点击 OpenWebUI 服务,在访问地址内找到“公网访问”

在 OpenWebUI 界面验证 DeepSeek 模型对话

方式2. 模型服务部署

使用 API 形式进行模型调用,接入线上业务应用
创建空白项目

进入CAP控制台点击“创建空白项目”开始创建,并为项目命名

选择模型服务

选择“模型服务”组件并创建;

预览&部署

选择模型 “DeepSeek-R1-Distill-Qwen-7B-GGUF”

点击“资源配置”开始配置卡型及规格(可直接使用默认配置)

您也可以根据业务诉求填写需要的卡型信息,DeepSeek-R1-Distill-Qwen-7B-GGUF 推荐使用 Tesla 系列。

点击“预览并部署”,该阶段需下载模型,预计等待 10 分钟左右即可完成


验证模型服务

点击调试,即可测试和验证相关模型调用

在本地 IDE 中验证模型调用

第三方平台 API 调用

您可以选择在 Chatbox 等其他第三方平台中验证和引用模型调用,以下以 chatbox 为例

您可以自主切换其他参数模型。同时,Cap 模型部署也支持多种模型部署能力,您可根据业务自行配置相关信息。
相关文章
|
3天前
|
机器学习/深度学习 人工智能 监控
阿里通义开源全模态大语言模型 R1-Omni:情感分析成绩新标杆!推理过程全程透明,准确率飙升200%
R1-Omni 是阿里通义开源的全模态大语言模型,专注于情感识别任务,结合视觉和音频信息,提供可解释的推理过程,显著提升情感识别的准确性和泛化能力。
97 10
阿里通义开源全模态大语言模型 R1-Omni:情感分析成绩新标杆!推理过程全程透明,准确率飙升200%
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
云上一键部署通义千问 QwQ-32B 模型,阿里云 PAI 最佳实践
3月6日阿里云发布并开源了全新推理模型通义千问 QwQ-32B,在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,性能比肩Deepseek-R1,且部署成本大幅降低。并集成了与智能体 Agent 相关的能力,够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署 QwQ-32B,本实践带您部署体验专属 QwQ-32B模型服务。
|
8天前
|
机器学习/深度学习 人工智能 机器人
阿里通义开源推理模型新王者!QwQ-32B:性能直逼671B的DeepSeek-R1
QwQ-32B 是阿里巴巴开源的新型推理模型,基于强化学习训练,具备强大的数学推理和编程能力,性能媲美更大参数量的模型。
364 8
阿里通义开源推理模型新王者!QwQ-32B:性能直逼671B的DeepSeek-R1
|
9天前
|
机器学习/深度学习 自然语言处理 测试技术
模型上新!来通义灵码体验 QwQ-32B 推理模型!
今天,阿里云发布并开源全新的推理模型通义千问QwQ-32B。通过大规模强化学习,千问QwQ-32B在数学、代码及通用能力上实现质的飞跃,整体性能比肩DeepSeek-R1。在保持强劲性能的同时,千问QwQ-32B还大幅降低了部署使用成本,在消费级显卡上也能实现本地部署。
|
4天前
|
人工智能 自然语言处理 IDE
通义灵码 2.0 评测:AI 赋能编程,开启高效研发新旅程
通义灵码2.0通过AI赋能编程,显著提升开发效率与代码质量。安装便捷,支持自然语言描述需求自动生成高质量代码框架及注释,大幅简化新功能开发流程。其单元测试Agent能快速生成全面测试用例,覆盖更多边界情况。相比1.0版本,2.0在智能问答和代码生成速度上均有显著提升,为开发者带来高效研发新体验。
61 6
|
5天前
|
设计模式 人工智能 前端开发
通义灵码2.0 AI 程序员体验官招募活动---通义灵码评测
在大模型不断更新迭代的当下,众多大厂纷纷推出自家的 AI 编码助手。其中,阿里云的通义灵码堪称市场上最为成熟的产品之一,紧随其后的则是腾讯的 AI 助手。在近期实际项目开发过程中,我使用了通义灵码助手,其最新版本展现出了令人惊叹的强大性能。在一些模块编码任务上,通义灵码表现尤为出色,生成的代码在命名规范性、易扩展性以及易读性方面,甚至超越了大多数普通程序员。通义灵码在生成代码时,不仅会考量设计模式,遵循重构原则,还具备强大的 bug 检测与修复能力,在单元测试方面同样表现优异。接下来,本文将通过一个小游戏的实例,对通义灵码的各项功能展开测试。
24 1
通义灵码2.0 AI 程序员体验官招募活动---通义灵码评测
|
8天前
|
人工智能 IDE Java
寻找通义灵码 AI 程序员 {头号玩家} ,体验 QwQ-Plus、DeepSeek 满血版的通义灵码
通义灵码联合 CHERRY 中国全网发起寻找 AI 程序员 {头号玩家},体验全新模型加持下的 AI 程序员的智能编码新功能,体验图生代码 Agent、单元测试 Agent 、跨语言编程等 AI 程序员能力,赢取通义灵码 X CHERRY 联名定制个人签名款机械键盘 、CHERRY MX8.3 旗舰级机械键盘、CHERRY 无线双模鼠标、码力全开蛇皮袋等奖品!
|
8天前
|
人工智能 自然语言处理 程序员
用通义灵码开发一个Python时钟:手把手体验AI程序员加持下的智能编码
通义灵码是基于通义大模型的AI研发辅助工具,提供代码智能生成、研发问答、多文件修改等功能,帮助开发者提高编码效率。本文通过手把手教程,使用通义灵码开发一个简单的Python时钟程序,展示其高效、智能的编码体验。从环境准备到代码优化,通义灵码显著降低了开发门槛,提升了开发效率,适合新手和资深开发者。最终,你将体验到AI加持下的便捷与强大功能。
|
11天前
|
人工智能 运维 自然语言处理
通义灵码 AI实战《手把手教你用通义灵码写一个音乐电子小闹钟》
通义灵码DeepSeek版本相比qwen2.5,增强了深度思考和上下文理解能力,显著提升了开发效率,尤其适合代码能力较弱的运维人员,真正实现了“代码即服务”。
111 1
|
11天前
|
人工智能 Java 测试技术
通义灵码2.0·AI程序员加持下的智能编码实践与测评
通义灵码2.0是阿里云推出的新一代智能编程助手,集成DeepSeek模型并新增多项功能,显著提升开发效率。本文通过实际项目体验新功能开发、跨语言编程、单元测试自动生成和图生代码等功能,展示其在代码生成、质量内建和人机协作方面的优势。相比1.0版本,2.0在模型选择、代码质量和用户体验上均有显著提升。尽管存在依赖网络和多语言混合项目中的不足,但整体表现优异,极大优化了开发流程。[了解更多](https://lingma.aliyun.com/)
150 1