2种方式1键部署,快速体验QWQ-32B 模型

简介: QwQ-32B 推理模型现已正式发布并开源,其卓越性能在多项基准测试中表现突出,与全球领先模型比肩。阿里云函数计算 FC 提供算力支持,Serverless+AI 云原生应用开发平台 CAP 提供两种部署方式:模型服务和应用模板,帮助用户快速部署 QwQ-32B 系列模型。用户可通过一键部署体验对话功能或以 API 形式接入 AI 应用。文档详细介绍了前置准备、部署步骤及验证方法,并提供删除项目指南以降低费用。来源:阿里云开发者公众号;作者:肯梦、折原。

QwQ-32B 推理模型正式发布并开源,凭借其卓越的性能和广泛的应用场景,迅速在全球范围内获得了极高的关注度。


基于阿里云函数计算 FC提供算力,Serverless+ AI 云原生应用开发平台 CAP现已提供模型服务、应用模板两种部署方式辅助您部署QwQ 32B系列模型。您选择一键部署应用模板与模型进行对话或以API形式调用模型,接入AI应用中。欢迎您立即体验QwQ-32B。


QwQ-32B 更小尺寸性能比肩全球最强开源推理模型

QwQ-32B 在一系列基准测试中进行了评估,包括数学推理、编程和通用能力。以下结果展示了 QwQ-32B 与其他领先模型的性能对比,包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、OpenAI-o1-mini以及原始的DeepSeek-R1-671B。

在测试数学能力的AIME24评测集上,以及评估代码能力的LiveCodeBench中,千问QwQ-32B表现与DeepSeek-R1-671B相当,远胜于OpenAI-o1-mini及相同尺寸的R1蒸馏模型。在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜” LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中,千问QwQ-32B的得分均超越了DeepSeek-R1-671B。


前置准备

1. 首次使用云原生应用开发平台 CAP[1]会自动跳转到访问控制快速授权页面,滚动到浏览器底部单击确认授权,等待授权结束后单击返回控制台。


2. 本教程在函数计算中创建的GPU函数,函数运行使用的资源按照函数规格乘以执行时长进行计量,如果无请求调用,则只收取闲置预留模式下预置的快照费用,CAP中的极速模式通过预置实例快照实现毫秒级响应,其技术原理对应函数计算的闲置预留模式,适用于需要快速冷启动的场景。建议您领取函数计算的试用额度[2]抵扣资源消耗,超出试用额度的部分将自动转为按量计费,更多计费详情,请参见计费概述[3]。


方式一:应用模板部署

1. 创建项目

进入CAP控制台[4]单击基于模板创建开始创建。

2. 部署模板

  1. 在搜索栏输入QWQ进行搜索,单击基于Qwen-QwQ 推理模型构建AI聊天助手,进入模板详情页,单击立即部署。

  1. 选择地域,目前支持 北京、上海、杭州,单击部署项目,在项目资源预览对话框中,您可以看到相关的计费项,详情请见计费涉及的产品[5]。单击确认部署,部署过程大约持续 10 分钟左右,状态显示已部署表示部署成功。


说明:

  • 选择地域时,一般是就近选择地域信息,如果已经开启了NAS文件系统,选择手动配置模型存储时,请选择和文件系统相同的地域。


  • 如果您在测试调用的过程中遇到部署异常或模型拉取失败,可能是当前地域的GPU显卡资源不足,建议您更换地域进行重试。

3. 验证应用

部署完毕后,点击Open-WebUI服务,在访问地址内找到公网访问单击访问。在OpenWebUI界面体验QwQ模型进行对话。

方式二:模型服务部署

使用API形式进行模型调用,接入线上业务应用。

1. 创建空白项目

进入CAP控制台[6]单击创建空白项目开始创建,并为项目命名。

2. 选择模型服务

3. 部署模型服务

  1. 选择模型QwQ-32B-GGUF,目前仅支持杭州地域。

  1. 单击资源配置,QwQ-32B-GGUF推荐使用 Ada 系列,可直接使用默认配置。您可以根据业务诉求填写需要的卡型及规格信息。

  1. 单击预览并部署,在服务资源预览对话框中,您可以看到相关的计费项,详情请见计费涉及的产品[7]。单击确认部署,该阶段需下载模型,预计等待10~30分钟即可完成。

4. 验证模型服务

单击调试,即可测试和验证相关模型调用。

在本地命令行窗口中验证模型调用。

5. 第三方平台 API 调用

您可以选择在Chatbox[8]等其他第三方平台中验证和应用模型调用,以下以Chatbox为例。

删除项目

您可以使用以下步骤删除应用,以降低产生的费用。

  1. 进入项目详情 > 点击删除,会进入到删除确认对话框。

  1. 您可以看到要删除的资源。默认情况下,云原生应用开发平台 CAP会删除项目下的所有服务。如果您希望保留资源,可以取消勾选指定的服务,删除项目时只会删除勾选的服务。

  1. 勾选我已知晓:删除该项目及选中的服务将立刻中断其所服务的线上业务,并且不可恢复,同时将彻底删除其所依赖的云产品资源,然后单击确定删除


参考链接:

[1]https://www.aliyun.com/product/cap

[2]https://common-buy.aliyun.com/package

[3]https://help.aliyun.com/zh/functioncompute/fc-3-0/product-overview/billing-overview-1

[4]https://cap.console.aliyun.com/projects

[5]https://help.aliyun.com/zh/cap/product-overview/billing-overview

[6]https://cap.console.aliyun.com/projects

[7]https://help.aliyun.com/zh/cap/product-overview/billing-overview

[8]https://web.chatboxai.app/




来源  |  阿里云开发者公众号

作者  | 肯梦,折原


相关文章
|
13天前
|
人工智能 API
【MCP教程系列】上阿里云百炼,5分钟轻松搭建会分析,能推理,还会自动写文档的Agent
本教程介绍如何在阿里云百炼平台上,用5分钟快速搭建一个能分析、推理并自动写文档的智能体(Agent)。通过零代码方式,结合Flomo MCP应用实现AI分析与自动归档功能。主要步骤包括:开通Flomo服务、获取API KEY、创建智能体并添加MCP服务。完成后,Agent可自动提取关键内容并归档至Flomo。附有详细操作视频和效果演示,新手友好,简单易上手。
【MCP教程系列】上阿里云百炼,5分钟轻松搭建会分析,能推理,还会自动写文档的Agent
|
1月前
|
人工智能 缓存 安全
大模型无缝切换,QwQ-32B和DeepSeek-R1 全都要
通义千问最新推出的QwQ-32B推理模型,拥有320亿参数,性能媲美DeepSeek-R1(6710亿参数)。QwQ-32B支持在小型移动设备上本地运行,并可将企业大模型API调用成本降低90%以上。本文介绍了如何通过Higress AI网关实现DeepSeek-R1与QwQ-32B之间的无缝切换,涵盖环境准备、模型接入配置及客户端调用示例等内容。此外,还详细探讨了Higress AI网关的多模型服务、消费者鉴权、模型自动切换等高级功能,帮助企业解决TPS与成本平衡、内容安全合规等问题,提升大模型应用的稳定性和效率。
578 136
大模型无缝切换,QwQ-32B和DeepSeek-R1 全都要
|
1月前
|
机器学习/深度学习 弹性计算 搜索推荐
QwQ-32B一键部署,真正的0代码,0脚本,0门槛
阿里云发布的QwQ-32B模型通过强化学习显著提升了推理能力,核心指标达到DeepSeek-R1满血版水平。用户可通过阿里云系统运维管理(OOS)一键部署OpenWebUI+Ollama方案,轻松将QwQ-32B模型部署到ECS,或连接阿里云百炼的在线模型。整个过程无需编写代码,全部在控制台完成,适合新手操作。
1337 175
QwQ-32B一键部署,真正的0代码,0脚本,0门槛
|
3月前
|
Linux iOS开发 MacOS
deepseek部署的详细步骤和方法,基于Ollama获取顶级推理能力!
DeepSeek基于Ollama部署教程,助你免费获取顶级推理能力。首先访问ollama.com下载并安装适用于macOS、Linux或Windows的Ollama版本。运行Ollama后,在官网搜索“deepseek”,选择适合你电脑配置的模型大小(如1.5b、7b等)。通过终端命令(如ollama run deepseek-r1:1.5b)启动模型,等待下载完成即可开始使用。退出模型时输入/bye。详细步骤如下图所示,轻松打造你的最强大脑。
13241 86
|
28天前
|
机器学习/深度学习 人工智能 开发者
阿里云 AI 搜索开放平台新发布:增加 QwQ 模型
阿里云 AI 搜索开放平台 新增加 QwQ 模型,将为企业和开发者带来更强大的搜索解决方案。
152 11
|
2月前
|
人工智能 关系型数据库 Serverless
【满血+高速+不限流+超长上下文+知识库+可定制+可分享】阿里云专属DeepSeek R1极速部署教程
本文教您在阿里云部署专属DS服务,实现满血、高速、不限流和超长上下文,支持知识库分享与客服等应用。基于阿里云百炼和云应用开发平台(CAP),通过AgentCraft平台一键部署,简单易用,适合普通用户。您可以轻松搭建家庭医生助理、行业动态机器人或图画工具等,享受高效AI服务。
181 1
|
2月前
|
人工智能 Serverless API
评测|全网最强🚀!5min部署满血版DeepSeek,零成本,无需编程!
本文介绍了阿里云提供的四种DeepSeek部署方案,包括基于百炼调用满血版API、基于函数计算部署、基于人工智能平台PAI部署和GPU云服务器部署。通过这些方案,用户可以摆脱“服务器繁忙”的困扰,实现快速部署与使用
1211 2
评测|全网最强🚀!5min部署满血版DeepSeek,零成本,无需编程!
|
1月前
|
机器学习/深度学习 弹性计算 搜索推荐
真正的0代码,0脚本,0门槛,QwQ-32B一键部署!
阿里云最新发布的QwQ-32B模型通过强化学习显著提升了推理能力,在多个核心指标上达到DeepSeek-R1满血版水平,超越了DeepSeek-R1-Distill-Qwen-32B。用户可通过阿里云系统运维管理(OOS)的公共扩展功能,一键部署OpenWebUI+Ollama至ECS,轻松运行QwQ-32B模型。该方案支持本地部署和连接阿里云百炼在线模型,无需编写代码,操作简便,适合新手尝试。具体步骤包括:在阿里云控制台安装OpenWebUI扩展、选择ECS实例并创建、等待几分钟后获取URL链接,即可开始使用。此外,还提供了详细的配置指南和高级玩法介绍,帮助用户更好地利用该模型。
|
2月前
|
机器学习/深度学习 自然语言处理 API
阿里云零门槛、轻松部署您的专属 DeepSeek模型体验测试
DeepSeek R1是基于Transformer架构的先进大规模深度学习模型,2025年1月20日发布并开源,遵循MIT License。它在自然语言处理等任务上表现出色,高效提取特征,缩短训练时间。阿里云推出的满血版方案解决了服务器压力问题,提供100万免费token,云端部署降低成本,用户可快速启动体验。虽然回答速度有待提升,但整体表现优异,备受关注。
158 8
|
2月前
|
人工智能 运维 Serverless
0 代码!2 种方式,一键部署 DeepSeek 系列模型
DeepSeek 凭借其卓越的性能和广泛的应用场景,迅速在全球范围内获得了极高的关注度和广泛的用户基础。DeepSeek-R1-Distill 是使用 DeepSeek-R1 生成的样本对开源模型进行蒸馏得到的小模型,拥有更小参数规模,推理成本更低,基准测试同样表现出色。依托于函数计算 FC 算力,Serverless+ AI 开发平台 CAP 现已提供模型服务、应用模版两种部署方式辅助您部署 DeepSeek R1 系列模型。完成模型部署后,您即可与模型进行对话体验;或以 API 形式进行调用,接入 AI 应用中。欢迎您立即体验。
421 13
下一篇
oss创建bucket