性能比肩最强开源,QwQ-32B一键部署,百万Token免费送!

简介: 本文介绍如何通过百炼平台调用QwQ-32B开源模型。百炼平台提供的标准化 API 接口,免去了自行构建模型服务基础设施的麻烦,并支持负载均衡及自动扩缩容,确保了 API 调用的高稳定性。此外,结合使用 Chatbox 可视化界面客户端,用户无需进行命令行操作,即可通过直观的图形界面轻松完成 QwQ 模型的配置与使用。

本方案现在支持免费试用,点击https://www.aliyun.com/solution/tech-solution-deploy/2873031方案链接即可体验



什么是QwQ-32B ?

3月6日,阿里云发布并开源了全新的推理模型通义千问QwQ-32B。通过大规模强化学习,千问QWQ-32B在数学、代码及通用能力上实现质的飞跃,整体性能比肩Deepseek-R1。在保持强劲性能的同时,千问QwQ-32B还大幅降低了部署使用成本,其参数量约为 DeepSeek-R1 满血版的 1/21 且推理成本是后者的1/10。


在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,比肩最强开源推理模型DeepSeek-R1:在测试数学能力的AIME24评测集上,以及评估代码能力的LiveCodeBench中,千问QwQ-32B表现与DeepSeek-R1相当,远胜于o1-mini及相同尺寸的R1蒸馏模型;在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜”LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中,千问QwQ-32B的得分均超越了DeepSeek-R1。此外,千问QwQ-32B模型中还集成了与智能体Agent相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。


整体架构

本文介绍如何通过百炼平台调用QwQ-32B开源模型。百炼平台提供的标准化 API 接口,免去了自行构建模型服务基础设施的麻烦,并支持负载均衡及自动扩缩容,确保了 API 调用的高稳定性。此外,结合使用 Chatbox 可视化界面客户端,用户无需进行命令行操作,即可通过直观的图形界面轻松完成 QwQ 模型的配置与使用。

按照本方案提供的配置完成后,会在本地搭建一个如下图所示的运行环境。本方案的技术架构包括百炼模型服务:支持通过 OpenAI SDK 或 OpenAI 兼容的 HTTP 方式快速体验 QwQ 模型。

部署流程


一、获取百炼 API-KEY


1. 登录阿里云百炼大模型服务平台[1]。

2. 鼠标悬停于页面右上角的 图标上,在下拉菜单中单击API-KEY

  1. 在左侧导航栏,选择全部API-KEY或我的API-KEY,然后创建或查看 API-KEY,最后复制 API-KEY 以便在下一步骤中使用。

(享有 100万 免费 token ,百炼新用户从开通起算 180 天内有效,百炼老用户从 3 月 6 日 0 点起算 180 天内有效。实际使用中可能会因超出免费额度而产生费用,请以控制台显示的实际报价以及最终账单为准。)


二、使用 Chatbox 客户端配置 百炼 API 进行对话

  • 访问 Chatbox 下载地址[2]下载并安装客户端,本方案以 macOS M3 为例。

  • 运行并配置百炼 API ,单击设置。

  • 在弹出的看板中按照如下表格进行配置。

项目

说明

示例值

模型提供方

下拉选择模型提供方。

添加自定义提供方

名称

填写定义模型提供方名称。

百炼 API

API 域名

填写模型服务调用地址。

https://dashscope.aliyuncs.com/compatible-mode/v1

API 路径

填写模型服务调用路径。

/chat/completions

API 密钥

填写模型服务调用 API 密钥。

填写 上一步骤获取的百炼 API-KEY

模型

填写调用的模型(本方案以 qwq-32b 模型为例,可自行配置其它模型进行体验)。

qwq-32b

  • 最终配置如下图所示,然后单击保存。

  • 在文本输入框中可以进行对话交互。输入问题你是谁?或者其他指令后,调用模型服务获得相应的响应。

点击阅读原文通过百炼平台调用QwQ-32B开源模型吧~

参考链接:


[1]https://bailian.console.aliyun.com/


[2]https://chatboxai.app/zh#download



来源  |  阿里云开发者公众号


相关文章
|
9月前
|
机器学习/深度学习 弹性计算 搜索推荐
QwQ-32B一键部署,真正的0代码,0脚本,0门槛
阿里云发布的QwQ-32B模型通过强化学习显著提升了推理能力,核心指标达到DeepSeek-R1满血版水平。用户可通过阿里云系统运维管理(OOS)一键部署OpenWebUI+Ollama方案,轻松将QwQ-32B模型部署到ECS,或连接阿里云百炼的在线模型。整个过程无需编写代码,全部在控制台完成,适合新手操作。
1645 176
QwQ-32B一键部署,真正的0代码,0脚本,0门槛
|
8月前
|
人工智能 前端开发 语音技术
开源学习神器把2小时网课压成5分钟脑图!BiliNote:一键转录哔哩哔哩视频,生成结构化学习文档
本文介绍基于FastAPI与React构建的开源视频笔记工具BiliNote,其整合多模态AI技术实现视频内容结构化解析,支持跨平台视频源处理与本地化部署方案,提供从语音转写到智能摘要的全流程自动化能力。
1723 36
开源学习神器把2小时网课压成5分钟脑图!BiliNote:一键转录哔哩哔哩视频,生成结构化学习文档
|
9月前
|
缓存 运维 监控
解决隐式内存占用难题
本文详细介绍了在云原生和容器化部署环境中,内存管理和性能优化所面临的挑战及相应的解决方案。
806 193
解决隐式内存占用难题
|
10月前
|
人工智能 API 开发工具
【重磅发布】 免费领取阿里云百炼AI大模型100万Tokens教程出炉,API接口实战操作,DeepSeek-R1满血版即刻体验!
阿里云百炼是一站式大模型开发及应用构建平台,支持开发者和业务人员轻松设计、构建大模型应用。通过简单操作,用户可在5分钟内开发出大模型应用或在几小时内训练专属模型,专注于创新。
2970 89
【重磅发布】 免费领取阿里云百炼AI大模型100万Tokens教程出炉,API接口实战操作,DeepSeek-R1满血版即刻体验!
|
9月前
|
人工智能 Cloud Native Serverless
2种方式1键部署,快速体验QWQ-32B 模型
QwQ-32B 推理模型现已正式发布并开源,其卓越性能在多项基准测试中表现突出,与全球领先模型比肩。阿里云函数计算 FC 提供算力支持,Serverless+AI 云原生应用开发平台 CAP 提供两种部署方式:模型服务和应用模板,帮助用户快速部署 QwQ-32B 系列模型。用户可通过一键部署体验对话功能或以 API 形式接入 AI 应用。文档详细介绍了前置准备、部署步骤及验证方法,并提供删除项目指南以降低费用。来源:阿里云开发者公众号;作者:肯梦、折原。
2种方式1键部署,快速体验QWQ-32B 模型
|
机器学习/深度学习 人工智能 测试技术
阿里云百炼已上线超强推理开源模型QwQ-32B,尺寸更小,性能比肩DeepSeek满血版
通义千问团队推出了320亿参数的QwQ-32B模型,通过大规模强化学习和多阶段训练,在数学、编程及通用能力上达到或超越了DeepSeek-R1等先进模型。QwQ-32B模型已在阿里云百炼上线,支持API调用,用户可通过官方文档了解详细使用方法。未来,团队将继续探索智能体与RL集成,推动人工通用智能的发展。
9080 0
|
9月前
|
存储 JSON 分布式计算
StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践
阿里集团在推进湖仓一体化建设过程中,依托 StarRocks 强大的 OLAP 查询能力与 Paimon 的高效数据入湖特性,实现了流批一体、存储成本大幅下降、查询性能数倍提升的显著成效: A+ 业务借助 Paimon 的准实时入湖,显著降低了存储成本,并引入 StarRocks 提升查询性能。升级后,数据时效提前60分钟,开发效率提升50%;JSON列化存储减少50%,查询性能提升最高达10倍;OLAP分析中,非JOIN查询快1倍,JOIN查询快5倍。 饿了么升级为准实时Lakehouse架构后,在时效性仅损失1-5分钟的前提下,实现Flink资源缩减、StarRocks查询性能提升(仅5%
760 60
StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践
|
9月前
|
XML Java 数据库连接
优雅的参数校验,告别冗余if-else
本文介绍了在 Java Spring Boot 开发中如何使用 JSR 303 和 Hibernate Validator 进行参数校验,以避免冗余的if-else判断。文章涵盖了基本注解的使用、全局异常处理、分组校验、嵌套对象校验、快速失败配置以及自定义校验规则等实用技巧。
301 10
优雅的参数校验,告别冗余if-else