什么是QwQ-32B ?
3月6日,阿里云发布并开源了全新的推理模型通义千问QwQ-32B。通过大规模强化学习,千问QWQ-32B在数学、代码及通用能力上实现质的飞跃,整体性能比肩Deepseek-R1。在保持强劲性能的同时,千问QwQ-32B还大幅降低了部署使用成本,其参数量约为 DeepSeek-R1 满血版的 1/21 且推理成本是后者的1/10。
在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,比肩最强开源推理模型DeepSeek-R1:在测试数学能力的AIME24评测集上,以及评估代码能力的LiveCodeBench中,千问QwQ-32B表现与DeepSeek-R1相当,远胜于o1-mini及相同尺寸的R1蒸馏模型;在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜”LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中,千问QwQ-32B的得分均超越了DeepSeek-R1。此外,千问QwQ-32B模型中还集成了与智能体Agent相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。
整体架构
本文介绍如何通过百炼平台调用QwQ-32B开源模型。百炼平台提供的标准化 API 接口,免去了自行构建模型服务基础设施的麻烦,并支持负载均衡及自动扩缩容,确保了 API 调用的高稳定性。此外,结合使用 Chatbox 可视化界面客户端,用户无需进行命令行操作,即可通过直观的图形界面轻松完成 QwQ 模型的配置与使用。
按照本方案提供的配置完成后,会在本地搭建一个如下图所示的运行环境。本方案的技术架构包括百炼模型服务:支持通过 OpenAI SDK 或 OpenAI 兼容的 HTTP 方式快速体验 QwQ 模型。
部署流程
一、获取百炼 API-KEY
1. 登录阿里云百炼大模型服务平台[1]。
2. 鼠标悬停于页面右上角的 图标上,在下拉菜单中单击API-KEY。
- 在左侧导航栏,选择全部API-KEY或我的API-KEY,然后创建或查看 API-KEY,最后复制 API-KEY 以便在下一步骤中使用。
(享有 100万 免费 token ,百炼新用户从开通起算 180 天内有效,百炼老用户从 3 月 6 日 0 点起算 180 天内有效。实际使用中可能会因超出免费额度而产生费用,请以控制台显示的实际报价以及最终账单为准。)
二、使用 Chatbox 客户端配置 百炼 API 进行对话
- 访问 Chatbox 下载地址[2]下载并安装客户端,本方案以 macOS M3 为例。
- 运行并配置百炼 API ,单击设置。
- 在弹出的看板中按照如下表格进行配置。
项目 |
说明 |
示例值 |
模型提供方 |
下拉选择模型提供方。 |
添加自定义提供方 |
名称 |
填写定义模型提供方名称。 |
百炼 API |
API 域名 |
填写模型服务调用地址。 |
|
API 路径 |
填写模型服务调用路径。 |
/chat/completions |
API 密钥 |
填写模型服务调用 API 密钥。 |
填写 上一步骤获取的百炼 API-KEY |
模型 |
填写调用的模型(本方案以 qwq-32b 模型为例,可自行配置其它模型进行体验)。 |
qwq-32b |
- 最终配置如下图所示,然后单击保存。
- 在文本输入框中可以进行对话交互。输入问题你是谁?或者其他指令后,调用模型服务获得相应的响应。
点击阅读原文通过百炼平台调用QwQ-32B开源模型吧~
参考链接:
[1]https://bailian.console.aliyun.com/
[2]https://chatboxai.app/zh#download
来源 | 阿里云开发者公众号