性能比肩最强开源,QwQ-32B一键部署,百万Token免费送!

简介: 本文介绍如何通过百炼平台调用QwQ-32B开源模型。百炼平台提供的标准化 API 接口,免去了自行构建模型服务基础设施的麻烦,并支持负载均衡及自动扩缩容,确保了 API 调用的高稳定性。此外,结合使用 Chatbox 可视化界面客户端,用户无需进行命令行操作,即可通过直观的图形界面轻松完成 QwQ 模型的配置与使用。

什么是QwQ-32B ?

3月6日,阿里云发布并开源了全新的推理模型通义千问QwQ-32B。通过大规模强化学习,千问QWQ-32B在数学、代码及通用能力上实现质的飞跃,整体性能比肩Deepseek-R1。在保持强劲性能的同时,千问QwQ-32B还大幅降低了部署使用成本,其参数量约为 DeepSeek-R1 满血版的 1/21 且推理成本是后者的1/10。

在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,比肩最强开源推理模型DeepSeek-R1:在测试数学能力的AIME24评测集上,以及评估代码能力的LiveCodeBench中,千问QwQ-32B表现与DeepSeek-R1相当,远胜于o1-mini及相同尺寸的R1蒸馏模型;在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜”LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中,千问QwQ-32B的得分均超越了DeepSeek-R1。此外,千问QwQ-32B模型中还集成了与智能体Agent相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。


整体架构

本文介绍如何通过百炼平台调用QwQ-32B开源模型。百炼平台提供的标准化 API 接口,免去了自行构建模型服务基础设施的麻烦,并支持负载均衡及自动扩缩容,确保了 API 调用的高稳定性。此外,结合使用 Chatbox 可视化界面客户端,用户无需进行命令行操作,即可通过直观的图形界面轻松完成 QwQ 模型的配置与使用。

按照本方案提供的配置完成后,会在本地搭建一个如下图所示的运行环境。本方案的技术架构包括百炼模型服务:支持通过 OpenAI SDK 或 OpenAI 兼容的 HTTP 方式快速体验 QwQ 模型。

部署流程

一、获取百炼 API-KEY

1. 登录阿里云百炼大模型服务平台[1]。

2. 鼠标悬停于页面右上角的 图标上,在下拉菜单中单击API-KEY

  1. 在左侧导航栏,选择全部API-KEY或我的API-KEY,然后创建或查看 API-KEY,最后复制 API-KEY 以便在下一步骤中使用。

(享有 100万 免费 token ,百炼新用户从开通起算 180 天内有效,百炼老用户从 3 月 6 日 0 点起算 180 天内有效。实际使用中可能会因超出免费额度而产生费用,请以控制台显示的实际报价以及最终账单为准。)

二、使用 Chatbox 客户端配置 百炼 API 进行对话

  • 访问 Chatbox 下载地址[2]下载并安装客户端,本方案以 macOS M3 为例。

  • 运行并配置百炼 API ,单击设置。

  • 在弹出的看板中按照如下表格进行配置。

项目

说明

示例值

模型提供方

下拉选择模型提供方。

添加自定义提供方

名称

填写定义模型提供方名称。

百炼 API

API 域名

填写模型服务调用地址。

https://dashscope.aliyuncs.com/compatible-mode/v1

API 路径

填写模型服务调用路径。

/chat/completions

API 密钥

填写模型服务调用 API 密钥。

填写 上一步骤获取的百炼 API-KEY

模型

填写调用的模型(本方案以 qwq-32b 模型为例,可自行配置其它模型进行体验)。

qwq-32b

  • 最终配置如下图所示,然后单击保存。

  • 在文本输入框中可以进行对话交互。输入问题你是谁?或者其他指令后,调用模型服务获得相应的响应。

点击阅读原文通过百炼平台调用QwQ-32B开源模型吧~

参考链接:

[1]https://bailian.console.aliyun.com/

[2]https://chatboxai.app/zh#download



来源  |  阿里云开发者公众号


目录
打赏
0
0
0
0
2708
分享
相关文章
重磅!阿里巴巴开源最大参数规模大模型——高达720亿参数规模的Qwen-72B发布!还有一个的18亿参数的Qwen-1.8B
阿里巴巴开源了720亿参数规模的Qwen-72B大语言模型,是目前国内最大参数规模的开源模型。该模型在3万亿tokens数据上训练,支持多种语言和代码、数学等数据。Qwen-72B模型具有出色的评估效果,在数学逻辑和意图理解等方面超过了其他开源模型,并且支持多语言扩展。此外,阿里巴巴还开源了18亿参数规模的Qwen-1.8B模型,虽然规模较小但效果不错。Qwen-72B模型已对学术和个人完全开放,商用情况下月活低于100万可直接商用。有兴趣的用户可以通过相关链接获取模型地址和资源信息。
阿里公开自研AI集群细节:64个GPU,百万分类训练速度提升4倍
从节点架构到网络架构,再到通信算法,阿里巴巴把自研的高性能AI集群技术细节写成了论文,并对外公布。
阿里公开自研AI集群细节:64个GPU,百万分类训练速度提升4倍
全面开测 - 零门槛,即刻拥有DeepSeek-R1满血版,百万token免费用
DeepSeek是当前热门的推理模型,尤其擅长数学、代码和自然语言等复杂任务。2024年尾,面对裁员危机,技术进步的学习虽减少,但DeepSeek大模型的兴起成为新的学习焦点。满血版DeepSeek(671B参数)与普通版相比,在性能、推理能力和资源需求上有显著差异。满血版支持实时联网数据更新和多轮深度对话,适用于科研、教育和企业级应用等复杂场景。 阿里云提供的满血版DeepSeek部署方案对普通用户特别友好,涵盖云端调用API及各尺寸模型的部署方式,最快5分钟、最低0元即可实现。
504 68
TokenSwift:90分钟生成10万Token!文本生成提速3倍,无损加速黑科技
TokenSwift 是北京通用人工智能研究院团队推出的超长文本生成加速框架,能在90分钟内生成10万Token的文本,速度提升3倍,生成质量无损,支持多种模型架构。
56 16
TokenSwift:90分钟生成10万Token!文本生成提速3倍,无损加速黑科技
阿里云百炼已上线超强推理开源模型QwQ-32B,尺寸更小,性能比肩DeepSeek满血版
通义千问团队推出了320亿参数的QwQ-32B模型,通过大规模强化学习和多阶段训练,在数学、编程及通用能力上达到或超越了DeepSeek-R1等先进模型。QwQ-32B模型已在阿里云百炼上线,支持API调用,用户可通过官方文档了解详细使用方法。未来,团队将继续探索智能体与RL集成,推动人工通用智能的发展。
COMET:字节跳动开源MoE训练加速神器,单层1.96倍性能提升,节省百万GPU小时
COMET是字节跳动推出的针对Mixture-of-Experts(MoE)模型的优化系统,通过细粒度的计算-通信重叠技术,显著提升分布式训练效率,支持多种并行策略和大规模集群部署。
55 9
零门槛、百万token免费用,即刻拥有DeepSeek-R1满血版,还有实践落地调用场景等你来看
DeepSeek 是热门的推理模型,能在少量标注数据下显著提升推理能力,尤其擅长数学、代码和自然语言等复杂任务。本文涵盖四种部署方案,可以让你快速体验云上调用 DeepSeek-R1 满血版的 API 及部署各尺寸模型的方式,无需编码,最快 5 分钟、最低 0 元即可实现
Unsloth:学生党福音!开源神器让大模型训练提速10倍:单GPU跑Llama3,5小时变30分钟
Unsloth 是一款开源的大语言模型微调工具,支持 Llama-3、Mistral、Phi-4 等主流 LLM,通过优化计算步骤和手写 GPU 内核,显著提升训练速度并减少内存使用。
319 3
Unsloth:学生党福音!开源神器让大模型训练提速10倍:单GPU跑Llama3,5小时变30分钟
HunyuanVideo:腾讯推出的开源视频生成模型,参数高达130亿
腾讯推出的开源视频生成模型HunyuanVideo,拥有130亿参数,是目前参数量最大的开源视频模型之一。该模型具备物理模拟、高文本语义还原度、动作一致性和电影级画质等特性,能生成带有背景音乐的视频,推动了视频生成技术的发展和应用。
211 16
HunyuanVideo:腾讯推出的开源视频生成模型,参数高达130亿
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等