性能比肩最强开源,QwQ-32B一键部署,百万Token免费送!

简介: 本文介绍如何通过百炼平台调用QwQ-32B开源模型。百炼平台提供的标准化 API 接口,免去了自行构建模型服务基础设施的麻烦,并支持负载均衡及自动扩缩容,确保了 API 调用的高稳定性。此外,结合使用 Chatbox 可视化界面客户端,用户无需进行命令行操作,即可通过直观的图形界面轻松完成 QwQ 模型的配置与使用。

什么是QwQ-32B ?

3月6日,阿里云发布并开源了全新的推理模型通义千问QwQ-32B。通过大规模强化学习,千问QWQ-32B在数学、代码及通用能力上实现质的飞跃,整体性能比肩Deepseek-R1。在保持强劲性能的同时,千问QwQ-32B还大幅降低了部署使用成本,其参数量约为 DeepSeek-R1 满血版的 1/21 且推理成本是后者的1/10。

在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,比肩最强开源推理模型DeepSeek-R1:在测试数学能力的AIME24评测集上,以及评估代码能力的LiveCodeBench中,千问QwQ-32B表现与DeepSeek-R1相当,远胜于o1-mini及相同尺寸的R1蒸馏模型;在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜”LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中,千问QwQ-32B的得分均超越了DeepSeek-R1。此外,千问QwQ-32B模型中还集成了与智能体Agent相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。


整体架构

本文介绍如何通过百炼平台调用QwQ-32B开源模型。百炼平台提供的标准化 API 接口,免去了自行构建模型服务基础设施的麻烦,并支持负载均衡及自动扩缩容,确保了 API 调用的高稳定性。此外,结合使用 Chatbox 可视化界面客户端,用户无需进行命令行操作,即可通过直观的图形界面轻松完成 QwQ 模型的配置与使用。

按照本方案提供的配置完成后,会在本地搭建一个如下图所示的运行环境。本方案的技术架构包括百炼模型服务:支持通过 OpenAI SDK 或 OpenAI 兼容的 HTTP 方式快速体验 QwQ 模型。

部署流程

一、获取百炼 API-KEY

1. 登录阿里云百炼大模型服务平台[1]。

2. 鼠标悬停于页面右上角的 图标上,在下拉菜单中单击API-KEY

  1. 在左侧导航栏,选择全部API-KEY或我的API-KEY,然后创建或查看 API-KEY,最后复制 API-KEY 以便在下一步骤中使用。

(享有 100万 免费 token ,百炼新用户从开通起算 180 天内有效,百炼老用户从 3 月 6 日 0 点起算 180 天内有效。实际使用中可能会因超出免费额度而产生费用,请以控制台显示的实际报价以及最终账单为准。)

二、使用 Chatbox 客户端配置 百炼 API 进行对话

  • 访问 Chatbox 下载地址[2]下载并安装客户端,本方案以 macOS M3 为例。

  • 运行并配置百炼 API ,单击设置。

  • 在弹出的看板中按照如下表格进行配置。

项目

说明

示例值

模型提供方

下拉选择模型提供方。

添加自定义提供方

名称

填写定义模型提供方名称。

百炼 API

API 域名

填写模型服务调用地址。

https://dashscope.aliyuncs.com/compatible-mode/v1

API 路径

填写模型服务调用路径。

/chat/completions

API 密钥

填写模型服务调用 API 密钥。

填写 上一步骤获取的百炼 API-KEY

模型

填写调用的模型(本方案以 qwq-32b 模型为例,可自行配置其它模型进行体验)。

qwq-32b

  • 最终配置如下图所示,然后单击保存。

  • 在文本输入框中可以进行对话交互。输入问题你是谁?或者其他指令后,调用模型服务获得相应的响应。

点击阅读原文通过百炼平台调用QwQ-32B开源模型吧~

参考链接:

[1]https://bailian.console.aliyun.com/

[2]https://chatboxai.app/zh#download



来源  |  阿里云开发者公众号


相关文章
|
11月前
|
编解码 自然语言处理
重磅!阿里巴巴开源最大参数规模大模型——高达720亿参数规模的Qwen-72B发布!还有一个的18亿参数的Qwen-1.8B
阿里巴巴开源了720亿参数规模的Qwen-72B大语言模型,是目前国内最大参数规模的开源模型。该模型在3万亿tokens数据上训练,支持多种语言和代码、数学等数据。Qwen-72B模型具有出色的评估效果,在数学逻辑和意图理解等方面超过了其他开源模型,并且支持多语言扩展。此外,阿里巴巴还开源了18亿参数规模的Qwen-1.8B模型,虽然规模较小但效果不错。Qwen-72B模型已对学术和个人完全开放,商用情况下月活低于100万可直接商用。有兴趣的用户可以通过相关链接获取模型地址和资源信息。
|
12天前
|
人工智能 Linux API
119K star!无需GPU轻松本地部署多款大模型,DeepSeek支持!这个开源神器绝了
"只需一行命令就能在本地运行Llama 3、DeepSeek-R1等前沿大模型,支持Windows/Mac/Linux全平台,这个开源项目让AI开发从未如此简单!"
|
机器学习/深度学习 人工智能 算法
阿里公开自研AI集群细节:64个GPU,百万分类训练速度提升4倍
从节点架构到网络架构,再到通信算法,阿里巴巴把自研的高性能AI集群技术细节写成了论文,并对外公布。
阿里公开自研AI集群细节:64个GPU,百万分类训练速度提升4倍
|
2月前
|
人工智能 自然语言处理 Shell
深度评测 | 仅用3分钟,百炼调用满血版 Deepseek-r1 API,百万Token免费用,简直不要太爽。
仅用3分钟,百炼调用满血版Deepseek-r1 API,享受百万免费Token。阿里云提供零门槛、快速部署的解决方案,支持云控制台和Cloud Shell两种方式,操作简便。Deepseek-r1满血版在推理能力上表现出色,尤其擅长数学、代码和自然语言处理任务,使用过程中无卡顿,体验丝滑。结合Chatbox工具,用户可轻松掌控模型,提升工作效率。阿里云大模型服务平台百炼不仅速度快,还确保数据安全,值得信赖。
358184 71
深度评测 | 仅用3分钟,百炼调用满血版 Deepseek-r1 API,百万Token免费用,简直不要太爽。
|
2月前
|
人工智能 运维 Cloud Native
全面开测 - 零门槛,即刻拥有DeepSeek-R1满血版,百万token免费用
DeepSeek是当前热门的推理模型,尤其擅长数学、代码和自然语言等复杂任务。2024年尾,面对裁员危机,技术进步的学习虽减少,但DeepSeek大模型的兴起成为新的学习焦点。满血版DeepSeek(671B参数)与普通版相比,在性能、推理能力和资源需求上有显著差异。满血版支持实时联网数据更新和多轮深度对话,适用于科研、教育和企业级应用等复杂场景。 阿里云提供的满血版DeepSeek部署方案对普通用户特别友好,涵盖云端调用API及各尺寸模型的部署方式,最快5分钟、最低0元即可实现。
637 68
|
19天前
|
运维 Cloud Native Serverless
仅3步!即刻拥有 QwQ-32B,性能比肩全球最强开源模型
本文详细介绍如何将 QwQ-32B 开源模型部署到函数计算 FC(Function Compute),并通过云原生应用开发平台 CAP(Cloud Application Platform)实现 Ollama 和 Open WebUI 两个 FC 函数的部署。
|
1月前
|
机器学习/深度学习 人工智能 测试技术
阿里云百炼已上线超强推理开源模型QwQ-32B,尺寸更小,性能比肩DeepSeek满血版
通义千问团队推出了320亿参数的QwQ-32B模型,通过大规模强化学习和多阶段训练,在数学、编程及通用能力上达到或超越了DeepSeek-R1等先进模型。QwQ-32B模型已在阿里云百炼上线,支持API调用,用户可通过官方文档了解详细使用方法。未来,团队将继续探索智能体与RL集成,推动人工通用智能的发展。
|
2月前
|
人工智能 算法 Java
零门槛、百万token免费用,即刻拥有DeepSeek-R1满血版,还有实践落地调用场景等你来看
DeepSeek 是热门的推理模型,能在少量标注数据下显著提升推理能力,尤其擅长数学、代码和自然语言等复杂任务。本文涵盖四种部署方案,可以让你快速体验云上调用 DeepSeek-R1 满血版的 API 及部署各尺寸模型的方式,无需编码,最快 5 分钟、最低 0 元即可实现
|
2月前
|
人工智能 关系型数据库 Serverless
【满血+高速+不限流+超长上下文+知识库+可定制+可分享】阿里云专属DeepSeek R1极速部署教程
本文教您在阿里云部署专属DS服务,实现满血、高速、不限流和超长上下文,支持知识库分享与客服等应用。基于阿里云百炼和云应用开发平台(CAP),通过AgentCraft平台一键部署,简单易用,适合普通用户。您可以轻松搭建家庭医生助理、行业动态机器人或图画工具等,享受高效AI服务。
170 1
|
2月前
|
人工智能 Serverless API
评测|全网最强🚀!5min部署满血版DeepSeek,零成本,无需编程!
本文介绍了阿里云提供的四种DeepSeek部署方案,包括基于百炼调用满血版API、基于函数计算部署、基于人工智能平台PAI部署和GPU云服务器部署。通过这些方案,用户可以摆脱“服务器繁忙”的困扰,实现快速部署与使用
1171 2
评测|全网最强🚀!5min部署满血版DeepSeek,零成本,无需编程!