阿里云百炼上线Qwen2.5-Turbo模型,可支持100万超长上下文

本文涉及的产品
多模态交互后付费免费试用,全链路、全Agent
简介: Qwen2.5-Turbo已上线,支持100万超长上下文,相当于100万个英文单词或150万个汉字。该模型在多个长文本任务评测集中表现出色,超越GPT-4,同时在推理速度上实现4.3倍提升。限时免费赠送1000万tokens额度,欢迎体验。

模型上新

Qwen2.5-Turbo上线🔗阿里云百炼平台,模型上下文长度扩展至百万tokens ,限时免费赠送1000万tokens额度。 image.jpeg

模型特点

Qwen2.5-Turbo是通义千问团队回应社区对处理更长序列需求推出的全新版本模型。该模型支持100万超长上下文,相当于100万个英文单词或150万个汉字。


image.png

模型表现

全新的Qwen2.5-Turbo在1M长度的超长文本检索(Passkey Retrieval)务中的准确率可达到100%,在长文本评测集RULER上获得93.1分,超越GPT-4在LV-Eval、LongBench-Chat等更加接近真实场景的长文本任务中,Qwen2.5-Turbo在多数维度超越了GPT-4o-mini;此外,在MMU、LiveBench等短文本基准上Qwen2.5-Turbo的表现也非常优秀,在大部分任务上的表现显著超越之前上下文长度为1M tokens的开源模型。

image.png

image.png

Qwen2.5-Turbo在长文本、短文本任务评测集上均表现优秀

在推理速度方面,通义千问团队利用稀疏注意力机制将注意力部分的计算量压缩了约12.5倍,将处理1M tokens上下文时的首字返回时间从4.9分钟降低到68秒实现了4.3倍的速度提升。

image.jpeg

Qwen2.5-Turbo推理速度可提升4.3

Qwen2.5-Turbo可应用于长篇小说深入理解、仓库级别代码助手、多篇论文阅读等场景,可一次性处理10本长篇小说,150小时的演讲稿,3万行代码。

API调用方式

最新支持的1M tokens的Qwen2.5-Turbo的使用方法,和Qwen API的标准用法一致,并且与OpenAI API兼容。 下面是一个简单的Python调用示例

注意:需要将环境变量YOUR_API_KEY设置为你的API Key)

import os

from openai import OpenAI

# 读取长文本文件
with open("example.txt", "r", encoding="utf-8") as f:
    text = f.read()
user_input = text + "\n\nSummarize the above text."

client = OpenAI(
    api_key=os.getenv("YOUR_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen-turbo-latest",
    messages=[
      {'role': 'system', 'content': 'You are a helpful assistant.'},
      {'role': 'user', 'content': user_input},
    ],
)

print(completion.choices[0].message)

演示实例

针对于长篇小说理解

🔗长篇小说理解演示视频


针对于代码仓库理解

🔗代码仓库理解演示视频


针对于多篇论文理解

🔗多篇论文理解演示视频


此外,阿里云百炼已上线Qwen、Llama、ChatGLM等超200款国内外主流开源和闭源大模型,用户可选择直接调用、训练微调或打造RAG应用。目前,一汽、金山、哈啰集团、国家天文台等超30万企业和机构在使用阿里云百炼。抓紧去体验吧~


欢迎大家在评论区交流探讨调用通义千问-Turbo-2024-11-01模型的体验与经验 。如果您在体验过程中有遇到什么问题需要我们解答,可以在评论区中留言探讨或是加入我们的官方支持群(群号:120480015429)进行交流反馈!

1bb53390962d38c328f19fcc8419d77a.png


阿里云百炼官网网址

阿里云百炼控制台入口

相关文章
|
9天前
|
机器学习/深度学习 算法 数据可视化
从零开始训练推理模型:GRPO+Unsloth改造Qwen实战指南
推理型大语言模型兴起,通过先思考再作答提升性能。本文介绍GRPO等强化学习算法,详解其原理并动手用Qwen2.5-3B训练推理模型,展示训练前后效果对比,揭示思维链生成的实现路径。
121 1
从零开始训练推理模型:GRPO+Unsloth改造Qwen实战指南
|
10天前
|
人工智能 缓存 自然语言处理
阿里云百炼大模型收费说明:模型推理、模型训练和模型部署费用整理
阿里云百炼平台开通免费,且每模型享100万Token免费额度。费用产生于模型推理、训练(调优)和部署,超出免费额度后按量计费。推理按输入/输出Token阶梯计价,训练按数据量和循环次数计费,部署支持按时长或调用量两种模式。
424 65
|
13天前
|
存储 人工智能 NoSQL
用Context Offloading解决AI Agent上下文污染,提升推理准确性
上下文工程是将AI所需信息(如指令、数据、工具等)动态整合到模型输入中,以提升其表现。本文探讨了“上下文污染”问题,并提出“上下文卸载”策略,通过LangGraph实现,有效缓解长文本处理中的信息干扰与模型幻觉,提升AI代理的决策准确性与稳定性。
75 2
用Context Offloading解决AI Agent上下文污染,提升推理准确性
|
13天前
|
人工智能 自然语言处理 语音技术
阿里云百炼官网首页登录入口:开通百炼,每个大模型免费100万Tokens
阿里云百炼平台现开放免费领Token福利,开通即享超5000万额度。提供大模型推理、部署及训练服务,涵盖通义千问、万相等多个系列模型。前台介绍平台详情与价格,后台支持API-Key申请及管理操作。
143 8
人工智能
131 0
|
20天前
通义千问Image模型使用指南
该表格展示了多个设计场景,包括模型选择、复制粘贴提示词、一键生图等步骤。每个步骤配有详细描述及示意图,呈现了不同主题如商业海报、IP主视觉、品牌包装、街拍风格等的设计构思与实现方式。
|
21天前
|
机器学习/深度学习 人工智能 测试技术
探索 Qwen2.5-Max 的智能:大规模 MoE 模型的飞跃
Qwen2.5-Max 是通义实验室推出的最先进MoE模型,在推理、知识和代码任务中表现卓越,已在超20万亿token上预训练,并通过SFT和RLHF优化。在多项基准测试中领先,如Arena-Hard达89.4,MMLU-Pro为76.1,性能超越DeepSeek V3、GPT-4o等模型,成为当前最佳开源模型。可通过Qwen Chat和API使用,适用于开发者、研究者及AI爱好者探索前沿AI能力。
154 2
|
21天前
|
人工智能 API
阿里云百炼API-KEY在哪查询?如何获取阿里云AI百炼大模型的API-KEY?
阿里云百炼是阿里云推出的AI大模型平台,用户可通过其管理控制台获取API-KEY。需先开通百炼平台及大模型服务,即可创建并复制API-KEY。目前平台提供千万tokens免费额度,详细操作流程可参考官方指引。
|
26天前
|
人工智能 自然语言处理 IDE
模型微调不再被代码难住!PAI和Qwen3-Coder加速AI开发新体验
通义千问 AI 编程大模型 Qwen3-Coder 正式开源,阿里云人工智能平台 PAI 支持云上一键部署 Qwen3-Coder 模型,并可在交互式建模环境中使用 Qwen3-Coder 模型。
321 109
|
27天前
|
机器学习/深度学习 人工智能 JSON
微软rStar2-Agent:新的GRPO-RoC算法让14B模型在复杂推理时超越了前沿大模型
Microsoft Research最新推出的rStar2-Agent在AIME24数学基准测试中以80.6%的准确率超越超大规模模型DeepSeek-R1,展现“思考更聪明”而非“更长”的AI推理新方向。
104 8
微软rStar2-Agent:新的GRPO-RoC算法让14B模型在复杂推理时超越了前沿大模型

相关产品

  • 大模型服务平台百炼