阿里云百炼上线Qwen2.5-Turbo模型,可支持100万超长上下文

本文涉及的产品
通义法睿合同智能审查,1个月8份合同免费体验
简介: Qwen2.5-Turbo已上线,支持100万超长上下文,相当于100万个英文单词或150万个汉字。该模型在多个长文本任务评测集中表现出色,超越GPT-4,同时在推理速度上实现4.3倍提升。限时免费赠送1000万tokens额度,欢迎体验。

模型上新

Qwen2.5-Turbo上线🔗阿里云百炼平台,模型上下文长度扩展至百万tokens ,限时免费赠送1000万tokens额度。 image.jpeg

模型特点

Qwen2.5-Turbo是通义千问团队回应社区对处理更长序列需求推出的全新版本模型。该模型支持100万超长上下文,相当于100万个英文单词或150万个汉字。


image.png

模型表现

全新的Qwen2.5-Turbo在1M长度的超长文本检索(Passkey Retrieval)务中的准确率可达到100%,在长文本评测集RULER上获得93.1分,超越GPT-4在LV-Eval、LongBench-Chat等更加接近真实场景的长文本任务中,Qwen2.5-Turbo在多数维度超越了GPT-4o-mini;此外,在MMU、LiveBench等短文本基准上Qwen2.5-Turbo的表现也非常优秀,在大部分任务上的表现显著超越之前上下文长度为1M tokens的开源模型。

image.png

image.png

Qwen2.5-Turbo在长文本、短文本任务评测集上均表现优秀

在推理速度方面,通义千问团队利用稀疏注意力机制将注意力部分的计算量压缩了约12.5倍,将处理1M tokens上下文时的首字返回时间从4.9分钟降低到68秒实现了4.3倍的速度提升。

image.jpeg

Qwen2.5-Turbo推理速度可提升4.3

Qwen2.5-Turbo可应用于长篇小说深入理解、仓库级别代码助手、多篇论文阅读等场景,可一次性处理10本长篇小说,150小时的演讲稿,3万行代码。

API调用方式

最新支持的1M tokens的Qwen2.5-Turbo的使用方法,和Qwen API的标准用法一致,并且与OpenAI API兼容。 下面是一个简单的Python调用示例

注意:需要将环境变量YOUR_API_KEY设置为你的API Key)

import os

from openai import OpenAI

# 读取长文本文件
with open("example.txt", "r", encoding="utf-8") as f:
    text = f.read()
user_input = text + "\n\nSummarize the above text."

client = OpenAI(
    api_key=os.getenv("YOUR_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen-turbo-latest",
    messages=[
      {'role': 'system', 'content': 'You are a helpful assistant.'},
      {'role': 'user', 'content': user_input},
    ],
)

print(completion.choices[0].message)

演示实例

针对于长篇小说理解

🔗长篇小说理解演示视频


针对于代码仓库理解

🔗代码仓库理解演示视频


针对于多篇论文理解

🔗多篇论文理解演示视频


此外,阿里云百炼已上线Qwen、Llama、ChatGLM等超200款国内外主流开源和闭源大模型,用户可选择直接调用、训练微调或打造RAG应用。目前,一汽、金山、哈啰集团、国家天文台等超30万企业和机构在使用阿里云百炼。抓紧去体验吧~


欢迎大家在评论区交流探讨调用通义千问-Turbo-2024-11-01模型的体验与经验 。如果您在体验过程中有遇到什么问题需要我们解答,可以在评论区中留言探讨或是加入我们的官方支持群(群号:77600022533)进行交流反馈!

1732159465607.png


阿里云百炼官网网址

阿里云百炼控制台入口

目录
打赏
0
8
6
0
474
分享
相关文章
通义万相2.1视频/图像模型新升级!可在阿里云百炼直接体验
通义万相2.1模型推出新特征,包括复杂人物运动的稳定展现、现实物理规律的逼真还原及中英文视频特效的绚丽呈现。通过自研的高效VAE和DiT架构,增强时空上下文建模能力,支持无限长1080P视频的高效编解码,并首次实现中文文字视频生成功能。升级后的通义万相荣登VBench榜单第一,提供电影级分镜效果、四格漫画故事速览及情侣头像创意定制等多种玩法,满足多样化的视觉创作需求。可直接在阿里云百炼平台调用API体验这些功能。
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
阿里云百炼已上线超强推理开源模型QwQ-32B,尺寸更小,性能比肩DeepSeek满血版
通义千问团队推出了320亿参数的QwQ-32B模型,通过大规模强化学习和多阶段训练,在数学、编程及通用能力上达到或超越了DeepSeek-R1等先进模型。QwQ-32B模型已在阿里云百炼上线,支持API调用,用户可通过官方文档了解详细使用方法。未来,团队将继续探索智能体与RL集成,推动人工通用智能的发展。
DeepSeek全尺寸模型上线阿里云百炼!
DeepSeek全尺寸模型上线阿里云百炼!
105 4
DeepSeek全尺寸模型上线阿里云百炼!
阿里云百炼平台近日上线了DeepSeek-V3、DeepSeek-R1及其蒸馏版本等六款全尺寸AI模型,参数量达671B,提供高达100万免费tokens。这些模型在数学、代码、自然语言推理等任务上表现出色,支持灵活调用和经济高效的解决方案,助力开发者和企业加速创新与数字化转型。示例代码展示了如何通过API使用DeepSeek-R1模型进行推理,用户可轻松获取思考过程和最终答案。
【最佳实践系列】零基础上手阿里云百炼语音AI模型
阿里云百炼语音AI服务提供了丰富的功能,包括语音识别、语音合成、实时翻译等。通过`alibabacloud-bailian-speech-demo`项目,可以一键调用这些服务,体验语音及大模型的魅力,降低接入门槛。该项目支持Python和Java,涵盖从简单的一句话合成到复杂的同声传译等多个示例,助力开发者快速上手并进行二次开发。
函数计算×百炼新春活动正式上线!三步赢取蛇年精美好礼
本次场景利用函数计算 FC 构建 Web 服务,由其提供函数计算资源以及工作流能力,您无需管理服务器等基础设施,函数计算 FC 能够根据需求自动扩展,按需计算,结合百炼模型服务实现了从文案、声音、字幕、图像生成到视频合成的一站式自动化流程,大幅简化使用 AI 创作的流程,降低了技术要求,使创作者能够更高效地生产出高质量的内容,快速响应市场需求,同时保证了作品的专业水准和创意表达。
133 24
函数计算×百炼新春活动正式上线!三步赢取蛇年精美好礼
函数计算×百炼新春活动正式上线!三步赢取蛇年精美好礼
【最佳实践系列】阿里云百炼「音视频实时互动」功能上线:几分钟实现模型到应用!
阿里云百炼推出「音视频实时互动」功能,支持0代码搭建并集成到Web、iOS和安卓应用。用户可轻松创建AI应用并分享。具体步骤包括新建智能体应用、配置模型(如通义千问-VL)、编写提示词、设置API-KEY及发布应用。平台提供多种渠道支持,如API、网页、小程序等,帮助用户快速构建成熟的AI应用。欢迎体验并在评论区交流反馈。

相关产品

  • 大模型服务平台百炼