阿里云百炼上线Qwen2.5-Turbo模型,可支持100万超长上下文

简介: Qwen2.5-Turbo已上线,支持100万超长上下文,相当于100万个英文单词或150万个汉字。该模型在多个长文本任务评测集中表现出色,超越GPT-4,同时在推理速度上实现4.3倍提升。限时免费赠送1000万tokens额度,欢迎体验。

模型上新

Qwen2.5-Turbo上线🔗阿里云百炼平台,模型上下文长度扩展至百万tokens ,限时免费赠送1000万tokens额度。 image.jpeg

模型特点

Qwen2.5-Turbo是通义千问团队回应社区对处理更长序列需求推出的全新版本模型。该模型支持100万超长上下文,相当于100万个英文单词或150万个汉字。


image.png

模型表现

全新的Qwen2.5-Turbo在1M长度的超长文本检索(Passkey Retrieval)务中的准确率可达到100%,在长文本评测集RULER上获得93.1分,超越GPT-4在LV-Eval、LongBench-Chat等更加接近真实场景的长文本任务中,Qwen2.5-Turbo在多数维度超越了GPT-4o-mini;此外,在MMU、LiveBench等短文本基准上Qwen2.5-Turbo的表现也非常优秀,在大部分任务上的表现显著超越之前上下文长度为1M tokens的开源模型。

image.png

image.png

Qwen2.5-Turbo在长文本、短文本任务评测集上均表现优秀

在推理速度方面,通义千问团队利用稀疏注意力机制将注意力部分的计算量压缩了约12.5倍,将处理1M tokens上下文时的首字返回时间从4.9分钟降低到68秒实现了4.3倍的速度提升。

image.jpeg

Qwen2.5-Turbo推理速度可提升4.3

Qwen2.5-Turbo可应用于长篇小说深入理解、仓库级别代码助手、多篇论文阅读等场景,可一次性处理10本长篇小说,150小时的演讲稿,3万行代码。

API调用方式

最新支持的1M tokens的Qwen2.5-Turbo的使用方法,和Qwen API的标准用法一致,并且与OpenAI API兼容。 下面是一个简单的Python调用示例

注意:需要将环境变量YOUR_API_KEY设置为你的API Key)

import os

from openai import OpenAI

# 读取长文本文件
with open("example.txt", "r", encoding="utf-8") as f:
    text = f.read()
user_input = text + "\n\nSummarize the above text."

client = OpenAI(
    api_key=os.getenv("YOUR_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen-turbo-latest",
    messages=[
      {'role': 'system', 'content': 'You are a helpful assistant.'},
      {'role': 'user', 'content': user_input},
    ],
)

print(completion.choices[0].message)

演示实例

针对于长篇小说理解

🔗长篇小说理解演示视频


针对于代码仓库理解

🔗代码仓库理解演示视频


针对于多篇论文理解

🔗多篇论文理解演示视频


此外,阿里云百炼已上线Qwen、Llama、ChatGLM等超200款国内外主流开源和闭源大模型,用户可选择直接调用、训练微调或打造RAG应用。目前,一汽、金山、哈啰集团、国家天文台等超30万企业和机构在使用阿里云百炼。抓紧去体验吧~


欢迎大家在评论区交流探讨调用通义千问-Turbo-2024-11-01模型的体验与经验 。如果您在体验过程中有遇到什么问题需要我们解答,可以在评论区中留言探讨或是加入我们的官方支持群(群号:77600022533)进行交流反馈!

1732159465607.png


阿里云百炼官网网址

阿里云百炼控制台入口

相关文章
|
9天前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
17天前
|
机器学习/深度学习 API
重磅!阿里云百炼上线Qwen百万长文本模型
重磅!阿里云百炼上线Qwen百万长文本模型
62 11
重磅!阿里云百炼上线Qwen百万长文本模型
|
15天前
|
机器学习/深度学习 人工智能 安全
通义千问开源的QwQ模型,一个会思考的AI,百炼邀您第一时间体验
Qwen团队推出新成员QwQ-32B-Preview,专注于增强AI推理能力。通过深入探索和试验,该模型在数学和编程领域展现了卓越的理解力,但仍在学习和完善中。目前,QwQ-32B-Preview已上线阿里云百炼平台,提供免费体验。
|
4月前
|
人工智能 自然语言处理 API
阿里云百炼上线FLUX文生图模型中文优化版,可免费调用!
阿里云百炼上线FLUX文生图模型中文优化版,可免费调用!
490 6
|
4月前
|
人工智能 自然语言处理 API
阿里云百炼平台上线首个最新文生图模型FLUX中文优化版
由Stable Diffusion团队推出的开源文生图模型FLUX风靡全球,其生成质量媲美Midjourney,被誉为“开源王者”。阿里云百炼平台首发FLUX中文优化版,提升了中文指令的理解与执行能力。开发者可直接在平台上体验并调用FLUX模型,且享有1000张图像的免费生成额度,有效期180天。无需额外部署,即可轻松利用这一先进模型创造高质量图像。
|
4月前
|
SQL 自然语言处理 数据建模
阿里云百炼|析言GBI在中国一汽上线,大模型技术融入数智化转型
中国一汽自2022年起启动数智化转型,针对传统BI系统的局限性,如报表生成慢及数据处理不灵活等问题,与阿里云合作开发GPT-BI(阿里云百炼|析言GB)。该应用基于通义千问大模型,支持自然语言查询,自动产生分析图表,覆盖九大决策场景,准确率达92.5%。显著提高了决策效率与数据治理水平,引领汽车行业数智化转型新趋势。
|
5月前
|
人工智能 前端开发 搜索推荐
详解基于百炼平台及函数计算快速上线网页AI助手
通过阿里云百炼平台,企业可在10分钟内为其网站添加智能客服系统,提升用户体验并降低成本。流程包括:创建大模型应用、配置参数(如温度系数以控制回复的随机性)、发布应用获取API密钥;使用函数计算快速搭建示例网站,并通过简单的代码更改启用AI助手功能;还可导入私有知识库增强助手的能力。前端基于NLUX开发,支持定制化需求如样式调整和历史会话管理。服务端代码提供了调用大模型获取答案的接口。借助百炼平台,企业能迅速部署即时且个性化的在线服务,适应数字化转型的需求。
|
5月前
|
人工智能 API 开发者
阿里云CTO周靖人:通义开源模型下载量破2000万,百炼实现150%增长!
阿里云CTO周靖人:通义开源模型下载量破2000万,百炼实现150%增长!
816 1
|
16天前
|
机器人 API 数据安全/隐私保护
AppFlow:支持飞书机器人调用百炼应用
本文介绍了如何创建并配置飞书应用及机器人,包括登录飞书开发者后台创建应用、添加应用能力和API权限,以及通过AppFlow连接流集成阿里云百炼服务,最后详细说明了如何将机器人添加到飞书群组中实现互动。
|
1月前
|
存储 Serverless API
基于百炼平台构建智能体应用——十分钟构造能主动提问的导购智能体
本文介绍了如何使用阿里云百炼大模型服务平台构建一个多智能体的智能导购应用,并将其部署到钉钉。通过百炼的Assistant API,您可以快速构建一个包含规划助理、手机导购、冰箱导购和电视导购的智能导购系统。文章详细讲解了从创建函数计算应用、访问网站、验证智能导购效果到将商品检索应用集成到智能导购中的全过程,帮助您快速实现智能导购功能。
142 0
基于百炼平台构建智能体应用——十分钟构造能主动提问的导购智能体

相关产品

  • 大模型服务平台百炼