开发者社区> 问答> 正文

通义千问大模型的并发限制具体情况有具体介绍么?

通义千问大模型的并发限制具体情况有具体介绍么?

展开
收起
我是三好学生 2024-07-22 12:06:16 106 0
1 条回答
写回答
取消 提交回答
  • 为了保证用户调用模型的公平性,通义千问对于普通用户设置了基础限流。限流是基于模型维度的,并且和调用用户的阿里云主账号相关联,按照该账号下所有API-KEY调用该模型的总和计算限流。如果超出调用限制,用户的API请求将会因为限流控制而失败,用户需要等待一段时间待满足限流条件后方能再次调用。通义千问大模型的并发限制具体情况如下:

    qwen-long :调用频次 ≤ 100 QPM,每分钟不超过100次API调用; Token消耗暂无限制。

    qwen-turbo :调用频次 ≤ 500 QPM,每分钟不超过500次API调用; Token消耗 ≤ 500,000 TPM,每分钟消耗的token数目不超过500,000。

    qwen-turbo-0624、qwen-turbo-0206 :调用频次 ≤ 60 QPM,每分钟不超过60次API调用; Token消耗 ≤ 60,000 TPM,每分钟消耗的token数目不超过60,000。

    qwen-plus :调用频次 ≤ 200 QPM,每分钟不超过200次API调用; Token消耗 ≤ 200,000 TPM,每分钟消耗的token数目不超过200,000。

    qwen-plus-0624、qwen-plus-0206 :调用频次 ≤ 60 QPM,每分钟不超过60次API调用; Tok

    2024-07-22 13:42:52
    赞同 4 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载