开发者社区 问答 正文

通义千问大模型的并发限制具体情况有具体介绍么?

通义千问大模型的并发限制具体情况有具体介绍么?

展开
收起
我是三好学生 2024-07-22 12:06:16 2416 分享 版权
2 条回答
写回答
取消 提交回答
  • 付费可以提升大模型的并发吗?

    2024-12-24 21:24:51
    赞同 展开评论
  • 为了保证用户调用模型的公平性,通义千问对于普通用户设置了基础限流。限流是基于模型维度的,并且和调用用户的阿里云主账号相关联,按照该账号下所有API-KEY调用该模型的总和计算限流。如果超出调用限制,用户的API请求将会因为限流控制而失败,用户需要等待一段时间待满足限流条件后方能再次调用。通义千问大模型的并发限制具体情况如下:

    qwen-long :调用频次 ≤ 100 QPM,每分钟不超过100次API调用; Token消耗暂无限制。

    qwen-turbo :调用频次 ≤ 500 QPM,每分钟不超过500次API调用; Token消耗 ≤ 500,000 TPM,每分钟消耗的token数目不超过500,000。

    qwen-turbo-0624、qwen-turbo-0206 :调用频次 ≤ 60 QPM,每分钟不超过60次API调用; Token消耗 ≤ 60,000 TPM,每分钟消耗的token数目不超过60,000。

    qwen-plus :调用频次 ≤ 200 QPM,每分钟不超过200次API调用; Token消耗 ≤ 200,000 TPM,每分钟消耗的token数目不超过200,000。

    qwen-plus-0624、qwen-plus-0206 :调用频次 ≤ 60 QPM,每分钟不超过60次API调用; Tok

    2024-07-22 13:42:52
    赞同 5 展开评论
问答地址: