开发者社区> 问答> 正文

免费用户在使用阿里云大模型服务时,限流规则是怎么样的?

免费用户在使用阿里云大模型服务时,限流规则是怎么样的?

展开
收起
古月虎 2024-08-09 16:21:03 72 0
2 条回答
写回答
取消 提交回答
  • 通义千问大语言模型为了保证用户调用模型的公平性,通义千问对于普通用户设置了基础限流。限流是基于模型维度的,并且和调用用户的阿里云主账号相关联,按照该账号下所有API-KEY调用该模型的总和计算限流。
    如果超出调用限制,用户的API请求将会因为限流控制而失败,用户需要等待一段时间待满足限流条件后方能再次调用。

    由于您的问题提供的信息较少,抱歉暂时无法准确解答您的疑问,你可以尝试提供更多信息来再次提问,以便我准确解答。

    参考链接:https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-thousand-questions-metering-and-billing

    2024-08-09 22:07:37
    赞同 5 展开评论 打赏
  • 阿里云大降价~

    不同的模型有些不太一样
    gte-rerank模型限流规则:

    调用频次不得高于 5 QPS(每秒钟不超过5次API调用)

    Token消耗不得超过 10,000,000 TPM(每分钟消耗的Token数目不超过10,000,000)
    image.png

    通义千问Audio (qwen-audio-turbo)模型限流规则:

    流量限流为 120 QPM(每分钟处理不超过120个完整的请求)

    Token消耗限流为 100,000 TPM(每分钟消耗的Token数目不超过100,000)
    参考文档

    2024-08-09 17:50:59
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载