开发者社区 问答 正文

免费用户在使用阿里云大模型服务时,限流规则是怎么样的?

免费用户在使用阿里云大模型服务时,限流规则是怎么样的?

展开
收起
古月虎 2024-08-09 16:21:03 186 发布于浙江 分享
分享
版权
举报
2 条回答
写回答
取消 提交回答
  • 通义千问大语言模型为了保证用户调用模型的公平性,通义千问对于普通用户设置了基础限流。限流是基于模型维度的,并且和调用用户的阿里云主账号相关联,按照该账号下所有API-KEY调用该模型的总和计算限流。
    如果超出调用限制,用户的API请求将会因为限流控制而失败,用户需要等待一段时间待满足限流条件后方能再次调用。

    由于您的问题提供的信息较少,抱歉暂时无法准确解答您的疑问,你可以尝试提供更多信息来再次提问,以便我准确解答。

    参考链接:https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-thousand-questions-metering-and-billing

    2024-08-09 22:07:37 举报
    赞同 5 评论

    评论

    全部评论 (0)

    登录后可评论
  • 阿里云大降价~

    不同的模型有些不太一样
    gte-rerank模型限流规则:

    调用频次不得高于 5 QPS(每秒钟不超过5次API调用)

    Token消耗不得超过 10,000,000 TPM(每分钟消耗的Token数目不超过10,000,000)
    image.png

    通义千问Audio (qwen-audio-turbo)模型限流规则:

    流量限流为 120 QPM(每分钟处理不超过120个完整的请求)

    Token消耗限流为 100,000 TPM(每分钟消耗的Token数目不超过100,000)
    参考文档

    2024-08-09 17:50:59 举报
    赞同 1 评论

    评论

    全部评论 (0)

    登录后可评论