modelscope支持的并发调用次数QPS或者token消耗TPM是多少呀?

modelscope的Mego大模型社区版调用api时,支持的并发调用次数QPS或者token消耗TPM是多少呀?

展开
收起
小小爱吃香菜 2024-04-16 20:49:30 126 分享 版权
阿里云 AI 助理回答

根据现有知识库资料,关于ModelScope的Mego大模型社区版调用API时的并发调用次数(QPS)或Token消耗(TPM)的具体限制并未直接提及。然而,我们可以从相关文档中提取一些通用规则和限制信息供参考:

1. 并发调用次数(QPS)

在阿里云的内容安全服务中,针对图片审核增强版接口的QPS限制为5次/秒。虽然这是针对图片审核服务的限制,但可以推测类似的API调用可能会有类似的QPS限制。如果您的业务需要更高的QPS,请联系商务经理申请扩容。

2. Token消耗(TPM)

对于Token消耗相关的限制,目前知识库中未明确提到Mego大模型社区版的具体TPM(Tokens Per Minute)限制。不过,以下几点可以帮助您更好地理解Token消耗机制: - 模型调用成本与输入和输出的Token数量直接挂钩,具体可以通过API返回的usage字段查看每次调用消耗的Token数量。 - 不同模型对上下文长度和Token数有不同的限制。例如,某些模型支持的最大上下文Token数为65,536,用户输入限制为63,488 Tokens,输出最大为6,144 Tokens。

3. 重要提醒

  • 如果您需要确认Mego大模型社区版的具体QPS或TPM限制,建议直接参考ModelScope平台的官方文档或联系技术支持获取更准确的信息。
  • 调用限制可能因模型版本或服务类型而异,请确保在实际使用前进行充分测试并了解相关计费规则。

希望以上信息能帮助您更好地规划API调用策略!如有进一步问题,请随时咨询。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理