modelscope的Mego大模型社区版调用api时,支持的并发调用次数QPS或者token消耗TPM是多少呀?
根据现有知识库资料,关于ModelScope的Mego大模型社区版调用API时的并发调用次数(QPS)或Token消耗(TPM)的具体限制并未直接提及。然而,我们可以从相关文档中提取一些通用规则和限制信息供参考:
在阿里云的内容安全服务中,针对图片审核增强版接口的QPS限制为5次/秒。虽然这是针对图片审核服务的限制,但可以推测类似的API调用可能会有类似的QPS限制。如果您的业务需要更高的QPS,请联系商务经理申请扩容。
对于Token消耗相关的限制,目前知识库中未明确提到Mego大模型社区版的具体TPM(Tokens Per Minute)限制。不过,以下几点可以帮助您更好地理解Token消耗机制: - 模型调用成本与输入和输出的Token数量直接挂钩,具体可以通过API返回的usage
字段查看每次调用消耗的Token数量。 - 不同模型对上下文长度和Token数有不同的限制。例如,某些模型支持的最大上下文Token数为65,536,用户输入限制为63,488 Tokens,输出最大为6,144 Tokens。
希望以上信息能帮助您更好地规划API调用策略!如有进一步问题,请随时咨询。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352