在16核心,32G、16 个VCPU的电脑上,modelscope-funasr一般你们都做到QPS?
根据FunASR的文档和用户经验,该模型在16核心,32G的电脑上一般可以支持到大约16路的请求。然而,这个数量可能会受到很多因素的影响,包括你的具体业务需求、服务器配置、网络环境等。例如,有用户分享他们在相同硬件配置下使用实时语音听写服务时,QPS(每秒查询率)能够达到近500。另外,如果你需要处理更大的请求量,可以考虑采用多模型协同或者使用多个GPU进行解码。请注意,这些只是参考值,实际效果可能会有所不同。
在16核心32G内存配置的服务器上能够达到的具体QPS语音识别系统的QPS受到多种因素的影响,包括服务部署方式、系统优化程度、模型结构复杂度等
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352