在16核心,32G的 电脑上,modelscope-funasr一般你们都做到QPS?

在16核心,32G、16 个VCPU的电脑上,modelscope-funasr一般你们都做到QPS?

展开
收起
嘟嘟嘟嘟嘟嘟 2024-01-05 07:58:13 143 分享 版权
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据FunASR的文档和用户经验,该模型在16核心,32G的电脑上一般可以支持到大约16路的请求。然而,这个数量可能会受到很多因素的影响,包括你的具体业务需求、服务器配置、网络环境等。例如,有用户分享他们在相同硬件配置下使用实时语音听写服务时,QPS(每秒查询率)能够达到近500。另外,如果你需要处理更大的请求量,可以考虑采用多模型协同或者使用多个GPU进行解码。请注意,这些只是参考值,实际效果可能会有所不同。

    2024-01-06 12:06:25
    赞同 展开评论
  • 在16核心32G内存配置的服务器上能够达到的具体QPS语音识别系统的QPS受到多种因素的影响,包括服务部署方式、系统优化程度、模型结构复杂度等

    2024-01-05 09:53:25
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理