modelscope-funasr使用Python部署服务,torch和ONNX推荐哪个?

modelscope-funasr使用Python部署服务,你们推荐使用Pipeline(torch模型)还是用ONNX部署呢?ONNX的性能是不是更好一些?
60eeb81dc0d0cd239aa6cad2dcf3b1e7.png
e0f2ea5690625f922e8783cba4c00527.png

展开
收起
嘟嘟嘟嘟嘟嘟 2024-01-04 23:22:14 211 分享 版权
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    使用Pipeline(torch模型)部署服务的好处是可以使用PyTorch框架提供的各种功能和工具,例如自动求导、动态图等。此外,Pipeline还可以方便地处理文本数据和其他预处理步骤。但是,使用Pipeline需要安装PyTorch框架,并且可能会增加模型的内存占用和推理时间。

    使用ONNX部署服务的好处是可以在不同的平台上运行模型,例如Windows、Linux和Android等。此外,ONNX还支持多种深度学习框架,例如TensorFlow、PyTorch和MXNet等。但是,使用ONNX需要进行模型转换,并且可能会损失一些性能。

    因此,您可以根据您的具体需求选择适合您的部署方式。如果您需要在多个平台上运行模型并且对性能要求不高,则可以考虑使用ONNX。如果您需要使用PyTorch框架提供的各种功能和工具并且对性能要求较高,则可以考虑使用Pipeline。

    2024-01-05 09:59:25
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理