GPU相比CPU并没有明显提高uniasr语音识别和语音合成的推理速度
经测试发现，相同配置条件下（阿里云线上notebook），同样的识别和合成代码，在cpu配置下，运行语音识别耗时平均在400ms ～ 500ms，语音合成的耗时平均在700ms-900ms，切换成gpu配置环境，相比cpu并没有明显提升，识别相差不超过100ms，合成相差不超过200ms，是gpu只在模型训练方面有比较大的速度提升，而不能有效提高推理速度吗？如果可以，是要做额外的操作来使gpu有效提升速度吗
展开
收起
2
条回答
写回答
写回答
-
-
是的，gpu对训练有较好的提升效果，对目前代码的推理来说加速有限，目前代码的推理纯粹实现在pytorch或tf上，建议使用其他推理框架（比如tensorrt）来针对一些模型进行加速。
2022-11-28 17:30:27赞同 1 展开评论 打赏
相关问答
热门讨论
热门文章
modelscope上跑报错，提示要pip install ttsfrd，搞不定
7549
关于 Windows平台上 ttsfrd 库的问题。
1540
KeyError: 'asr-inference is not in the pipelines r
1911
linux系统运行TTS语音合成报错 Could not initialize NNPACK
664
目录空间都删的只剩2G了，还报OSError: [Errno 122] Disk quota exc
961
ttsfrd 是不开源的吗
3850
PyTorch Transformer 英中翻译超详细教程
876
No module named 'ttsfrd'
1326
个性化语音合成训练 [ONNXRuntimeError]:7:INVALID_PROTOBUF
1057
报了很多警告，请问怎么解决？
982
展开全部
相关课程
更多
相关文章
相关电子书
更多
