AI 助理
备案控制台
开发者社区 ModelScope模型即服务 语音 正文

GPU相比CPU并没有明显提高uniasr语音识别和语音合成的推理速度

经测试发现，相同配置条件下（阿里云线上notebook），同样的识别和合成代码，在cpu配置下，运行语音识别耗时平均在400ms ～ 500ms，语音合成的耗时平均在700ms-900ms，切换成gpu配置环境，相比cpu并没有明显提升，识别相差不超过100ms，合成相差不超过200ms，是gpu只在模型训练方面有比较大的速度提升，而不能有效提高推理速度吗？如果可以，是要做额外的操作来使gpu有效提升速度吗

展开
收起
1030541127660846 2022-11-28 16:06:56 1904 分享 版权
2 条回答
写回答
取消 提交回答
  • aliyun0626609716

    请问在利用pipeline做推理的时候，怎么设置用GPU推理啊，是需要额外写什么参数吗？

    2023-01-11 21:22:43
    赞同 展开评论
  • ModelScope小助手-渡渡航

    是的，gpu对训练有较好的提升效果，对目前代码的推理来说加速有限，目前代码的推理纯粹实现在pytorch或tf上，建议使用其他推理框架（比如tensorrt）来针对一些模型进行加速。

    2022-11-28 17:30:27
    赞同 1 展开评论
相关问答
语音
智能语音交互的长文本语音合成生成的二进制字节流能否存储在第三方平台
73
1
0
智能语音交互语音合成里次数调取如何计算
73
1
0
智能语音交互如何查看长文本语音合成的my_device_id
57
1
0
智能语音交互语音合成时间戳功能介绍
110
1
0
智能语音交互为什么TTS语音合成服务的调用有字数限制
308
1
0
Funasr GPU2.0.0部署推理，RTF达不到0.0008，连0.0076都达不到。
126
0
0
ModelScope中示例页面的GPU版本和CPU版本。这两个不同版本会影响推理效率吗？
166
1
0
阿里云语音AI语音合成 语音识别私有化部署如何操作？
126
0
0
modelscope-funasr用GPU推理，A10和4090在性能上，是不是差很多很多？
391
1
0
modelscope-funasr的GPU推理的cpp版本内存和显存不回收的问题怎么解决？
114
0
0
ModelScope模型即服务

语音

包括语音识别、语音合成、语音唤醒、声学设计及信号处理、声纹识别、音频事件检测等多个领域

我要提问
收录在圈子:
智能语音交互
167
+ 订阅

相关文章

  • AMD Ryzen AI Max+ 395四机并联：大语言模型集群推理深度测试
  • 开源SOTA：阶跃发布端到端语音大模型Step-Audio 2 mini！
  • 语音克隆 Index-TTS 详细介绍
  • Step-Audio2 声音克隆 详细介绍
  • AI电话客服的服务质量提升路径：关键技术与典型应用场景解析

    • 热门讨论

    热门文章

  • 目录空间都删的只剩2G了，还报OSError: [Errno 122] Disk quota exc
  • 关于 Windows平台上 ttsfrd 库的问题。
  • modelscope上跑报错，提示要pip install ttsfrd，搞不定
  • wekws训练自定义数据集的误唤醒较高。
  • 关于 modelscope-funasr 报错的问题。
  • ttsfrd 是不开源的吗
  • UniASR如何进行流式语音识别？
  • Paraformer语音识别-中文-通用-16k-离线-large-长音频版，无网络时无法使用如何处
  • KeyError: 'asr-inference is not in the pipelines r
  • VAD speech_fsmn_vad_zh-cn-16k-common-pytorch是否还会上架
    • 展开全部
  • Dolphin：40语种+22方言！清华联合海天瑞声推出的语音识别大模型，识别精度超Whisper两代
  • FireRedASR：精准识别普通话、方言和歌曲歌词！小红书开源工业级自动语音识别模型
  • 3D-Speaker：阿里通义开源的多模态说话人识别项目，支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
  • CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
  • 三行代码实现实时语音转文本，支持自动断句和语音唤醒，用 RealtimeSTT 轻松创建高效语音 AI 助手
  • WhisperChain：开源 AI 实时语音转文字工具！自动消噪优化文本，效率翻倍
  • SpeechGPT 2.0：复旦大学开源端到端 AI 实时语音交互模型，实现 200ms 以内延迟的实时交互
  • PaddleSpeech：百度飞桨开源语音处理神器，识别合成翻译全搞定
  • ClearerVoice-Studio：阿里通义开源的语音处理框架，提供语音增强、分离和说话人提取等功能
  • Text to Bark：让狗狗听懂人话！全球首个AI"狗语"生成器，137种狗狗口音任君挑选
    • 展开全部
    还有其他疑问?
    咨询AI助理