AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

modelscope-funasr的nnxruntime-gpu版本推理onnx慢的原因吗？

modelscope-funasr的nnxruntime-gpu版本推理onnx慢的原因吗？我们有其他的推理引擎支持gpu推理的不，如果执行run_server_2pass.sh传入的模型是pytorch类型的是不是还得修改funasr-wss-server-2pass.cpp脚本呢

展开
收起
三分钟热度的鱼 2024-03-13 21:06:45 319 分享 版权
1 条回答
写回答
取消 提交回答
  • 圆不溜秋的小猫猫

    onnx-gpu慢，是onnx本身原因，与funasr无关，你可以用任何模型来测试，具体原因只能去找微软了解。此回答整理自钉群“modelscope-funasr社区交流”

    2024-03-13 22:46:30
    赞同 展开评论
相关问答
modelscope-funasr从0开始部署并运行C++版本的服务端的详细步骤。
729
3
0
modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？
33907
1
0
我的电脑显卡是MX450 ModelScopechatglm3能跑GPU版本吗？
159
2
0
在modelscope-funasr如果使用GPU的话这个编译需要改什么？
255
0
0
modelscope-funasr的GPU调用失败了，是什么原因？
132
0
0
modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的参数量是一样的么？
150
0
0
modelscope-funasr的paraformer热词版本配置是不是不支持添加权重？
178
0
0
modelscope-funasr服务端部署的话，推荐什么样的GPU？
179
0
0
modelscope-funasr的GPU离线转写服务的说话人识别模块要怎么配置啊？
206
0
0
modelscope-funasr的 docker gpu1.1 容器中启动服务时，报这个是啥问题？
154
1
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • 近端策略优化算法PPO的核心概念和PyTorch实现详解
  • 【Pytorch框架搭建神经网络】基于DQN算法、优先级采样的DQN算法、DQN + 人工势场的避障控制研究（Python代码实现）
  • AMD Ryzen AI Max+ 395四机并联：大语言模型集群推理深度测试
  • 使用雅可比椭圆函数为Reissner平面有限应变梁提供封闭形式解（Matlab代码实现）
  • FunctionAI 图像生成：简化从灵感到 API 调用的每一步

    • 热门讨论

    热门文章

  • modelscope-funasr 热词如何设置？
  • modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？
  • 请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
  • modelscope-funasr目前版本支持 实时多人对话语音识别吗？
  • modelscope-funasr类似这些日志，应该怎么设置才能不打印呀？
  • modelscope-funasr有说话人分离功能吗？
  • modelscope-funasr的python websocket怎么实现多用户并发啊？
  • 本地运行示例报错No module named 'deepspeed'
  • 自然语言处理大模型，对word文本格式检测
  • modelscope-funasr基于paraformer微调了粤语试了下，效果不太理想。怎么调整？
    • 展开全部
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
  • FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
  • 全球首款开源通用型AI智能体上线！Suna：自动处理Excel/爬数据/写报告等复杂任务一句话搞定
  • ACL 2025 | GALLa：用图结构增强代码大模型，让代码理解更精准！
  • Yuxi-Know：开源智能问答系统，基于大模型RAG与知识图谱技术快速构建知识库
  • 让AI单次生成4万字！WriteHERE：开源AI长文写作框架，单次生成超长文本，小说报告一键搞定！
    • 展开全部
    还有其他疑问?
    咨询AI助理