AI 助理
文档备案控制台
开发者社区 ModelScope模型即服务 正文

单挑推理能跑，但是如果两个线程并发推理就报错，请问modelscope的并发有例子吗？

"单挑推理能跑，但是如果两个线程并发推理就报错，请问modelscope的并发有例子吗？ d854341819c6e9a52f9ccd3e7282afe4.jpg
"

展开
收起
小小爱吃香菜 2024-05-21 21:46:17 113 分享 版权
1 条回答
写回答
取消 提交回答
  • 为了利利

    vllm支持batch推理，您这边可以不用多线程。 此回答整理自钉钉群“魔搭ModelScope开发者联盟群 ①”

    2024-05-22 09:54:12
    赞同 1 展开评论
相关问答
ModelScope如何用英特尔显卡进行推理，目前pytorch已经支持，求大神帮帮忙。
190
1
0
llamaindex整合modelscope本地模型，启动报错
527
1
0
modelscope-funasr的热词是只在推理阶段做吗？
203
0
0
增加maven下载依赖包的并发线程数时，需要考虑哪些外部因素？
219
1
0
如何通过配置来增加maven下载依赖包的并发线程数？
373
1
0
modelscope这个报错呢怎么回 事？在参数里加上encoding=utf-8，又会出现这个报错
156
1
0
在modelscope-funasr需要100路ASR并发的话，需要什么资源吗？
311
0
0
在modelscope-funasr用一块4090来跑funasr能支持到多少路并发？
362
0
0
modelscope-funasr执行sencevoice后报错怎么解决？
188
0
0
modelscope-funasr有没有python版实时转写并发解决方案？
187
0
0