备案控制台

开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope大模型在单卡上可以做并发推理么？

ModelScope大模型在单卡上可以做并发推理么？

展开

收起

真的很搞笑 2023-10-08 19:34:27 337 0

2 条回答

写回答

取消提交回答

Kinging

ModelScope大模型在单卡上可以做并发推理，但是推理速度会受到影响。如果需要加速推理，可以考虑使用多卡并行推理。另外，ModelScope提供了DistributedPipeline进行大模型推理，其中会进行并行环境初始化，启动多个子进程，每个子进程负责一张GPU卡上的部分模型任务。

2023-10-12 16:32:36

赞同展开评论打赏
芯在这

目前貌似不支持，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2023-10-08 20:17:38

赞同展开评论打赏

相关问答

agent和ModelScope模型有啥区别？

7

1

0

ModelScope中，全量训练是从头到尾开发一个新的大模型是吧？继续训练是指什么？

11

1

0

ModelScope支持翻译的大模型，有测评榜吗？

5

0

0

modelscope-funasr的vad模型并发问题有解决方案吗？

30

0

0

我想要一个能识别图片内容和进行对话的多模态大模型，ModelScope有推荐吗？

16

1

0

大模型生成速度太慢了用model scope的swift有提升么？

14

1

0

在ModelScope魔搭社区DSW平台操作的，为啥左侧目录找不到下载的大模型文件？

5

1

0

ModelScope swift web-ui怎么部署在web-ui上微调好的模型呢？

14

1

0

想问一下ModelScope多卡部署后，使用了多张卡的显存。是使用多张卡的GPU进行推理吗？

18

1

0

modelscope[cv]也安装成功了，但是再启动模型时报错了，怎么解决？

14

1

0

ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

com/action/joingroup?code=v1是什么意思

我希望通过damo-YOLO训练1500*1500的图片

ModelScope 使用14B模型推理时报这个错误？

streamlit 生成链接无法访问，gradio只生成内网，无法生成公网

服务器上onnxruntime-gpu 调用结束，如何释放显存

请问在 ModelScope 上的模型断网使用报这个错误啥原因了?

Modelscope魔塔的创空间的文件怎么下载到本地呀？

ModelScope tokenizer.model文件应该是不是tokenizer.json文件？

modelscope cache 环境变量是啥？

展开全部

modelscope调用的模型如何指定在特定gpu上运行？排除使用CUDA_VISIBLE_DEVICES环境变量

关键点检测从入门到进阶

Stable Diffusion 介绍与入门

图像分类基础与实战

视觉AI技术体系及趋势概述

Stable Diffusion使用窍门

人像卡通化

ModelScope模型使用与EAS部署调用

展开全部

相关课程

更多

个性化语音合成模型微调

229

1

去学习

ModelScope社区Library技术架构介绍

210

1

去学习

相关电子书

更多

视觉AI能力的开放现状及ModelScope实战 立即下载

ModelScope助力语音AI模型创新与应用 立即下载

低代码开发师（初级）实战教程 立即下载