备案控制台

开发者社区

开发者社区 > ModelScope模型即服务 > 正文

用modelscope 的pipelines加载模型推理，代码中创建多进程同时推理异常，怎么处理？

用modelscope 的pipelines加载模型进行推理，但是想在代码中创建多进程同时推理，会报Producer process has been terminated before all shared CUDA tensors released. See Note [Sharing CUDA tensors]异常，怎么处理？

展开

收起

Lucidly 2024-03-18 19:47:14 32 0

0 条回答

写回答

取消提交回答

相关问答

ModelScope推理的速度也会同比减少, 怎么合理的提高资源的利用率?

7

1

0

推理镜像里面应该就包含modelscope的推理框架吧？

9

1

0

想告知用户最多字数,ModelScope的推理部署有啥建议么？

7

0

0

请问一下ModelScope中有没有估算推理需要多少台机器的公式?

4

0

0

ModelScope中,如果让大模型喂几万个PDF，怎么设置目标值？

5

1

0

ModelScope的llm和vllm的推理加速，prompt格式不一样吗?

3

1

0

ModelScope的单卡16G，有没有多卡推理的示例？

4

1

0

Modelscope中，seqGPT微调模型如何在python环境加载使用?

7

1

0

请问，linux下A用户起了一个java进程，B用户可以对该进程进行挂载java agent的实验吗

946

1

0

执行jvm挂载java agen的时候，linux下用户2000启动了一个java进程，然后chao

801

1

0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！

我要提问

热门讨论

热门文章

com/action/joingroup?code=v1是什么意思

ModelScope中，模型下载默认路径在哪个路径？

请问ModelScope中，怎么修改本地运行，模型自动下载到 c 盘下？

ModelScope的Qwen1.5-14B-Chat需要多少大显存？

ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

如何训练属于自己的“通义千问”呢？

我希望通过damo-YOLO训练1500*1500的图片

人工智能大模型如何引领智能时代的革命？

从魔塔领取gpu免费资源无法连接huggingface.co

展开全部

手把手教你捏一个自己的Agent

阿里云通义千问向全社会开放！

Llama 3开源！魔搭社区手把手带你推理，部署，微调和评估

Phi-3：小模型，大未来！（附魔搭社区推理、微调实战教程）

通义千问72B、1.8B、Audio模型开源！魔搭社区最佳实践来啦！

ChatGPT中文版杀疯了,已登录AI模型市场

千亿大模型来了！通义千问110B模型开源，魔搭社区推理、微调最佳实践

社区供稿 | Llama3-8B中文版！OpenBuddy发布新一代开源中文跨语言模型

Qwen1.5开源！魔搭最佳实践来啦！

Llama3 中文通用Agent微调模型来啦！（附手把手微调实战教程）

展开全部

相关课程

更多

个性化语音合成模型微调

40

1

去学习

ModelScope社区Library技术架构介绍

174

1

去学习

相关电子书

更多

视觉AI能力的开放现状及ModelScope实战 立即下载

ModelScope助力语音AI模型创新与应用 立即下载

服务上云加速大家居产业C2M进程 立即下载

相关实验场景

更多